Eingetragen habe ich msnbot.msn.com|Gigabot|Googlebot
Das scheint nicht korrekt zu sein.
Der Bot wird z.B. so in visitors gelogt.
Code: Select all
Gigabot/2.0/gigablast.com/spider.html
Ist das evtl. richtig?
Code: Select all
msnbot.msn.com|www.gigablast.com|crawl-66-249-64-66.google bot.com|crawl-66-249-72-37.google bot.com
taucht trotzdem in der Statistik auf und wird mitgezählt