Miten saan tarkistettua onko sivuillani kävijä esim. googlen hakurobotti tjs.? Selviääkö se kävijän IP:een perusteella?
No IP:täkin tietty voi haistella, mut Google kertoo olevansa Google ihan User-Agentissa. Ote omasta accesslogistani:
66.249.67.236 - - [10/Jan/2008:00:23:33 +0200] "GET /robots.txt HTTP/1.1" 200 122 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
http://mureakuha.com/keskustelut/2?14840p1
tuolta kautta tälle sivulle:
http://www.robotstxt.org/db.html
Eli jälkimmäisestä löytyy aika hyvä tietopaketti boteista ja vähän muistakin. Ja kuten tuolla kuhassa mainitsin, itse olen kotskaporttaalien kävijälaskureissa tarkistanut sisältääkö User-Agent merkkijonoja "bot", "yahoo", "google" tai "crawler" ja >90% (ainakin omia kotskaporttaaleita skannaavista) boteista tunnistettu. Itseasiassa tuo googlekin tuossa taitaa olla turha, sillä näemmä sekin paljastuu pelkällä "bot"-merkkijonon tarkasuksella.
Aihe on jo aika vanha, joten et voi enää vastata siihen.