Kirjautuminen

Haku

Tehtävät

Keskustelu: Yleinen keskustelu: Googlebot kaivelee tietoja

Sivun loppuun

T.M. [16.11.2003 03:55:24]

#

Erästä sivuani oli ladannut "googlebot" päätteinen hosti monta kertaa monena päivänä ja tihein aikavälein. Mikäköhän on syy tälläiseen toimintaan? En ole ennen huomannut tuollaista "googlebottia" ladanneen sivujani.
Outoa tässä on myös se, että tuo IP vaihtuu joka kerta kun sitä haetaan. Esim: http://koti.mbnet.fi/winuus/host.php?host=crawler1.googlebot.com

21.10.2003 - 13:24:42 | 64.68.82.37 | crawler11.googlebot.com
27.10.2003 - 09:08:39 | 64.68.87.41 | crawler8.googlebot.com
27.10.2003 - 11:49:24 | 64.68.82.18 | crawler10.googlebot.com
07.11.2003 - 13:48:59 | 64.68.82.37 | crawler11.googlebot.com
07.11.2003 - 17:00:43 | 64.68.82.27 | crawler10.googlebot.com
07.11.2003 - 18:00:13 | 64.68.82.14 | crawler10.googlebot.com
07.11.2003 - 18:28:13 | 64.68.82.176 | crawler14.googlebot.com
10.11.2003 - 09:16:10 | 64.68.82.149 | crawler13.googlebot.com
11.11.2003 - 20:52:34 | 64.68.82.135 | crawler13.googlebot.com
12.11.2003 - 07:11:48 | 64.68.82.181 | crawler14.googlebot.com
12.11.2003 - 19:31:52 | 64.68.80.29 | crawl22.googlebot.com
12.11.2003 - 21:23:42 | 64.68.80.35 | crawl23.googlebot.com
12.11.2003 - 22:24:34 | 64.68.80.57 | crawl23.googlebot.com
12.11.2003 - 22:25:16 | 64.68.80.17 | crawl22.googlebot.com
12.11.2003 - 22:36:22 | 64.68.80.29 | crawl22.googlebot.com
12.11.2003 - 22:36:37 | 64.68.80.69 | crawl24.googlebot.com
12.11.2003 - 23:05:14 | 64.68.80.13 | crawl22.googlebot.com
12.11.2003 - 23:16:37 | 64.68.80.29 | crawl22.googlebot.com
12.11.2003 - 23:21:27 | 64.68.80.62 | crawl24.googlebot.com
12.11.2003 - 23:26:14 | 64.68.80.29 | crawl22.googlebot.com
12.11.2003 - 23:26:23 | 64.68.80.44 | crawl23.googlebot.com
12.11.2003 - 23:26:34 | 64.68.80.41 | crawl23.googlebot.com
13.11.2003 - 00:21:25 | 64.68.80.17 | crawl22.googlebot.com
13.11.2003 - 00:50:04 | 64.68.80.62 | crawl24.googlebot.com
13.11.2003 - 01:02:37 | 64.68.80.41 | crawl23.googlebot.com
13.11.2003 - 01:12:20 | 64.68.80.49 | crawl23.googlebot.com
13.11.2003 - 01:13:08 | 64.68.80.41 | crawl23.googlebot.com
13.11.2003 - 01:21:49 | 64.68.80.46 | crawl23.googlebot.com
13.11.2003 - 01:36:46 | 64.68.80.69 | crawl24.googlebot.com
13.11.2003 - 01:36:46 | 64.68.80.69 | crawl24.googlebot.com
13.11.2003 - 01:45:03 | 64.68.80.56 | crawl23.googlebot.com
13.11.2003 - 01:45:59 | 64.68.80.69 | crawl24.googlebot.com
13.11.2003 - 03:53:26 | 64.68.80.69 | crawl24.googlebot.com
13.11.2003 - 03:57:04 | 64.68.80.17 | crawl22.googlebot.com
13.11.2003 - 04:15:24 | 64.68.80.22 | crawl22.googlebot.com
13.11.2003 - 04:25:28 | 64.68.80.52 | crawl23.googlebot.com
13.11.2003 - 04:25:58 | 64.68.80.30 | crawl22.googlebot.com
13.11.2003 - 04:25:59 | 64.68.80.10 | crawl22.googlebot.com
13.11.2003 - 04:26:07 | 64.68.80.72 | crawl24.googlebot.com
13.11.2003 - 04:26:15 | 64.68.80.14 | crawl22.googlebot.com
13.11.2003 - 04:30:54 | 64.68.80.35 | crawl23.googlebot.com
13.11.2003 - 04:38:03 | 64.68.80.46 | crawl23.googlebot.com
13.11.2003 - 05:32:40 | 64.68.80.10 | crawl22.googlebot.com
13.11.2003 - 05:44:35 | 64.68.80.56 | crawl23.googlebot.com
13.11.2003 - 06:19:57 | 64.68.80.57 | crawl23.googlebot.com
13.11.2003 - 06:41:27 | 64.68.80.49 | crawl23.googlebot.com
13.11.2003 - 07:10:15 | 64.68.80.3 | crawl22.googlebot.com
13.11.2003 - 07:22:41 | 64.68.80.43 | crawl23.googlebot.com
13.11.2003 - 07:45:19 | 64.68.80.52 | crawl23.googlebot.com
13.11.2003 - 07:45:26 | 64.68.80.18 | crawl22.googlebot.com
13.11.2003 - 07:45:36 | 64.68.80.73 | crawl24.googlebot.com
13.11.2003 - 08:26:01 | 64.68.80.13 | crawl22.googlebot.com
13.11.2003 - 08:30:45 | 64.68.80.49 | crawl23.googlebot.com
13.11.2003 - 08:35:35 | 64.68.80.57 | crawl23.googlebot.com
13.11.2003 - 08:35:46 | 64.68.80.74 | crawl24.googlebot.com
13.11.2003 - 08:36:07 | 64.68.80.74 | crawl24.googlebot.com
13.11.2003 - 08:39:23 | 64.68.80.17 | crawl22.googlebot.com
13.11.2003 - 08:47:31 | 64.68.80.18 | crawl22.googlebot.com
13.11.2003 - 08:51:07 | 64.68.80.3 | crawl22.googlebot.com
13.11.2003 - 10:47:37 | 64.68.80.35 | crawl23.googlebot.com
13.11.2003 - 10:48:02 | 64.68.80.32 | crawl23.googlebot.com
13.11.2003 - 11:01:20 | 64.68.80.18 | crawl22.googlebot.com
13.11.2003 - 11:05:37 | 64.68.80.17 | crawl22.googlebot.com
13.11.2003 - 11:09:34 | 64.68.80.13 | crawl22.googlebot.com
13.11.2003 - 11:09:53 | 64.68.80.56 | crawl23.googlebot.com
13.11.2003 - 11:09:57 | 64.68.80.18 | crawl22.googlebot.com
13.11.2003 - 11:10:13 | 64.68.80.69 | crawl24.googlebot.com
13.11.2003 - 11:10:36 | 64.68.80.30 | crawl22.googlebot.com
13.11.2003 - 11:11:27 | 64.68.80.32 | crawl23.googlebot.com
13.11.2003 - 11:20:08 | 64.68.80.56 | crawl23.googlebot.com
13.11.2003 - 11:26:58 | 64.68.80.13 | crawl22.googlebot.com
13.11.2003 - 11:27:22 | 64.68.80.33 | crawl23.googlebot.com
13.11.2003 - 11:29:55 | 64.68.80.17 | crawl22.googlebot.com
13.11.2003 - 11:50:21 | 64.68.80.46 | crawl23.googlebot.com
13.11.2003 - 11:51:11 | 64.68.80.30 | crawl22.googlebot.com
13.11.2003 - 11:55:26 | 64.68.80.29 | crawl22.googlebot.com
13.11.2003 - 12:09:53 | 64.68.80.18 | crawl22.googlebot.com
13.11.2003 - 12:14:49 | 64.68.80.32 | crawl23.googlebot.com
13.11.2003 - 12:40:19 | 64.68.80.13 | crawl22.googlebot.com
13.11.2003 - 13:12:02 | 64.68.80.22 | crawl22.googlebot.com
13.11.2003 - 14:00:53 | 64.68.80.33 | crawl23.googlebot.com
13.11.2003 - 14:01:17 | 64.68.80.29 | crawl22.googlebot.com
13.11.2003 - 14:02:05 | 64.68.80.10 | crawl22.googlebot.com
13.11.2003 - 14:45:55 | 64.68.80.52 | crawl23.googlebot.com
13.11.2003 - 15:42:57 | 64.68.82.195 | crawler15.googlebot.com
13.11.2003 - 15:48:05 | 64.68.80.3 | crawl22.googlebot.com
13.11.2003 - 17:44:39 | 64.68.80.30 | crawl22.googlebot.com
15.11.2003 - 23:26:29 | 64.68.82.137 | crawler13.googlebot.com
16.11.2003 - 01:45:03 | 64.68.82.26 | crawler10.googlebot.com

Kerrassaan kummallista...

Onko teidän sivuja ladannut kyseinen "googlebot" ? :-)

NiLon [16.11.2003 04:26:49]

#

Onkohan kyseessä edes googlen oma botti epäilenpä vain. Katsoin logeja ja en ole huomannut mitään toimintaa.

shovi [16.11.2003 10:04:46]

#

Oliskohan kyseessä se botti, joka selailee sivuja ja etsii uusia linkkejä ja sivuja googleen. Ootko ilmottanu sivus äskettäin googleen?

Meitsi [16.11.2003 10:17:26]

#

Googlehan se on. Toi ei haittaa mitään se vaan kattoo et onks esim. sun sivujen sisältö muuttunu. Kunn googlehan antaa aina sen pienen kuvauksen sivun sisällöstä. Ja sitte sun sivut varmaan on ilmestyny guugleeen kun se on siellä käyny.

Oippa [16.11.2003 11:07:31]

#

voi sitä järkeäkin pikkusen käyttää....

;; ANSWER SECTION:
googlebot.com. 86395 IN NS ns1.google.com.
googlebot.com. 86395 IN NS ns2.google.com.
googlebot.com. 86395 IN NS ns3.google.com.
googlebot.com. 86395 IN NS ns4.google.com.

edit: ettet taas piilomainostanu php scriptejäs? ;)

Antti Laaksonen [16.11.2003 11:14:52]

#

Omalla MBnet-sivullani käy Googlebot noin kerran päivässä.

mikaelh [16.11.2003 11:47:56]

#

Tässä selitys sille, että yksittäisen IP:n DNS-kysely palauttaa aina eri osoitteen tuolla osoitteella:

$ host crawler1.googlebot.com
;; Truncated, retrying in TCP mode.
crawler1.googlebot.com has address 64.68.86.27
crawler1.googlebot.com has address 64.68.86.28
crawler1.googlebot.com has address 64.68.86.29
crawler1.googlebot.com has address 64.68.86.30
crawler1.googlebot.com has address 64.68.86.1
crawler1.googlebot.com has address 64.68.86.2
crawler1.googlebot.com has address 64.68.86.3
crawler1.googlebot.com has address 64.68.86.4
crawler1.googlebot.com has address 64.68.86.5
crawler1.googlebot.com has address 64.68.86.6
crawler1.googlebot.com has address 64.68.86.7
crawler1.googlebot.com has address 64.68.86.8
crawler1.googlebot.com has address 64.68.86.9
crawler1.googlebot.com has address 64.68.86.10
crawler1.googlebot.com has address 64.68.86.11
crawler1.googlebot.com has address 64.68.86.12
crawler1.googlebot.com has address 64.68.86.13
crawler1.googlebot.com has address 64.68.86.14
crawler1.googlebot.com has address 64.68.86.15
crawler1.googlebot.com has address 64.68.86.16
crawler1.googlebot.com has address 64.68.86.17
crawler1.googlebot.com has address 64.68.86.18
crawler1.googlebot.com has address 64.68.86.19
crawler1.googlebot.com has address 64.68.86.20
crawler1.googlebot.com has address 64.68.86.21
crawler1.googlebot.com has address 64.68.86.22
crawler1.googlebot.com has address 64.68.86.23
crawler1.googlebot.com has address 64.68.86.24
crawler1.googlebot.com has address 64.68.86.25
crawler1.googlebot.com has address 64.68.86.26

Eli tuohon crawler1.googlebot.com osoitteeseen on yksinkertaisesti pistetty tuo koko litania IP-osoitteita.

Oippa [16.11.2003 12:42:10]

#

toisin sanoen sitä on vaikee bannia sivuilta;)

NiKC [16.11.2003 14:03:06]

#

robots.txt on oikea tapa estää sivujen indeksointi.

http://www.robotstxt.org/wc/robots.html

NiLon [17.11.2003 02:42:06]

#

Laittaa banniin *.googlebot.com niin sillonhan homma ratkeaa.

Antti Laaksonen [17.11.2003 12:06:37]

#

Miksi se oikeastaan pitäisi bannata? :)

Oippa [17.11.2003 14:33:57]

#

noku se floodaa t^m:n statsi sivun :D

nlampola [21.11.2003 18:37:09]

#

Eikö sitä statsi sivua vois tehä niin että se ei näytä niitä googlebot.comista tulleita juttuja... Jos se ei ole sun tekemä statsisivu niin ota yhteyttä ylläpitoon...

sooda [21.11.2003 18:43:17]

#

Kumma kun mun sivuilla ei toi käy olleskaan...

Meitsi [21.11.2003 18:44:37]

#

Ilmota sivus Kuukleen.

Sivun alkuun

Vastaus

Aihe on jo aika vanha, joten et voi enää vastata siihen.

Tietoa sivustosta