Tietääkö kukaan mitään hyvää ilmaista web spider softaa, joka keräisi sivujen meta (keywords, descriptions) -ja title tiedot ja osaisi seurata sivulla olevia linkkejä ja pystyisi tallentamaan niitä tiedostoon.
Itse testasin jotain visual web spider nimistä ohjelmaa, mutta ilman maksamista se ei suostu tallentamaan tavuakaan tietoa. Toinen hyvä oli Zoom indexer, mutta se ei osannut tallentaa 10 sivua enempää tietoa ellei suostunut maksamaan.
EDIT: Yhden ilmaisen löysin, mutta se ei osannut hakea kuin vain sivujen osoitteet eikä se ilmeisesti osannut seurata sivun linkkejä (Phoenix Spider)
Aihe on jo aika vanha, joten et voi enää vastata siihen.