Kirjautuminen

Haku

Tehtävät

Keskustelu: Nettisivujen teko: Scraping

mkk [18.11.2011 09:49:59]

#

Vielä kokeillaan. Ehdin jo tämän asian kanssa melkein luovuttaa, mutta katsotaan vielä.

Eli tarkoitus on suorittaa eräällä nettisivulla tuhatkunta hakua joten jonkinlainen looppaus tarvitaan tämän toimintaan(tämä ehkä suurin ongelma minulla). Sivustolla on javascript käytössä ja kun olen joitain scraper ohjelmia tutkinut niin sivusto antaa komennon sulkea sivun ja estää sen näkymisen. Tämä luultavasti sen takia ettei tietoja haluta kenenkään keräävän omiin käyttötarkoituksiin tietokannasta, mutta oma tavoite on vain tarkistaa tietojen täsmäämistä.

Hakuarvo hakukenttään -> etsi -> ponnahdusikkuna pomppaa -> Tietyt tiedot esim A, D ja F tuodaan takaisin täydentämään haetun tunnuksen tietoja. --> ja sama uudestaan seuraavalla hakuarvolla.

Hakujen väliin tulee vielä pieni aikaviive ettei tapahdu ''pommittamista'', mutta se on viimeisimpiä murheita.

Kuulostaa yksinkertaiselta, mutta itsellä ei homma aukea. Onko liian suuri homma ihmiselle, jolle ei kielet kauheasti alkeita paremmin ole hallussa?

Grez [18.11.2011 11:48:13]

#

Yksi helppo vaihtoehto voisi olla käyttää oikeaa selainta ja käskyttää sitä omasta ohjelmasta.

Sami [18.11.2011 13:23:17]

#

Selenium saattaisi auttaa tuossa automatisoinnissa.

mkk [18.11.2011 13:35:01]

#

Miten Seleniumilla saa loopattua + ottamaan arvot excelistä tai notepadista. Onnistuuko se ollenkaan. Muuten vaikuttaa ihan hyvältä.

Grez [18.11.2011 13:37:16]

#

can be controlled by many programming languages

jlaire [18.11.2011 17:55:39]

#

Suosittelen Seleniumin käyttöön Rubyä ja gemiä watir-webdriver. Kirjastoja löytyy muillekin kielille, mutta tuo vaikutti kätevimmältä — vaikka en Rubystä hirveästi pidäkään.

Vastaus

Aihe on jo aika vanha, joten et voi enää vastata siihen.

Tietoa sivustosta