Kirjautuminen

Haku

Tehtävät

Keskustelu: Yleinen keskustelu: tiedon hakeminen netisivustolta tilastoja varten

jeeeje [19.11.2011 01:17:39]

#

eli pitäisi saada haettua netisivulta johon pitää kirjautua, reaaliaikaista tietoa ja siitä saatava aikaiseksi vielä jonkun asteen grafiikka diagramin yms muodossa.

ogelmana on eten tiedä millä kielellä ja mitä ohjelmaa auna käytäen. toistaiseksi olen selanut python opaan läpi ja tehnyt siinä olevat tehtävät mutta se ei antanut mitään osviitaa mistät tätä voisi aloittaa.

haetava data on eräänlaisia valuutta kurseja. samalla sivulla on useita kurseja jista pitäisi aina pimia halvin (aina listassa ylimpänä)

eli jos joku voisi vähän tökätä aloiteliaa oikeeseen suuntaan niin olisin kiitollinen

tuutti [19.11.2011 03:29:40]

#

Esim. PHP:lla:

Haet datan CURLilla (http://curl.haxx.se/). http://www.google.fi/search?&q=curl login php löytyy esimerkkejä kirjautumisesta.

Formaatista riippuen parsit datan, esimerkiksi:

HTML: http://simplehtmldom.sourceforge.net/
XML: https://www.php.net/manual/en/class.domdocument.php
JSON: https://www.php.net/manual/en/function.json-decode.php

Tallennat datan tietokantaan ja generoit tietokannan tiedoista vaikka JpGraphilla diagrammeja (http://jpgraph.net/)

Jos haluat automatisoida hakemisen niin voit laittaa cronjobilla / windowsin ajastetuilla tehtävillä ajamaan sitä hakuscriptaa tietyn väliajoin.

Vastaavat löytyy varmasti jokaselle kielelle.

Metabolix [19.11.2011 11:42:17]

#

PHP:llä kirjautumisesta on kirjoitettu koodivinkki. Perustiedot HTML:stä ovat tarpeen, jotta pystyt selvittämään, mitä tietoja kirjautumislomakkeelta lähetetään. Tiedot voi poimia yllä lueteltujen lisäksi yksinkertaisesti tekstimuotoisesta HTML-koodista hakemalla (esimerkiksi säännöllisillä lausekkeilla).

Olli [21.11.2011 15:11:55]

#

Tiedon poiminta onnistuu kyllä huomattavasti helpommin explodella, kuin säännöllisillä lausekkeilla. Explodeen vaan laittaa aloituskohdan ja lopetuskohdan.

Blaze [21.11.2011 15:37:27]

#

Ite tein yhen scraperin Nokogirillä. Voin sanoa, että datan hakeminen XPathilla oli monin verroin jotain regexp/substr-viritelmiä helpompaa. Toi nyt on Rubylle, mut muille kielille löytynee jotain vastaavia.

Vastaus

Aihe on jo aika vanha, joten et voi enää vastata siihen.

Tietoa sivustosta