Keskustelu: Ohjelmointikysymykset: Python: TE-palveluiden avointen työpaikkojen haku

Yritin tehdä Pythonilla skriptiä, joka lukisi automaattisesti montako Python-ohjelmoijan paikkaa on avoinna. Miksi tämä ei toimi?

import urllib.request

url = 'http://www.mol.fi/tyopaikat/tyopaikkatiedotus/haku/hae.htm?lang=fi&hakusana=python'
fp = urllib.request.urlopen(url)
mybytes = fp.read()

mystr = mybytes.decode("utf8")
fp.close()
print(mystr)

Kun ajoin tämän komentokehotteessa komennolla

python3 demo.py > tulos

ja etsin gnu nanolla hakusanalla Hakutuloksia, en löytänyt koodista viitteitä 54 paikkaan. Firefoxilla selatessa tätä kirjoittaessa paikkoja pitäisi olla avoinna 54 kappaletta. Saanko mitenkään palautettua tuon paikkojen lukumäärän tekstimuodossa Pythonille?

Selain hakee tulokset JavaScriptillä sivulatauksen jälkeen. Tämän näkee helposti selaimen kehitystyökaluilla, Chromen tapauksessa developer toolsin Network-tabista. Tulokset saa JSON-muodossa tällaisesta osoitteesta:

http://www.mol.fi/tyopaikat/tyopaikkatiedotus/ws/tyopaikat?lang=fi&hakusana=python&start=0&kentat=ilmoi­tus­nu­me­ro,­ty­o­ko­ke­mu­sam­mat­ti­koo­di,am­mat­ti­Level3,­teh­ta­va­ni­mi,­ty­o­ko­ke­mu­sam­mat­ti,­ty­o­nan­ta­jan­Nimi,­kun­ta,il­moi­tus­pai­va­maa­ra,­ha­ku­Paat­tyy,­ty­oa­i­ka­teks­ti­Yhdis­tetty,tyonKes­to­Koodi,­ty­on­Kesto,­ty­on­Kesto­Teks­ti­Yhdis­tet­ty,­ha­ke­mus­Osoi­te­taan,­maa­kun­ta,­maa,­ha­ku­Tyosuh­de­tyyp­pi­koo­di,­ha­ku­Tyo­ai­ka­koo­di,­ha­ku­Tyon­Kesto­Koodi&rows=300&sort=mainAmmattiRivino asc, tehtavanimi asc, tyonantajanNimi asc, viimeinenHakupaivamaara asc&facet.fkentat=ammat­ti­Level3,­maa­kun­ta,­kun­ta,­maa,­ha­ku­Tyosuh­de­tyyp­pi­koo­di,­ha­ku­Tyo­ai­ka­koo­di,­ha­ku­Tyon­Kesto­Koodi&facet.fsort=index&facet.flimit=10000