Keskustelu: Nettisivujen teko: Nettisivuilla botti-ongelma

Hei,

Ylläpidän meidän ainejärjestön nettisivuja ja olen tehnyt ne Joomlalla. Joomlasta ja sen lisäosista taitaa olla jo vanhat versiot siellä ja ehkä siksi keväällä kävi ilmi, että meidän nettisivuilta oli lähetetty paljon roskapostia. Joku oli tieten onnistunut murtautumaan sivuille ja lisäämään sinne omaa koodiaan, vai? Kun en heti pystynyt asiaan paneutua, niin palveluntarjoaja esti postien lähettämisen sivuilta ja sivujen annettiin edelleen olla paikoillaan, kunnes minulla olisi aikaa selvittää tätä ongelmaa.

No, kohta sen jälkeen palveluntarjoaja esti sivut uudestaan sen vuoksi, että siellä oli jatkuvasti liikennettä enemmän kuin he sallivat ilmaisella sivustolla olla eli yli 200 kävijää päivässä. Otin hiukan selvää näistä kävijöistä ja huomasin, että Google Analyticsin mukaan sivuilla kävi ainoastaan alle 10 kävijää päivässä. Nämä palveluntarjoajan laskemat "kävijät" ovat suurimmaksi osaksi siis jotain botteja tai vastaavia. Otin sivut nyt kokonaan pois netistä ja laitoin sinne ilmoituksen, jossa pahoitellaan, että sivut ovat hetkellisesti pois käytöstä. Toivoin, että botit ajan kanssa kyllästyvät käymään sivuilla, jossa ei ole mitään. No, kyllä sivuilla käynnit putosivatkin suuresti ja aluksi näytti, että botit lopettavat sivun selailun kokonaan, mutta nyt sivuilla käynnit ovat vakiintuneet noin 100 kävijään päivässä ja luku jopa lähti tästä kasvamaan.

Miten ihmeessä voisin estää näitä botteja käymästä sivuilla? Koetin netistä etsiä tähän ohjeita, mutta vaikuttaa siltä, että tämä työ on vaikeaa ja tulokset epävarmoja. Mitä tämän ongelman kanssa voi tehdä?! Jos laitan sivut uudestaan nettiin (päivitettynä uusimmat versiot Joomlasta ja lisäosista), niin eikö se kävijämäärä räjähdä kohta uudestaan kattoon?

Voit seurata, mitä sivuja botit pyytävät, ja blokata niitä suoraan pyyntöjen tai IP-osoitteiden perusteella. Esimerkiksi Ohjelmointiputkasta bannataan automaattisesti botteja, jotka hakevat WordPress- tai Joomla-sivuja, koska on tiedossa, että tällaisia sivuja ei ole ja botit ovat silloin vain etsimässä tietoturva-aukkoja. IP-osoitteita on kertynyt htaccess-tiedostoon kohtalainen lista. Suuri osa boteista näyttää tulevan Aasiasta ja Etelä-Amerikasta.

Enpä tiedä miten bottien sivupyyntöjä seurataan tai miten siitä sivupyynnöstä voi tunnistaa onko kyseessä oikea henkilö vai botti. Enkä tiedä edes mistä löydän sen botin IP-osoitteen sen sivupyynnön jälkeen.

Laitoin tuon IP-listan bannaukseen, kun ne ovat aika varmoja haitallisia botteja. Saa nähdä vähentääkö se sivuilla käyntejä.

Kai nyt palvelimeltasi jostain saa lokitiedot? Myös oma (esim. PHP:llä toteutettu) 404-virhesivu voi auttaa asiassa. Bannattavan tunnistaa helpoiten siitä, että on haettu mahdollisesti tietoturva-aukon sisältävää sivua, jota palvelimella ei takuulla ole. Esimerkiksi jos Joomla-sivustoltasi joku yrittää pyytää WordPress-sivuja (wp-login.php, wp-content) tai jos numeerisen id-parametrin paikalle on syötetty nettiosoite, voit aika huoletta laittaa bannit – varsinkin, jos IP-osoite sijoittuu RIPE-tietokannan mukaan ulkomaille. Osalla boteista on User-Agent-otsikossa maininta, että ovat botteja, mutta toisaalta tällöin pitäisi silti pyrkiä hyväksymään asialliset hakukoneet. Ainakin aiemmin suuri osa boteista myös esiintyi IE:n vanhoina versioina (IE 5-6), nyt en ole tilannetta seurannut.

Aiemmin sivuilleni lähetettiin roskapostia kommentointilomakkeen kautta. Selain esiintyi juuri IE 5.5:nä tai 6:na. En tosin ole varma, oliko kyseessä botti.

Katsopas ovatko kiusanhenget lisänneet sivuillesi ylimääräisiä php-tiedostoja. Jos on, niin poista ne. Päivitä myös julkaisujärjestelmäsi ajantasalle. Tosiaan, kun sivusi ovat _ilmaisella_ sivutilalla, on keinosi aika vähäiset.

Tein sivut nyt kokonaan uusiksi puhtaasta Joomla-paketista ja päivitin sinne sivujen sisällön ja tällä varmistin, että sivuilta poistuu php-tiedostot, joita joku on voinut sinne laittaa. Samalla tietysti päivitin kaikki lisäosat uusimpiin versioihin.

Laitoin sivut tiistaina takaisin nettiin, kun ne oli suunnilleen kuukauden sieltä ollut pois. Tuohon mennessä botteja kävi sivuille enää <50 per päivä. Kuitenkin välittömästi, kun sivut olin nettiin saanut, alkoivat botit jälleen ryntäyksensä sivuille. Niitä käy sivuilla jopa lähes 400 päivässä. Bannasin myös nuo Metabolixin antamat IP-osoitteet, mutta minusta tuntuu, ettei sillä ole paljonkaan vaikutusta asiaan.

En tiedä onko minulla paljonkaan saatavilla sellaisia lokitietoja, joista saan kävijöiden ip-osoitteet ja haetut sivupyynnöt. Löysin sellaisen tiedoston kuin php_error.log, joka sisälsi paljon näitä Joomlan virheilmoituksia. Siinä on siis aika, jolloin virhe on tullut, ja se virheilmoitus. Siitä ei siis löydy mitään tietoja siitä kuka on sen virheen saanut aikaiseksi ja miten. Kellonajoista voin kuitenkin päätellä, että suurin osa noista virheistä ei ole minun aiheuttamiani eli botit siis oikeasti etsivät tietoturva-aukkoja sivuilta.

Löysin myös toisen tiedoston, jonka nimi on php_mail.log. Sen perusteella näyttäisi, että sivultani on jälleen parin päivän sisällä koetettu lähettää useampi roskaposti. Miten ihmeessä tämä on mahdollista, kun päivitin sivut niin, ettei siellä varmasti ole mitään ulkopuolista koodia? Mahtaisiko tämä liittyä tuohon kriittiseen tietoturvapäivitykseen, joka Joomlaan on tänään tulossa? Olisiko kyseessä juuri tämä tietoturva-aukko, jonka avulla botit heti sivut nettiin laitettuani lisäsivät sinne omaa koodiaan ja alkoivat lähettää roskapostia?

Onko tähän tilanteeseen vielä jotain ajatuksia? Mitä pitäisi seuraavaksi tehdä?

Poista sivun <head> -tägeistä viitteet Joomla!-julkaisujärjestelmään. Eli vaikkei sivustollasi olisikaan haavoittunutta Joomlaa, saattaa spämmibotit silti kokeilla systemaattisesti tätä. Joomla! on vanhoista aukoistaan tunnettu bottien keskuudessa, joten spämmerit iskevät erilaisia hakuja käyttäen systemaattisesti kaikkiin joomla!-sivustoihin.

Poistin head-osiosta viitteet Joomlaan. En kuitenkaan usko, että se erityisemmin bottien käyntejä vähentää. Palveluntarjoaja sanoi, etteivät he tarjoa noita loki-tiedostoja, joiden avulla voisin botit tunnistaa ja bannata. Koetin sitten kysellä suomalaisen Joomla-sivuston foorumilta, että millä lisäosalla saisin ratkaistua tämän botti-ongelman, mutta vastauksia ei ole kuulunut.

Olisiko teillä tietoa miten saisin Joomlassa kaivettua esimerkiksi ne sivupyynnöt ja IP:t esiin, jotta voisin käsipelillä kerryttää listaa bannattavista IP-osoitteista?

En tunne Joomlaa tarkemmin, mutta Joomlan sivuilta näyttäisi löytyvän lisäosia sekä lokitietojen keräämiseen (mm. LOGman, CoalaWeb) että automaattiseen suojaukseen (mm. AdminExile).

Kysyisin, onko näistä boteista sivustollesi jotain haittaa? Vai ärsyttääkö sinua vain, että botit siellä pyörivät?

AkeMake kirjoitti:

palveluntarjoaja esti sivut uudestaan sen vuoksi, että siellä oli jatkuvasti liikennettä enemmän kuin he sallivat ilmaisella sivustolla olla eli yli 200 kävijää päivässä.