Keskustelu: Yleinen keskustelu: Mitä on big data?

Olen lukemassa kirjaa Big data ja pilvipalvelut (kirjoittanut Immo Salo). Yritän alkaa opiskelemaan hieman big datan ideaa että voisin päätellä onko lausahdus "Big data on tulevaisuuden öljy" totta. Ensinnäkin kiinostaisi tiettää onko täällä osaamista tälle alalle eli ymmärtääkö joku asiaa. Jos joku tietää jotain laittakaa linkkejä ja kirjojen nimiä mistä asiaa voi oppiskella. Toiseksi ihmettelen big data käsitettä. Miten se eroaa siitä että esim. elektronisesta sademittarista kerätään dataa ja näytetään se. Onko big data tavallaan käsitys siitä että sitä jatkokäytetään eli tallennettaisi tieto ja vertailtaisi esim. viimevuotisiin tuloksiin ja ennustettaisi säätä?

Anteeksi huono kielioppi, aiheesta on vaikea kirjoittaa kun ei tunne sitä paljoa tai sen sanastoa.

Luulisi, että big datan käsite on purettu auki siinä sun kirjassasi jo alkuvaiheessa, eikös?

Big data voisi ainakin olla sitä että sulla on tehdas, joka sisältää 3000 eri anturia. Järjestelmä tallentaa jokaisen anturin mittauksen puolen sekunnin välein joka ikinen päivä eli dataa löytyy vaikka kuinka -> big data. Ongelma on se kuinka sitä voi hyödyntää järkevästi. Dataa on - mutta mitä sen jälkeen?

Näin olen ainakin itse ymmärtänyt.

Mielenkiintoinen lehtijuttu, joka ehkä sivuaa aihetta:
http://www.hs.fi/ura/a1457669605311

Minusta big datalla tarkoitetaan joko suuraineistoa tai erittäin suurta tietoaineistoa, http://www.duodecimlehti.fi/web/guest/arkisto?p_p_id=Article_WAR_DL6_Articleportlet&p_p_action­=1&p_p_state=maximized&p_p_mode=view&p_p_col_id­=column-1&p_p_col_count=1&viewType=viewArticle&tunnus­=duo12538 . En sitten tiedä, mitä eroa noilla kahdella käsitteellä on.

Olen ymmärtänyt, että big data liittyy teollisen internetin vallankumoukseen ja on siellä yksi trendisana muiden joukossa (mm. industry 4.0, IoT, digitalisaatio yms.).

Käytännössä tämä tarkoittaa (minun ymmärryksen mukaan) juuri mitä Quirzo mainitsi: suurten datamäärien keräystä laitteista/koneista, datan jalostamista ja viimekädessä jalostetun datan myymistä eteenpäin. Kerätään sokkona serverit täyteen sitä itseänsä ja yritetään perästäpäin miettiä että mitäs tällä vois tehdä. Puuhun kiipeämistä perse edellä.

Google ja muutamat muut jätit pystyvät tekemään tällä bisnestä, muut vain tuhlaa aikaansa.

Perustelu mielipiteelleni: on paljon helpompi jalostaa big data itse laitteessa, kun siellä on kaikki mahdollinen ja enemmänkin tietoa sen tuottamiseksi, ja yleensä myös riittävästi prosessoriaikaa tehdä se jossain välissä. Miksi siirtää gigatavu tauhkaa pilveen, kun jalostamisen jälkeen se oleellinen tieto mahtuu todennäköisesti murto-osan murto-osaan tästä.

Esimerkiksi voitaisiin ottaa Google. Google käy tietynväliajoin eri sivustoja läpi ja tallentaa tietokantaan näistä erillaisia tietoja. Googlella on miljoonittain eri sivustoja tietokannassa, miten tätä tietoa voidaan järkevästi käsitellä nopeasti?

Googlella on suljettu järjestelmä, mitä se ei tarjoile muille, mutta google on julkaissut muutamia artikkeleita omasta järjestelmästä ja näiden perusteella on luotu avoin Apache Hadoop ohjelmisto. (Näin olen ymmärtänyt)

Big dataa voi opiskella Helsingin yliopistolla (Datatiede / data science).

TL;DR Big data, miten suuria datamassoja voidaan käsitellä tehokkaasti ja nopeasti.

Toivottavasti tästä saat jotain ymmärrystä.
Itse en ole opiskellut big dataa, mutta kaveripiirissä on muutamia jotka opiskelevat Datatiedettä.

Tuo väite että vain isot firmat kuten google hyötyvät big datasta on väärä. Kirajssa Big data ja pilvipalvelut Immo Salo kertoo yrityksestä joka otti netistä dataa säästä ja (taisi olla) maanjärjestyksistä. Se yhdisti nämä tideot ja teki vakuutusyhtiöille arvioita. Tämä yritys myytiin jollekin isommalle firmalla ja kauppahinta taisi olla 1 miljardi. Eli kuka tahansa pystyy tekemään miljoonia big data ilmiöllä jos vain on kiinnostusta opiskella. Big data markkinoiden arvo arvioidaan olevan 300-500 miljardissa eli mistään pikkusummista ei puhuta. Sanokaa kuitenkin jos jollain on tietoa enemmän bigdatasta niin kiinostaisi kysellä vähän vaikka s-postilla.

En missään vaiheessa viittaa että vain isot firmat hyötyvät big datasta. Otin vain googlen esimerkkinä siitä, että heillä on miljoonittain erillaista dataa ja näistä datoista on saava nopeasti haettua se tieto mitä esimerkiksi sinä haluat googlettaa. Lisäksi on kehitetty Apache Hadoop jonka kuka tahansa voi ladata ja asentaa omalle laitteistolle ja tämä ohjelmisto on tehty vastaamaan googlen omaa ojelmistoa.

Luulen, että E1ss viittasi minun hieman provosoivaan kommenttiini :) Selvästi minä näen Big Datan vain oman ammattisektorini (teollisuus) kantilta, vaikka se todellisuudessa lienee paljon laajempi (ja epämääräisempi) käsite.