{"id":178,"date":"2016-06-15T12:35:23","date_gmt":"2016-06-15T10:35:23","guid":{"rendered":"http:\/\/localhost:8888\/wordpress\/?p=178"},"modified":"2016-08-15T14:26:31","modified_gmt":"2016-08-15T12:26:31","slug":"katsaus-avoimen-datan-palveluihin","status":"publish","type":"post","link":"https:\/\/www.pilvikoodari.net\/?p=178","title":{"rendered":"Katsaus avoimen datan palveluihin"},"content":{"rendered":"

Yleist\u00e4<\/strong><\/p>\n

Avoimen datan ideana on tarjota julkiseen k\u00e4ytt\u00f6\u00f6n tietoaineistoja, joita hy\u00f6dynt\u00e4m\u00e4ll\u00e4 sovelluskehitt\u00e4j\u00e4t voivat kehitt\u00e4\u00e4 palveluita ja sovelluksia jotka hy\u00f6dynt\u00e4v\u00e4t kyseisi\u00e4 aineistoja joko sellaisenaan tai tyypillisemmin yhdistelem\u00e4ll\u00e4 eri aineistoja ja \u201crikastamalla\u201d n\u00e4in saatavaa tietoa paremmin hy\u00f6dynnett\u00e4v\u00e4\u00e4n muotoon.<\/p>\n

T\u00e4ss\u00e4 postauksessa on tarkoituksena tutustua verkossa tarjolla oleviin julkisiin rajapintoihin, jotka tarjoavat k\u00e4ytt\u00f6\u00f6n avoimen datan tietopalveluita. Postauksessa my\u00f6s hahmotellaan pieni sovellus, joka hy\u00f6dynt\u00e4\u00e4 useampaa avointa rajapintaa yhdist\u00e4m\u00e4ll\u00e4 n\u00e4iden tietoja toiminnalliseksi kokonaisuudeksi.<\/p>\n

Avoimen datan palvelujen kartoitusta<\/strong><\/p>\n

Avoimen datan palveluita l\u00f6ytyy netist\u00e4 hakemalla. Seuraavassa esitell\u00e4\u00e4n muutamia mahdollisia tietol\u00e4hteit\u00e4.<\/p>\n

Suomalainen erityisesti julkisen hallinnon tarjoamien palveluiden esittelysivusto www.avoindata.fi<\/a> esittelee yleisesti saatavilla olevia palveluita ja palvelut on kategorisoitu palvelutyyppien mukaisesti. Palvelussa esitell\u00e4\u00e4n erityisesti kaupunkien, kuntien, yliopistojen ja valtion virastojen tarjoamia palveluita, kuten kaupunkien karttapalveluita, tieverkkoon liittyv\u00e4\u00e4n tietoa, liikennetietoa yms. T\u00e4m\u00e4 sivusto tarjoaa hyv\u00e4n mahdollisuuden l\u00f6yt\u00e4\u00e4 sovelluksen\/palvelun pohjalle karttapohjan sek\u00e4 mahdollisesti jotain melko paikallisesti hy\u00f6dynnett\u00e4v\u00e4\u00e4 tietoa, kuten vaikkapa Tampereen kaupungin luontopolkurastit tai Tampereen kaupungin linja-autoliikenteen aikataulut.<\/p>\n

Toinen hyv\u00e4 paikka rajapintojen hakemiseen on http:\/\/apisuomi.fi\/<\/a>. Sivustolla listataan ja esitell\u00e4\u00e4n ilmaisia rajapintoja laidasta laitaan.<\/p>\n

S\u00e4\u00e4tietoja tarjoaa Suomessa Ilmatieteen laitos<\/strong>. Palvelu on maksuton, mutta vaatii rekister\u00f6itymisen. Tietoaineistoja on hyvin paljon erilaisia (http:\/\/ilmatieteenlaitos.fi\/avoin-data-avattavat-aineistot<\/a>) mutta esimerkiksi s\u00e4\u00e4havainnot saa kysytty\u00e4 vuodesta 2010 alkaen 10 minuutin tarkuudella.<\/p>\n

Hieman eri tyyppist\u00e4 avointa dataa on avannut Trafi<\/strong>, joka tarjoaa 820 Mt kokoisen CSV -tiedoston ajoneuvodatasta. Kyseess\u00e4 ei siis ole varsinainen online-palvelu avoimelle datalle, mutta er\u00e4\u00e4nlainen avoin tietopalvelu t\u00e4m\u00e4kin. http:\/\/www.trafi.fi\/tietopalvelut\/avoin_data<\/a><\/p>\n

Tilastokeskus<\/strong> tarjoaa erilaista tilastotietoa n\u00e4pp\u00e4r\u00e4sti esim. postinumerolla haettavaksi. Tietoa l\u00f6ytyy muun muassa v\u00e4est\u00f6n ik\u00e4rakenteesta alueittain. Tilastokeskus tarjoaa tiedot ns. PX-Web API -rajapinnan kautta joka mahdollistaa monipuliset kyselyt tilastokeskuksen avoimeen tietokantaan. Palvelupyynn\u00f6n vastaus on JSON-formaatissa.<\/p>\n

Liikennevirasto<\/strong> tuottaa avointa dataa liikenteest\u00e4 ja tiest\u00f6st\u00e4. Saatavilla on esimerkiksi kelikameroiden kuvat (https:\/\/github.com\/finnishtransportagency\/digitraffic\/wiki\/Kelikameroiden%20esiasetukset<\/a>).<\/p>\n

http:\/\/www.liikennevirasto.fi\/avoindata\/palvelut<\/a><\/p>\n

Patentti\u2014ja rekisterihallitus PRH<\/strong> tarjoaa avoimena datana mm. yritystiedot. (http:\/\/avoindata.prh.fi\/<\/a>)<\/p>\n

Paikkatietoon liittyv\u00e4t palvelutyypit WMS ja WFS
\n<\/strong><\/p>\n

Kartta-aineistot tuotetaan tyypillisesti ns. Web Map Service<\/strong> (WMS<\/strong>) -tyyppisen\u00e4 palveluna. Ideana on, ett\u00e4 palvelu toteuttaa WMS -rajapinnan ja tarjoaa rajapintaa k\u00e4ytt\u00e4v\u00e4lle mahdollisuuden kysy\u00e4 \u201ckartan palasia\u201d kuvatiedostoina. Palvelu tarjoaa karttatiedon esim. TIFF- kuvaformaatissa. Esimerkki t\u00e4llaisesta palvelusta on Tampereen kantakartta (https:\/\/www.avoindata.fi\/data\/fi\/dataset\/tampereen-kantakartta<\/a>) joka sis\u00e4lt\u00e4\u00e4 tietoja mm. kiinteist\u00f6ist\u00e4, tiest\u00f6st\u00e4 ja korkeusasemista. Aineisto p\u00e4ivittyy jatkuvasti mm. rakennuslupien kautta.<\/p>\n

https:\/\/en.wikipedia.org\/wiki\/Web_Map_Service<\/a><\/p>\n

WFS<\/strong> eli Web Feature Service<\/strong> -tyyppiset palvelut tarjoavat puolestaan sijaintitietoon nojautuvaa muuta dataa. WFS -palvelurajapinta voi sis\u00e4lt\u00e4\u00e4 toteutuksen datan hakemiseen, lis\u00e4\u00e4miseen, p\u00e4ivitt\u00e4miseen ja poistamiseen (Transactional WFS, WFS-T). Avoimen datan palveluissa kyseess\u00e4 on kuitenkin yleens\u00e4 vain ns. Basic WFS -palvelutoteutus joka tarjoaa pelk\u00e4t hakupalvelut tietyn datan hakemiseen. Esimerkki WFS -palvelusta on Tampereen pelikent\u00e4t -palvelu (https:\/\/www.avoindata.fi\/data\/fi\/dataset\/tampereen-pelikentat<\/a>).<\/p>\n

https:\/\/en.wikipedia.org\/wiki\/Web_Feature_Service<\/a><\/p>\n

Palvelujen palauttamat tietoformaatit<\/strong><\/p>\n

Monet avoimen datan palvelut palauttavat dataa tekstuaalisessa muodossa, kuten XML- tai JSON -formaatissa<\/strong>. T\u00e4m\u00e4 formaatti on helposti hy\u00f6dynnett\u00e4viss\u00e4 ohjelmallisesti ja k\u00e4tev\u00e4 erityisesti ns. onlinetoiminnallisuudessa, jossa tietoja haetaan sit\u00e4 mukaa kuin tarvitaan, esim. sijainnin muuttuessa.<\/p>\n

Karttatieto palautuu WMS-palveluista kuvatiedostoina<\/strong>, kuten edell\u00e4 kuvattiiin. Sovelluksen\/palvelun teht\u00e4v\u00e4ksi j\u00e4\u00e4 kuvan esitt\u00e4minen ja kuvatiedon p\u00e4\u00e4ll\u00e4 esitett\u00e4v\u00e4n lis\u00e4tiedon hakeminen ja esitt\u00e4minen.<\/p>\n

Jotkin palveluntarjoajat tarjoavat datan k\u00e4ytt\u00f6\u00f6n tiedostomuodossa<\/strong>. Esim. Trafin tarjoama yli 800 Mt kokoinen CSV -tiedosto on er\u00e4\u00e4nlainen tietol\u00e4hde, vaikka se ei olekaan palvelumuodossa. Mik\u00e4li tietol\u00e4hde on CSV -muodossa, sovelluskehitt\u00e4j\u00e4 voisi periaatteessa tallentaa tiedot helpohkosti tietokantaan ja hy\u00f6dynt\u00e4\u00e4 tietoja sitten omassa sovelluksessa tietokannan avulla. T\u00e4ll\u00f6in on kuitenkin huomattava ainakin kaksi seikkaa: aineisto ei pysy ajan tasalla itsest\u00e4\u00e4n vaan vaatii sovelluskehitt\u00e4j\u00e4n manuaalisia tai automatisoituja toimia aineiston p\u00e4ivitt\u00e4miseksi. Toinen seikka on tekij\u00e4noikeudelliset seikat; kannattaa varmistaa ett\u00e4 tietojen \u201cuudelleentallennus\u201d sek\u00e4 hy\u00f6dynt\u00e4minen oman palvelun kautta on sallittua. Kyseess\u00e4h\u00e4n on tavallaan palveluntarjoajan tietosis\u00e4ll\u00f6n uudelleen tarjoaminen.<\/p>\n

Sovellus, joka yhdist\u00e4\u00e4 usean avoimen datal\u00e4hteen tietoja<\/strong><\/p>\n

Suunnitellaan seuraavaksi jokin sovellus, joka k\u00e4ytt\u00e4\u00e4 avoimen datan l\u00e4hteit\u00e4. N\u00e4in saamme hieman konkreettisemman tuntuman erilaisiin avoimen datan l\u00e4hteisiin: miten niist\u00e4 haetaan tietoa ja miss\u00e4 formaatissa dataa on tarjolla.<\/p>\n

Tampereen alueella asuvana haluaisin katsella Tampereen eri ulosmenov\u00e4ylien s\u00e4\u00e4tilannetta ja liikennetietoja siten, ett\u00e4 valitsen sovelluksessa ulosmenov\u00e4yl\u00e4n ja minulle n\u00e4ytet\u00e4\u00e4n eri l\u00e4hteist\u00e4 ker\u00e4tty\u00e4 dataa kyseiselt\u00e4 ulosmenov\u00e4yl\u00e4lt\u00e4. Suunnittelemme yksinkertaisen sovelluksen, josta voidaan valita jokin Tampereen ulosmenov\u00e4ylist\u00e4 ja sen j\u00e4lkeen sovellus n\u00e4ytt\u00e4\u00e4 kyseisen ulosmenov\u00e4yl\u00e4n tietoja eri l\u00e4hteist\u00e4 yhdistellen.<\/p>\n

Sovellus voisi k\u00e4ytt\u00e4\u00e4 ainakin seuraavia avoimen datan palveluita:
\n– liikenneviraston kelikamerakuva
\n– liikenneviraston LAM aseman tiedot (liikennem\u00e4\u00e4r\u00e4 molempiin suuntiin ja mitattu keskinopeus molempiin suuntiin)
\n– ilmatieteenlaitoksen reaaliaikaiset s\u00e4\u00e4tiedot l\u00e4himm\u00e4lt\u00e4 havaintoasemalta
\n– ilmatieteenlaitoksen s\u00e4\u00e4tiedot viimeisimm\u00e4n 2 tunnin ajalta, jotta voidaan sanoa onko l\u00e4mp\u00f6tila laskussa vai nousussa<\/p>\n

Koska tiedot ker\u00e4t\u00e4\u00e4n eri l\u00e4hteist\u00e4 ja niiden v\u00e4lill\u00e4 ei ole suoraa riippuvuutta, tehd\u00e4\u00e4n tietojen yhdist\u00e4minen ns. mappaustaulukolla. T\u00e4m\u00e4 tapa on mahdollinen, koska sovellus perustuu siihen ett\u00e4 k\u00e4ytt\u00e4j\u00e4 ensin valitsee jonkin havainnointipisteen tuettujen pisteiden listalta.<\/p>\n

Tietol\u00e4hteet k\u00e4ytt\u00e4v\u00e4t hakuoperaatioisssaan hyvin erilaisia tunnisteita. Kelikameroilla on omat tunnisteensa, LAM -asemilla on LAM-tunnistenumerot ja Ilmatieteenlaitoksen s\u00e4\u00e4asemilla on omat tunnisteensa. On siis muodostettava taulukko, johon ker\u00e4t\u00e4\u00e4n kutakin\u00a0 havainnointipistett\u00e4 vastaavien osaj\u00e4rjestelmien k\u00e4ytt\u00e4m\u00e4t tunnisteet.<\/p>\n

Seuraavassa taulukossa on esitetty viiden Tampereen ymp\u00e4rist\u00f6n havainnointipisteen tunnistenumeroita:<\/p>\n

\"avoin_data_sov1_taul\"<\/a><\/p>\n

L\u00e4hteet<\/strong>
\nKelikamerat:
\nhttp:\/\/tie.digitraffic.fi\/sujuvuus\/ws\/cameraPresets<\/a><\/p>\n

LAM tunnisteet:
\nhttps:\/\/github.com\/finnishtransportagency\/metadata\/blob\/master\/csv\/meta_traffic_stations.csv<\/a>
\nhttps:\/\/github.com\/finnishtransportagency\/digitraffic\/wiki\/Ajantasaiset%20LAM%20mittaustiedot<\/a><\/p>\n

S\u00e4\u00e4asemat:
\nhttp:\/\/ilmatieteenlaitos.fi\/havaintoasemat<\/a>, http:\/\/ilmatieteenlaitos.fi\/avoin-data-saahavainnot<\/a><\/p>\n

Sovellukseen on helppo lis\u00e4t\u00e4 uusia tietol\u00e4hteit\u00e4 my\u00f6hemmin, lis\u00e4\u00e4m\u00e4ll\u00e4 tietol\u00e4hteen tiedot taulukkoon ja toteuttamalla tietol\u00e4hdett\u00e4 vastaavan tiedonhakulogiikan.<\/p>\n

Sovelluksessa hy\u00f6dynnett\u00e4v\u00e4t rajapinnat tarkemmin<\/strong><\/p>\n

Kelikamerakuva<\/strong>
\nHaetaan kelikamerakuva osoitteesta http:\/\/weathercam.digitraffic.fi\/[kelikameran tunniste].jpg, esimerkiksi http:\/\/weathercam.digitraffic.fi\/C0451002.jpg<\/a><\/p>\n

LAM tiedot<\/strong>
\nKysely suoritetaan osoitteeseen http:\/\/tie.digitraffic.fi\/sujuvuus\/ws\/lamData<\/a>
\nVastauksena saadaaan xml muotoinen vastaus, jonka skeema l\u00f6ytyy osoitteesta
\nhttp:\/\/tie.digitraffic.fi\/sujuvuus\/ws\/lamData?wsdl<\/a>
\nXML vastaus pit\u00e4\u00e4 siis parsia ja poimia siit\u00e4 halutut tiedot eli liikennevolyymit sek\u00e4 keskinopeustiedot halutulle LAM asemalle.<\/p>\n

S\u00e4\u00e4asemien tietokyselyt<\/strong>
\nS\u00e4\u00e4asemien tietokyselyt pohjautuvat s\u00e4\u00e4aseman tunnisteeseen eli ns. FMISID -tunnisteeseen. Kyselyn suorittamiseen vaaditaan API Key eli avain, jota k\u00e4ytt\u00e4m\u00e4ll\u00e4 hakuja voi tehd\u00e4. Ilman avainta ei voi suorittaa kyselyj\u00e4. Kyselyn esimerkki JavaScripti\u00e4 k\u00e4ytt\u00e4en l\u00f6ytyy t\u00e4\u00e4lt\u00e4: http:\/\/en.ilmatieteenlaitos.fi\/open-data-manual<\/a><\/p>\n

Sovelluksen k\u00e4ytt\u00f6liittym\u00e4n hahmottelu<\/strong><\/p>\n

Sovelluksen p\u00e4\u00e4ikkuna on yksinkertaistettu graafinen n\u00e4kym\u00e4, josta voi valita klikkaamalla jonkin Tampereen ulosmenov\u00e4yl\u00e4n:<\/p>\n

\"avoin_data_sov1_start\"<\/a>Kun k\u00e4ytt\u00e4j\u00e4 klikkaa jotain ulosmenov\u00e4yl\u00e4n nime\u00e4, suoritetaan vastaavat tietopyynn\u00f6t, parsitaan vastauksista oleelliset tiedot, sek\u00e4 n\u00e4ytet\u00e4\u00e4n k\u00e4ytt\u00e4j\u00e4lle tiedot:<\/p>\n

\"avoin_data_sov1_selected\"<\/a>Yhteenveto<\/strong><\/p>\n

T\u00e4ss\u00e4 postauksessa tutustuttiin avoimen datan l\u00e4hteiden luonteeseen, tekniikkaan ja saatavilla olevien palveluiden l\u00f6yt\u00e4miseen. Hahmottelimme my\u00f6s yksinkertaisen sovelluksen, jonka suunnittelussa saatiin hieman tarkempaa tietoa muutamasta rajapinnasta sek\u00e4 niiden tuottamien tietojen yhdist\u00e4misest\u00e4.<\/p>\n

Avoimen datan palveluista syntyi k\u00e4sitys, ett\u00e4 yleens\u00e4 palvelut ovat hyvin itsen\u00e4isi\u00e4 ja tietojen yhdist\u00e4minen ei v\u00e4ltt\u00e4m\u00e4tt\u00e4 ole suoraviivaista, jos tiedot eiv\u00e4t tule samalta tuottajalta.<\/p>\n

Karttapohjaisiin palveluihin tutustuessa syntyi k\u00e4sitys, ett\u00e4 karttapohjiin perustuvia erilaisia tietopalveluja on melko hyvin tarjolla. Erityisesti kaupungit ja kunnat ovat kunnostautuneet avoimen datan tarjoamisessa. N\u00e4iden tarjoamat tietopalvelut ovat kuitenkin tyypillisesti p\u00e4tevi\u00e4 vain paikalliseen k\u00e4ytt\u00f6\u00f6n ja n\u00e4in ollen niiden potentiaalinen k\u00e4ytt\u00e4j\u00e4joukko rajautuu maantieteellisell\u00e4 rajauksella kyseisen kaupungin\/kunnan alueelle.<\/p>\n

Joka tapauksessa avoimen datan palvelut tarjoavat ohjelmistokehitt\u00e4jille valmiin pohjadatan, jonka p\u00e4\u00e4lle voi toteuttaa erilaisia palveluita.<\/p>\n","protected":false},"excerpt":{"rendered":"

Yleist\u00e4 Avoimen datan ideana on tarjota julkiseen k\u00e4ytt\u00f6\u00f6n tietoaineistoja, joita hy\u00f6dynt\u00e4m\u00e4ll\u00e4 sovelluskehitt\u00e4j\u00e4t voivat kehitt\u00e4\u00e4 palveluita ja sovelluksia jotka hy\u00f6dynt\u00e4v\u00e4t kyseisi\u00e4 aineistoja joko sellaisenaan tai tyypillisemmin yhdistelem\u00e4ll\u00e4 eri aineistoja ja \u201crikastamalla\u201d n\u00e4in saatavaa tietoa paremmin hy\u00f6dynnett\u00e4v\u00e4\u00e4n muotoon. T\u00e4ss\u00e4 postauksessa on tarkoituksena tutustua verkossa tarjolla oleviin julkisiin rajapintoihin, jotka tarjoavat k\u00e4ytt\u00f6\u00f6n avoimen datan tietopalveluita. Postauksessa my\u00f6s hahmotellaan … Lue lis\u00e4\u00e4<\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9],"tags":[],"class_list":["post-178","post","type-post","status-publish","format-standard","hentry","category-avoin-data"],"_links":{"self":[{"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/posts\/178","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=178"}],"version-history":[{"count":34,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/posts\/178\/revisions"}],"predecessor-version":[{"id":342,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=\/wp\/v2\/posts\/178\/revisions\/342"}],"wp:attachment":[{"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=178"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=178"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pilvikoodari.net\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=178"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}