YTI -hankkeessa kehitetään tiedon jakeluratkaisua

Kansallisessa palveluarkkitehtuurissa (KaPA) on toteutettu Viron X-Road -ratkaisua hyödyntäen Suomi.fi-palveluväylä organisaatioiden väliseen tiedonvaihtoon. Palveluväylä tarjoaa vakioidun tavan tietojen siirtoon mahdollistaen turvallisten palvelukokonaisuuksien rakentamisen kansalaisille, yrityksille ja viranomaisille. Nykyisin suurtenkin tietomäärien siirtäminen organisaatioiden välillä on todellisuutta ja palveluiden sähköistyessä tiedonsiirtojen merkitys korostuu. Palveluväylä on kuitenkin tarkoitettu erityisesti nopeiden, mutta melko pienien viestien turvalliseen vaihtoon. Alun perin sitä ei ole suunniteltu suurten tietomassojen siirtoon.

YTI – Yhteinen tiedon hallinta – on osa Digitalisoidaan julkiset palvelut -kärkihankekokonaisuutta. YTI painottuu yhtenäisen palvelukokemuksen muodostamiseksi tarvittavan yhteisen tiedon hallintamallin ja yhteiskäyttöisen tietoympäristön kehittämiseen. Yhtenä YTI-hankkeen osakokonaisuutena on kehittää monipuolinen tiedon jakeluratkaisu, jolla voidaan mm. siirtää ja julkaista suuria tiedostoja. YTI ja Palveluväylä -hankkeet tekevät asiassa yhteistyötä ja tutkivat, kehittävät ja pilotoivat suuret tietomassojen siirtoa. Lähtökohtaisesti tavoitteena on hyödyntää palveluväylää tämän kaltaisen tiedonsiirron mahdollistajana.

Mikä on massasiirtoa?

Massasiirto ja sen vastinpari perussiirto ovat käsitteitä, jotka eivät ole välttämättä yksiselitteisiä. Konkreettinen rajanveto näiden termien välillä on hankalaa tai mahdotonta ja jaottelu kahteen eri siirtotapaan voi aiheuttaa vääriä mielikuvia ja sekaannusta Palveluväylän käyttäjissä. Palveluväylä suoriutuu jo nykyisellään hyvin tietynlaisesta massasiirrosta tietyissä olosuhteissa, mutta se ei sovi kaikkeen massasiirtoon. Kaikenlaiselle massasiirrolle ei kuitenkaan ole edes todellista tarvetta. Onkin hyvä katsoa vaihtoehtoiset ratkaisumallit hyvine ja huonoine puolineen läpi ennen varsinaista oman järjestelmän toteutustyön aloittamista.

Jotta saadaan konkreettisempi lähestymiskulma asiaan, tarkastellaan millaisesta tiedonsiirrosta Palveluväylä selviytyy hyvin ja millaisesta ei. Joissain tilanteissa tiedonsiirto Palveluväylän yli voi olla niin suurta, pitkäkestoista tai muilta ominaisuuksiltaan sellaista, että siirto väylän yli saattaa olla ongelmallista. Kyseessä voisi olla esimerkiksi tiedonsiirtotarve, joka kokonsa tai määränsä puolesta poikkeaa selvästi väylän normaalista välityskyvystä. Tällöin tiedonsiirtotarve on siis keskimääräistä suurempi. Seuraavassa taulukossa on listattuna toiminnallisuuksia verrattuna palveluväylän kyvykkyyteen ja yleisiin massasiirron ominaisuuksiin.

Toiminnallisuus	Palveluväylän ominaisuus	Massasiirron ominaisuus
Tiedonsiirto pisteestä pisteeseen, lähettäjältä yhdelle vastaanottajalle.	Suunniteltu tähän tarkoitukseen.	Voi olla, usein kuitenkin jaellaan useammalle vastaanottajalle.
Tiedonsiirto lähettäjältä monelle vastaanottajalle tai monelta lähettäjältä monelle vastaanottajalle	Hankala toteuttaa, vaatii erikoisjärjestelyjä.	Kyllä, esimerkkinä BitTorrent verkot, tiedostonjakopalvelut tai FTP palvelimet.
Käytettävä tiedonvälitysteknologia mahdollisesti hidastaa tiedonsiirtoa	X-Road protokollan tietoturvaratkaisut, salaus, viestiarkistointi jne. hidastavat tiedonsiirtoa n. 6%-19% teoreettiseen verkon siirtokykyyn verrattuna.	Lähempänä teoreettista verkon nopeutta, riippuu paljon käytettävästä teknologiasta.
Erittäin suurien tiedostojen siirto (kymmenien gigatavujen tiedostot)	Onnistuu, ei ylärajaa. Liityntäpalvelimien levytila rajoitteena (tiedoston on mahduttava levylle) + suorituskykyvaatimuksiin kiinnitettävä huomiota.	Ei ylärajaa, käytössä olevat toki rajoittavat (levytila, prosessointiteho, verkko jne.)
Siirtoratkaisu on tietoturvallinen	Kyllä	Ei välttämättä, usein kyllä.
Automaattinen uudelleenlähetys jos tiedonsiirto katkeaa	Ei, palveluväylä on tiedonsiirtokanava ja uudelleenlähetys on lähettävän palvelun (asiakasjärjestelmän) vastuulla.	Ei välttämättä, mutta usein kyllä.
Halutaan tallettaa ja jaella paljon isoja tiedostoja	Voi olla ongelmallista, riippuu tarpeesta. Tietyin reunaehdoin täysin toteutettavissa.	Suunniteltu nimenomaan tähän tarkoitukseen.
Tiedostoja voidaan siirtää paloittain	Ei, tiedosto siirretään aina kokonaan.	Tiedosto voidaan siirtää paloittain (esim. BitTorrent verkot).

Taulukko 1. Palveluväylän ja yleisten massasiirto-ominaisuuksien vertailua.

Yllä olevan taulukon pohjalta nähdään, että useimmissa tapauksissa Palveluväylän hyödyntäminen massasiirtojen tekemiseen on mahdollista ja riittävää. Samalla huomataan, että tietyissä tapauksissa Palveluväylän ominaisuudet eivät tue haluttua toiminnallisuutta.

YTI-hankkeen tiedon jakeluratkaisun työpaketissa haetaan ja tutkitaan erilaisia ratkaisuvaihtoehtoja massasiirtojen toteuttamiseksi. Yllä oleva taulukko on syntynyt tämän työn tuloksena. Tämän lisäksi ja seurauksena olemme tutkineet muitakin vaihtoehtoisia tapoja massasiirtojen tekemiseksi. Ensisijainen lähtökohta on kuitenkin hyödyntää Palveluväylää siirtojen mahdollistamiseksi. Esillä on ollut esimerkiksi skenaario löyhemmästä integraatiosta Palveluväylään niin, että tiedon siirtäjät neuvottelevat Palveluväylän läpi kulkevin viestein siitä, miten tieto siirretään. Tämän jälkeen tiedot siirretään täysin Palveluväylän ja sen käyttöoikeuksien ulkopuolella. Tällöin tiedoston siirtoon käytetty protokolla voisi olla esimerkiksi SFTP, FTP/S, HTTP tai BitTorrent. Tässä tapauksessa väylä tarjoaisi määritellyn tavan tietojen siirtoon sekä ohjeistusta tiedonsiirtotavan sopimiseen ja mahdollisesti myös koodiesimerkkejä. Mikään ei kuitenkaan estä kahta väylään liittynyttä osapuolta sopimasta tiedonsiirtotapaa muilla, kahdenkeskistä formaattia noudattavilla Palveluväylän viesteillä.

Jatkokehityksen suuntalinjoja

Tiedon jakeluratkaisun esiselvityksen alkaessa kävi nopeasti ilmi, että Palveluväylän liittyneet (ja liittymistä harkitsevat) organisaatiot tarvitsisivat usein toiminnallisuuden, jolla he voisivat kokeilla helposti ja nopeasti (ns. POC mallilla) tiedonsiirtoa Palveluväylän yli. Monessa tapauksessa kyse on siitä, että tarvitaan tapa siirtää tiedosto tai useampia tiedostoja Palveluväylään liittyneiden organisaatioiden välillä. Tyypillisesti haluttaisiin siirtää vaikkapa jokin dokumentti, tietokannan muutostiedosto, video/kuva-tiedosto tai muu vastaava binääritiedosto palvelimelta toiselle. Tätä havaittua tarvetta varten YTI-hankkeen pilottiprojektien käyttöön on tehty avoimen lähdekoodin Github projekti, jossa tiedoston siirtoon Palveluväylän yli tehdään helppokäyttöinen palvelu. Tätä palvelua voivat käyttää jatkossa vapaasti omiin tarkoituksiin kaikki Palveluväylään liittyneet osapuolet. Kehitystyö on jo alkanut ja ensimmäinen POC versio palvelusta on julkaistu Github repositoriossa täällä. Kyseisen Palveluväylän lisäkomponentin kehitys jatkuu ja lisäominaisuuksia tehdään alkuvuoden 2018 aikana.

Vuoden 2018 alkupuolen aikana on tarkoitus myös kartoittaa eri organisaatioilta Palveluväylän koettua nopeutta, optimointitarpeita ja ulkopuolisia protokollia. Näitä tietoja saadaan kerättyä mm. pilottiprojekteilta ja Palveluväylään liittyneiltä asiakkailta. Tavoitteena on tunnistaa reaalimaailman käyttötapauksia, joissa Palveluväylän nykyversion ominaisuudet eivät riitä. Tämän perusteella tehdään jatkosuunnitelmia mahdollista muutoksista ja/tai tarvittavista ominaisuuksista, joilla massasiirtojen tekeminen mahdollistetaan paremmin.

Yhtenä parannuskohteena on havaittu ohjeistuksen parantaminen. Palveluväylästä on jo nyt moneen tiedonsiirron käyttötarkoitukseen, kunhan asiaan on kiinnitetty huomioita ja panostettu esimerkiksi Palveluväylän liityntäpisteen eli liityntäpalvelimen kapasiteettiin ja optimoitu sen suorituskykyä palvelemaan paremmin haluttua käyttötarkoitusta. Suunnitelmissa on tehdä koostettu ohjeistus siitä, miten ja mitä kannattaa tehdä, jotta massasiirrot onnistuvat paremmin omassa järjestelmässä ja omalla liityntäpalvelimella. Jo nyt saatavilla olevia Palveluväylän ohjeita ja vinkkejä kannattaa katsoa täältä.

YTI-hankkeen sivut: http://vm.fi/yhteinen-tiedon-hallinta

Yhteydenotot: [email protected]

Kirjoittaja toimii Suomi.fi-palveluväylän tuoteomistajana.