Darja Solodovņikova: Datu noliktavas nepieciešams pārveidot

Datu noliktava ir speciāla datubāze, kas paredzēta lēmumu pieņemšanai. Atšķirībā no citām sistēmām, datus tur neievada lietotāji, bet tie tiek ielasīti no dažādiem datu avotiem. “Tie var būt no vienas organizācijas, dažādām struktūrām, arī ārēji dati. Rezultātā dati tiek integrēti kopā, risinātas arī kvalitātes problēmas, ja tādas radušās, un beigās dati tiek ielādēti datu noliktavā,” skaidro pētniece Darja Solodovņikova. Pēc ielādes dati netiek mainīti, bet tiek papildināti ar jauniem datiem. “Tas nozīmē, ka datu noliktavā ir vēsturiski dati, un iespējams analizēt informāciju, kas bijusi spēkā pirms pusgada, pirms gada vai jebkurā citā laikā,” stāsta pētniece.

Lai nodrošinātu lēmumu pieņemšanu, uz datu noliktavas datiem tiek veidotas atskaites. Ir dažādi rīki, kas ļauj atskaites dinamiski analizēt. Iespējams veidot grafikus, tabulas, var arī salīdzināt un datos meklēt tendences, kā arī veikt cita veida analīzi.

Tradicionālais datu noklitavās viss ir zināms – gan izstrādes, gan uzturēšanas process, bet pēdējo gadu laikā ir vērojama tendence, ka datu noliktavas mēģina lietot kā līdzekli lielo datu analīzei. Tie ir dati, kam piemīt vairākas īpašības. Galvenās trīs no tām ir apjoms, dažādība un ātrums. Šo īpašību dēļ tradicionālās datu noliktavas bez pārveides nav iespējams izmantot.

“Piemēram, lieliem datiem pieaug apjoms, un datu noliktavas nepieciešams pārveidot, lai datus varētu paralēli pārveidot vairākos datoros. Parādās daudzi jaunu datu avoti, dažādi datu formāti, t.sk. attēli, videoieraksti, sensoru dati, medicīniskie dati, un lai tos varētu attēlot datu noliktavā, ir vajadzīgi jauni datu modeļi, jo iepriekšējie vairs neder,” skaidro pētniece. Arī saistībā ar ātrumu parādās problēmas, jo tradicionālās datu noliktavās dati tiek ielādēti ik pēc noteiktiem laika intervāliem, bet nepieciešams tos analizēt uzreiz pēc to parādīšanās, tāpēc nepieciešams jauns veids datu apstrādei.

“Un šis arī iezīmē mana pētījuma lauku – lielo datu noliktavas evolūcija. Datu noliktavas kontekstā evolūciju izraisa dažādas izmaiņas gan datu avotos, gan lietotāju prasībās. Piemēram, ja parādās jaunas kolonnas, mainās struktūra vai kāds datu avots pavisam nav pieejams, vai tiek iegūta jauna informācija no cita datu avota, mums tas viss jāapstrādā. Vēlams šo apstrādi veikt automātiski. Tradicionālajām datu noliktavām ir daži risinājumi evolūcijas problēmām, bet tos tiešā veidā nevar izmantot lielajiem datiem,” stāsta D. Solodovņikova.

Pētījuma mērķis bija izstrādāt tādu datu noliktavas risinājumu, kas varētu pielāgoties izmaiņām datu avotos un lietotāju prasībās. “Pētījuma rezultātā mums ir datu avoti, no tiem tiek ielasīti dati, bet tie netiek uzreiz pārveidoti, mēs tos saglabājam sākotnējā formātā, kas ļauj izmaiņu gadījumā atbilstoši reaģēt. Tālāk no neapstrādātiem datiem mēs pakāpeniski iegūstam datu noliktavas datus un katrā apstrādes soļa rezultātā mēs to saglabājam,” skaidro pētniece. Galvenais komponents šajā arhitektūrā, kas atbild par evolūcijas problēmas risināšanu, ir tā sauktais adaptācijas komponents. Galvenā ideja šim komponentam ir tāda, ka tas noskaidro izmaiņas jebkurā līmenī, jebkurā datu kopā, un katrai izmaiņai ģenerē dažādus adaptācijas scenārijus. Tālāk izstrādātājs var izvēlēties, kuru no šiem adaptācijas scenārijiem realizēt automātiski, un kuru - daļēji automātiski. Rezultātā datu noliktavā ir atbilstoši dati un var izpildīt atskaites. 

Pētījums tiek veikts ERAF projekta "Datu noliktavas adaptācija lielo datu lietojumiem" ietvaros, projekta numurs 1.1.1.2/VIAA/1/16/057.

25. septembra pēcpusdienā LU telpās jau otro gadu pēc kārtas norisinājās atklājumu un inovāciju pasākums “LU Jauno tehnoloģiju un inovāciju diena”, kur vienuviet satikās gan mundrākie pētnieku prāti, gan inovatīvāko ideju autori. Ievērojami liels LU pētnieku skaits piedalījās “Zināšanu agorā”, kas bija viena no nozīmīgākajām pasākuma daļām.

“Zināšanu agora” bija iespēja pētniekiem 6 minūšu laikā iepazīstināt un ieinteresēt plašāku sabiedrības loku ar nesen veiktu vai jau sāktu inovatīvu pētījumu tehnoloģiju, dažādu procesu un dzīves kvalitātes uzlabošanas jomā.

Šogad “Zināšanu agorā” izskanēja teju 60 dažādi pētījumi, kas aktualizēja jautājumus par mikroorganismu kolekcijas attīstību, Saules sistēmu, nanomateriāliem, bioekonomiku, magnētiskiem paātrinātājiem, materiālu atmiņu, gēnu datiem, kā arī par risinājumiem demogrāfijas, dažāda veida izglītības, ekosistēmas un medicīnas jomās.