Enostavna gradnja podatkovnih tokov za usmerjanje, analizo ter učenje v “BigData” svetu

Petek, 3. junij 11:40 - 12:25 Težavnost: Basic Dvorana: James Cook Področje: Data analytics

Na predavanju bomo predstavili arhitekturo sistema, ki nam omogoča, da v poplavi podatkov na enostaven način zgradimo kontekstno odvisne (namenske) podatkovne tokove. Le tako lahko postane velika količina podatkov obvladljiva in jih lahko dodatno oplemenitimo s pomočjo metod in algoritmov strojnega učenja.

Predstavili bomo sistem, ki je v realnem času zmožen procesirati veliko količino dogodkov, ki jih uporabniki ustvarijo z raznimi akcijami na hipotetični spletni strani. Sistem nepovezane dogodke med seboj povezuje (npr. po uporabniku) in s tem ustvari kontekst podatkov, ki nam omogoča lažje povezovanje podatkov in analizo. Prikazali bomo, kako v sistem brez težav vključimo proces strojnega učenja, s katerim lahko izboljšamo uporabniško izkušnjo (npr. natančnejše priporočanje produktov na podlagi naučenih modelov v realnem času).

Celoten sistem je zasnovan z odprtokodnimi orodji, kot so Kafka, Elastic Stack, Apache Spark in Quarkus. Sistem je mogoče enostavno namestiti in upravljati, zato je uporaben in obvladljiv tudi za manjša podjetja.

Leave a comment

Make sure you enter all the required information, indicated by an asterisk (*). HTML code is not allowed.

Speaker:
Marko Polak in David Šenica
Podjetje
Medius