Java & DevOps

Marko Polak

Centralni logirni sistem z uporabo odprtokodnih rešitev za upravljanje velikih količin podatkov - s poudarkom na iskalniku.

Marko Polak
Medius d.o.o.

Vsak ki se dnevno ukvarja z razvojem ali nadzorom nad delovanjem ene ali več aplikacij se zaveda pomembnosti logiranja različnih nivojev izvajanj aplikacije. Logiranje je namreč ključno za odpravo napak, ugotavljanje ozkih grl pri delovanju aplikacije ter za zagotavljanje stabilnega dolgoročnega delovanja aplikacije.

Logiranje je enostavno. Večino zapletov pri logiranju podatkov s stališča programerja rešimo že z vpeljavo pravil za logiranje, ki se jih moramo pri razvoju držati.

Zapleten del logiranja predstavlja shranjevanje in iskanje po logiranih podatkih. Pri iskanju težavnost eksponentno narašča z uporabo več nitnega izvajanja, komunikacija z drugimi aplikacijami/sistemi in danes vse bolj uporabljenega koncepta mikrostoritev. Težave pri shranjevanju pa predstavlja hitra rast logiranih podatkov in dostop do podatkov.

Predstavili bomo kako se lahko zgradi centralni logirni sistem z uporabo odprtokodnih skalabilnih rešitev(Hadoop, Flume, Morphline, Solr Cloud, Zookeper, Kafka, WildFly...), ki lahko tečejo na cenovno sprejemljivi strojni opremi (commodity hardware). Celoten sistem je zasnovan s poudarkom na uporabnosti iskalnika, ker je ravno iskalnik ključen del sistema. Tu bomo predstavili različne koncepte vgrajene v iskalnik:

  • iskalnik omogoča iskanje po vseh aplikacijah povezanih v centralni logirni sistem in povezavo med njimi,
  • iskanje po logiranih poslovnih dogodkih in prehod v pregled celotnega aplikacijskega loga
  • iskanje in pregled podatkov v skoraj realnem času,
  • omejevanje dostopov,
  • obfuskacija osebnih podatkov,
  • beleženje dostopa do podatkov,
  • brisanje podatkov(GDPR).
Predstavitev bo sklenjena s povzetkom naših izkušenj z vpeljavo predstavljenih komponent in odzivom uporabnikov centralnega logirnega sistema.


Informacije o predavanju

Jezik / Language: SLO


O Avtorju

Marko Polak je Java in PL/SQL programer ter sistmski administrator podatkovnih baz v podjetju Medius d.o.o. Zadnji dve leti pa se ukvarja še s upravljanjem in iskanjem po velikih količinah podatkov(BigData) z uporabo odprtokodnih tehnologij(Solr, Hadoop, Flume, Kafka,...).