Lakehouse

Sadržaj

Prvi deo: Lakehouse kao spoj Data Lake i Data Warehouse pristupa

Lakehouse je savremena arhitektura podataka koja pokušava da objedini fleksibilnost Data Lake sistema i pouzdanost Data Warehouse pristupa. Ideja je da se sirovi, polustrukturisani i strukturisani podaci čuvaju u otvorenom i skalabilnom skladištu, ali da istovremeno budu dostupni za analitiku, izveštavanje, mašinsko učenje i upravljanu poslovnu upotrebu. Ovaj deo praktikuma uvodi osnovne pojmove, objašnjava zašto je Lakehouse nastao i kako se razlikuje od klasičnih arhitektura podataka.

I. Uvod u Lakehouse

1. Šta je Lakehouse – savremeni spoj Data Lake i Data Warehouse arhitekture 2. Zašto je nastao Lakehouse – potreba za fleksibilnošću i pouzdanošću 3. Data Lake, Data Warehouse i Lakehouse – sličnosti, razlike i veze 4. Savremeni podaci – strukturisani, polustrukturisani i nestrukturisani izvori 5. Lakehouse u analitici i mašinskom učenju – jedan sloj za više namena

II. Osnovni slojevi Lakehouse arhitekture

6. Object storage – skalabilna osnova za čuvanje velikih količina podataka 7. Otvoreni formati podataka – Parquet, ORC i kolonsko skladištenje 8. Metadata sloj – opis, organizacija i upravljanje tabelama 9. Table format sloj – kako fajlovi postaju analitičke tabele 10. Query i processing sloj – motori za obradu, upite i analitiku

III. Table formati i transakciona pouzdanost

11. Delta Lake – transakcije, verzionisanje i pouzdanost nad Data Lake podacima 12. Apache Iceberg – otvoreni table format za velike analitičke skupove 13. Apache Hudi – upsert, inkrementalna obrada i promenljivi podaci 14. ACID transakcije – kako Lakehouse unosi red u fajl sisteme 15. Time travel i verzionisanje – povratak na prethodna stanja podataka

IV. Ingestija, obrada i organizacija podataka

16. Ingestija podataka – kako podaci ulaze u Lakehouse 17. Batch obrada – periodično učitavanje i transformacija podataka 18. Streaming obrada – rad sa podacima koji stalno pristižu 19. Bronze, Silver i Gold slojevi – put od sirovih do poslovno spremnih podataka 20. Particionisanje i optimizacija – brži upiti nad velikim skupovima podataka

Drugi deo: Analitika, upravljanje i praktična upotreba Lakehouse sistema

Lakehouse postaje koristan tek kada se nad njim uspostave jasna pravila kvaliteta, katalogizacije, bezbednosti, pristupa, obrade i poslovne upotrebe. On nije samo mesto za čuvanje fajlova, već platforma koja povezuje podatke, analitičke timove, aplikacije, izveštaje i modele mašinskog učenja. Ovaj deo praktikuma vodi kroz SQL analitiku, data catalog, governance, kvalitet podataka, ML upotrebu i mini projekte koji pokazuju kako Lakehouse može da postane centralna osnova savremene podatkovne platforme.

V. Analitika, SQL i poslovna upotreba

21. SQL nad Lakehouse podacima – poznat jezik nad otvorenim skladištem 22. BI i dashboardi – poslovno izveštavanje nad Lakehouse arhitekturom 23. Self-service analitika – kada korisnici sami istražuju podatke 24. Data Mart u Lakehouse arhitekturi – tematski pogledi za poslovne oblasti 25. KPI i Gold sloj – poslovno spremni podaci za odlučivanje

VI. Data Catalog, kvalitet i upravljanje podacima

26. Data Catalog – pronalaženje, opisivanje i razumevanje podataka 27. Data lineage – praćenje porekla i transformacija podataka 28. Kvalitet podataka – provere, pravila i poverenje u rezultate 29. Data governance – odgovornosti, pravila i kontrolisana upotreba 30. Bezbednost i prava pristupa – ko sme da vidi, menja i koristi podatke

VII. Lakehouse za mašinsko učenje i naprednu analitiku

31. Lakehouse i machine learning – zajednička osnova za podatke i modele 32. Feature Store – priprema i ponovno korišćenje osobina za ML modele 33. Eksperimenti i modeli – povezivanje podataka, treninga i rezultata 34. MLOps i Lakehouse – put od podataka do modela u produkciji 35. Real-time analitika – brži uvidi nad svežim podacima

VIII. Praktični primeri i mini projekti

36. Primer prodaje – Bronze, Silver i Gold slojevi za poslovnu analitiku 37. Primer logova – obrada događaja, grešaka i operativnih podataka 38. Primer korisničkog ponašanja – analitika nad događajima i sesijama 39. Mini projekat – jednostavan Lakehouse za objedinjavanje podataka 40. Mini projekat – Lakehouse kao osnova za analitiku i mašinsko učenje

Zaključak: Lakehouse povezuje fleksibilno skladištenje, pouzdanu analitiku i savremenu upotrebu podataka