Data Lake

Sadržaj

Prvi deo: Data Lake kao veliko skladište raznovrsnih podataka

Data Lake je arhitektura koja omogućava čuvanje velikih količina podataka u izvornom, sirovom ili minimalno obrađenom obliku. U njemu se mogu nalaziti tabele, logovi, dokumenti, slike, tekstovi, JSON fajlovi, CSV fajlovi, podaci iz aplikacija, senzora i servisa. Ovaj deo praktikuma uvodi osnovne pojmove, objašnjava zašto Data Lake postoji i kako pomaže organizacijama da podatke prvo sačuvaju, a zatim ih postepeno istražuju, obrađuju i koriste za analitiku.

I. Uvod u Data Lake

1. Šta je Data Lake – veliko skladište sirovih i raznovrsnih podataka 2. Zašto je nastao Data Lake – odgovor na rast količine i raznolikosti podataka 3. Podaci u izvornom obliku – zašto ne moramo odmah sve modelovati 4. Strukturisani, polustrukturisani i nestrukturisani podaci – šta sve može u Data Lake 5. Data Lake u odnosu na klasične baze – fleksibilnost pre stroge strukture

II. Osnovni slojevi Data Lake arhitekture

6. Ingestion sloj – kako podaci ulaze u Data Lake 7. Raw sloj – čuvanje sirovih podataka bez gubitka izvornog značenja 8. Cleaned sloj – očišćeni i osnovno sređeni podaci 9. Curated sloj – priprema podataka za analitiku i izveštavanje 10. Serving sloj – kako korisnici, alati i modeli pristupaju podacima

III. Izvori podataka za Data Lake

11. Podaci iz relacionih baza – tabele, transakcije i poslovni sistemi 12. Podaci iz fajlova – CSV, JSON, XML, Parquet i drugi formati 13. Podaci iz aplikacija i API-ja – servisi, događaji i integracije 14. Logovi i tehnički podaci – sistemski zapisi, monitoring i operativni tragovi 15. Senzori i streaming podaci – podaci koji stalno pristižu

IV. Skladištenje, formati i organizacija podataka

16. Object storage – osnova savremenog Data Lake skladištenja 17. Folderi, particije i konvencije – kako organizujemo veliki broj fajlova 18. Formati podataka – CSV, JSON, Avro, ORC i Parquet 19. Kompresija i efikasnost – manje prostora, brže čitanje i niži troškovi 20. Schema-on-read – struktura se primenjuje kada podatke čitamo

Drugi deo: Upravljanje, obrada i praktična upotreba Data Lake sistema

Data Lake donosi veliku slobodu, ali ta sloboda mora biti pažljivo organizovana. Ako nema pravila, opisa, kontrole pristupa i kvaliteta, jezero podataka lako može postati neuređena gomila fajlova. Ovaj deo praktikuma vodi kroz metadata, kataloge podataka, bezbednost, obradu, analitiku, mašinsko učenje i praktične mini projekte koji pokazuju kako Data Lake postaje korisna, pouzdana i živa osnova za rad sa podacima.

V. Metadata, katalog i upravljanje podacima

21. Metadata – podaci o podacima i zašto su neophodni 22. Data Catalog – kako korisnici pronalaze podatke 23. Data lineage – poreklo podataka i trag transformacija 24. Data governance – pravila, odgovornosti i kontrola upotrebe podataka 25. Data Lake ili Data Swamp – kako izbeći jezero koje postaje močvara

VI. Kvalitet, bezbednost i pristup podacima

26. Kvalitet podataka – tačnost, potpunost, doslednost i upotrebljivost 27. Validacija i provera podataka – kontrole pri ulasku i obradi 28. Prava pristupa – ko sme da vidi, čita, menja i koristi podatke 29. Privatnost i osetljivi podaci – zaštita ličnih i poslovno važnih informacija 30. Audit i nadzor – praćenje pristupa, promena i korišćenja podataka

VII. Obrada podataka u Data Lake okruženju

31. Batch obrada – periodična obrada velikih količina podataka 32. Streaming obrada – podaci koji se obrađuju dok pristižu 33. ETL, ELT i Data Lake – tokovi podataka kroz sirove i obrađene slojeve 34. SQL nad Data Lake podacima – upiti nad fajlovima i distribuiranim skladištem 35. Data Lake za ML i AI – priprema podataka za modele mašinskog učenja

VIII. Praktični primeri i mini projekti

36. Primer CSV u Data Lake – smeštanje fajlova u raw i cleaned sloj 37. Primer JSON logova – čuvanje i analiza tehničkih događaja 38. Primer particionisanja – organizacija podataka po datumu, sistemu i oblasti 39. Mini projekat – jednostavan Data Lake za analitičko istraživanje 40. Mini projekat – Data Lake kao osnova za izveštavanje i dalju obradu

Zaključak: Data Lake čuva širinu podataka i otvara prostor za buduću analitiku