ETL i ELT

Sadržaj

Prvi deo: Tokovi podataka – od izvora do analitike

ETL i ELT predstavljaju dva osnovna pristupa prenosu, pripremi i obradi podataka. Jedan naglašava transformaciju pre učitavanja u ciljni sistem, a drugi koristi snagu savremenih platformi tako što podatke prvo učitava, pa ih zatim obrađuje tamo gde se čuvaju. Ovaj deo praktikuma uvodi osnovne pojmove, objašnjava zašto su tokovi podataka važni i kako se iz različitih izvora gradi pouzdana osnova za izveštavanje, analitiku i odlučivanje.

I. Uvod u ETL i ELT

1. Šta su ETL i ELT – dva pristupa pripremi podataka 2. Zašto su potrebni tokovi podataka – od rasutih evidencija do korisnog znanja 3. Izvori i odredišta podataka – baze, fajlovi, aplikacije, servisi i analitičke platforme 4. Razlika između ETL i ELT pristupa – gde se podaci transformišu 5. Podaci kao tok – kako se poslovni događaji pretvaraju u analitički materijal

II. ETL – ekstrakcija, transformacija i učitavanje

6. Šta je ETL – klasičan pristup pripremi podataka 7. Extract – izdvajanje podataka iz izvora 8. Transform – čišćenje, usklađivanje i obogaćivanje podataka 9. Load – učitavanje podataka u ciljni sistem 10. ETL pipeline – redosled koraka, zavisnosti i kontrola izvršavanja

III. ELT – učitavanje pa transformacija

11. Šta je ELT – savremeni pristup u data warehouse i cloud sistemima 12. Load pre transformacije – zašto prvo čuvamo sirove podatke 13. Transformacija u ciljnom sistemu – obrada tamo gde se podaci nalaze 14. ELT i cloud platforme – skaliranje, skladištenje i obrada velikih količina podataka 15. ELT pipeline – sirovi sloj, obrađeni sloj i analitički sloj

IV. Ključne razlike između ETL i ELT procesa

16. Razlika u redosledu – transformacija pre ili posle učitavanja 17. Razlika u infrastrukturi – lokalni alati, serveri, cloud i distribuirana obrada 18. Razlika u performansama – količina podataka, brzina obrade i opterećenje sistema 19. Razlika u kontroli podataka – stroga priprema naspram fleksibilnog istraživanja 20. Kada koristimo ETL, a kada ELT – praktični kriterijumi izbora

Drugi deo: Kvalitet, automatizacija i praktična primena

U stvarnim sistemima ETL i ELT nisu samo tehnički koraci, već deo šireg upravljanja podacima. Potrebno je proveriti kvalitet podataka, pratiti greške, automatizovati izvršavanje, dokumentovati transformacije i razumeti posledice svake promene u izvoru. Ovaj deo praktikuma vodi kroz proveru, nadzor, orkestraciju, praktične obrasce i mini projekte koji povezuju podatke, alate i poslovna pitanja.

V. Kvalitet podataka i transformacije

21. Kvalitet podataka – tačnost, potpunost, doslednost i blagovremenost 22. Čišćenje podataka – prazne vrednosti, duplikati, formati i greške 23. Mapiranje podataka – povezivanje polja iz izvora sa ciljnim modelom 24. Validacija podataka – pravila, kontrole i poslovna ograničenja 25. Lineage i poreklo podataka – odakle je podatak došao i kako je promenjen

VI. Automatizacija i nadzor tokova podataka

26. Automatizacija pipeline-a – planirano izvršavanje i zavisnosti 27. Orkestracija – redosled poslova, tokovi rada i oporavak posle greške 28. Logging i monitoring – kako znamo da je obrada uspela 29. Alerti i greške – pravovremena reakcija kada podaci ne stignu ili nisu dobri 30. Inkrementalno učitavanje – obrada samo novih i promenjenih podataka

VII. ETL, ELT i savremene data arhitekture

31. ETL, ELT i Data Warehouse – stabilna osnova za izveštavanje 32. ETL, ELT i Data Lake – čuvanje sirovih i raznovrsnih podataka 33. ETL, ELT i Lakehouse – spoj fleksibilnosti i analitičke strukture 34. Batch i streaming obrada – periodični poslovi i podaci u skoro realnom vremenu 35. DataOps – pouzdanost, verzionisanje i timski rad u tokovima podataka

VIII. Praktični primeri i mini projekti

36. Primer CSV u bazu – osnovni ETL tok od fajla do tabele 37. Primer API u Data Warehouse – preuzimanje, obrada i učitavanje podataka 38. Primer čišćenja podataka – duplikati, datumi, šifre i nedostajuće vrednosti 39. Mini projekat – jednostavan ETL pipeline za izveštavanje 40. Mini projekat – ELT model sa sirovim, obrađenim i analitičkim slojem

Zaključak: ETL i ELT pretvaraju rasute podatke u pouzdanu osnovu za znanje