Deep Learning
Sadržaj
Prvi deo: Osnove dubokog učenja i dubokih neuralnih mreža
Deep Learning, odnosno duboko učenje, predstavlja oblast računarske inteligencije u kojoj modeli uče složene obrasce kroz više slojeva obrade. Prvi deo praktikuma uvodi razliku između klasičnog mašinskog učenja i dubokog učenja, objašnjava ulogu slojeva, težina, aktivacionih funkcija, forward pass-a, backpropagation-a i optimizacije. Cilj je da se duboke neuralne mreže razumeju ne kao magija, već kao sistematičan proces pretvaranja podataka u korisne reprezentacije.
I. Uvod u Deep Learning
1. Šta je Deep Learning – duboko učenje kao slojevito razumevanje podataka 2. AI, ML i Deep Learning – gde se duboko učenje nalazi u računarskoj inteligenciji 3. Zašto dubina modela – slojevi, reprezentacije i hijerarhija osobina 4. Podaci, parametri i učenje – šta model zaista podešava tokom treniranja 5. Gde se koristi Deep Learning – slike, tekst, govor, signali i preporukeII. Arhitektura duboke neuralne mreže
6. Ulazni, skriveni i izlazni slojevi – anatomija duboke neuralne mreže 7. Težine, bias i parametri – unutrašnja podešavanja modela 8. Forward pass – kako podatak prolazi kroz mrežu 9. Aktivacione funkcije – ReLU, sigmoid, tanh i nelinearnost 10. Dubina, širina i kapacitet – koliko model može da naučiIII. Treniranje dubokih modela
11. Loss funkcija – kako model meri sopstvenu grešku 12. Backpropagation – širenje greške unazad kroz slojeve 13. Gradient descent u deep learningu – koraci ka manjoj grešci 14. Optimizatori – SGD, Momentum, RMSprop i Adam 15. Epoch, batch i iteration – ritam treniranja modelaIV. Generalizacija, regularizacija i stabilno učenje
16. Overfitting i underfitting – kada model pamti ili ne uči dovoljno 17. Train, validation i test skup – poštena procena modela 18. Dropout – namerno isključivanje neurona radi boljeg učenja 19. Regularizacija i normalizacija – stabilniji i otporniji modeli 20. Learning rate scheduling – pametno menjanje koraka tokom treniranjaDrugi deo: Arhitekture, primene, napredni modeli i praktični projekti
Kada se savladaju osnove dubokih neuralnih mreža, slede arhitekture koje su promenile savremenu veštačku inteligenciju. Drugi deo praktikuma vodi kroz konvolutivne mreže za slike, rekurentne mreže za sekvence, LSTM i GRU modele, attention mehanizam, transformatore, embedding reprezentacije, autoenkodere, generativne modele i praktičan rad sa deep learning sistemima. Poseban naglasak je na tome kako izabrati arhitekturu, kako pratiti treniranje i kako razumeti ponašanje modela u realnim zadacima.
V. Konvolutivne neuralne mreže
21. CNN uvod – kako mreže prepoznaju obrasce na slikama 22. Konvolucija i filteri – ivice, teksture i lokalne osobine 23. Pooling i feature maps – sažimanje informacija iz slike 24. Klasifikacija slika – od piksela do odluke modela 25. Transfer learning – korišćenje već naučenih modelaVI. Sekvence, tekst i rekurentne mreže
26. Sekvencijalni podaci – vreme, redosled, tekst i signali 27. RNN – rekurentne mreže i pamćenje prethodnih koraka 28. LSTM i GRU – stabilnije učenje dugih zavisnosti 29. Embedding reprezentacije – pretvaranje reči i objekata u vektore 30. NLP i Deep Learning – razumevanje teksta pomoću dubokih modelaVII. Attention, transformeri i savremeni modeli
31. Attention mehanizam – kako model bira na šta da obrati pažnju 32. Transformeri – arhitektura koja je promenila obradu jezika 33. Self-attention – odnosi između elemenata unutar istog ulaza 34. Encoder-decoder arhitektura – razumevanje i generisanje izlaza 35. Veliki jezički modeli – od transformera do generativne AIVIII. Praktičan rad, interpretacija i završni projekat
36. Autoenkoderi – učenje kompresovanih reprezentacija podataka 37. Generativni modeli – modeli koji stvaraju nove primere 38. Praćenje treniranja – loss, accuracy, metrike i krive učenja 39. Interpretabilnost deep learning modela – kako razumeti odluke mreže 40. Mini projekat – izrada, treniranje i evaluacija jednog deep learning modelaZaključak: Deep Learning kao put od podataka do dubokih reprezentacija i inteligentnih sistema