Reinforcement Learning

Sadržaj

Prvi deo: Osnove učenja potkrepljivanjem i ponašanja agenta

Reinforcement Learning, odnosno učenje potkrepljivanjem, predstavlja oblast računarske inteligencije u kojoj agent uči kroz interakciju sa okruženjem. Umesto da dobija gotove tačne odgovore, agent bira akcije, posmatra posledice, dobija nagrade ili kazne i postepeno razvija strategiju ponašanja. Prvi deo praktikuma uvodi osnovne pojmove: agenta, okruženje, stanje, akciju, nagradu, politiku, epizodu, vrednosnu funkciju i ravnotežu između istraživanja i iskorišćavanja naučenog.

I. Uvod u Reinforcement Learning

1. Šta je Reinforcement Learning – učenje kroz posledice, nagrade i odluke 2. Agent i okruženje – osnovni model ponašanja u učenju potkrepljivanjem 3. Poreklo Reinforcement Learninga – od teorije ponašanja do inteligentnih sistema 4. Kada se koristi Reinforcement Learning – problemi odlučivanja, kontrole i strategije 5. Prednosti i ograničenja – snaga učenja iz iskustva i njegove zamke

II. Stanja, akcije, nagrade i epizode

6. Stanje – kako agent vidi trenutnu situaciju u okruženju 7. Akcija – izbor koji agent pravi u datom trenutku 8. Nagrada – signal koji usmerava učenje agenta 9. Epizoda i korak – kako se iskustvo deli na tokove učenja 10. Cilj agenta – maksimizacija ukupne očekivane nagrade

III. Politika, vrednost i donošenje odluka

11. Politika – pravilo po kome agent bira akcije 12. Vrednosna funkcija – procena koliko je neko stanje dobro 13. Akciona vrednost – koliko je dobra određena akcija u određenom stanju 14. Diskontovana nagrada – zašto buduće nagrade vrede manje od trenutnih 15. Istraživanje i eksploatacija – ravnoteža između pokušavanja novog i korišćenja poznatog

IV. Markovljevi procesi odlučivanja i osnovni algoritmi

16. Markovljev proces odlučivanja – formalni okvir za Reinforcement Learning 17. Bellmanova jednačina – veza između sadašnje i buduće vrednosti 18. Dynamic Programming – računanje optimalne politike kada poznajemo model okruženja 19. Monte Carlo metode – učenje iz završenih epizoda i prosečnih ishoda 20. Temporal Difference Learning – učenje iz razlike između očekivanja i stvarnosti

Drugi deo: Q-learning, duboko učenje, primene i praktični projekti

Kada se savladaju osnovni pojmovi učenja potkrepljivanjem, slede algoritmi koji omogućavaju agentu da uči efikasnije i u složenijim okruženjima. Drugi deo praktikuma vodi kroz SARSA, Q-learning, Deep Q-Networks, policy gradient metode, actor-critic pristupe, rad u Pythonu i praktične projekte. Poseban naglasak je na tome kako Reinforcement Learning povezuje teoriju odlučivanja, mašinsko učenje, neuralne mreže i realne probleme autonomnog ponašanja.

V. SARSA, Q-learning i učenje bez modela

21. Model-based i model-free pristup – učenje sa modelom i bez modela okruženja 22. SARSA – učenje politike kroz stvarne akcije agenta 23. Q-learning – učenje optimalne akcione vrednosti 24. Epsilon-greedy strategija – jednostavan način za istraživanje i eksploataciju 25. Konvergencija i stabilnost – kada agent zaista uči korisnu politiku

VI. Deep Reinforcement Learning i neuralne mreže

26. Deep Reinforcement Learning – spajanje učenja potkrepljivanjem i dubokih neuralnih mreža 27. Deep Q-Network – DQN kao neuralna aproksimacija Q-funkcije 28. Experience Replay – pamćenje iskustava i stabilnije učenje 29. Target Network – odvojena mreža za stabilizaciju DQN algoritma 30. Policy Gradient metode – direktno učenje politike ponašanja

VII. Actor-Critic, podešavanje i evaluacija

31. Actor-Critic pristup – kombinovanje politike i vrednosne procene 32. Nagrade i oblikovanje nagrada – kako dizajn signala utiče na ponašanje agenta 33. Hiperparametri – stopa učenja, diskontni faktor, epsilon i veličina memorije 34. Evaluacija agenta – kako merimo uspešnost naučene politike 35. Rizici i ograničenja RL sistema – pogrešne nagrade, nestabilnost i bezbednost

VIII. Praktičan rad, primene i završni projekat

36. Reinforcement Learning u Pythonu – biblioteke, okruženja i prvi primeri 37. OpenAI Gym i simulacije – učenje agenta u kontrolisanim okruženjima 38. Primer Grid World – agent koji uči put kroz mrežu stanja 39. Primene Reinforcement Learninga – robotika, igre, optimizacija, preporuke i automatizacija 40. Mini projekat – izrada, treniranje i interpretacija jednog RL agenta

Zaključak: Reinforcement Learning kao put od pokušaja i grešaka do inteligentnog odlučivanja