logo-polimi
Loading...
Risorse bibliografiche
Risorsa bibliografica obbligatoria
Risorsa bibliografica facoltativa
Scheda Riassuntiva
Anno Accademico 2014/2015
Tipo incarico Dottorato
Insegnamento 093549 - REINFORCEMENT LEARNING
Docente Restelli Marcello
Cfu 5.00 Tipo insegnamento Monodisciplinare

Corso di Dottorato Da (compreso) A (escluso) Insegnamento
MI (1380) - INGEGNERIA DELL'INFORMAZIONE / INFORMATION TECHNOLOGYAZZZZ093549 - REINFORCEMENT LEARNING

Programma dettagliato e risultati di apprendimento attesi

 

Reinforcement learning deals with solving sequential decision making problems, when no (or minimal) prior information is available.
Solving sequential decision making problems means to find their optimal control policies. 
Using reinforcement-learning algorithms, the optimal policy is learned through the direct interaction between the agent (or controller) and the system to be controlled.
The course will introduce the main modeling frameworks, will analyze the most relevant reinforcement-learning techniques, and, finally, some interesting applications of these techniques to real-world domains will be shown.
1) Models
* Finite Markov Decision Processes
* Continuous Markov Decision Processes
* Partially Observable Markov Decision Processes
* Semi Markov Decision Processes
* Markov Games
2) Algorithms
* Value Iteration based algorithms (Q-learning, SARSA, TD(lambda))
* Policy Iteration based algorithms (actor-critic methods, LSPI)
* Policy Search algorithms (policy gradient methods and stochastic search techniques)
* Exploration techniques (R-MAX, model-based Interval Estimation)
* Model-free vs Model-based algorithms
* Batch algorithms (Fitted Q-iteration)
* Function approximation in Reinforcement Learning algorithms
* Hierarchical Learning (options, HAMs, MAX-Q)
* Multi-Agent Learning techniques (basic elements)
3) Applications
* Autonomic Computing
* Robot Control
* Water Resources Management
* Portfolio Management

 


Note Sulla Modalità di valutazione

The course evaluation can take the form of an oral examination or a project on topics related to the course material.


Intervallo di svolgimento dell'attività didattica
Data inizio
Data termine

Calendario testuale dell'attività didattica
 

Bibliografia
Risorsa bibliografica facoltativaRichard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, Editore: MIT Press, Anno edizione: 1998, ISBN: 9780262193986
Risorsa bibliografica facoltativaDimitri P. Bertsekas and John Tsitsiklis, Neuro-Dynamic Programming, Editore: Athena Scientific, Anno edizione: 1996, ISBN: 1-886529-10-8
Risorsa bibliografica facoltativaCsaba Szepesvári, Algorithms for Reinforcement Learning, Editore: Morgan & Claypool, Anno edizione: 2010, ISBN: 1608454924

Mix Forme Didattiche
Tipo Forma Didattica Ore didattiche
lezione
20.0
esercitazione
0.0
laboratorio informatico
0.0
laboratorio sperimentale
0.0
progetto
60.0
laboratorio di progetto
0.0

Informazioni in lingua inglese a supporto dell'internazionalizzazione
Insegnamento erogato in lingua Inglese

Note Docente
Schedule: March: 11, 13, 18, 20, 25, 27 April: 1, 8, 10, 15 Time: 10-12 a.m. Rooms: 25 and 27 March in PT1 (ed.20), all the other classes will be in Sala Conferenze (ed.20)
schedaincarico v. 1.6.5 / 1.6.5
Area Servizi ICT
25/11/2020