logo-polimi
Loading...
Risorse bibliografiche
Risorsa bibliografica obbligatoria
Risorsa bibliografica facoltativa
Scheda Riassuntiva
Anno Accademico 2015/2016
Scuola Scuola di Ingegneria Industriale e dell'Informazione
Insegnamento 097659 - BAYESIAN STATISTICS
Docente Guglielmi Alessandra
Cfu 10.00 Tipo insegnamento Monodisciplinare

Corso di Studi Codice Piano di Studio preventivamente approvato Da (compreso) A (escluso) Insegnamento
Ing Ind - Inf (Mag.)(ord. 270) - MI (487) MATHEMATICAL ENGINEERING - INGEGNERIA MATEMATICA*AZZZZ097659 - BAYESIAN STATISTICS

Programma dettagliato e risultati di apprendimento attesi

COURSE OBJECTIVE/ OBIETTIVI dell'INSEGNAMENTO

The course aims at introducing to students the authentic meaning of the Bayesian approach to Statistics, which tells us how to update  prior beliefs about parameters and hypotheses in light of data, to yield posterior beliefs. Bayes's Theorem quantifies the problem of how to learn from data. The first part of the course concerns foundational aspects of Bayesian Statistics (the choice of the prior, for instance), while in the second part, after some knowlegde on Markov Chain Monte Carlo techniques for simulation and integration, we study specific statistical models.  On completion of the course, the students shall be able to  making Bayesian inference for applications using software for Bayesian analysis, such as some R packages, JAGS and BUGS, Stan.

L'insegnamento si propone di introdurre agli studenti anzitutto il significato dell'approccio statistico bayesiano: esso, infatti,  formalizza il processo di inferenza scientifica come composto di due parti, una che dipende dalla comprensione scientifica del fenomeno considerato, e l'altra dai dati osservati che lo scienziato ha ottento dall'esperimento considerato. Il teorema di Bayes quantifica il processo di aggiornamento delle opinioni iniziali tramite i dati. La prima parte del corso riguardera' aspetti fondamentali dell'approccio bayesiano(la scelta della prior, per esempio), mentre nella seconda parte, dopo una panoramica sulle tecniche di simulazione e integrazione Markov chain Monte Carlo, si esamineranno via via modelli statistici specifici.  Allo studente sara' richiesto di sapere fare inferenza bayesiana per applicazioni  statistiche utilizzando software per l'analisi bayesiana, quali pacchetti di R, WinBUGS, JAGS, Stan.

 

COURSE CONTENT/ PROGRAMMA delle LEZIONE e delle ESERCITAZIONI

Bayesian inference: likelihood principle, prior and posterior distribution. Bayes's Theorem for dominated models. Posterior summary values. Interpretation of scientific inference via the Bayesian approach.  Simple univariate Bayesian models.

The three main inferential problem: point estimation, hypothesis testing, interval estimation: comparison between the frequentist and the Bayesian approach.

Prior distributions. The choice of a prior distribution, noninformative priors, conjugate priors and their mixtures, semi-conjugate priors. Robustness.

Exchangeability and de Finetti's representation theorem for exchangeable sequences. Implications of de Finetti's theorem on the Bayesian approach. Predictive inference.

Asymptotic results on the posterior distribution.

 

L'inferenza dal punto di vista bayesiano: principio di verosimiglianza, distribuzione a priori e a posteriori. Il teorema di Bayes per modelli dominati.
Valori di sintesi della distribuzione a posteriori. Intrepretazione dell'inferenza scientifica con l'approccio bayesiano. Alcuni esempi con i piu' comuni modelli univariati.

I tre problemi fondamentali dell'inferenza: stima puntuale, verifica delle ipotesi e stima intervallare; confronto fra i metodi bayesiano e frequentista.

Distribuzioni a priori. La scelta della distribuzione a priori: distribuzioni non informative; distribuzioni coniugate e misture, distibuzioni semi-coniugate. Robustezza (cenni).

Interpretazione del paradigma bayesiano attraverso la scambiabilita'. Teorema di rappresentazione di de Finetti. L'inferenza predittiva. Predizione di quantita'
osservabili.

Risultati asintotici: consistenza,  normalita' asintotica della distribuzione a posteriori.

 

Simulation methods for Bayesian Statistics.  Some results on the theory on general state space Markov chains. Markov chain Monte Carlo methods. Gibbs sampler and Metropolis-Hastings algorithms for computing posterior inference.

Introduzione ai metodi computazionali per la statistica bayesiana. Cenni di teoria sulle catene markoviane con spazio degli stati generali (irriducibilita', distribuzione invariante, Harris-ricorrenza, convergenza quasi certa delle medie ergodiche, convergenza in variazione totale della probabilita' di tranzizione al passo n).
Metodi Markov chain Monte Carlo. Algoritmi Gibbs sampler e Metropolis-Hastings per il calcolo delle inferenze a posteriori.

 

Goodness-of-fit and model choice.

Verifica dell'adeguatezza del modello e scelta del modello.

 

Hierarchical models.

Modelli gerarchici.

 

Bayesian linear models, and genaralized linear models. Hierarchical linear models with random effects. Parameter estimation and covariates choice.

Introduzione al modello lineare multivariato. Modelli lineari generalizzati. Modelli lineari gerarchici con random effects. Stima dei parametri e scelta dei predittori.

 

Bayesian survival analysis/ reliability with censored data. Regression models: accelerated failure time and proportional hazards models.

Analisi della sopravvivenza e affidabilita' per dati censurati e non.Richiami di statistica classica: tasso di rischio; modelli parametrici (Weibull, gamma,
log-normale, extreme-value), modelli increasing e decreasing failure rate; stimatore di Kaplan-Meier. Prior coniugate e standard, prior non-informative.
Modelli di regressione e modelli accelerated failure time. Modelli proportional hazards. Cenni a sistemi riparabili in problemi di affidabilita'.

 

Bayesian nonparametric models.  Dirichlet processes and some of their generalizations. Bayesian nonparametric mixture models, with application to density estimation and clustering.

Modelli nonparametrici. Il processo di Dirichlet e sue generalizzazioni. Misture di distribuzioni parametriche con distribuzione misturante aleatoria,
e applicazioni alla stima di densita' e al clustering.

 

Longitudinal data models, spatial models.

Cenni a modelli per dati longitudinali e a modelli spaziali.


Note Sulla Modalità di valutazione

Examination takes the form of  a written exam and  an oral exam. The oral exam consists of the illustration of the project analyzing a statistical problem with data. As a general rule, each student must present a single project (no team projects are allowed).

It is compulsory to enroll to the written exam.

To obtain a positive final mark, the student should pass with a grade greater or equal than 18/30 both part of the exam; of course, students allowed to present their projects are only those with a written exam positive grade (larger or equal 18). The final grade is the average of the two grades.

When presenting the project, the student must hand over a project report (10-20 pages); the project should be presented using slides on a laptop.




Bibliografia
Risorsa bibliografica obbligatoriaJackman, S., Bayesian analysis for the Social Sciences, Editore: Wiley, Anno edizione: 2009, ISBN: 978-0-470-01154-6
Risorsa bibliografica obbligatoriaChristensen, R., Johnson, W., Branscum, A., Hanson, T.E., Bayesian Ideas and Data Analysis, Editore: CRC Press, Anno edizione: 2011, ISBN: 978-1-4398-0354-7
Risorsa bibliografica facoltativaLunn D., Jackson C., Best N., Thomas A., Spiegelhalter D., The BUGS book, Editore: CRC Press, Anno edizione: 2013, ISBN: 978-1-58488-849-9
Risorsa bibliografica facoltativaHoff, P., A first course in Bayesian Statistical Methods, Editore: Springer, Anno edizione: 2009, ISBN: 978-0-387-92299-7
Risorsa bibliografica facoltativaMueller, P., Quintana, F., Jara, A., Hanson, T., Bayesian Nonparametric Data Analys , Editore: Springer, Anno edizione: 2015
Risorsa bibliografica facoltativaCowles M.K., Applied Bayesian Statistics, Editore: Springer, Anno edizione: 2013, ISBN: 978-1-4614-5695-7

Mix Forme Didattiche
Tipo Forma Didattica Ore didattiche
lezione
60.0
esercitazione
40.0
laboratorio informatico
0.0
laboratorio sperimentale
0.0
progetto
0.0
laboratorio di progetto
0.0

Informazioni in lingua inglese a supporto dell'internazionalizzazione
Insegnamento erogato in lingua Inglese
Disponibilità di materiale didattico/slides in lingua inglese
Disponibilità di libri di testo/bibliografia in lingua inglese
Possibilità di sostenere l'esame in lingua inglese
Disponibilità di supporto didattico in lingua inglese
schedaincarico v. 1.6.5 / 1.6.5
Area Servizi ICT
18/04/2021