logo-polimi
Loading...
Risorse bibliografiche
Risorsa bibliografica obbligatoria
Risorsa bibliografica facoltativa
Scheda Riassuntiva
Anno Accademico 2019/2020
Scuola Scuola di Ingegneria Industriale e dell'Informazione
Insegnamento 054304 - INFORMAZIONE E STIMA (PER INGEGNERIA INFORMATICA)
Docente Barletta Luca
Cfu 10.00 Tipo insegnamento Monodisciplinare

Corso di Studi Codice Piano di Studio preventivamente approvato Da (compreso) A (escluso) Insegnamento
Ing Ind - Inf (1 liv.)(ord. 270) - MI (358) INGEGNERIA INFORMATICA*AZZZZ054304 - INFORMAZIONE E STIMA (PER INGEGNERIA INFORMATICA)

Obiettivi dell'insegnamento

La teoria dell’informazione studia i limiti fondamentali relativi alla rappresentazione e alla trasmissione dell’informazione. Il corso ha come obiettivo quello di introdurre gli studenti al calcolo delle probabilità e ai processi casuali visti attraverso le lenti della teoria dell’informazione e delle sue principali applicazioni nell’ambito dell’ingegneria informatica e delle comunicazioni. In aggiunta ai concetti base di probabilità e processi casuali, si introdurranno i concetti di entropia, entropia relativa, informazione mutua e, successivamente, si considererà il loro utilizzo nella compressione dei dati, la codifica di sorgente, la trasmissione dei dati, la complessità computazionale, l’inferenza probabilistica. L’insegnamento introduce anche i concetti fondamenti della stima e della simulazione numerica di esperimenti casuali, entrambi essenziali come strumento di analisi e di progetto dei moderni sistemi di comunicazione.

L'attività di laboratorio sarà incentrata sulla costruzione di modelli simulativi in MATLAB aventi come obiettivo l'applicazione e la verifica della teoria studiata durante le lezioni. Le ore in laboratorio serviranno come confronto di approfondimento per l’argomento assegnato.


Risultati di apprendimento attesi

A seguito del superamento dell'esame, lo studente:

- conosce i fondamenti della teoria della probabilità e della stima che servono per una corretta progettazione di sistemi di comunicazione ed elaborazione delle informazioni

- è in grado di applicare a casi reali i metodi ed i modelli probabilistici appresi a diversi ambiti dell’ingegneria dell’informazione

- è in grado di apprendere in maniera autonoma nuovi concetti e modelli basati su fenomeni non strettamente deterministici

- è in grado di calcolare l’entropia e l’informazione mutua di variabili casuali

- conosce e applica i concetti fondamentali della teoria dell’informazione

- è in grado di comprendere i concetti relativi alla memorizzazione e alla compressione dei dati

- ha acquisito le nozioni fondamentali per affrontare corsi avanzati di inferenza statistica, machine learning, sistemi di comunicazione e ingegneria dell’informazione


Argomenti trattati

Probabilità e variabili casuali. Introduzione: frequenze relative e probabilità. Definizioni e proprietà elementari. Spazi con un'infinità numerabile e non numerabile di risultati. Probabilità condizionate, indipendenza statistica, regola di Bayes. Elementi di calcolo combinatorio. Introduzione all’ottimizzazione combinatoria. Elementi di teoria della complessità computazionale. Variabili casuali, funzione di distribuzione, densità di probabilità. Valore atteso, valore atteso di una funzione di variabile casuale, varianza e deviazione standard. Densità congiunte e condizionate, indipendenza condizionata. Funzioni di variabili casuali.

Prove ripetute e teoremi limite. Distribuzione binomiale. Approssimazione gaussiana. Misura di una probabilità. Momenti, funzione caratteristica e funzione generatrice dei momenti. Varianza della somma di variabili casuali. Distribuzioni di maggiore interesse pratico. Legge dei grandi numeri. Teorema del limite centrale. Variabili casuali congiuntamente gaussiane.

Processi casuali. Processi casuali discreti e continui. Descrizione statistica di un processo casuale. Momenti. Valore medio e autocorrelazione. Processi stazionari. Ergodicità. Processi casuali gaussiani. Esempi e applicazioni.

Introduzione alla teoria dell’informazione. Misura dell’informazione. Entropia, entropia relativa e informazione mutua. Sequenze di variabili casuali e tasso di entropia. Relazione tra entropia ed informazione mutua. Regola a catena per l’entropia, l’entropia relativa e l’informazione mutua. Disuguaglianze di Jensen, elaborazione dei dati e log-sum. Codifica di sorgente. Compressione dati. Applicazioni.

Introduzione alla stima. Media e varianza campionaria. Stima di parametri a massima verosimiglianza. Stima a minimo errore quadratico medio. Stima lineare a minimo errore quadratico medio. Relazione tra misura dell’informazione e stima a minimo errore quadratico medio. Filtraggio, predizione, decisione. Esempi ed applicazioni.

Simulazione di esperimenti casuali. Esempi di simulazione per determinare la probabilità di eventi e la distribuzione di variabili casuali. Generazione di sequenze numeriche pseudocasuali. La simulazione Monte Carlo e le tecniche semi-analitiche. Simulazione di eventi rari. Test d’ipotesi. Applicazioni a problemi ingegneristici.

 


Prerequisiti

Sono necessarie conoscenze elementari di analisi matematica, con particolare riferimento a calcolo differenziale e integrale. Questi argomenti sono previsti nei programmi degli insegnamenti di Analisi Matematica I e II.


Modalità di valutazione

L’esame può essere superato attraverso due prove in itinere o presentandosi a uno degli appelli di luglio, settembre o febbraio.
Secondo la prima modalità - la cui partecipazione non è obbligatoria, ma fortemente consigliata - il programma d’esame
riguarderà parti distinte del programma. Se il voto ottenuto in una prova non è gravemente insufficiente (p.es >15) esso
concorre alla valutazione finale, determinata come media aritmetica dei risultati parziali. Gli appelli successivi al primo perdono
memoria di eventuali valutazioni parziali e riguardano l’intero programma d’esame. In entrambi i casi, nella composizione del
voto si terrà conto anche della chiarezza di esposizione e di partecipazione attiva alle lezioni.

Lo studente dovrà, in sede di esame:
- dimostrare di conoscere le principali definizioni e concetti inerenti al calcolo delle probabilità e i fondamentali enunciati della teoria

- saper tradurre in formalismo matematico un testo che descrive un problema di calcolo delle probabilità

- saper utilizzare i principali risultati analitici per risolvere un quesito che enuncia un problema di calcolo delle probabilità

- saper reinterpretare e applicare i concetti di calcolo delle probabilità nell'ambito di teoria dell'informazione e teoria della stima

- progettare un algoritmo per simulare un esperimento casuale su un calcolatore


Bibliografia
Risorsa bibliografica facoltativaS. Bellini, Teoria dei fenomeni aleatori, Editore: Esculapio, Anno edizione: 2012
Risorsa bibliografica facoltativaS. M. Ross, Calcolo delle probabilità, Editore: Apogeo, Anno edizione: 2014
Note:

English version: "A first course in probability", Prentice Hall, 2002

Risorsa bibliografica facoltativaA. Papoulis, S. Unnikrishna Pillai, Probability, random variables and stochastic processes, Editore: Mc-Graw Hill, Anno edizione: 2002
Note:

Traduzione italiana: Editore Boringhieri, anno 1985


Software utilizzato
Nessun software richiesto

Forme didattiche
Tipo Forma Didattica Ore di attività svolte in aula
(hh:mm)
Ore di studio autonome
(hh:mm)
Lezione
60:00
90:00
Esercitazione
30:00
45:00
Laboratorio Informatico
10:00
15:00
Laboratorio Sperimentale
0:00
0:00
Laboratorio Di Progetto
0:00
0:00
Totale 100:00 150:00

Informazioni in lingua inglese a supporto dell'internazionalizzazione
Insegnamento erogato in lingua Italiano
Disponibilità di libri di testo/bibliografia in lingua inglese
Possibilità di sostenere l'esame in lingua inglese
Disponibilità di supporto didattico in lingua inglese
schedaincarico v. 1.7.2 / 1.7.2
Area Servizi ICT
05/07/2022