Algoritmi per dati su larga scala2023/24
L'insegnamento si propone di descrivere il quadro complessivo dei processi per l'elaborazione dei big data, sia per quanto riguarda le metodologie e le tecnologie applicate in tale contesto.
Risultati attesi
Gli studenti:
- saranno in grado di utilizzare le tecnologie per la memorizzazione distribuita dei dati;
- apprenderanno il framework dell'elaborazione distribuita MapReduce e le sue principali estensioni;
- apprenderanno i principali algoritmi utilizzati per problemi classici relativi ai big data, e a implementarli in un ambiente di elaborazione distribuito;
- saranno in grado di scegliere i metodi appropriati per risolvere problemi caratterizzati da big data.
Avvisi
-
Progetti per l'insegnamento di «Algoritmi per dati su larga scala» (Laurea magistrale in Informatica)
È disponibile il testo di un progetto per gli insegnamenti di «Algoritmi per dati su larga scala» e «Metodi statistici per l'apprendimento» della Laurea magistrale in «Informatica».
-
Ultima lezione di Algoritmi per dati su larga scala
L'ultima lezione di Algoritmi per dati su larga scala avrà luogo il 29/5 nel Lab. Laurea magistrale al quinto piano del Dipartimento di Informatica, sostituendo la lezione del 28/5.
-
Progetti per l'insegnamento di «Algoritmi per dati su larga scala» (Laurea magistrale in Informatica)
Sono disponibili i testi dei progetti per l'insegnamento di «Algoritmi per dati su larga scala» della Laurea magistrale in «Informatica». Un progetto congiunto con l'insegnamento di «Metodi statistici per l'apprendimento» sarà pubblicato a breve.
Avvisi precedenti (1)
-
Sospensione della lezione di Algoritmi per dati su larga scala del 15/5
La lezione di di Algoritmi per dati su larga scala del 15/5 è sospesa e verrà recuperata il 28/5 alle 14:30 nella Sala Consiglio all'ottavo piano del Dipartimento di Informatica.
Orari del corso
Le lezioni si svolgono durante il secondo semestre e in presenza presso le strutture di Città Studi. L'orario è il seguente:
| Giorno | Ora | Luogo |
|---|---|---|
| martedì | 14:30 - 16:30 | 208 (Settore didattico) |
| mercoledì | 14:30 - 16:30 | 110 (Settore didattico) |
Eventuali variazioni rispetto al calendario pianificato verranno comunicate in aula e pubblicizzate nel paragrafo Avvisi di questa pagina.
Ricevimento studenti
Su appuntamento, stanza 5015 del Dipartimento di Informatica.
È possibile contattare il docente tramite posta elettronica, avendo cura di leggere preventivamente la guida predisposta dal Prof. Sebastiano Vigna e di specificare chiaramente nell'oggetto del messaggio il nome dell'insegnamento e l'anno accademico. In particolare, si invitano gli studenti a usare sempre come mittente l'indirizzo fornito loro dall'Ateneo (basato cioè sul dominio studenti.unimi.it) firmando con nome, cognome e matricola e ricordando che i tempi di risposta possono variare in funzione degli impegni del docente.
Materiale didattico
Le lezioni sono basate:
- sul libro Mining of Massive Datasets, scritto da A. Rajaraman e J. Ullman (indicato come RU nel calendario delle lezioni), gratuitamente scaricabile dal sito degli autori e pubblicato in versione cartacea da Cambridge University Press (ISBN:9781107015357);
- sulle dispense e sul codice di esempio pubblicati nel calendario delle lezioni.
Programma
Il programma riguarda gli argomenti dettagliati nel calendario delle lezioni (disponibile all'inizio delle lezioni), che corrisponde al materiale trattato sul libro di testo, oltre che sui restanti documenti elencati tra il materiale didattico.
Propedeuticità
È richiesta la conoscenza degli argomenti principali di programmazione degli elaboratori, analisi matematica e probabilità e statistica al livello considerato in una laurea triennale di area informatica.
Calendario delle lezioni
| Lezione | Data | Argomento | Materiale |
|---|---|---|---|
| L01 | 27/02/2024 | HDFS e map-reduce. | |
| L02 | 28/02/2024 | Algoritmi map-reduce. Communication cost model. |
|
| L03 | 05/03/2024 | Communication cost model. Analisi di link. |
|
| L04 | 06/03/2024 | Analisi di link. |
|
| L05 | 12/03/2024 | Spark. | |
| L06 | 13/03/2024 | Ricerca di elementi simili. |
|
| L07 | 19/03/2024 | Ricerca di elementi simili. |
|
| L08 | 20/03/2024 | Ricerca di elementi simili. Insiemi di elementi frequenti. |
|
| L09 | 26/03/2024 | Insiemi di elementi frequenti. |
|
| L10 | 27/03/2024 | Analisi di stream di dati. |
|
| L11 | 03/04/2024 | Analisi di stream di dati. |
|
| L12 | 09/04/2024 | Analisi di stream di dati. Clustering. |
|
| L13 | 10/04/2024 | Clustering. |
|
| L14 | 16/04/2024 | Basi di dati noSQL: mongodb. | |
| L15 | 17/04/2024 | Basi di dati noSQL: mongodb. Regressione. |
|
| L16 | 23/04/2024 | Regressione. Regressione logistica. | |
| L17 | 24/04/2024 | Recommendation system. | |
| L18 | 30/04/2024 | Transformer e LLM. | |
| L19 | 07/05/2024 | Workshop (Microsoft). | |
| L20 | 08/05/2024 | Recommendation system. Gradient boosting. | |
| L21 | 14/05/2024 | Deep learning e TensorFlow. | |
| L22 | 21/05/2024 | Workshop (RadicalBit). | |
| L23 | 22/05/2024 | Workshop (AzureML). | |
| L24 | 29/05/2024 | Riduzione della dimensionalità. |
Modalità d'esame
L'esame consiste di un progetto e di una prova orale, entrambi relativi agli argomenti trattati nell'insegnamento. Il progetto richiede l'elaborazione di un dataset tramite applicazione critica delle tecniche descritte durante le lezioni, ed è riassunto in una relazione scritta.
La valutazione del progetto, espressa in termini approvato/respinto, tiene conto del livello di padronanza degli argomenti e della chiarezza espositiva nella relazione presentata. La prova orale, alla quale si accede dopo che il progetto è stato valutato positivamente, è basata sulla discussione di alcuni argomenti trattati nell'insegnamento e sull'approfondimento di alcuni aspetti del progetto presentato. La valutazione della prova orale, espressa in trentesimi, tiene conto del livello di padronanza degli argomenti, della chiarezza espositiva e della proprietà di linguaggio.
Gli studenti devono iscriversi all'appello in cui vogliono sostenere l'esame, e inviare via mail al docente il progetto entro le date indicate nella tabella che segue. Quando il progetto è stato corretto gli studenti saranno contattati per organizzare l'esame orale. La tabella sottostante indica le date provvisorie per gli orali.
Appelli d'esame
| Sessione | Data |
|---|---|
| giugno | 18/06/2024 (project deadline: 12/06) |
| luglio | 02/07/2024 (project deadline: 26/06) |
| settembre | 19/09/2024 (project deadline: 12/09) |
| gennaio | 22/01/2025 (project deadline: 16/01) |
| febbraio | 06/02/2025 (project deadline: 30/01) |
| febbraio | 21/02/2025 (project deadline: 14/02) |