Analisi dei dati su larga scala2017/18
Questo insegnamento introduce le principali tecniche legate all'analisi di grosse moli di dati.
Avvisi
-
Sospensione del ricevimento studenti
A partire dal 14 marzo il ricevimento studenti su base regolare è sospeso. Gli studenti possono contattare il docente per un ricevimento su appuntamento.
-
Appello di Analisi dei dati su larga scala di gennaio 2018
L'appello di Analisi dei dati su larga scla di gennaio avrà luogo il 15/1 a partire dalle ore 9:30, nello studio del docente.
-
Modifica all'orario delle lezioni di Analisi dei dati su larga scala
La lezione del 19 dicembre di Analisi dei dati su larga scala è sospesa. Sarà recuperata l'8/1/2018.
Avvisi precedenti (5)
-
Modifica all'orario delle lezioni di Analisi dei dati su larga scala
La lezione dell'11 dicembre di Analisi dei dati su larga scala avrà luogo il 12 dicembre.
-
Modifica all'orario delle lezioni di Analisi dei dati su larga scala
Le prossime lezioni di Analisi dei dati su larga scala avranno luogo il 4, 11, 18 e 19 dicembre.
-
Modifica all'orario delle lezioni di Analisi dei dati su larga scala
La lezione di Analisi dei dati su larga scala del 27/11 avrà luogo alle ore 14:30 in aula 6; quella del 28/11 avrà luogo alle ore 13:30 in aula alfa.
-
Container docker per l'insegnamento di Analisi dei dati su larga scala
Gli studenti dell'insegnamento di Analisi dei dati su larga scala possono scaricare un archivio ZIP contenente i file necessari a caricare ed eseguire il container docker utilizzato durante le lezioni.
-
Sospensione del ricevimento studenti del 9 gennaio
Il ricevimento studenti del 9 gennaio è sospeso. Gli studenti possono contattare il docente per un ricevimento su appuntamento.
Orari del corso
Le lezioni si svolgeranno presso il dipartimento di Informatica, secondo il seguente orario provvisorio:
| Giorno | Ora | Luogo |
|---|---|---|
| lunedì | 14:30 - 16:30 | aula Delta |
| martedì | 14:30 - 16:30 | aula Omega |
Eventuali variazioni rispetto al calendario pianificato verranno comunicate in aula e pubblicizzate nel paragrafo Avvisi di questa pagina.
Ricevimento studenti
Su appuntamento, stanza 5015 del Dipartimento di Informatica.
È possibile contattare il docente tramite posta elettronica, avendo cura di leggere preventivamente la guida predisposta dal Prof. Sebastiano Vigna e di specificare chiaramente nell'oggetto del messaggio il nome dell'insegnamento e l'anno accademico. In particolare, si invitano gli studenti a usare sempre come mittente l'indirizzo fornito loro dall'Ateneo (basato cioè sul dominio studenti.unimi.it) firmando con nome, cognome e matricola e ricordando che i tempi di risposta possono variare in funzione degli impegni del docente.
Materiale didattico
La parte teorica del corso è basata sul seguente libro di testo (indicato come RU nel calendario delle lezioni): Anand Rajaraman and Jeff Ullman, Mining of Massive Datasets, disponibile sia come PDF gratuitamente scaricabile che pubblicato in versione cartacea da Cambridge University Press (ISBN:9781107015357). Per le parti pratiche si consiglia la lettura di Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, Learning Spark. Lightning-Fast Big Data Analysis, O'Reilly, 2015 (ISBN:978-1-449-35862-4) e di Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, Advanced Analytics with Spark. Patterns for Learning from Data at Scale, O'Reilly, 2015 (ISBN:978-1-491-91276-8)
Per la parte sui file system distribuiti e il paradigma MapReduce si consiglia, oltre al capitolo 2 del libro di testo, la lettura del tutorial su Hadoop predisposto da Yahoo!
Alcuni laboratori fanno riferimento al programma edX Data Science and Engineering with Spark.
Programma
Il programma riguarda gli argomenti dettagliati nel calendario delle lezioni, che corrisponde al materiale trattato sul libro di testo, oltre che sui restanti documenti elencati tra il materiale didattico.
Calendario delle lezioni
| Lezione | Data | Argomento | Materiale |
|---|---|---|---|
| L01 | 25/09/2017 | HDFS |
|
| L02 | 26/09/2017 | Map-reduce in Hadoop |
|
| L03 | 02/10/2017 | Esempi di algoritmi map-reduce |
|
| L04 | 03/10/2017 | Analisi di algoritmi map-reduce |
|
| L05 | 09/10/2017 | Analisi di link |
|
| L06 | 10/10/2017 | Apache Spark |
|
| L07 | 16/10/2017 | Ricerca di elementi simili |
|
| L08 | 17/10/2017 | Ricerca di elementi simili |
|
| L09 | 23/10/2017 | Ricerca di elementi simili |
|
| L10 | 24/10/2017 | Analisi di stream di dati | |
| L11 | 30/10/2017 | Insiemi di elementi frequenti |
|
| L12 | 31/10/2017 | Insiemi di elementi frequenti |
|
| L13 | 06/11/2017 | Clustering |
|
| L14 | 07/11/2017 | Clustering |
|
| L15 | 13/11/2017 | Basi di dati noSQL: mongodb | |
| L16 | 14/11/2017 | Recommendation systems |
|
| L17 | 20/11/2017 | Recommendation systems |
|
| L18 | 21/11/2017 | Web advertising |
|
| L19 | 27/11/2017 | Regressione | |
| L20 | 28/11/2017 | Regressione logistica | |
| L21 | 04/12/2017 | Percettroni | |
| L22 | 12/12/2017 | Deep learning e TensorFlow | |
| L23 | 18/12/2017 | Seminario esterno | |
| L24 | 08/01/2018 | Seminario esterno |