Analisi dei dati su larga scala2016/17
Questo insegnamento introduce le principali tecniche legate all'analisi di grosse moli di dati.
Avvisi
-
Slide del seminario «The role of the data scientist»
Sono disponibili le slide del seminario di A. Condorelli «The role of the data scientist».
-
Sospensione del ricevimento studenti
A partire dal 20 aprile il ricevimento studenti su base regolare è sospeso. Gli studenti possono contattare il docente per un ricevimento su appuntamento.
-
Orario di ricevimento per il secondo semestre
L'orario di ricevimento studenti per il secondo semestre si svolgerà il giovedì dalle 14:30 alle 17:30 nello studio del docente, a partire dal 9/3.
Avvisi precedenti (7)
-
Sospensione del ricevimento studenti
A partire dal 2 febbraio il ricevimento studenti su base regolare è sospeso fino al prossimo semestre. Gli studenti possono contattare il docente per un ricevimento su appuntamento.
-
Modifica all'aula per la lezione di Analisi dei dati su larga scala del 10/1/2017
La lezione di Analisi dei dati su larga scala del 10/1/2017 avrà luogo in aula Beta.
-
Modifica del ricevimento studenti del 22/12
Il ricevimento studenti del 22/12 terminerà alle ore 16:00.
-
Sospensione del ricevimento studenti del 24 novembre
Il ricevimento studenti del 24 novembre è sospeso. Gli studenti possono contattare il docente per un ricevimento su appuntamento.
-
Modifica al calendario dell'insegnamento di Analisi dei dati su larga scala
A partire dal 27 settembre le lezioni di Analisi dei dati su larga scala avranno luogo in aula Delta.
-
Orario di ricevimento per il primo semestre
L'orario di ricevimento studenti per il primo semestre si svolgerà il giovedì dalle 14:00 alle 17:00 nello studio del docente, a partire dal 29/09.
-
Spostamento studio
A partire dal 2 settembre lo studio del Professor Malchiodi è trasferito nella stanza P102 al primo piano della sede del dipartimento in via Comelico.
Orari del corso
Le lezioni si svolgeranno presso il dipartimento di Informatica, secondo il seguente orario provvisorio:
| Giorno | Ora | Luogo |
|---|---|---|
| lunedì | 15:30 - 17:30 | aula Delta |
| martedì | 15:30 - 17:30 | aula Delta |
Eventuali variazioni rispetto al calendario pianificato verranno comunicate in aula e pubblicizzate nel paragrafo Avvisi di questa pagina.
Ricevimento studenti
Su appuntamento, stanza 5015 del Dipartimento di Informatica.
È possibile contattare il docente tramite posta elettronica, avendo cura di leggere preventivamente la guida predisposta dal Prof. Sebastiano Vigna e di specificare chiaramente nell'oggetto del messaggio il nome dell'insegnamento e l'anno accademico. In particolare, si invitano gli studenti a usare sempre come mittente l'indirizzo fornito loro dall'Ateneo (basato cioè sul dominio studenti.unimi.it) firmando con nome, cognome e matricola e ricordando che i tempi di risposta possono variare in funzione degli impegni del docente.
Materiale didattico
La parte teorica del corso è basata sul seguente libro di testo: Anand Rajaraman and Jeff Ullman, Mining of Massive Datasets, disponibile sia come PDF gratuitamente scaricabile che pubblicato in versione cartacea da Cambridge University Press (ISBN:9781107015357). Per le parti pratiche si consiglia la lettura di Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, Learning Spark. Lightning-Fast Big Data Analysis, O'Reilly, 2015 (ISBN:978-1-449-35862-4) e di Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, Advanced Analytics with Spark. Patterns for Learning from Data at Scale, O'Reilly, 2015 (ISBN:978-1-491-91276-8)
Per la parte sui file system distribuiti e il paradigma MapReduce si consiglia, oltre al capitolo 2 del libro di testo, la lettura del tutorial su Hadoop predisposto da Yahoo!
Alcuni laboratori fanno riferimento al programma edX Data Science and Engineering with Spark.
Programma
Il programma riguarda gli argomenti dettagliati nel calendario delle lezioni, che corrisponde al materiale trattato sul libro di testo, oltre che sui restanti documenti elencati tra il materiale didattico.
Calendario delle lezioni
| Lezione | Data | Argomento | Materiale |
|---|---|---|---|
| L01 | 26/09/2016 | HDFS e MapReduce | |
| L02 | 27/09/2016 | Map-reduce e Hadoop | |
| L03 | 03/10/2016 | Apache Spark e Databricks | |
| L04 | 04/10/2016 | Analisi di link | |
| L05 | 10/10/2016 | Analisi di link. Analisi di complessità di job map-reduce | |
| L06 | 11/10/2016 | Analisi di complessità di job map-reduce. Ricerca di elementi simili | |
| L07 | 17/10/2016 | Ricerca di elementi simili | |
| L08 | 18/10/2016 | Ricerca di elementi simili | |
| L09 | 24/10/2016 | Analisi di stream di dati | |
| L10 | 25/10/2016 | Insiemi di elementi frequenti | |
| L11 | 07/11/2016 | Insiemi di elementi frequenti | |
| L12 | 08/11/2016 | Basi di dati noSQL: mongodb | |
| L13 | 14/11/2016 | Clustering | |
| L14 | 15/11/2016 | Clustering | |
| L15 | 21/11/2016 | Clustering | |
| L16 | 22/11/2016 | Web advertising | |
| L17 | 28/11/2016 | Recommendation systems | |
| L18 | 29/11/2016 | Recommendation systems | |
| L19 | 05/12/2016 | Percettroni | |
| L20 | 06/12/2016 | Regressione | |
| L21 | 12/12/2016 | Riduzione della dimensionalità | |
| L22 | 13/12/2016 | Riduzione della dimensionalità. Amazon Web Services: S3, EC2 e EMR | |
| L23 | 09/01/2017 | Deep learning e TensorFlow (Dr. Ceruti) | |
| L24 | 10/01/2017 | Fast data e introduzione a Apache Flink (Dr. Bentivoglio) |