Dipartimento di InformaticaUniversità degli Studi di Milano

Analisi dei dati su larga scala2018/19

Laurea magistrale in Informatica · Università degli Studi di Milano · Le lezioni sono in italiano · 6 CFU · 48 ore

Edizione archiviata: questa pagina è conservata come riferimento e alcuni materiali o collegamenti potrebbero non essere più disponibili.

Questo insegnamento introduce le principali tecniche legate all'analisi di grosse moli di dati.

Avvisi

  1. Luogo e ora della prova di Analisi dei dati su larga scala di febbraio 2020

    Le prove orali di Analisi dei dati su larga scala dell'appello di febbraio avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 10:30 del 5/2.

  2. Luogo e ora della prova di Analisi dei dati su larga scala di gennaio 2020

    Le prove orali di Analisi dei dati su larga scala dell'appello di gennaio avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 14:30 del 16/1.

  3. Luogo e ora della prova di Analisi dei dati su larga scala di settembre 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di luglio avranno luogo nel Lab. Magistrale al quinto piano del Dipartimento di Informatica alle ore 9:30 del 18/9.

Avvisi precedenti (14)
  1. Luogo e ora della prova di Analisi dei dati su larga scala di luglio 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di luglio avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 9:30 dell'2/7 (cognomi con iniziale da A a L) e alle ore 14:30 del 3/7 (cognomi con iniziale da M a Z).

  2. Luogo e ora della prova di Analisi dei dati su larga scala di giugno 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di giugno avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 9:30 dell'11/6 (cognomi con iniziale da A a M) e alle ore 9:30 del 13/6 (cognomi con iniziale da N a Z).

  3. Luogo e ora della prova di Analisi dei dati su larga scala di aprile 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di aprile avranno luogo nello studio del prof. Malchiodi alle ore 14:30 del 9/4.

  4. Luogo e ora della prova di Analisi dei dati su larga scala di febbraio 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di febbraio avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 14:30 del 12/2 (cognomi con iniziale da A a M) e alle ore 9:30 del 13/2 (cognomi con iniziale da N a Z).

  5. Modifica ricevimento studenti

    A partire dal 28 gennaio il ricevimento studenti sarà organizzato tramite e-mail.

  6. Luogo e ora della prova di Analisi dei dati su larga scala di gennaio 2019

    Le prove orali di Analisi dei dati su larga scala dell'appello di gennaio avranno luogo nella sala riunioni al quinto piano del Dipartimento di Informatica alle ore 15:00 del 16/1 (cognomi con iniziale da A a H) e alle ore 15:00 del 17/1 (cognomi con iniziale da L a Z).

  7. Ricevimento del 18 dicembre

    Il ricevimento studenti del 18 dicembre è sospeso.

  8. Modifica alle aule delle lezioni di Analisi dei dati su larga scala

    Le lezioni di Analisi dei dati su larga scala del 4/12, 11/12 e 8/1 avranno luogo in aula Tau. La lezione del 18/12 avrà luogo in aula 207.

  9. Modifica dell'orario delle lezioni di Analisi dei dati su larga scala

    A partire dal 20/11, le lezioni del martedì avranno luogo in aula 207.

  10. Sospensione lezioni e ricevimento il 6 e 7 novembre

    Le lezioni del 6 e del 7 novembre e il ricevimento del 6 novembre sono sospesi.

  11. Modifica all'orario delle lezioni di Analisi dei dati su larga scala

    Promemoria: la lezione di Analisi dei dati su larga scala del 28/11 avrà luogo in aula V5.

  12. Modifica all'orario delle lezioni di Analisi dei dati su larga scala

    La lezione di Analisi dei dati su larga scala del 17/10 avrà luogo in aula 305.

  13. Orario di ricevimento per il primo semestre

    L'orario di ricevimento studenti per il primo semestre si svolgerà il martedì alle 16:30 nello studio del docente, a partire dal 09/10.

  14. Modifica dell'orario delle lezioni di Analisi dei dati su larga scala

    A partire dal 09/10, le lezioni avranno luogo il martedì dalle 14:30 alle 16:30 in aula Alfa e il mercoledì dalle 13:30 alle 15:30 in aula Magna.

Orari del corso

Le lezioni si svolgeranno presso il dipartimento di Informatica, secondo il seguente orario:

Giorno Ora Luogo
martedì 16:30 - 18:30 14:30 - 16:30 aula V8 aula Alfa Aula 207
mercoledì 13:30 - 15:30 aula 402 aula Magna

Eventuali variazioni rispetto al calendario pianificato verranno comunicate in aula e pubblicizzate nel paragrafo Avvisi di questa pagina.

Ricevimento studenti

Su appuntamento, stanza 5015 del Dipartimento di Informatica. È possibile contattare il docente tramite posta elettronica, avendo cura di leggere preventivamente la guida predisposta dal Prof. Sebastiano Vigna e di specificare chiaramente nell'oggetto del messaggio il nome dell'insegnamento e l'anno accademico. In particolare, si invitano gli studenti a usare sempre come mittente l'indirizzo fornito loro dall'Ateneo (basato cioè sul dominio studenti.unimi.it) firmando con nome, cognome e matricola e ricordando che i tempi di risposta possono variare in funzione degli impegni del docente.

Materiale didattico

La parte teorica del corso è basata sul seguente libro di testo (indicato come RU nel calendario delle lezioni): Anand Rajaraman and Jeff Ullman, Mining of Massive Datasets, disponibile sia come PDF gratuitamente scaricabile che pubblicato in versione cartacea da Cambridge University Press (ISBN:9781107015357). Per le parti pratiche si consiglia la lettura di Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, Learning Spark. Lightning-Fast Big Data Analysis, O'Reilly, 2015 (ISBN:978-1-449-35862-4) e di Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, Advanced Analytics with Spark. Patterns for Learning from Data at Scale, O'Reilly, 2015 (ISBN:978-1-491-91276-8)

Per la parte sui file system distribuiti e il paradigma MapReduce si consiglia, oltre al capitolo 2 del libro di testo, la lettura del tutorial su Hadoop predisposto da Yahoo!

Alcuni laboratori fanno riferimento al programma edX Data Science and Engineering with Spark.

Programma

Il programma riguarda gli argomenti dettagliati nel calendario delle lezioni, che corrisponde al materiale trattato sul libro di testo, oltre che sui restanti documenti elencati tra il materiale didattico.

Calendario delle lezioni

Lezione Data Argomento Materiale
L01 02/10/2018 HDFS e map-reduce.
L02 03/10/2018 Algoritmi map-reduce. Spark.
L03 09/10/2018 Analisi di algoritmi map-reduce. PageRank.
  • RU 2.3, 2.5, 5.1.
L04 10/10/2018 Analisi di link.
L05 16/10/2018 Analisi di link.
  • RU 5.3-5.5.
L06 17/10/2018 Ricerca di elementi simili.
  • RU 3.1-3.5.
L07 23/10/2018 Ricerca di elementi simili.
L08 24/10/2018 Basi di dati noSQL: mongodb.
L09 30/10/2018 Insiemi di elementi frequenti.
  • RU 6.1-6.2.
L10 31/10/2018 Insiemi di elementi frequenti. Clustering.
  • RU 6.3-6.4, 7.1-7.2
L11 13/11/2018 Clustering.
L12 14/11/2018 Recommendation systems.
  • RU 9.1-9.3.
L13 20/11/2018 Recommendation systems.
L14 21/11/2018 Regressione.
L15 27/11/2018 Regressione logistica.
L16 28/11/2018 Deep learning e TensorFlow.
L17 04/12/2018 Deep learning e TensorFlow.
L18 05/12/2018 Reti neurali ricorrenti e LSTM.
L19 11/12/2018 Analisi di stream di dati.
  • RU 4.1-4.5.
L20 12/12/2018 Seminario (Vodafone): An introduction to data systems: HBase and Kafka.
L21 18/12/2018 Seminario (Radicalbit): Blending event stream processing with machine learning.
    L22 19/12/2018 Seminario: The role of the data scientist: Why a car part manufactory company needs data experts.
      L23 08/01/2019 Seminario (Amazon): Una pausa caffè per il commesso viaggiatore.
        L24 09/01/2019 PCA, T-SNE e word2vec.

        Modalità d'esame

        L'esame consiste in una prova orale.

        Appelli d'esame

        Sessione Data
        gennaio 16/01/2019
        febbraio 11/02/2019
        giugno 11/06/2019
        luglio 02/07/2019
        settembre 17/09/2019
        gennaio 16/01/2020