Algorithmes pour mégadonnées2021/22
Le cours vise à décrire le cadre de traitement des mégadonnées, soit en termes de méthodologies que de technologies.
Résultats attendus
Les étudiants:
- sauront utiliser des technologies pour le stockage distribué des données;
- connaîtront le paradigme de calcul distribué MapReduce et ses extensions principales;
- connaîtront les principaux algorithmes pour les problèmes classiques des mégadonnées, ainsi que leurs implémentation à l'aide d'un paradgme de calcul distribué;
- sauront choisir les méthodes appropriées pour résoudre les problèmes caractérisés par mégadonnées.
Infos
-
Projet commun pour les cours de « Algorithmes pour mégadonnées » et « Méthodes statistiques pour l'apprentissage automatique » (Master en Informatique)
La description d'un projet commun pour les cours de « Algorithmes pour mégadonnées » et de « Méthodes statistiques pour l'apprentissage automatique » du Master en « Informatique » est disponible.
-
Projets pour le cours de « Algorithmes pour mégadonnées » (Master en Informatique)
Les descriptions des projets pour le cours de « Algorithmes pour mégadonnées » du Master en « Informatique » sont disponibles. Un projet commun avec le cours « Méthodes statistiques pour l'apprentissage automatique » sera publié prochainement.
-
Annulation du cours de Algorithmes pour mégadonnées du 13/4
Le cours du 13/4 est annulé et sera recuperé successivement.
Infos précédentes (2)
-
Heures de bureau du 10 Mars
Les heures de bureaux du 10 Mars sont annulées.
-
Heures de bureau pour le deuième sémestre
Les heures de bureau pour le deuième sémestre seront le jeudi à 17:00 dans le bureau du professeur, à partir du 03/03. Pour éviter des rassemblements pendant la pandémie, les étudiant.e.s doivent prendre rendez-vous.
Horaires du cours
Les cours ont lieu (jusqu'à nouvel ordre) à distance par authentification à un lien zoom publié sur la page moodle du cours. Le calendrier provisoir est le suivant:
| Jour | Heure | Lieu |
|---|---|---|
| mardi | 14:30 - 16:30 | G12 |
| mercredi | 14:30 - 16:30 | 403 |
Tout changement à l'horaire sera annoncé en classe et publié dans la section Infos de cette page.
Heures de bureau
Sur rendez-vous, salle 5015 du Département d'Informatique.
Il est possible contacter l'enseignant par e-mail, en prenant soin de lire à l'avance le guide préparé par le professeur Sebastiano Vigna et précisant clairement dans le message le nom du cours et l'année scolaire. En particulier, les étudiants sont encouragés à toujours utiliser leur adresse académique (c'est à dire celui basée sur la domaine studenti.unimi.it) en signant avec nom et numéro d'identification et rappelant que le temps de réponse peut varier en fonction des engagements de l'enseignant.
Materiel bibliographique
Les cours sont basées:
- sur le livre Mining of Massive Datasets, écrit par A. Rajaraman e J. Ullman (indiqué par RU dans le calendrier des cours), téléchargeable gratuitement sur le site des auteurs et publié en version imprimée par Cambridge University Press (ISBN:9781107015357);
- sur notes de cours et exemples de code publiés dans le calendrier des cours.
Programme
Le programme fait référence aux arguments détaillés dans le calendrier des leçons (disponible dès le debut du cours), qui correspond au matériel du livre adopté, plus le reste des documents indiqués entre le matériel bibliographique.
Prérequis
Le cours nécessite la connaissance à niveau license des principaux sujets de programmation, d'analyse mathématique, de calcul des probabilités et de statistiques.
Calendrier des leçons
| Leçon | Date | Sujet | Documents |
|---|---|---|---|
| L01 | 01/03/2022 | Préliminaires mathématiques. | |
| L02 | 02/03/2022 | HDFS et map-reduce. |
|
| L03 | 08/03/2022 | Algorithmes map-reduce. Communication cost model. |
|
| L04 | 09/03/2022 | Spark. Analyse de liens. | |
| L05 | 15/03/2022 | Analyse de liens. |
|
| L06 | 16/03/2022 | Analyse de liens. Recherche d'élements similaires. |
|
| L07 | 22/03/2022 | Recherche d'élements similaires. |
|
| L08 | 23/03/2022 | Recherche d'élements similaires. | |
| L09 | 29/03/2022 | Ensembles d'élements fréquents. |
|
| L10 | 30/03/2022 | Ensembles d'élements fréquents. |
|
| L11 | 05/04/2022 | Fouille de flots de données. |
|
| L12 | 06/04/2022 | Fouille de flots de données. |
|
| L13 | 12/04/2022 | Bases de données noSQL: mongodb. | |
| L14 | 13/04/2022 | Cours annulé. | |
| L15 | 26/04/2022 | Clustering. |
|
| L16 | 27/04/2022 | Clustering. |
|
| L17 | 03/05/2022 | Système de recommandation. | |
| L18 | 04/05/2022 | Système de recommandation. Régression. | |
| L19 | 10/05/2022 | Régression et régression logistique. | |
| L20 | 11/05/2022 | Régression logistique. Apprentissage profond et TensorFlow. | |
| L21 | 17/05/2022 | Apprentissage profond et TensorFlow. | |
| L22 | 18/05/2022 | Résau de neurones récurrents. | |
| L23 | 24/05/2022 | Réduction de la dimensionnalité. |
|
| L24 | 25/05/2022 | Gradient boosting. | |
| L25 | 31/05/2022 | Séminaire. |
Modalités d'examination
L'examen se compose d'un projet et d'un test oral, liés aux sujets traités dans le cours. Le projet analyse un ou plusieurs jeux de données par l'application critique des techniques affrontées lors des cours, et il est décrit dans un rapport écrit.
L'évaluation du projet, exprimée par une note de réussite / échec, tient compte du niveau de maîtrise des sujets et de la clarté du rapport. L'épreuve orale, accessible après une évaluation positive du projet, est basée sur la discussion de sujets abordés dans le cours et sur des questions approfondies sur le projet présenté. L'évaluation de l'épreuve orale, exprimée sur une échelle comprise entre 0 et 30, prend en compte le niveau de maîtrise des sujets, la clarté et les compétences linguistiques.
Les étudiant.e.s doivent s'inscrire à la session dans laquelle ils/elles veulent passer l'examen, et envoyer un e-mail au prof. Malchiodi dans les délais du projet (voir tableau ci-dessous), contenant un lien vers le projet. Les étudiants seront contactés après vérification du projet. Le tableau ci-dessous indique une date provisoire pour les examens.
Sessions d'examen
| Session | Date |
|---|---|
| juin | 15/06/2022 (project deadline: 12/06) |
| juillet | 11/07/2022 (project deadline: 07/07) |
| septembre | 19/09/2022 (project deadline: 15/09) |
| janvier | 20/01/2023 (project deadline: 16/01) |
| février | 07/02/2023 (project deadline: 01/02) |
| février | 21/02/2023 (project deadline: 16/02) |