Algorithmes pour mégadonnées2024/25
Le cours vise à décrire le cadre de traitement des mégadonnées, soit en termes de méthodologies que de technologies.
Résultats attendus
Les étudiants:
- sauront utiliser des technologies pour le stockage distribué des données;
- connaîtront le paradigme de calcul distribué MapReduce et ses extensions principales;
- connaîtront les principaux algorithmes pour les problèmes classiques des mégadonnées, ainsi que leurs implémentation à l'aide d'un paradgme de calcul distribué;
- sauront choisir les méthodes appropriées pour résoudre les problèmes caractérisés par mégadonnées.
Infos
-
Projets pour le cours de « Algorithmes pour mégadonnées » (Master en Informatique)
Les descriptions des projets pour le cours de « Algorithmes pour mégadonnées » du Master en « Informatique » sont disponibles.
-
Changement de salle de cours pour AMD
À partir du 1 avril, les cours du mardi de « Algorithmes pour mégadonnées auront lieu dans la salle de cours « Laboratorio magistrale » au troisième étage du Département d'Informatique. Les cours du mercredit auront lieu dans la même salle à partir du 9 avril. Les horaires ne changeront pas.
-
Changement de salle de cours pour AMD
À partir du 1 avril, les cours de « Algorithmes pour mégadonnées auront lieu dans la salle de cours « Laboratorio magistrale » au troisième étage du Département d'Informatique.
Infos précédentes (2)
-
Changement d'horaire pour les leçons de Algorithmes pour mégadonnées
Les leçons du 29 et 30 avril de Algorithmes pour mégadonnées sont annulées. Elles seront rattrapées en mai.
-
Pages des cours 2024/25
Les pages pour l'année académique 2024/25 des cours de Statistique et analyse des données et de Algorithmes pour mégadonnées sont disponibles.
Horaires du cours
Les cours ont lieu en présentiel, pendant le deuxième semestre, au secteur "Città studi". Le calendrier est le suivant:
| Jour | Heure | Lieu |
|---|---|---|
| mardi | 14:30 - 16:30 | Lab. magistrale 3 piano 100 (Settore didattico) |
| mercredi | 13:30 - 15:30 | Lab. magistrale 3 piano V10 (Didatteca) |
Tout changement à l'horaire sera annoncé en classe et publié dans la section Infos de cette page.
Heures de bureau
Sur rendez-vous, salle 5015 du Département d'Informatique.
Il est possible contacter l'enseignant par e-mail, en prenant soin de lire à l'avance le guide préparé par le professeur Sebastiano Vigna et précisant clairement dans le message le nom du cours et l'année scolaire. En particulier, les étudiants sont encouragés à toujours utiliser leur adresse académique (c'est à dire celui basée sur la domaine studenti.unimi.it) en signant avec nom et numéro d'identification et rappelant que le temps de réponse peut varier en fonction des engagements de l'enseignant.
Materiel bibliographique
Les cours sont basées:
- sur le livre Mining of Massive Datasets, écrit par A. Rajaraman e J. Ullman (indiqué par RU dans le calendrier des cours), téléchargeable gratuitement sur le site des auteurs et publié en version imprimée par Cambridge University Press (ISBN:9781107015357);
- sur notes de cours et exemples de code publiés dans le calendrier des cours.
Programme
Le programme fait référence aux arguments détaillés dans le calendrier des leçons (disponible dès le debut du cours), qui correspond au matériel du livre adopté, plus le reste des documents indiqués entre le matériel bibliographique.
Prérequis
Le cours nécessite la connaissance à niveau license des principaux sujets de programmation, d'analyse mathématique, de calcul des probabilités et de statistiques.
Calendrier des leçons
| Leçon | Date | Sujet | Documents |
|---|---|---|---|
| L01 | 25/02/2025 | HDFS et map-reduce. | |
| L02 | 26/02/2025 | Algorithmes map-reduce. Communication cost model. |
|
| L03 | 04/03/2025 | Communication cost model. Analyse de liens. |
|
| L04 | 05/03/2025 | Analyse de liens. |
|
| L05 | 11/03/2025 | Recherche d'élements similaires. |
|
| L06 | 12/03/2025 | Recherche d'élements similaires. | |
| L07 | 18/03/2025 | Ensembles d'étements fréquents. |
|
| L08 | 19/03/2025 | Spark. | |
| L09 | 25/03/2025 | Ensembles d'élements fréquents. |
|
| L10 | 26/03/2025 | Fouille de flots de données. |
|
| L11 | 01/04/2025 | Fouille de flots de données. |
|
| L12 | 02/04/2025 | Fouille de flots de données. Clustering. |
|
| L13 | 08/04/2025 | Clustering. |
|
| L14 | 09/04/2025 | Bases de données noSQL: mongodb. | |
| L15 | 15/04/2025 | Bases de données noSQL: mongodb. Régression. |
|
| L16 | 16/04/2025 | Régression. Régression logistique. | |
| L17 | 22/04/2025 | Apprentissage profond et TensorFlow. | |
| L18 | 23/04/2025 | Apprentissage profond et TensorFlow. | |
| L19 | 06/05/2025 | Transformers et LLM. | |
| L20 | 07/05/2025 | Reduction de la dimensionnalité. |
|
| L21 | 13/05/2025 | Reduction de la dimenionnalité. Gradient boosting. | |
| L22 | 14/05/2025 | Workshop: Led by data: big data, cloud & AI in today's enterprise (Microsoft) | |
| L23 | 20/05/2025 | Workshop: The role of data & analytics in consulting (Target Reply) | |
| L24 | 21/05/2025 | Systèmes de recommandation. |
Modalités d'examination
L'examen se compose d'un projet et d'un test oral, liés aux sujets traités dans le cours. Le projet analyse un ou plusieurs jeux de données par l'application critique des techniques affrontées lors des cours, et il est décrit dans un rapport écrit.
L'évaluation du projet, exprimée par une note de réussite / échec, tient compte du niveau de maîtrise des sujets et de la clarté du rapport. L'épreuve orale, accessible après une évaluation positive du projet, est basée sur la discussion de sujets abordés dans le cours et sur des questions approfondies sur le projet présenté. L'évaluation de l'épreuve orale, exprimée sur une échelle comprise entre 0 et 30, prend en compte le niveau de maîtrise des sujets, la clarté et les compétences linguistiques.
Les étudiant.e.s doivent s'inscrire à la session dans laquelle ils/elles veulent passer l'examen, et envoyer un e-mail au prof. Malchiodi dans les délais du projet (voir tableau ci-dessous), contenant un lien vers le projet. Les étudiants seront contactés après vérification du projet. Le tableau ci-dessous indique une date provisoire pour les examens.
Sessions d'examen
| Session | Date |
|---|---|
| juin | 18/06/2025 (project deadline: 12/06) |
| juillet | 02/07/2025 (project deadline: 26/06) |
| septembre | 19/09/2025 (project deadline: 12/09) |
| janvier | 21/01 (project deadline: 14/01) |
| février | 11/02 (project deadline: 04/02) |
| mars | 23/03 (project deadline: 16/03) |