Algorithmes pour mégadonnées2023/24
Le cours vise à décrire le cadre de traitement des mégadonnées, soit en termes de méthodologies que de technologies.
Résultats attendus
Les étudiants:
- sauront utiliser des technologies pour le stockage distribué des données;
- connaîtront le paradigme de calcul distribué MapReduce et ses extensions principales;
- connaîtront les principaux algorithmes pour les problèmes classiques des mégadonnées, ainsi que leurs implémentation à l'aide d'un paradgme de calcul distribué;
- sauront choisir les méthodes appropriées pour résoudre les problèmes caractérisés par mégadonnées.
Infos
-
Projet commun pour les cours de « Algorithmes pour mégadonnées » et « Méthodes statistiques pour l'apprentissage automatique » (Master en Informatique)
La description d'un projet commun pour les cours de « Algorithmes pour mégadonnées » et de « Méthodes statistiques pour l'apprentissage automatique » du Master en « Informatique » est disponible.
-
Dernier cours de Algorithmes pour mégadonnées
Le dernier cours de Algorithmes pour mégadonnées aura lieu le 29/5 dans la salle "Lab. Laurea Magistrale" au 5ème étage du Département d'Informatique, remplaçant le cours du 28/5.
-
Projets pour le cours de « Algorithmes pour mégadonnées » (Master en Informatique)
Les descriptions des projets pour le cours de « Algorithmes pour mégadonnées » du Master en « Informatique » sont disponibles. Un projet commun avec le cours « Méthodes statistiques pour l'apprentissage automatique » sera publié prochainement.
Infos précédentes (1)
-
Annulation du cours de Algorithmes pour mégadonnées du 15/5
Le cours de Algorithmes pour mégadonnées du 15/5 est annulé et sera recuperé le 28/5 à 14:30 dans la « Sala Consiglio » au 8ème étage du Département d'Informatique.
Horaires du cours
Les cours ont lieu en présentiel, pendant le deuxième semestre, au secteur "Città studi". Le calendrier est le suivant:
| Jour | Heure | Lieu |
|---|---|---|
| mardi | 14:30 - 16:30 | 208 (Settore didattico) |
| mercredi | 14:30 - 16:30 | 110 (Settore didattico) |
Tout changement à l'horaire sera annoncé en classe et publié dans la section Infos de cette page.
Heures de bureau
Sur rendez-vous, salle 5015 du Département d'Informatique.
Il est possible contacter l'enseignant par e-mail, en prenant soin de lire à l'avance le guide préparé par le professeur Sebastiano Vigna et précisant clairement dans le message le nom du cours et l'année scolaire. En particulier, les étudiants sont encouragés à toujours utiliser leur adresse académique (c'est à dire celui basée sur la domaine studenti.unimi.it) en signant avec nom et numéro d'identification et rappelant que le temps de réponse peut varier en fonction des engagements de l'enseignant.
Materiel bibliographique
Les cours sont basées:
- sur le livre Mining of Massive Datasets, écrit par A. Rajaraman e J. Ullman (indiqué par RU dans le calendrier des cours), téléchargeable gratuitement sur le site des auteurs et publié en version imprimée par Cambridge University Press (ISBN:9781107015357);
- sur notes de cours et exemples de code publiés dans le calendrier des cours.
Programme
Le programme fait référence aux arguments détaillés dans le calendrier des leçons (disponible dès le debut du cours), qui correspond au matériel du livre adopté, plus le reste des documents indiqués entre le matériel bibliographique.
Prérequis
Le cours nécessite la connaissance à niveau license des principaux sujets de programmation, d'analyse mathématique, de calcul des probabilités et de statistiques.
Calendrier des leçons
| Leçon | Date | Sujet | Documents |
|---|---|---|---|
| L01 | 27/02/2024 | HDFS et map-reduce. | |
| L02 | 28/02/2024 | Algorithmes map-reduce. Communication cost model. |
|
| L03 | 05/03/2024 | Communication cost model. Analyse de liens. |
|
| L04 | 06/03/2024 | Analyse de liens. |
|
| L05 | 12/03/2024 | Spark. | |
| L06 | 13/03/2024 | Recherche d'élements similaires. |
|
| L07 | 19/03/2024 | Recherche d'élements similaires. |
|
| L08 | 20/03/2024 | Recherche d'élements similaires. Ensembles d'étements fréquents. |
|
| L09 | 26/03/2024 | Ensembles d'élements fréquents. |
|
| L10 | 27/03/2024 | Fouille de flots de données. |
|
| L11 | 03/04/2024 | Fouille de flots de données. |
|
| L12 | 09/04/2024 | Fouille de flots de données. Clustering. |
|
| L13 | 10/04/2024 | Clustering. |
|
| L14 | 16/04/2024 | Bases de données noSQL: mongodb. | |
| L15 | 17/04/2024 | Bases de données noSQL: mongodb. Régression. |
|
| L16 | 23/04/2024 | Régression. Régression logistique. | |
| L17 | 24/04/2024 | Systèmes de recommandation. | |
| L18 | 30/04/2024 | Transformers et LLM. | |
| L19 | 07/05/2024 | Workshop (Microsoft). | |
| L20 | 08/05/2024 | Systèmes de recommandation. Gradient boosting. | |
| L21 | 14/05/2024 | Apprentissage profond et TensorFlow. | |
| L22 | 21/05/2024 | Workshop (RadicalBit). | |
| L23 | 22/05/2024 | Workshop (AzureML). | |
| L24 | 29/05/2024 | Reduction de la dimensionnalité. |
Modalités d'examination
L'examen se compose d'un projet et d'un test oral, liés aux sujets traités dans le cours. Le projet analyse un ou plusieurs jeux de données par l'application critique des techniques affrontées lors des cours, et il est décrit dans un rapport écrit.
L'évaluation du projet, exprimée par une note de réussite / échec, tient compte du niveau de maîtrise des sujets et de la clarté du rapport. L'épreuve orale, accessible après une évaluation positive du projet, est basée sur la discussion de sujets abordés dans le cours et sur des questions approfondies sur le projet présenté. L'évaluation de l'épreuve orale, exprimée sur une échelle comprise entre 0 et 30, prend en compte le niveau de maîtrise des sujets, la clarté et les compétences linguistiques.
Les étudiant.e.s doivent s'inscrire à la session dans laquelle ils/elles veulent passer l'examen, et envoyer un e-mail au prof. Malchiodi dans les délais du projet (voir tableau ci-dessous), contenant un lien vers le projet. Les étudiants seront contactés après vérification du projet. Le tableau ci-dessous indique une date provisoire pour les examens.
Sessions d'examen
| Session | Date |
|---|---|
| juin | 18/06/2024 (project deadline: 12/06) |
| juillet | 02/07/2024 (project deadline: 26/06) |
| septembre | 19/09/2024 (project deadline: 12/09) |
| janvier | 22/01/2025 (project deadline: 16/01) |
| février | 06/02/2025 (project deadline: 30/01) |
| février | 21/02/2025 (project deadline: 14/02) |