Spark avancé : Machine Learning avec MLlib, cycle analytique, industrialisation avec MLflow, Docker et Kafka

Module 1 — Introduction

• Rappels sur l'API Spark
• Concepts de Docker et son utilité dans les analyses de données
• Les conteneurs Docker
• Travaux pratiques : prise en main de l'environnement de travail, création des conteneurs Docker

Module 2 — Le cycle analytique avec Spark

• Les étapes du cycle analytique : ingestion, exploration, préparation, apprentissage, industrialisation
• Échanges : présentation de cas concrets et discussion autour des différentes étapes du cycle

Module 3 — Ingestion des données

• Chargement de données
• Traitements batch
• Traitements en streaming
• Les formats de données : images, binaires, structurés, graphes…
• Travaux pratiques : chargement de données à partir de diverses sources

Module 4 — Exploration des données

• Statistiques descriptives
• Identification des cas aberrants et des données manquantes
• Détection des valeurs invalides et autres anomalies
• Travaux pratiques : identifier les anomalies dans un jeu de données

Module 5 — Préparation et feature engineering

• Nettoyage des données
• Pipelines de transformation
• Transformer les valeurs numériques, catégoriques, binaires et textuelles
• Création de nouvelles features
• Réduction de dimensions
• Vectorisation
• Travaux pratiques : préparer les données pour des analyses ML

Module 6 — Cycle de vie du ML avec MLflow

• Cycle de vie d'un projet de Machine Learning
• Présentation de la plateforme open source MLflow
• Composants principaux de MLflow : Tracking, Models et Projects
• Paramètres, métriques, balises et artefacts
• Travaux pratiques : création et utilisation d'un projet de Machine Learning avec MLflow

Module 7 — Machine Learning avec Spark

• MLlib : bibliothèque d'apprentissage automatique de Spark et algorithmes disponibles
• Découper un jeu de données
• Configurer et exécuter un modèle
• Interprétation et validation des résultats d'apprentissage
• Introduction à Spark Streaming
• Travaux pratiques : mise en œuvre du Machine Learning avec MLlib

Module 8 — Études de cas

• Système de recommandations
• Prévisions de ventes
• Analyse sémantique
• Computer vision avec Spark et PyTorch
• Analyse en temps réel avec Spark et Kafka
• Étude de cas : réalisation des différents scénarios proposés