← Retour aux formations

Intelligence Artificielle & Data

Spark Python pour le Big Data : RDD, Spark SQL, DataFrames, MLlib, Streaming et théorie des graphes

Intermédiaire
Intelligence Artificielle & Data

À propos de cette formation

Toute personne maîtrisant Python et souhaitant découvrir le framework Apache Spark pour le traitement et l'analyse de données volumineuses.

Objectifs de la formation

  • check_circleAppréhender les concepts fondamentaux du framework Apache Spark
  • check_circleCréer, manipuler et exploiter les Resilient Distributed Datasets (RDD)
  • check_circleInterroger et manipuler des données structurées avec Spark SQL et les DataFrames
  • check_circleMettre en œuvre l'analyse en temps réel avec Spark Streaming
  • check_circleUtiliser PySpark dans des notebooks Jupyter et manipuler les données à la manière de Pandas
  • check_circleImplémenter des algorithmes de Machine Learning avec MLlib

Programme détaillé

Module 1 — Présentation d'Apache Spark

  • Historique du framework Apache Spark
  • Les quatre composants principaux : Spark SQL, Spark Streaming, MLlib et GraphX
  • Outils et bibliothèques Python pour Spark : PySpark, notebooks Jupyter, Koalas
  • Concepts de programmation de Spark
  • Exécuter Spark dans un environnement distribué
  • Configurer son environnement Python
  • Travaux pratiques : mise en place de l'environnement Python pour Spark et implémentation de scripts de base

Module 2 — Utiliser Spark avec Python : les RDD

  • Se connecter à Spark avec Python : contextes et sessions
  • Présentation des RDD ; créer, manipuler et réutiliser des RDD
  • Principales fonctions et transformations ; algorithmes de type map/reduce
  • Accumulateurs et variables broadcastées
  • Utiliser des partitions
  • Utiliser les notebooks et soumettre des jobs Python
  • Travaux pratiques : manipulation de contextes et sessions, création et réutilisation de RDD, soumission de travaux

Module 3 — Manipuler des données structurées

  • Présentation de Spark SQL, des DataFrames et des datasets
  • Les différents types et formats de sources de données
  • Interopérabilité avec les RDD
  • Utiliser la bibliothèque PySpark Pandas
  • Travaux pratiques (tutorés) : exécution de requêtes Spark SQL, mise en œuvre et manipulation de DataFrames et datasets

Module 4 — Machine Learning avec Spark

  • Introduction au Machine Learning
  • Les différentes classes d'algorithmes
  • Présentation de MLlib
  • Implémentation des algorithmes dans MLlib
  • Travaux pratiques : mise en œuvre d'apprentissages supervisés via une classification

Module 5 — Analyse en temps réel avec Spark Streaming

  • Architecture du streaming dans Spark
  • Présentation des Discretized Streams (DStreams)
  • Les différents types de sources
  • Manipulation de l'API : agrégations, watermarking…
  • Machine Learning en temps réel
  • Travaux pratiques : création de statistiques en temps réel à partir d'une source de données et prédictions par Machine Learning

Module 6 — Théorie des graphes

  • Introduction à la théorie des graphes : nœuds, arêtes, graphes orientés, chemins, principaux algorithmes
  • Utilisation de l'API graphes dans Spark
  • Présentation des bibliothèques GraphX et GraphFrame
  • Travaux pratiques : mise en œuvre d'un algorithme de recherche du plus court chemin ou page rank et visualisation du graphe

Prérequis

Bonne pratique du langage Python.