Sécurité de l'intelligence artificielle : enjeux, risques et bonnes pratiques

Module 1 — Sécurité de l'IA : enjeux majeurs et défis à relever

• Rappels sur les concepts fondamentaux de l'IA : IA générative, API, machine learning, deep learning
• L'adoption rapide de l'IA en entreprise et ses nouveaux défis en matière de sécurité
• Panorama des risques : cyberattaques, biais algorithmiques, vulnérabilités des modèles
• Approche intégrée de la sécurité IA couvrant les volets techniques, juridiques, organisationnels et éthiques

Module 2 — Nouvelles menaces et cyberattaques

• Ingénierie sociale augmentée par l'IA : hameçonnage via deepfake, clonage vocal, création de sites frauduleux
• Malwares de nouvelle génération : logiciels malveillants génératifs, malwares polymorphes, keyloggers améliorés, obfuscation intelligente, spywares furtifs, ransomwares auto-évolutifs
• Compromission des systèmes d'authentification : contournement biométrique, résolveurs de CAPTCHA assistés par IA
• Détection automatisée de failles, exploitation de vulnérabilités zero-day, fuzzing neuronal
• Techniques d'évasion avancées et attaques sur la chaîne d'approvisionnement (supply chain)

Module 3 — Vulnérabilités des systèmes d'IA

• Le Top 10 des vulnérabilités LLM selon l'OWASP
• Attaques sur les interactions : prompt injection, manipulation des sorties du modèle
• Atteinte à l'intégrité des données : empoisonnement, falsification et corruption des datasets d'entraînement
• Atteintes à la confidentialité et à la propriété intellectuelle : extraction, inversion de modèle, fuite de données
• Falsification des mécanismes d'apprentissage et de prise de décision : bruitage des entrées/sorties
• Attaques ciblant les modèles : inversion, substitution, détournement, exploitation des biais algorithmiques
• Exploitation de vulnérabilités dans les frameworks et les API des infrastructures IA

Module 4 — Gestion des risques dans les projets d'intelligence artificielle

• Cartographie des risques IA : l'AI Risk Repository du MIT
• Taxonomie des menaces : MITRE ATLAS, OWASP AI Exchange, NIST Adversarial ML
• Cadres de référence pour la gestion des risques : NIST AI Risk Management Framework (RMF), méthodologie EBIOS RM
• Déploiement d'un Système de Management de l'IA (SMIA) conforme à l'ISO 42001
• Protection des données personnelles et réalisation d'une évaluation d'impact (PIA/AIPD)
• Traitement des risques : mesures techniques et organisationnelles

Module 5 — Sécurité des applications IA (LLM, agents et APIs)

• A — Principes généraux de sécurisation des applications IA : démarche Secure AI by design ; cartographie de la surface d'attaque et des menaces spécifiques aux modèles ; contrôle d'accès et chiffrement des données
• B — Protection des modèles et algorithmes : sécurisation des datasets (prévention du data poisoning, protection contre les fuites) ; hardening des modèles IA — adversarial training, model watermarking ; détection des biais et surveillance des dérives ; contre-mesures face au prompt injection et aux attaques adversariales sur les LLMs
• C — Sécurité des infrastructures et des APIs : sécurisation des API — authentification, gestion des accès, validation des entrées/sorties ; protection des pipelines MLOps et LLMOps — contrôle des accès, intégrité des modèles ; validation continue et supervision des modèles en production, détection d'anomalies

Module 6 — Sécuriser l'usage de l'IA générative en entreprise

• A — Risques liés à l'IA générative : fuites de données sensibles (informations internes, données personnelles, secrets industriels) ; génération de réponses incorrectes ou trompeuses pouvant affecter la prise de décision ; shadow AI et usages non maîtrisés en dehors du cadre autorisé ; propriété intellectuelle et responsabilités juridiques liées aux contenus générés
• B — Politique d'usage interne : rédaction d'une charte d'utilisation des solutions d'IA générative ; délimitation des cas d'usage autorisés et interdits ; sensibilisation et formation des équipes aux bonnes pratiques
• C — Gouvernance de l'IA : formation continue des collaborateurs sur les risques ; désignation d'un responsable IA (Chief AI Officer – CAIO) ou création d'un comité de gouvernance ; suivi et reporting sur l'utilisation de l'IA dans l'entreprise
• D — Bonnes pratiques pour un usage sécurisé : encadrement des prises de décision reposant uniquement sur des recommandations générées par l'IA

Module 7 — Audit, transparence et évaluation de la sécurité des systèmes IA

• A — Conformité et audits : évaluation des risques IA avec COMPL-AI et l'AI Risk Repository du MIT ; alignement avec les exigences de l'ISO 42001 (SMIA) ; politiques de transparence et documentation des décisions IA
• B — Transparence et explicabilité : enjeux de l'auditabilité des modèles (XAI – Explainable AI) ; outils et méthodes d'audit — explicabilité, robustesse, détection des dérives ; vérification de l'équité des modèles et gestion des dérives dans le temps

Module 8 — Exploiter l'IA générative dans la cybersécurité

• A — Gouvernance et gestion des risques (GRC) : automatisation de la rédaction des PSSI et synthèse réglementaire ; veille proactive et structuration des évolutions réglementaires
• B — Développement et sécurisation des applications : automatisation des tests de sécurité — génération de scénarios d'attaques et de payloads polymorphiques
• C — Détection et réponse aux incidents : analyse avancée des logs, reconstruction d'incidents, génération automatisée de plans de réponse
• D — Cybersurveillance et Threat Intelligence : analyse et contextualisation des cybermenaces, traduction automatique et catégorisation des attaques émergentes
• E — Conformité réglementaire : analyse des écarts et mise en conformité avec RGPD, DORA, NIS2
• F — Intégration dans les solutions de cybersécurité : pare-feu XDR, SOAR, Microsoft Security Copilot, IBM Watson GenAI, Darktrace Prevent/Antigena, Zynamp, Cymulate