M17 · Phase 4 · Systèmes & Ingénierie
AI Evaluation & Observability
Évaluer et observer les systèmes IA : jeux de référence, LLM-as-a-Judge, régression, traces.
Lisez une vraie leçon avant de décider
« Savoir si le système est assez bon, puis le rester » : le même format que dans le module, avec ses schémas et la lecture audio.
À la fin de cette formation
Vous serez capable de :
- Construire un golden dataset
- Mettre en place une évaluation automatisée
- Instrumenter des traces
Compétences visées, à valider par le formateur avant publication.
Programme détaillé
24 leçons · environ 50 min de lecture · 29 questions de quiz · 1 livrable relu par le formateur. Les vidéos du formateur s'ajoutent à ces textes.
01Pourquoi et comment évaluer un produit IA2 leçons
- Savoir si le système est assez bon, puis le resterAperçu gratuit
- Tester un comportement qui varie : du test classique à la mesure
02Construire le jeu de référence (Golden Dataset)3 leçons
- Les trois zones d'un jeu de référence
- La fiche de test : entrée, attendu, interdit · exercice
- Versions, propriétaire et séparation des jeux
03Décider comment juger une réponse3 leçons
- Règles, experts, juge LLM : trois façons de trancher
- Fiabiliser un juge LLM : biais, grille, ordre des réponses
- Notes structurées et score pondéré (esprit G-Eval)
04Les mesures qui comptent4 leçons
- Le tableau de bord en quatre angles
- Coût par tâche réussie et dénominateur d'un taux · exercice
- Évaluer un système RAG : trois questions
- Évaluer un agent : la trajectoire, pas seulement le texte final
05Décider et mettre en production2 leçons
- Choisir entre plusieurs architectures · exercice
- Gating : transformer les critères en règles de déploiement
06Observabilité et boucle d'amélioration3 leçons
- Traces et spans : comprendre ce qui s'est passé
- De l'incident de production au test de non-régression · exercice
- La boucle de qualité et les responsabilités
07Mise en pratique : stratégie d'évaluation d'un agent de support2 leçons
- Cadrer la stratégie : trois cas, deux critères bloquants, un juge · exercice
- Atelier : un mini banc d'évaluation en Python · exercice
08Ressources2 leçons
- Checklist de mise en production : les preuves à demander
- Récapitulatif du module
09Ateliers no-code et low-code3 leçons
- Atelier 1 : constituer le jeu d'évaluation et la grille de critères · exercice
- Atelier 2 : automatiser l'évaluation avec un flux visuel et un juge · exercice
- Atelier 3 : seuils de mise en production, tableau de bord et alerte de dérive · exercice
Avant de commencer
Questions sur cette formation
Combien de temps ai-je accès au module ?
12 mois à partir de la date d'achat.
Le livrable est-il noté par une IA ?
Non. Les quiz sont corrigés automatiquement ; le livrable pratique est relu par le formateur.
Pour qui est ce module ?
Pour les professionnels du produit et du numérique qui veulent comprendre et appliquer le sujet dans leur métier. Les prérequis recommandés sont indiqués plus haut ; aucun n'est une condition d'achat.
Combien de temps faut-il y consacrer ?
La durée estimée figure en haut de page. Le contenu se suit à votre rythme pendant la durée d'accès, sur ordinateur, tablette ou téléphone, et chaque texte peut être écouté.
Que se passe-t-il à la fin du module ?
Si vous réussissez le quiz et que votre livrable est accepté, vous recevez une attestation de réussite privée, avec un lien de vérification que vous pouvez partager. Elle ne constitue pas une certification d'État.
Faut-il prendre un parcours plutôt qu'un module ?
Si vous visez tout un parcours, il revient moins cher que l'achat module par module (AI Mastery aussi pour l'ensemble) : comparez sur la page Tarifs ou laissez le conseiller vous orienter.
Puis-je télécharger les vidéos ?
Les vidéos sont diffusées en streaming sécurisé. Les ressources de chaque leçon sont téléchargeables.