The AI Forge · Avancé · F5
Ingénierie de la qualité avec l'IA
Tests augmentés par l'IA, et test et évaluation de systèmes IA qui ne réussissent ni n'échouent proprement
- Durée
- 2 jours · 9h00–17h00 chaque jour (13 h de contact, pauses et déjeuner inclus)
- Niveau des participants
- Intermédiaire : utilisateurs réguliers de l'IA
- Format
- Ateliers guidés par le formateur, construction en direct
- Participants
- 8 inclus · 12 maximum (taille de groupe flexible)
- Prérequis
- F4 ou expérience de l'automatisation des tests (ou équivalent)
- Écosystème
- Indépendant : tout fournisseur de modèle ou toute stack
- Prix
- 7 000 € (250 € par participant supplémentaire)
- Certification
- Parcours optionnel ISTQB® CT-GenAI avec un partenaire accrédité, en cours de mise en place · sur demande
Montants en euros, hors taxes.
ai-generatedCe que les participants seront capables de faire
- Produire et maintenir des suites de tests avec l'aide de l'IA
- Utiliser l'IA pour le test exploratoire et la prédiction des anomalies
- Intégrer une assurance qualité assistée par IA aux pipelines CI/CD
- Concevoir une stratégie de test complète, assistée par IA, pour votre produit
Outils & ressources
Ce qui change après ce module
Les ingénieurs qualité utilisent l'IA pour accélérer le test du logiciel ordinaire ET construisent la nouvelle chaîne de test probabiliste qu'exigent les systèmes IA : évaluations, non-régression, contrôles de biais et tests adverses intégrés à la CI, avec des méthodes qui survivront aux outils du moment.
À qui s'adresse ce module
Ingénieurs et professionnels de la data. Intermédiaire : utilisateurs réguliers de l'IA.
Programme
Ce programme est indicatif. Le contenu, l'enchaînement et les exemples sont adaptés au contexte, aux outils et aux objectifs de votre équipe.
Avant de commencer
- Un ordinateur portable avec un environnement de développement fonctionnel et les droits administrateur
- La maîtrise d'au moins un langage généraliste (Python et/ou JavaScript/TypeScript)
- Un éditeur ou IDE avec un assistant de code IA validé et activé
- Une clé d'API pour un fournisseur de modèles validé (délivrée par l'entreprise)
- Un dépôt Git et de l'aisance en ligne de commande
- Un profil assurance qualité, automatisation des tests ou développement
- Une application réelle à tester (classique et/ou dotée d'une fonctionnalité LLM) ainsi que son pipeline CI
| Jour 1 | 9:00–10:30 | Deux problèmes, une seule discipline: Utiliser l'IA pour tester un logiciel, face au fait de tester l'IA elle-même ; pourquoi des sorties probabilistes cassent l'automatisation en réussite ou échec (la « crise de l'assurance qualité ») Atelier : prenez une zone de tests instables ou coûteux et une fonctionnalité IA, les deux systèmes que vous porterez sur les deux jours, et associez à chacun la bonne approche de test. |
| 10:30–10:45 · ☕ Pause café | ||
| Jour 1 | 10:45–12:30 | Automatisation des tests augmentée par l'IA: Tests générés par l'IA, y compris dérivés des exigences et des spécifications, sélecteurs auto-réparants, analyse de la couverture et génération de données de test pour les applications classiques ; les fonctions IA qui arrivent dans les outils de test courants, et les règles de confidentialité à respecter avant de donner des spécifications et des données de test à un modèle Atelier : analysez une spécification réelle avec l'IA pour en dériver le jeu de tests, puis produisez et stabilisez une suite de bout en bout sur ce parcours. |
| 12:30–13:30 · 🍽 Pause déjeuner | ||
| Jour 1 | 13:30–15:30 | Tester les systèmes IA : les couches: Les trois couches d'une application LLM (intégration et exécution, orchestration, modèle) et la façon dont chacune échoue différemment Atelier : instrumentez une fonctionnalité LLM et provoquez une défaillance à chaque couche pour observer leurs signatures distinctes. |
| 15:30–15:45 · ☕ Pause café | ||
| Jour 1 | 15:45–17:00 | Atelier : harnais d'évaluation: Construire le harnais d'évaluation central d'une fonctionnalité IA Atelier : construisez un harnais d'évaluation qui note la fidélité, la pertinence et la sûreté sur un jeu annoté. |
| Jour 2 | 9:00–10:30 | LLM-as-judge et notation: Notation par grille, calibrage d'un modèle juge, et traitement du non-déterminisme par des seuils plutôt que par l'égalité Atelier : écrivez un évaluateur LLM-as-judge avec sa grille, validez-le contre des annotations humaines, et mesurez l'accord (kappa de Cohen) avant de faire confiance à ses chiffres. |
| 10:30–10:45 · ☕ Pause café | ||
| Jour 2 | 10:45–12:30 | Non-régression, biais et tests adverses: Non-régression lors d'un changement de prompt ou de modèle, contrôles de biais et d'équité, et tests adverses et d'injection de prompt Atelier : ajoutez une suite de non-régression qui attrape une régression simulée de montée de version du modèle, plus une sonde de biais et une sonde d'injection. |
| 12:30–13:30 · 🍽 Pause déjeuner | ||
| Jour 2 | 13:30–15:30 | La qualité dans la CI et en production: Les évaluations comme portes de qualité en CI, l'échantillonnage en production et la dérive, et la traçabilité pour l'audit (EU AI Act, ISO 42001, NIST) Atelier : branchez la suite d'évaluation en CI comme porte de qualité, ajoutez un contrôle par échantillonnage en production, et produisez l'enregistrement d'exécution versionné et horodaté qu'exige une piste d'audit EU AI Act. |
| 15:30–15:45 · ☕ Pause café | ||
| Jour 2 | 15:45–17:00 | Stratégie qualité et synthèse: Une stratégie de test par paliers, et ce qu'il faut couvrir intégralement plutôt qu'échantillonner ; revue par les pairs Atelier : rédigez la stratégie qualité de votre système et présentez le pipeline d'évaluation contrôlé par la CI. |
Livrables
- Suite de tests de bout en bout assistée par l'IA (application classique)
- Harnais d'évaluation (fidélité, pertinence, sécurité)
- Notateur LLM-as-judge calibré
- Contrôles de non-régression, de biais et tests adverses
- Pipeline d'évaluation bloquant dans la CI et échantillonnage en production
- Stratégie qualité par niveaux
Intéressé par ce module pour votre équipe ? Contactez-nous pour adapter le format, les dates et la modalité à votre contexte.
Demander cette formationVotre formateur
A construit des harnais de test et d'évaluation pour des systèmes IA ; forte expertise en ingénierie de la qualité
Séance de découverte
Ce module nécessite une journée complète pour offrir une expérience d'apprentissage significative. Nous ne le proposons qu'en version intégrale.
Fait partie d'un parcours plus large
- Enterprise115 000 € · jusqu'à 30 jours de formation
Questions fréquentes
Les modules peuvent-ils être suivis à l'unité ?
Oui. Chaque module se suffit à lui-même, à prix fixe, et compte dans un programme si vous poursuivez.
Où se déroulent les formations ?
Dans vos locaux ou à distance, à vos dates, pour des groupes privés. Les sessions ouvertes suivent un calendrier mensuel fixe.
Sur quels outils IA formez-vous ?
Les vôtres. Chaque module existe en quatre éditions et fait ses exercices sur vos propres outils.
Qui anime les formations ?
Les consultants et formateurs seniors d'Inforca. Les modules signalés et le parcours dirigeants sont animés au niveau expert senior.
Parlons de ce module lors d'un premier échange : pertinence, dates, et le parcours autour.
Sans engagement · notre équipe répond sous un jour ouvré