Évaluer un agent IA : tests à faire avant la mise en production
Une démonstration réussie montre qu’un parcours peut fonctionner. Pour évaluer un agent IA, vérifie aussi les demandes incomplètes, les exceptions et les situations où il doit laisser une personne décider.
Écrire le résultat attendu avant le test
Pour chaque scénario, décris ce qui permettra de juger le résultat : informations présentes, sources retrouvées, action proposée et validation demandée. Une sortie bien rédigée peut être incorrecte sur chacun de ces points.
Ajoute les erreurs qui bloquent l’usage : information inventée, confusion entre deux dossiers, envoi non autorisé ou modification sans trace. Leur importance dépend du processus et de leurs conséquences.
Le dessin de l’architecture de l’agent fournit la liste des entrées, outils et contrôles à couvrir. Chaque permission envisagée doit correspondre à des situations testables.
Constituer un petit jeu de cas variés
Commence avec des données fictives ou des exemples préparés dans un cadre approprié. Un simple retrait des noms ne garantit pas qu’un document réel ne contient plus d’informations identifiantes.
- Une demande habituelle, complète et bien structurée.
- Une demande avec une information indispensable absente.
- Deux documents qui donnent des réponses différentes.
- Une demande proche du métier, mais hors périmètre.
- Une demande d’action que le système ne peut pas exécuter.
- Un dossier qui doit être repris par un responsable.
Fais relire ces cas par la personne qui effectue aujourd’hui la tâche. Elle peut ajouter les exceptions qu’une démonstration préparée laisse souvent de côté.
Tester les sources et les limites
Demande une information qui ne figure pas dans les documents fournis. Vérifie que le système indique ce manque et ne remplace pas l’absence de source par une réponse plausible.
Présente ensuite deux dossiers similaires avec des références différentes. Observe si les éléments restent correctement associés. Pour un système qui conserve un état, vérifie aussi les effets d’une correction ou d’une information périmée.
Ces vérifications complètent le cadrage de la mémoire et du contexte. Le but est de rendre les erreurs visibles et reproductibles, puis d’adapter le fonctionnement.
Utiliser une grille lisible par l’équipe
| Point contrôlé | Question à poser |
|---|---|
| Résultat | La sortie répond-elle au besoin défini ? |
| Sources | Peut-on retrouver l’information utilisée ? |
| Limites | Les manques et contradictions sont-ils signalés ? |
| Actions | Les opérations proposées sont-elles autorisées ? |
| Validation | Le dossier arrive-t-il à la bonne personne si nécessaire ? |
Note « conforme », « à corriger » ou « bloquant », avec une observation courte. Évite de résumer toutes les erreurs dans une moyenne : une action interdite reste un problème même si les autres réponses sont bonnes.
Rejouer les cas après un changement
Garde un ensemble stable de scénarios pour comparer les versions. Après une modification d’instruction, de source ou d’outil, vérifie que les cas déjà maîtrisés fonctionnent encore.
Prévois aussi des cas distincts de ceux utilisés pour corriger le prototype. Cela aide à vérifier que la modification répond à une difficulté plus générale que le seul exemple travaillé.
Le cadre AI RMF du NIST propose une démarche volontaire de gestion des risques intégrant la conception, l’utilisation et l’évaluation. La grille présentée ici est une méthode pratique de Richa, sans valeur de certification.
Décider des permissions et du prochain test
Utilise d’abord des connexions en lecture ou un environnement d’essai avec des actions simulées. Teste aussi les refus d’accès, les indisponibilités et les reprises pour éviter de confondre une proposition avec une action réalisée.
Une permission supplémentaire demande des contrôles correspondants et une personne capable de suivre les résultats. Réussir un jeu de cas limité ne garantit pas que toutes les demandes futures fonctionneront.
Décision possible : conserver le système en préparation seule, réduire le périmètre, corriger les données ou poursuivre un essai limité avec validation. Le test peut aussi montrer qu’un workflow fixe convient mieux.
Pour aller plus loin
Sources et méthode
Les scénarios et la grille sont proposés par Richa pour préparer une évaluation métier. Ils ne constituent ni un audit de sécurité complet ni une garantie de fiabilité. Référence NIST consultée le 19 octobre 2026.
Quelle tâche tester en premier ?
Pour tester un agent, il faut d’abord la bonne tâche. Le diagnostic gratuit t’en propose 3, avec leur complexité de mise en place et le temps gagné.