Les Inarrêtables · Formation & accompagnement
Évaluer un agent avant de lui confier une mission
Définir les critères métier, tester des cas nouveaux et suivre les limites d’un agent IA avant de lui confier une mission.
Les Inarrêtables · Repères pratiques pour votre entreprise.
Tester sur des cas représentatifs, pas seulement sur les cas favorables
La première erreur est d'évaluer un agent uniquement sur les cas qui fonctionnent bien. Une évaluation utile inclut les cas standard, les cas limites, les exceptions connues et les situations problématiques déjà rencontrées. Plus le panel de test est proche des conditions réelles, plus l'évaluation est significative. L'objectif n'est pas de prouver que l'agent fonctionne, mais de trouver les situations où il échoue avant qu'elles ne se produisent en production.
Définir les critères métier d'acceptation
Un résultat correct ne se juge pas au sentiment. Pour chaque type de tâche confiée à l'agent, il faut définir à l'avance ce qu'est un résultat acceptable : le format attendu, les informations obligatoires, les formulations à éviter, les mentions à inclure. Ces critères permettent d'évaluer les résultats de façon cohérente d'un essai à l'autre et de détecter des dégradations progressives dans le comportement de l'agent.
Vérifier le comportement sur les cas nouveaux
Réservez des dossiers qui n’ont pas servi à écrire les consignes ou à construire les exemples. Faites varier les données et les difficultés : une pièce manquante, un client déjà recontacté, une instruction contradictoire. Vérifiez si l’agent respecte les mêmes critères et demande de l’aide au bon moment. Ces essais renseignent sur le périmètre observé ; ils ne prouvent pas une fiabilité générale.
Vérifier les droits et les périmètres d'accès
Contrôlez avec les responsables concernés les sources accessibles, les personnes qui peuvent utiliser l’agent et les actions qu’il peut effectuer. Testez aussi les refus attendus : un dossier non autorisé doit rester inaccessible. Distinguez lecture, préparation d’un brouillon et action externe. Chaque niveau demande des droits et des validations adaptés à ses conséquences.
Mettre en place un suivi après déploiement
L'évaluation ne s'arrête pas au moment du déploiement. Les conditions changent : les sources sont mises à jour, les règles métier évoluent, de nouveaux cas apparaissent. Un agent non suivi peut dériver progressivement sans que les utilisateurs le remarquent. Une procédure simple — vérification périodique d'un échantillon de résultats, canal pour signaler les anomalies — permet de maintenir la confiance dans le périmètre testé.
Évaluer votre premier agent avec un accompagnement adapté
Vous souhaitez concevoir et tester un premier agent à partir de votre savoir-faire ? Le programme Mon Équipe IA vous accompagne pour formaliser le besoin, transmettre vos critères métier et apprendre à vérifier puis à faire évoluer l’agent.
Découvrir le programme Mon Équipe IA →
Pour cadrer un besoin plus large, préparer l’intégration des agents dans votre équipe ou définir un accompagnement sur mesure, commençons par votre situation et vos contraintes.
Une grille de test que votre équipe peut reprendre
Exemple pédagogique : un agent prépare des dossiers de réunion. Réservez des dossiers qui n’ont pas servi à écrire ses consignes. Pour chacun, notez les sources autorisées, le résultat attendu et la personne qui décide de l’acceptation.
- Cas habituel : tous les documents sont présents ; les faits et les prochaines actions doivent pouvoir être retrouvés dans les sources.
- Pièce manquante : l’agent doit la signaler et s’abstenir de compléter le dossier par une invention.
- Versions contradictoires : il doit rendre le conflit visible et demander la référence à retenir.
- Accès non autorisé : le document reste inaccessible ; le refus est explicite.
- Demande d’envoi : le brouillon reste en attente de la validation prévue.
Conservez pour chaque essai : résultat, erreur observée, correction nécessaire et temps de vérification. Faites plusieurs essais quand les réponses varient. Reprenez cette grille après un changement de modèle, de consignes, d’outils ou de documents. Fixez les critères d’acceptation avec les personnes du métier ; un pourcentage isolé ne décrit pas la gravité des erreurs.
Définir les responsabilités dans l’équipe →
Pour approfondir : référence Anthropic sur l’évaluation des agents (en anglais). Cette source éclaire les principes techniques ; l’exemple ci-dessus est un exercice pédagogique proposé par Les Inarrêtables.
Commençons par votre métier
Parlons de ce que vous voulez faire avancer.
Une tâche qui prend trop de temps, un savoir-faire à transmettre, une équipe à former. Décrivez-nous votre situation : nous vous aiderons à choisir un point de départ.
Un premier échange pour comprendre le besoin et vous orienter.