Le point de départ est la décision à prendre : qui la prend aujourd’hui, avec quelles informations et selon quelles règles ? Le choix d’un outil vient après cette clarification.
Examinez la qualité et l’actualité des données, les droits d’accès, les actions autorisées et les cas qui demandent une validation humaine. Définissez aussi comment détecter une erreur et interrompre ou corriger l’action.
Choisir un usage qui peut être évalué.
Décrivez une tâche précise, ses utilisateurs et le résultat qu’ils doivent pouvoir exploiter. Chercher une information, préparer une réponse et autoriser une opération ne présentent pas les mêmes conséquences en cas d’erreur.
Exemple illustratif : un assistant peut préparer une réponse à partir de documents internes, avec vérification par un utilisateur avant l’envoi. Pour juger son intérêt, il faut vérifier la réponse, ses sources, les droits d’accès et le temps total passé, relecture comprise.
Mesurer le travail complet.
Le point de comparaison est la manière dont la tâche est réalisée aujourd’hui. Constituez des cas représentatifs, y compris les situations ambiguës, les informations manquantes et les exceptions.
Évaluez la qualité utile au métier, les erreurs, le temps de correction, le coût d’usage et les tâches nouvelles créées par le système. Un gain sur la génération d’une réponse peut être absorbé par sa vérification. Les critères d’acceptation se définissent avec les personnes qui utiliseront le résultat.
Délimiter ce que le système peut faire.
Consulter, proposer et agir doivent être distingués. Précisez les données accessibles, les actions permises, les validations humaines et le traitement des cas incertains. Une réponse plausible ne suffit pas à autoriser une modification dans un système métier.
Prévoyez comment retrouver l’origine d’une réponse, signaler un problème et suspendre l’usage si les conditions ne sont plus réunies. La gestion des risques accompagne la conception, l’évaluation et l’utilisation ; le cadre AI RMF du NIST fournit des repères pour organiser cette démarche.
Préparer l’usage après le test.
Un pilote doit déboucher sur une décision : poursuivre, modifier ou arrêter. Pour déployer, il reste à organiser l’intégration, le support, les responsabilités et la formation sur des situations réelles.
Les utilisateurs doivent savoir quand faire confiance au résultat, quand vérifier et vers qui se tourner. Une évolution du modèle, des données ou du processus peut nécessiter une nouvelle évaluation. Le suivi porte sur la qualité du service rendu dans la durée.
Pour approfondir
POUR PRÉPARER VOTRE ÉCHANGE
À réunir : le cas d’usage, les sources de données, les droits nécessaires, les limites d’action et les critères d’évaluation.