Comment sait-on qu'un agent IA est prêt à répondre au public ?
Un agent IA est prêt quand les professionnels qui devront en répondre le disent, en notant ses réponses à l’aveugle, sur des critères qu’ils ont écrits eux-mêmes. Pas quand l’équipe qui l’a construit annonce un bon taux de précision. Entre les deux, il y a toute la différence entre un chiffre et une preuve, et l’audit du chatbot officiel de la ville de New York, publié cette année, montre ce qui arrive quand on les confond.
Ce que révèle l’audit de la ville de New York
Le chatbot MyCity a été lancé en septembre 2023, puis étendu aux contenus du 311 en mars 2025. L’agence qui l’exploite a annoncé une précision de 95 à 99 %.
L’audit du Comptroller de New York est allé regarder comment ce taux était calculé. Le dénominateur comptait les requêtes que le système avait enregistrées, et non le nombre de questions réellement posées. Recalculé sur le bon dénominateur, le mois d’août 2025 se situe entre 84,8 et 92,7 %. Même système, même mois, dix points d’écart selon la personne qui divise.
Les retours des usagers sur la même période racontent une tout autre histoire. Sur les 70 personnes qui ont laissé un avis en juillet et août 2025, 50 étaient négatifs, et 19 précisaient que la réponse ne les avait pas aidées.
Sur l’évaluation menée avant la mise en service, l’agence n’a pu produire qu’un résumé d’une page d’un test de 2023, trop mince pour que les auditeurs puissent savoir si l’incohérence des réponses avait été testée. Ils ont donc posé leurs propres questions, et constaté que le chatbot ne redonnait pas la même information quand on lui reposait la même question (rapport d’audit du Comptroller de la ville de New York sur le système MyCity).
Personne n’a menti dans cette histoire. Un chiffre n’est jamais plus indépendant que celui qui l’a compté.
Pourquoi un taux de précision auto-déclaré ne prouve rien
Trois choses se déforment quand l’équipe qui construit l’agent est aussi celle qui le note.
Elle choisit le dénominateur. Un taux de précision est une fraction, et cette fraction est une décision de conception. Compter les requêtes enregistrées plutôt que les questions posées n’est pas une fraude : c’est un choix d’apparence raisonnable, fait par des gens qui ont un intérêt dans le résultat.
Elle choisit les questions. Un agent est testé sur les cas que ses concepteurs ont imaginés. Ceux qui comptent sont ceux qu’un agent d’accueil rencontre un mardi après-midi, formulés comme la personne en face de lui les a formulés.
Un taux unique masque l’endroit où l’agent casse. « 92 % de précision » ne dit rien des 8 % restants, et les échecs ne se répartissent jamais uniformément. Ils se concentrent sur les questions dont personne n’a documenté la réponse, c’est-à-dire souvent les plus importantes.
C’est ainsi qu’un excellent taux annoncé et un mur d’avis négatifs peuvent être vrais en même temps. Le premier mesure ce que le système a journalisé. Le second mesure si quelqu’un a obtenu la réponse qu’il venait chercher.
Ce qu’est une campagne de revue
Sur la Bayes Platform, un agent n’atteint aucun usager avant qu’une campagne de revue ne soit revenue suffisamment bonne. Le mécanisme tient en quatre temps.
Le service écrit les critères, avec ses propres mots. Pas une grille de qualité générique : les questions auxquelles répondront les relecteurs sont rédigées par l’institution qui sera comptable du service, dans le vocabulaire de son métier.
Des testeurs interrogent l’agent sur des cas réels. Ceux qui font le travail soumettent à l’agent les questions qu’ils reçoivent vraiment, et non un jeu de test choisi pour lui plaire.
Les relecteurs notent à l’aveugle. Ils ne savent pas quelle version, quel modèle ni quelle configuration a produit la réponse qu’ils lisent. Cela écarte le biais silencieux en faveur de la configuration la plus récente et rend deux versions réellement comparables.
Le verdict conditionne la mise en service. Si les revues ne reviennent pas assez bonnes, l’agent ne part pas en production.
Une campagne mêle en général trois types de questions, parce que la qualité n’est pas une chose unique :
- La qualité de la recherche documentaire, en choix unique : le bon document a-t-il été retrouvé ? Un agent ancré dans les documents d’une organisation peut aller chercher la mauvaise source et rédiger malgré tout une réponse fluide, et c’est le mode de défaillance le plus dangereux dans un service public.
- La pertinence de la réponse, sur une échelle de 1 à 5 : la réponse répond-elle à la question ? Une réponse peut être exacte et inutile.
- Les améliorations suggérées, en texte libre. C’est là que les relecteurs disent ce qu’ils savent et que le système ignore.
Ce qu’une mauvaise note vous apprend vraiment
Le réflexe, quand une revue revient faible, est de changer de modèle. Ce n’est presque jamais la solution.
Un agent ancré dans les documents validés d’une institution échoue là où ces documents manquent ou se contredisent. Chaque réponse faible désigne quelque chose que personne n’a encore écrit : une procédure qui vit dans la tête d’une seule personne, deux circulaires qui se contredisent, une règle d’éligibilité mise à jour partout sauf dans le guide métier. Lue ainsi, une campagne de revue n’est pas une note. C’est un plan de travail pour le service, et le savoir qu’elle fait remonter reste utile longtemps après la mise en service de l’agent.
Taux auto-déclaré et campagne de revue
| Taux de précision auto-déclaré | Campagne de revue | |
|---|---|---|
| Qui définit la mesure | L’équipe qui a construit le système | Le service comptable des réponses |
| Ce qui est compté | Ce que le système a journalisé | Des réponses à de vraies questions du métier |
| Qui juge | Le concepteur | Les professionnels du service, à l’aveugle |
| Ce qu’un échec vous apprend | Que le chiffre a baissé | Quel document manque |
| Quand cela se passe | Après la mise en service, en reporting | Avant, comme condition d’ouverture |
| Ce que cela produit | Un pourcentage | Un verdict et un plan de travail |
Après la mise en service, cela continue
Une campagne avant l’ouverture est une condition, pas un certificat. La Bayes Platform permet de gérer l’ensemble du cycle de vie d’un agent pour le service public, du prototypage rapide à l’expérimentation, puis la mise en production et le suivi dans le temps. Le même mécanisme de revue se relance sur une nouvelle version, une nouvelle base documentaire ou une nouvelle série de cas. Un agent validé en mars sur un jeu de critères n’est pas validé en octobre sur un autre service.
Questions fréquentes
Une évaluation automatique peut-elle remplacer la revue humaine ? L’évaluation automatique sert à détecter les régressions entre deux versions, et nous l’utilisons pour cela. Elle ne peut pas dire si une réponse rend service à la personne qui a posé la question, parce que ce jugement relève de l’expertise métier : savoir si un protocole de soins a été bien lu, si une règle de droit s’applique à cette situation. Cette décision appartient aux professionnels.
Combien de relecteurs faut-il pour une campagne ? Assez pour couvrir la vraie diversité des cas plutôt qu’un échantillon de questions faciles, avec plusieurs relecteurs par réponse. Ce qui compte est la couverture des situations, pas le nombre de notes.
Que se passe-t-il si les revues sont mauvaises ? L’agent ne part pas en production. Les réponses en texte libre et les mauvaises notes de recherche documentaire désignent ce qui manque, le service comble ces manques, et la campagne est relancée sur les mêmes critères. Cette boucle, c’est le produit qui fonctionne.
À qui appartiennent les résultats des revues ? À l’institution. La Bayes Platform est open-source et déployable sur sa propre infrastructure : les campagnes, les réponses et les notes restent chez elle, comme le reste de ses données.
Le verdict ne nous appartient pas
Nous construisons la plateforme, et nous sommes confiants dans ce qu’elle fait. Décider qu’un agent est assez bon pour répondre à un usager appartient à celles et ceux qui en répondront.
L’étape de revue se voit en fonctionnement, avec le reste du cycle de vie, dans la visite de la plateforme, et le tableau complet de la façon dont ces agents sont construits et gouvernés est ici : des agents IA pour le service public.