Peut-on construire une IA sans biais ?

Construire une IA « sans biais », ce n’est pas possible. Quand quelqu’un vous dit que son IA n’a pas de biais, ça veut simplement dire qu’elle a les siens.

Ce qui ne veut pas dire qu’on ne peut pas les réduire au maximum. Dès qu’on utilise l’IA pour un service public, ou plus généralement pour un cas d’usage d’intérêt général, a fortiori lorsqu’il s’agit d’accompagner des personnes en situation vulnérable, il est impératif qu’elle soit alignée avec l’intérêt du bénéficiaire. Elle doit aussi répondre autant que possible aux exigences d’égalité, d’universalité et de neutralité. Bref, qu’elle soit en accord avec les valeurs du service public.

Il existe pour ça quelques bonnes pratiques, et elles comptent plus que le choix du modèle.

J’en parle dans un court épisode de notre série d’entretiens, Building AI for Public Services. Les deux précédents portaient sur ce que veut dire une IA souveraine et sur qui construit l’IA à l’hôpital, et tous les épisodes sont sur notre chaîne YouTube.

Les biais viennent avec le modèle

Prenez un modèle qui a appris, naïvement, sur des données du marché de l’emploi, où les femmes ne représentent qu’environ un quart des ingénieurs en activité. Demandez-lui des pistes de métier. Il n’a pas inventé ce biais, mais il l’amplifie et le systématise : à profil égal, il oriente les femmes vers le soin et les hommes vers l’ingénierie.

Ce n’est pas un cas abstrait. En 2024, le service public de l’emploi autrichien, l’AMS, a lancé le Berufsinfomat, un chatbot d’orientation construit sur ChatGPT. À profil égal, il proposait la santé, la beauté ou les métiers créatifs à une femme, et le développement logiciel à un homme. Interrogé sur la conciliation avec la vie de famille, il suggérait le temps partiel à elle, pas à lui.

Ce n’est pas intrinsèque à l’IA : c’est l’usage naïf qui en a été fait, et les bonnes pratiques ont beaucoup évolué depuis. Rapprocher des profils et des métiers, ce n’est pas le travail d’un modèle généraliste à qui l’on donne un prompt. On le confie à un agent d’orientation conçu pour ça, testé et validé avant sa mise en service, qui recommande des métiers à partir des compétences, des envies et du marché local de la personne.

Dans les cas d’usage qu’on construit sur la Plateforme Bayes, c’est ce qu’on appelle l’ancrage : l’agent ne s’appuie que sur les règles métier que l’institution a écrites et sur les bases de connaissances vérifiées qu’on lui a données, pas sur ce que le modèle a retenu de son entraînement.

Suggestion ou décision ?

Le principal facteur de risque n’est souvent pas technique : il relève de la philosophie de conception. Les bulles de filtre, ou l’attrait des réseaux sociaux pour les contenus inflammatoires, sont encouragés par le modèle économique de plateformes qui vivent du temps d’attention. De même, un algorithme peut servir à suggérer ou à décider.

La même IA peut automatiser des décisions d’éligibilité à des aides, ce qui porte un tout autre niveau de risque (l’AI Act classe d’ailleurs ces systèmes à haut risque). Elle peut aussi suggérer à des personnes en difficulté des aides dont elles n’auraient peut-être pas connaissance. En France, un tiers des foyers éligibles au RSA ne le perçoivent pas.

Bien sûr, il faut surveiller les effets de bord. Un système pensé pour suggérer peut devenir prescriptif dans l’usage, si le fameux humain dans la boucle finit par suivre les recommandations sans les discuter. Une étude parue dans Radiology en 2023 l’a mesuré : quand l’IA proposait un mauvais classement de mammographie, même les radiologues les plus expérimentés voyaient chuter leur taux de bonnes réponses. D’où l’importance de penser le cas d’usage dans son contexte, et pas en isolation.

On entend souvent qu’il faut garder l’humain dans la boucle. C’est la moitié de la réponse. L’autre moitié, c’est la façon dont on repense le parcours :

• Le temps que l’IA libère pour le conseiller est-il réalloué à plus d’humain ?
• Au-delà de l’explicabilité, existe-t-il des recours efficaces quand on veut contester ses conclusions ? C’est tout l’enjeu de la contestabilité, que la recherche commence à distinguer de l’explicabilité (Freiesleben, Meding et König, 2026). J’aimerais d’ailleurs avoir le regard de Stéphan-Eloïse Gras là-dessus.
• Est-on dans une logique d’accompagnement, ou de prescription ?

Et le diable est dans les détails. Prenez la santé. Une IA pose le diagnostic à la place du médecin. Une autre explique au patient un diagnostic déjà posé. Une troisième relit par-dessus l’épaule d’un médecin qui enchaîne depuis douze heures, et lui dit ce qu’il a oublié de vérifier. Les trois peuvent être des instances du même agent IA en médecine, mais elles n’ont pas du tout les mêmes conséquences en matière de risques et de bénéfices.

Mesurer comme on teste déjà les institutions

Certains angles morts n’apparaissent qu’une fois l’outil en service. Sur un cas d’usage d’orientation professionnelle, par exemple, on vérifie que le taux de satisfaction tient pour chaque population que le service accompagne. C’est à ces indicateurs qu’on juge la neutralité des recommandations.

C’est le même principe, en version technologique, que les testings de SOS Racisme : envoyer des CV identiques qui ne diffèrent que par la consonance du nom, et regarder si les taux de réponse changent. Bien avant l’IA, on testait déjà les institutions de cette façon, pour vérifier que la neutralité du service public se retrouvait dans les faits. L’IA demande la même attention, au quotidien.

La Plateforme Bayes est faite pour ça. Chaque agent passe par une évaluation avant sa mise en service. Une fois en production, son usage est suivi dans la durée, avec une catégorisation des thèmes abordés et un score sur les dimensions qui comptent : le risque d’hallucination, les biais, les différences de traitement à examiner.

Embarquer les personnes concernées

Les bons cas d’usage remontent du terrain. Quand on en construit un, on implique tous ceux qu’il concerne : les patients, les associations, les agents de première ligne. Pas seulement la personne qui pilote la transformation de l’établissement.

Le contre-exemple est connu. En 2023, la NEDA, une association américaine de lutte contre les troubles alimentaires, a dû retirer Tessa, son chatbot d’écoute, après qu’il a donné des conseils de régime à des personnes souffrant de ces troubles. Il n’avait visiblement pas été assez éprouvé avec elles.

De mon expérience, les organisations tombent dans le piège surtout quand elles font de l’IA pour de mauvaises raisons. Soit hâtivement, dans une logique de réduction des coûts (tentante dans le contexte économique actuel), sans vision claire du parcours à réinventer. Soit avec les bonnes intentions d’un acteur déconnecté du terrain, qui cherche un effet de court terme.

On ne croit personne sur parole non plus. Ni les laboratoires qui ont entraîné les modèles, quels qu’ils soient, ni nous-mêmes, alors que c’est nous qui construisons la plateforme.

Et quand l’IA se trompe

Les erreurs arrivent. C’est vrai pour les IA comme pour les humains. Danziger, Levav et Avnaim-Pesso l’ont montré en 2011 sur plus de mille décisions de libération conditionnelle : juste après la pause repas, les juges l’accordaient dans 65 % des cas, puis ce taux baissait au fil de la séance, parfois jusqu’à zéro. L’étude est célèbre, et discutée depuis.

La machine se trompe aussi, mais pas de la même façon : ses failure modes ne sont pas ceux des humains. Elle ne se fatigue pas, mais elle peut se tromper avec aplomb. C’est pourquoi il faut penser le système dès le départ pour qu’il combine les forces et les faiblesses des deux.

Des règles plutôt que le zéro biais

Le zéro biais, ça n’existe donc pas. Mais on peut définir clairement les règles que l’IA doit suivre. Ces règles, ce n’est pas à l’IA de les inventer : c’est à une gouvernance humaine, et aussi organisationnelle, de les fixer. Et ce sont les systèmes qu’on met autour, l’évaluation avant la mise en service, le suivi en production, les indicateurs par population, qui vérifient au quotidien qu’elle les suit.

C’est comme ça qu’on en garde la maîtrise.