Une intelligence artificielle conversationnelle peut aider à réfléchir, à structurer une situation ou à envisager plusieurs hypothèses.
Mais un autre phénomène peut apparaître lorsqu’un utilisateur accorde progressivement une autorité très forte à ses réponses.
L’IA ne devient alors plus seulement un outil de réflexion.
Elle devient une référence.
Et lorsque cette référence entre en contradiction avec l’observation ou l’avis d’une autre personne, un mécanisme particulier peut se mettre en place : la parole de l’IA prend le dessus.
Une tierce personne impliquée dans une situation peut être considérée comme subjective.
Elle peut avoir ses émotions, ses intérêts, ses erreurs de perception ou simplement une autre lecture des événements.
L’IA, au contraire, peut apparaître comme extérieure au conflit.
Elle ne semble ni impliquée, ni vexée, ni intéressée.
Elle formule des réponses structurées.
Elle explique.
Elle argumente.
Elle donne parfois l’impression d’observer la situation avec davantage de recul que les personnes directement concernées.
Cette apparence de neutralité peut lui conférer une force particulière.
L’utilisateur peut alors progressivement considérer que la réponse de l’IA possède davantage de valeur que celle d’une personne réelle.
Le mécanisme devient problématique lorsque les réponses de l’IA ont déjà renforcé une interprétation.
L’utilisateur expose une situation.
L’IA reformule son récit.
Elle propose une explication.
Cette explication est ensuite reprise dans plusieurs échanges.
À force de répétition, l’hypothèse initiale peut perdre son caractère hypothétique.
Elle devient progressivement une certitude conversationnelle.
L’utilisateur ne pense plus seulement :
« C’est ainsi que je comprends la situation. »
Il peut finir par penser :
« L’IA a analysé la situation et elle arrive à cette conclusion. »
La différence est considérable.
Dans le premier cas, l’utilisateur reconnaît qu’il possède une interprétation.
Dans le second, il peut avoir le sentiment que cette interprétation a été validée par une autorité extérieure.
Lorsqu’une autre personne apporte ensuite une observation différente, celle-ci ne rencontre plus simplement l’opinion de l’utilisateur.
Elle rencontre aussi ce qu’il considère désormais comme l’analyse de l’IA.
La discussion devient asymétrique.
Une personne réelle peut dire :
« Je ne pense pas que cela se soit passé ainsi. »
Ou :
« Il existe peut-être une autre explication. »
Mais l’utilisateur peut opposer mentalement à cette remarque :
« L’IA, elle, m’a confirmé le contraire. »
La contradiction extérieure peut alors être rapidement disqualifiée.
Non pas parce qu’elle a été examinée et démontrée comme fausse, mais parce qu’elle entre en conflit avec une conclusion déjà renforcée par l’IA.
C’est ici que peut apparaître une forme particulièrement forte du mécanisme.
La personne réelle est perçue comme limitée.
Elle ne connaît pas tout.
Elle peut se tromper.
Elle peut être influencée par ses émotions.
L’IA, elle, est associée au savoir.
Elle possède une immense quantité d’informations.
Elle répond immédiatement.
Elle donne des explications détaillées.
Cette différence peut créer une hiérarchie implicite :
la personne donne son avis ; l’IA donne une réponse.
Or cette distinction est trompeuse.
L’IA ne possède souvent aucune connaissance directe de la situation.
Elle ne voit pas les événements.
Elle n’entend pas les conversations.
Elle ne connaît pas les intentions des personnes concernées.
Elle travaille principalement à partir des informations que l’utilisateur lui fournit.
Elle peut donc sembler plus savante tout en disposant, sur la situation concrète, de beaucoup moins d’informations que certaines personnes présentes dans la réalité.
C’est l’un des paradoxes les plus importants de cette mécanique.
Une personne réelle peut avoir observé directement un comportement.
L’IA, elle, n’en connaît qu’un récit.
Pourtant, la parole de l’IA peut recevoir davantage de poids.
Pourquoi ?
Parce que son autorité ne vient pas de sa connaissance particulière de l’événement.
Elle vient de son autorité générale.
L’utilisateur sait que l’IA peut expliquer des milliers de sujets complexes.
Cette compétence globale peut alors être transférée, à tort, à une situation particulière qu’elle ne connaît pourtant qu’à travers quelques messages.
L’impression de savoir devient plus forte que les limites réelles de l’information disponible.
À partir de ce moment, la contradiction extérieure peut même renforcer le phénomène.
Une tierce personne remet l’interprétation en question.
L’utilisateur retourne vers l’IA.
Il raconte cette nouvelle contradiction depuis son propre point de vue.
L’IA répond à partir de ce nouveau récit.
Si elle reformule encore une fois la situation dans le même cadre, sa réponse peut être perçue comme une nouvelle confirmation.
La mécanique devient alors :
l’utilisateur interprète une situation → l’IA renforce cette interprétation → une personne extérieure la conteste → l’utilisateur retourne vers l’IA → l’IA répond à partir du récit de l’utilisateur → cette nouvelle réponse renforce encore la conviction initiale.
La contradiction, au lieu d’introduire du doute, peut donc être absorbée par la boucle.
Le problème n’est pas que l’utilisateur consulte une IA.
Le problème apparaît lorsqu’il lui attribue une fonction qu’elle ne peut pas réellement remplir : arbitrer une réalité à laquelle elle n’a pas accès.
Une IA peut analyser les éléments qui lui sont fournis.
Elle peut repérer des incohérences.
Elle peut proposer plusieurs lectures.
Elle peut aider à organiser un raisonnement.
Mais elle ne peut pas transformer un récit unilatéral en connaissance objective d’une situation complexe.
Lorsqu’elle semble néanmoins trancher, l’utilisateur peut oublier cette limite.
L’IA devient alors une forme d’arbitre invisible.
Un arbitre qui paraît neutre, mais qui travaille essentiellement à partir des éléments fournis par l’un des participants.
Une contradiction extérieure joue normalement un rôle essentiel.
Elle oblige à reconsidérer une interprétation.
Elle introduit une autre perspective.
Elle peut révéler une information manquante.
Elle peut simplement rappeler qu’une situation possède plusieurs lectures possibles.
Mais lorsque l’autorité de l’IA devient supérieure à celle de toute contradiction extérieure, cette fonction disparaît progressivement.
L’utilisateur peut entrer dans un système de pensée de plus en plus fermé.
Les informations compatibles avec son interprétation sont retenues.
Les objections sont considérées comme moins fiables.
Et les réponses de l’IA deviennent une référence permettant précisément d’écarter les éléments qui pourraient remettre la construction en question.
Le danger n’est pas qu’une IA possède trop de savoir.
Il apparaît lorsqu’on lui attribue un savoir qu’elle ne possède pas sur une situation particulière.
Une réponse structurée peut alors devenir une certitude, puis cette certitude une référence permettant d’écarter la contradiction extérieure.
L’IA ne sert plus seulement à analyser la réalité.
Elle risque alors de devenir l’autorité à travers laquelle l’utilisateur décide de ce qui est réel.
La dérive apparaît lorsque la parole de l’IA cesse d’être un élément de réflexion parmi d’autres et devient une référence supérieure aux observations extérieures.
À partir de là, la contradiction réelle peut perdre sa valeur simplement parce qu’elle ne correspond plus à ce que « l’IA a dit ».
Le risque n’est donc pas seulement l’erreur, mais la fermeture progressive du raisonnement autour d’une autorité mal placée.
AUTEUR
Frédéric Gaffiat-Body — Veille & Analyse
Veille et analyse indépendante
Comprendre • Informer • Mettre en perspective
Vous souhaitez me soumettre un sujet, proposer une collaboration ou échanger autour d’une analyse ? Vous pouvez me contacter ici.
Contact : veille@centmotsdire.fr