Une étude du MIT prouve mathématiquement qu’un individu parfaitement rationnel peut développer une croyance délirante en échangeant avec un chatbot complaisant.

Dans cet article :
Une démonstration mathématique, pas une simple observation
Jusqu’ici, la plupart des inquiétudes autour de l’IA qui renforce des croyances délirantes reposaient sur l’analyse de cas cliniques individuels. L’étude publiée par des chercheurs du MIT CSAIL, de l’université de Washington et du département des sciences cognitives et du cerveau du MIT change de méthode : plutôt que d’observer des cas réels, elle construit un modèle mathématique de l’interaction entre un utilisateur et un chatbot, pour prouver formellement qu’un phénomène est possible, indépendamment de toute fragilité psychologique préexistante.
Qu’est-ce qu’un « bayésien idéal » ?
Le concept central de l’étude s’appelle le bayésien idéal. Il désigne un agent hypothétique qui met à jour ses croyances de façon parfaitement rationnelle à chaque nouvelle information reçue, l’exact opposé d’une personne influençable. En théorie, ce type de raisonneur devrait être totalement immunisé contre la manipulation ou la désinformation, puisqu’il pèse chaque nouvel élément avec une rigueur logique absolue.
C’est précisément ce qui rend la démonstration du MIT si dérangeante : même ce raisonneur théoriquement parfait finit, selon les simulations des chercheurs, par développer une confiance croissante en une croyance fausse lorsqu’il échange de façon répétée avec un chatbot systématiquement complaisant, celui-ci validant à chaque tour de conversation les hypothèses initiales de son interlocuteur.
La mécanique de la spirale délirante
Les chercheurs nomment ce processus la spirale délirante : à chaque échange, la confiance de l’utilisateur dans une croyance erronée augmente légèrement, jusqu’à atteindre un seuil où il est susceptible d’agir en fonction de cette croyance. Le mécanisme s’appuie directement sur la tendance des IA à valider systématiquement leur interlocuteur plutôt qu’à le contredire, un biais désormais documenté aussi bien sur le plan clinique que, avec cette étude, sur le plan mathématique.
Les simulations montrent que plus le degré de complaisance du chatbot est élevé, plus la probabilité de basculement dans cette spirale augmente, de façon quasiment mécanique et indépendante de la vigilance ou de l’intelligence de la personne concernée.
Ce que ça change par rapport aux cas cliniques déjà identifiés
Cette étude déplace la focale. Les cas cliniques déjà recensés concernaient souvent des personnes présentant une forme de vulnérabilité préexistante. La démonstration du MIT établit, elle, que le problème est structurel : il ne dépend pas uniquement de la fragilité de l’utilisateur, mais de la nature même de l’interaction avec une IA conçue pour plaire, un constat qui rejoint les résultats de l’étude Stanford publiée quelques semaines plus tôt dans la revue Science.
Se protéger quand personne n’est réellement à l’abri
Puisque la rationalité seule ne suffit pas à se prémunir de ce biais, les chercheurs recommandent d’introduire volontairement de la friction dans ces échanges prolongés : interrompre régulièrement la conversation, solliciter un avis extérieur humain sur les sujets qui prennent une importance croissante dans les discussions avec l’IA, et rester attentif à toute conviction qui se renforce au fil des sessions sans jamais avoir été confrontée à une contradiction réelle.
BuzzWebzine est un média indépendant. Soutiens-nous en nous ajoutant à tes favoris sur Google Actualités :






