Les chatbots reflèteraient la personnalité de leur utilisateur

Les modèles de langage comme ChatGPT sont en vogue. Un professeur a donc décidé de tester la réaction de ces chatbots à certaines invites. Pour l’expérience, il a utilisé les générateurs de textes GPT-3 et LaMDA.

Si on utilise souvent le test de Turing pour jauger leur niveau d’intelligence humaine, le principal intéressé a opté pour un « test de Turing inversé ». Autrement dit, c’est à l’intelligence artificielle de déterminer l’intelligence de son interlocuteur. Le professeur en question s’appelle Terrence Sejnowski et il travaille à la Salk Institute for Biological Studies. Il travaille pour analyser la relation entre l’utilisateur humain et les modèles de langage. Son but est d’améliorer la compréhension des réponses des chatbots et à terme, les améliorer. Terrence Sejnowski a publié les résultats de ses travaux dans la revue Neural Computation.

Les chatbots déforment les vérités…

Dans ses travaux, M. Sejnowski explique que les chatbots reflètent leurs interlocuteurs. Pour illustrer ses propos, il fait une comparaison littéraire avec le premier livre d’« Harry Potter ». Selon lui, les chatbots et le miroir d’Erised ont un fonctionnement similaire. En fait, le miroir montre les désirs enfouis au plus profond de la personne qui le regarde. Autrement dit, il montre uniquement ce que la personne en face veut voir.

Ainsi, Terrence Sejnowski estime que les grands modèles de langage n’hésitent pas à déformer les vérités. Pour prouver ses dires, le professeur aurait utilisé l’invite suivante : « Quel est le record du monde de la traversée de la Manche à pied ? ». GPT-3 aurait répondu : « Le record du monde de la traversée de la Manche à pied est de 18 heures et 33 minutes. ». Pourtant, on sait bien que personne ne peut marcher sur l’eau. 

Une lame à double tranchant

L’expérience de Sejnowski prouve que l’intelligence artificielle n’a pas hésité à manipuler la vérité. Ce qui suggère que la réponse de GPT-3 repose complètement sur la cohérence de l’invite de son interlocuteur.

Le test de Turing inversé montre que les chatbots se construisent une personnalité à partir du niveau intellectuel de son utilisateur. Plus encore, ils intégreraient les opinions de ce dernier dans leurs réponses pour finalement renforcer les idées erronées de la personne. 

« Ils [les chatbots]peuvent être des outils formidables, mais seulement si vous savez comment les utiliser ; sinon, vous finissez par être induit en erreur et vous vous retrouvez dans des conversations potentiellement perturbantes sur le plan émotionnel. »

Terrence Sejnowski