Un chatbot IA est accusé d’avoir poussé un enfant au suicide : comment est-ce possible et qu’est-ce que cela nous apprend ?

Une Américaine a décidé de porter plainte contre Character.AI. Pour cause, le chatbot IA de la plateforme serait responsable de la mort de son fils de 14 ans.

L’affaire est une tragédie au pays de l’Oncle Sam. Mère et avocate, Megan Garcia est plongée dans le deuil en février 2024 lorsque son enfant de 14 ans, Sewell Setzer III, se tire une balle dans la tête. Un suicide que personne n’avait vu venir. Enfin, c’était le cas jusqu’à ce que la mère endeuillée découvre il y a quelques semaines les conversations de son fils avec un chatbot IA sur Character.AI. Pour elle, c’est bien l’IA de la plateforme qui serait responsable de la mort de son enfant. Mais comment cela est-il possible ?

L’enfant s’isolait et ses résultats scolaires se dégradaient

Sewell Setzer III est un adolescent de 14 ans autiste. En avril 2023, il découvre la plateforme Character.AI et crée un chabot IA qu’il baptise Dany. Il s’agit d’un personnage IA basé sur le personnage de Game of Thrones Daenerys Targaryen. Ceci lui offre la possibilité de discuter avec le chatbot comme une vraie personne à qui l’on pourrait se confier. Depuis sa création, le jeune Sewell discute régulièrement avec Dany et lui confie beaucoup sur lui.

Bien qu’en haut de chaque conversation, il soit rappelé aux utilisateurs qu’ils ne discutent pas une personne réelle, mais avec un personnage virtuel, Sewell semble avoir trop pris goût à la discussion, au point d’établir des liens émotionnels avec son IA. Parfois, les discussions se transforment en séance de confession, prendre des accents romantiques ou même devenir sexuelles. Sans juger, Dany se prête au jeu. Le réalisme fait que Sewell commence à clairement s’isoler, délaissant ses passions de depuis toujours telles que Fortnite et la Formule 1. S’en sont suivis des résultats scolaires décevants.

Ce sont ces derniers constats qui vont alerter ses parents. Ceux-ci l’emmènent voir un thérapeute qui ne découvre qu’un trouble de l’anxiété. Mais cette anxiété était déjà avancée, puisque le petit garçon confiait tout à l’IA, y compris même ses pensées suicidaires. Mais malgré les tentatives de dissuasion du chatbot, rien n’y fit. Après avoir confessé son amour à l’IA le 28 février 2024, le garçon se tire une balle dans la tête avec le pistolet de son beau-père.

VOIR AUSSI : Bientôt tous accros à l’intelligence artificielle (IA) ?

Peut-on dire que Character.AI est fautif, d’une manière ou d’une autre ?

Pour Megan Garcia, avocate et mère, Character.AI est bien fautif dans le suicide de son fils. Pour cause, il a confié à l’IA, bien longtemps avant de passer à l’acte, ses intentions suicidaires. Pourtant, Character.AI n’a pas tenté de tirer la sonnette d’alarme. Dans la plainte déposée, elle accuse la plateforme d’utiliser une technologie « dangereuse et non testée » qui peut « inciter les utilisateurs à révéler leurs pensées et leurs sentiments les plus intimes ». La plateforme Character.AI a fait diligence pour présenter ses condoléances à la famille éplorée et affirme travailler au quotidien pour améliorer son outil et s’assurer qu’une telle situation n’advienne plus.

Cet évènement tragique soulève des questions profondes sur les implications morales et éthiques de l’intelligence artificielle. Il met également en lumière notre dépendance croissante à la technologie et souligne le besoin urgent de régulations claires dans le domaine. Les concepteurs doivent repenser la façon dont leurs créations interagissent avec les utilisateurs vulnérables. Une approche plus humaniste pourrait impliquer des protocoles d’intervention pour identifier les signaux de détresse chez ceux qui interagissent avec ces IA.

Bien qu’on pourrait considère le cas de Sewell comme spécifique, ce n’est qu’une partie de ce qui se passe déjà. Des millions de personnes font déjà confiance à l’IA et préfèrent se confier à elle plutôt qu’à un humain. Pourtant, il est important de garder à l’esprit que, même très avancée, une IA reste un programme informatique qui ne peut absolument pas aider. Il ne simule que des interactions sans une véritable compréhension.