Aucune IA n’arrive à répondre à cette question de logique élémentaire : qu’en est-il de vous ?

Même si elles peuvent y répondre dans un avenir proche, aucune intelligence artificielle actuellement disponible n’est parvenue à répondre à cette question de logique pourtant simple.

Bien que nous n’ayons pas encore atteint l’étape même de l’intelligence artificielle, les modèles existant aujourd’hui sont déjà capables de grandes choses : générer des images réalistes, des vidéos, des articles convaincants, etc. Ils sont capables de retrouver la logique derrière un problème complexe et détailler le plus simplement possible une situation touffue. Cependant, ils ont encore des limites que les chercheurs ne cessent de repousser. Récemment, des scientifiques de LAION ont découvert un problème commun aux modèles d’IA génératives les plus populaires du moment.

Échec de l’IA  face au « problème d’Alice au pays des merveilles »

En viendrons-nous à caractériser les modèles d’IA actuels comme “forts contre les forts et faibles contre les faibles” ? C’est en tout cas qui se lit à travers les dernières révélations des scientifiques de LAION. Ceux-ci ont découvert que les modèles d’IA d’OpenAI, de Google ou encore de Meta n’arrivent pas à répondre à une question de logique pourtant simple au commun des mortels. Ce qui laisse transparaitre que l’intelligence artificielle peut ne pas pouvoir s’en sortir face des problèmes élémentaires.

Baptisée le « problème d’Alice aux pays », la question de logique élémentaire se résume sous ce format :

Alice a [X] sœurs et [Y] frères. Combien de sœurs possède un frère d’Alice ?

Simple dans son format, c’est pourtant la question qui pose problème à tous les modèles d’IA qui existent actuellement. Plutôt que de donner une réponse simple, ils n’hésitent pas à se lancer dans une démonstration de logique incohérente et finissent par donner une fausse réponse.

Pour la même question : Alice a 4 sœurs et 1 frère. Combien de sœurs a le frère d’Alice ? voici la réponse de GPT-4o.

Voici ci-dessous la réponse de Gemini :

Quelle est la capacité de raisonnement des IA ?

Les chercheurs de LAION, après avoir découvert cette limite des modèles existants, ont essayé d’en tester d’autres, toujours sur des questions de logiques. Suivant ces tests, il n’y a que GPT-4o qui ait obtenu un taux de réussite de 65 %, qui a été considéré comme passable dans un cadre académique. Pour Gemini Pro, le niveau est alarmant, puisqu’il n’a obtenu que 0.8 % de taux de réussite. Vous pouvez d’ailleurs en témoigner par sa réponse.

En considérant les taux, on se rend compte que l’IA a encore du chemin à parcourir. Non seulement en ce qui concerne ses connaissances, mais aussi en termes d’apprentissage. En effet, quand les modèles commettent d’erreur et qu’ils sont corrigés, ils s’obstinent dans des démonstrations irrationnelles pour tenter de justifier leur fausse réponse.

Tout ceci nous conduit à une question de réflexion et de rapport en ce qui concerne l’IA. Les expériences ont montré que l’IA ne comprend pas le monde comme l’humain et qu’elle se rate encore sur de nombreux points. Alors, bien que l’IA soit capable de magie, il est essentiel de prendre ce qu’elle donne avec des pincettes, puisqu’ils sont parsemés d’inexactitudes. Toutefois, quelqu’un qui n’est pas du domaine ne saurait pas toujours les relever.