Puisque l’IA sait coder et peut contrôler un ordinateur, peut-elle créer d’autres IA ?

Puisque les IA sont déjà capables d’écrire du code, elles peuvent déjà créer des programmes. Dans ce sens, ont-elles déjà le pouvoir de donner naissance à des IA ?

Avant l’arrivée de ChatGPT, les développeurs connaissaient déjà Github Copilot, ce programme IA qui analyse les lignes de codes en temps réel et suggérait la suite. Aujourd’hui, tous les systèmes d’IA savent coder et dans presque tous les langages de programmation qui existent. Aussi, ces derniers ont déjà la possibilité de prendre le contrôle d’un ordinateur à distance pour y faire divers réglages. C’est notamment le cas de Computer-Use, d’Anthropic, ou encore de Operator, d’OpenAI. Littéralement, l’IA a déjà la possibilité d’écrire des lignes de code pour parvenir à un programme d’IA. D’ailleurs, elle est déjà utilisée pour l’entrainement de plusieurs autres modèles. Mais alors, pourquoi elle-même ne pourrait pas encore décider de créer d’autres systèmes d’IA ?

Depuis 2017, de nombreuses choses ont évolué…

Dans un avenir proche ou lointain, nous aurons peut-être une autre manière de faire, mais celle qui a permis des récents progrès en IA a vu le jour en 2017. Tout est parti de l’article scientifique « Attention is all you need », publié par des chercheurs chez Google. Dans cet article, les chercheurs présentaient Transformers, une architecture neuronale qui permet de savoir avec précision le prochain mot à générer en faisant attention à certains mots. Depuis, cette structure est utilisée et sert de base à la majorité des IA génératives aujourd’hui.

Pour parvenir à générer avec précision des mots suivants, il faut avoir au préalable connaissance des mots. Les modèles nécessitent donc des corpus de texte et ce n’était pas une petite quantité. À titre d’exemple, GPT-2 a été entrainé sur 30 milliards de mots contre 11 000 milliards pour Llama-3. Mais une très grande quantité de mots ne suffisaient pas à créer un modèle de langage performant, il fallait des textes de qualité, chose qui n’était pas garantie, car les textes utilisés provenaient du web.

Un long travail de nettoyage s’impose donc avant l’étape décisive d’apprentissage. Deux étapes très difficiles que les entreprises cherchent à automatiser en créant des IA capables de nettoyer, de reformuler et de générer des mots. Mais là encore, la tâche est ardue, puisque les LLM sont lents. En effet, en plus de la qualité douteuse, il faudra environ 17 000 ans à GPT-4 pour générer 11 000 milliards de mots. On ne parle évidemment pas de l’énergie qui sera nécessaire.

VOIR AUSSI : Quel sera l’avenir avec l’intelligence artificielle d’ici 2050 ? Les prédictions d’un futurologue

Un modèle d’IA brut ne sert pas à grand-chose

Un modèle d’IA qui sort juste de la phase d’entraînement ne commence pas à faire montre de ses capacités comme un humain. Elle est un imprévisible et ne sera pas forcément utile du point de vue humain. Vous ne pourrez pas encore lui poser des questions dans des domaines spécifiques et obtenir des réponses comme vous le voudriez. C’est alors que commence l’étape de calibrage.

À ce niveau, on apprend au modèle à plaire à l’humain. Le plus souvent, on utilise les techniques de reinforcement learning où les retours d’humains permettent à l’IA de s’améliorer et de devenir plus utile. C’est notamment pour cette étape que de nombreuses entreprises recrutent un peu partout sur le web pour entraîner des IA. C’est une étape extrêmement couteuse et elle est accomplie par des travailleurs sous-payés.

Pour y remédier, les entreprises ont lancé ces dernières années des LLM pour former d’autres LLM. En juillet 2024 par exemple, Microsoft a présenté AgentInstruct, un modèle pour enseigner de nouvelles compétences à d’autres IA.

L’IA aujourd’hui n’est pas autonome et ne peut pas s’améliorer

L’une des caractéristiques fondamentales de l’intelligence est d’artificielle est sa capacité à s’adapter aux nouvelles expériences et à s’améliorer grâce à son interaction avec les humains. Malheureusement, ce n’est pas encore le cas de ce que nous avons aujourd’hui.

ChatGPT, tout comme c’est le cas de Gemini, ne s’adapte pas directement à de nouvelles expériences. Son modèle est fixe.

Plus simplement, si OpenAI n’avait pas mis à jour son premier modèle grand public publié en 2022, celui-ci passerait 100 ans qu’il ne pourrait pas faire plus que ce qu’il faisait depuis des années.

À ce jour, les LLM ne sont pas autonomes et ne peuvent donc pas s’améliorer eux-mêmes. C’est ce rôle que va jouer AgentInstruct de Microsoft. Celui-ci est un comme un chef d’orchestre qui dirige de nombreux autres agents spécialisés dans un domaine donné (mathématiques, littérature, physique, biologie, etc.) et alimentés en données extérieures. Tels des professeurs, ils vont les restituer aux autres LLM.

Alors, peuvent-ils déjà créer d’autres IA ?

Bien que les systèmes d’IA soient capables de générer du code et d’optimiser des processus existants, leur capacité à innover reste limitée. Ces systèmes agissent principalement en suivant des algorithmes préétablis, manquant ainsi de la volonté créative. La volonté de programmer des IA avec des objectifs spécifiques reste une prérogative humaine. L’absence de cette volonté limite donc l’autonomie des systèmes d’IA dans le développement de nouvelles IA.

De plus, la conception d’une nouvelle IA demande une vision stratégique qui va au-delà de la simple création d’un programme informatique. Les ingénieurs et chercheurs en IA intègrent des éléments de raisonnement abstrait, d’empathie et de prise de décision éthique – des qualités que les systèmes actuels ne possèdent pas encore.

Par ailleurs, même si des tentatives sont faites pour automatiser certaines parties du processus de développement, ces efforts seront entravés par des limitations inhérentes à la technologie actuelle. Les algorithmes d’apprentissage automatique ont besoin d’un cadre contextuel et d’une compréhension approfondie pour évoluer efficacement. Il faudra forcément des humains dans des datas centers pour maintenir les machines actives.