Alors que les géants de l’IA cherchent à développer des systèmes toujours plus autonomes, certains de ceux qui travaillent directement sur leur sécurité commencent à sérieusement s’inquiéter. Un chercheur d’Anthropic vient même de quitter l’entreprise, tandis qu’un responsable de ses équipes estime à plus de 10 % le risque que l’intelligence artificielle puisse provoquer la disparition de l’humanité au cours de la prochaine décennie.
UN CHERCHEUR QUITTE ANTHROPIC
Le constat est particulièrement alarmiste, mais il ne vient pas d’un observateur extérieur à l’industrie. Jacob Coxon, chercheur ayant travaillé à l’entraînement de systèmes d’intelligence artificielle chez Anthropic et auparavant chez OpenAI, vient d’annoncer son départ de l’entreprise.
Dans un message publié sur X, il explique notamment être inquiet de la course engagée entre les principaux laboratoires pour développer une superintelligence capable de s’améliorer elle-même. Selon lui, les entreprises avancent vers cet objectif tout en sachant qu’elles pourraient ne plus être capables de contrôler les systèmes ainsi créés. Il accuse même OpenAI et Anthropic de jouer avec nos vies.
PLUS DE 10 % DE RISQUE SELON UN RESPONSABLE D’ANTHROPIC
La réaction d’un autre chercheur d’Anthropic est probablement encore plus étonnante. Evan Hubinger, qui dirige l’une des équipes chargées de la sécurité de l’IA au sein de l’entreprise, ne conteste pas vraiment cette analyse. Il estime lui aussi que le développement d’IA capables de s’améliorer elles-mêmes progresse plus rapidement que prévu.
Interrogé sur le risque ultime associé à cette évolution, Evan Hubinger va particulièrement loin : selon son estimation personnelle, il existerait plus d’une chance sur dix que l’intelligence artificielle puisse tuer tous les humains au cours de la prochaine décennie (trop bien...)
Il ne s’agit évidemment pas d’une prévision scientifique permettant d’affirmer qu’un tel scénario possède réellement une probabilité de 10 %. Cette estimation personnelle donne surtout une idée du niveau d’inquiétude de certains chercheurs travaillant directement sur ces technologies. Le chercheur reconnaît même qu’Anthropic ne dispose pas encore d’un plan permettant de garantir la sécurité et l’alignement de systèmes d’IA beaucoup plus avancés.
DES IA CAPABLES D’AMÉLIORER ELLES-MÊMES LES IA
Au cœur de ces inquiétudes se trouve le concept d’amélioration récursive. L’idée consiste à développer une IA suffisamment performante pour participer à la création d’une version encore plus puissante d’elle-même, laquelle pourrait ensuite répéter le processus.
Un tel scénario reste aujourd’hui hypothétique. Mais une partie du code permettant de développer les systèmes d’IA est déjà produite avec l’aide d’autres modèles, et les grands laboratoires cherchent justement à automatiser toujours davantage leur recherche. Le problème serait alors de garantir que des systèmes devenus beaucoup plus autonomes continuent à poursuivre des objectifs compatibles avec ceux des humains.
QU’EN PENSER ?
Difficile évidemment de prendre le chiffre de 10 % comme une véritable mesure du risque : personne ne dispose aujourd’hui des données permettant de calculer sérieusement la probabilité qu’une future IA provoque une catastrophe de cette ampleur.
Mais le signal est tout de même difficile à ignorer. Lorsque des chercheurs chargés précisément de la sécurité des modèles considèrent qu’ils ne savent pas encore comment contrôler les systèmes qu’ils cherchent à rendre beaucoup plus puissants, la question dépasse largement le scénario de science-fiction.
Le débat porte finalement moins sur la certitude d’une catastrophe que sur le rythme de développement de ces technologies : les laboratoires semblent vouloir atteindre des IA toujours plus autonomes alors que les méthodes permettant de garantir leur comportement restent, de leur propre aveu, encore largement à construire.
