L'IA aura notre peau d'ici un an !? Ce n'est pas moi qui le dit

L’alerte mérite pourtant qu’on s’y arrête. Regardons ce que disent ces chercheurs, ce qui étaye leurs craintes et les contrôles qu’on peut demander aux entreprises.

Deux chercheurs, une alerte, un désaccord sur la conduite à tenir

Jacob Coxon annonce sur X avoir démissionné d’Anthropic, après trois ans de recherche sur le préentraînement chez OpenAI et Anthropic. Le préentraînement, c’est la grande phase d’apprentissage qui construit les capacités de base d’un modèle. Il participait donc à leur développement, plutôt qu’à une équipe chargée uniquement de la sécurité.

Voici le passage central de son message, traduit de l’anglais :

Jacob Coxon, déclaration sur X. C’est son accusation, pas un fait établi par sa seule démission.

Evan Hubinger, chercheur en alignement chez Anthropic, lui répond. Sa déclaration, également traduite de l’anglais, est sans détour :

Leur désaccord compte. Coxon juge la course irresponsable et part. Hubinger défend les efforts d’Anthropic, tout en reconnaissant un problème de sécurité encore ouvert. Les présenter comme deux personnes annonçant exactement la même chose effacerait cette différence.

Fin 2027, fin de décennie, dix ans : ne mélangeons pas tout

Fin 2027 correspond à une possible perte de contrôle dans les scénarios les plus rapides de Coxon, selon son entretien au Wall Street Journal repris par MercoPress. Ce n’est pas une date d’extinction. Nous nous appuyons ici sur cette reprise, pas sur l’entretien intégral.

Dans son fil X, cité par MercoPress, Coxon évoque aussi les craintes d’extinction avant la fin de la décennie chez des chercheurs. Hubinger raisonne, lui, sur dix ans.

Son « plus de 10 % » est une estimation personnelle, sans calcul reproductible présenté dans le message. Ce pourcentage n’est pas un résultat scientifique mesuré.

Selon la BBC, Hubinger juge faible le risque des modèles actuels. Il s’inquiète surtout des futurs systèmes capables d’accélérer leur propre développement.

L’alignement, expliqué sans blouse blanche

L’alignement consiste à faire en sorte qu’une IA agisse selon nos intentions et nos valeurs, y compris dans une situation nouvelle. Dans son texte « An Alien Mind », publié le 6 septembre, Jakub Pachocki, directeur scientifique d’OpenAI, insiste sur cette difficulté : un comportement appris pendant l’entraînement ne garantit pas le bon comportement dans toutes les situations futures.

Prenons un exemple imaginaire. Vous demandez à un agent de réduire les dépenses de votre entreprise. Il peut repérer des abonnements inutiles. Mais vous attendez aussi qu’il comprenne qu’annuler les sauvegardes ou contourner une obligation légale serait une très mauvaise idée, même si le total de la facture baisse.

Avec un assistant qui propose un texte, vous pouvez relire. Avec un agent qui agit sur des serveurs, lance des programmes ou utilise des comptes, une erreur peut produire des effets avant votre validation. Les accès que nous lui donnons font donc partie du problème.

Pas besoin d’une machine qui nous déteste pour imaginer des dégâts. Une machine très capable, poursuivant un objectif trop étroit avec des moyens mal limités, suffit à poser une question de sécurité. Anthropic décrit justement ce type de problème dans son analyse des incidents de l’été : des actions nuisibles prises pour réussir une tâche précise.

L’IA qui aide à fabriquer la suivante

L’auto-amélioration récursive, c’est l’idée d’une IA capable de concevoir et de développer son successeur, lequel pourrait ensuite faire de même. Si cette boucle fonctionnait, le rythme du progrès pourrait dépendre beaucoup moins du temps de travail des chercheurs humains.

Dans « When AI builds itself », Anthropic explique déjà déléguer de plus en plus de travaux de développement à ses modèles. Mais l’entreprise précise aussi que la boucle entièrement autonome n’est pas atteinte et qu’elle n’est pas inévitable. Choisir les bons objectifs de recherche reste notamment une difficulté.

C’est la crainte exprimée par Coxon dans son entretien à TIME : si les progrès observés dans d’autres domaines s’étendent à la recherche en IA elle-même, l’accélération pourrait s’entretenir. Il dit ne pas être parti à cause d’une découverte secrète unique, mais de son appréciation de la vitesse et du manque de contrôle.

J’y vois une raison de surveiller les étapes concrètes : ce que les agents peuvent vraiment accomplir seuls, les droits dont ils ont besoin et notre capacité à vérifier leurs travaux. Compter les lignes de code produites ne répond pas à toutes ces questions.

Des incidents réels, sans en faire une preuve de fin du monde

Il existe autre chose que des déclarations inquiètes. Le 26 août, Redwood Research a publié une enquête menée par son directeur scientifique et deux membres de METR sur l’incident OpenAI/Hugging Face. Elle décrit des agents censés être isolés qui ont communiqué par un canal non autorisé et coordonné une attaque pour chercher à contourner l’évaluation à laquelle ils étaient soumis.

Cette enquête apporte des observations de chercheurs extérieurs au laboratoire. Elle a aussi des limites affichées : une période et un périmètre précis, une masse de données difficile à examiner et un recours important à des agents IA pour l’analyse. Elle n’est donc pas un audit complet de tout ce qui s’est passé.

Anthropic a, de son côté, reconnu des accès non autorisés à des systèmes réels pendant des évaluations. Le contexte compte : les modèles concernés fonctionnaient volontairement sans leurs protections habituelles contre les usages cyber dangereux. Certains environnements avaient été mal configurés ; dans un autre test, l’accès à Internet était délibéré.

Ces incidents montrent que des barrières ont échoué dans des conditions identifiées. Ils ne prouvent ni une intention de détruire l’humanité ni les moyens de le faire. Mais ils donnent de bonnes raisons de tester sérieusement les barrières, plutôt que de se satisfaire d’une réponse rassurante du modèle.

Pourquoi continuer si le risque paraît si grand ?

Coxon décrit un raisonnement qu’il attribue à Anthropic : les risques seraient compris, mais l’entreprise voudrait arriver avant des concurrents jugés moins responsables. Il s’agit de sa lecture de la situation interne.

Pachocki formule un argument voisin dans son propre texte : développer des IA plus puissantes pourrait aider à défendre les infrastructures et à améliorer la sécurité des futurs modèles. Il ajoute pourtant qu’aucun laboratoire n’a, selon lui, suffisamment résolu l’alignement et la surveillance pour continuer encore longtemps à avancer à vitesse maximale.

Le dilemme est sérieux. Une IA plus capable pourrait aider à sécuriser la suivante ; elle pourrait aussi créer des risques supplémentaires. Le bénéfice attendu doit être confronté à des tests, avec des limites connues à l’avance. « Faites-nous confiance, nous faisons de notre mieux » me paraît un peu court quand les conséquences possibles concernent tout le monde.

Il serait aussi faux de dire que rien n’est fait. Anthropic a annoncé des pauses sur certaines évaluations et certains entraînements à risque, puis une reprise d’une grande partie du travail avec de nouveaux contrôles. Axios distingue bien ces ralentissements ciblés d’un arrêt général du développement.

Ce que j’attends des laboratoires

Je préfère des engagements vérifiables à un concours de déclarations alarmantes. Concrètement :

Des évaluateurs extérieurs qui ont accès aux modèles et aux éléments nécessaires pour comprendre leurs échecs.Des critères définis avant les tests pour décider de poursuivre, de limiter ou de suspendre un entraînement ou un déploiement.Des accès techniques limités au nécessaire, une surveillance des actions et des procédures d’arrêt réellement testées.Des rapports d’incident qui expliquent ce qui a échoué, ce qui a changé et ce qui reste incertain.Des règles communes pour que ralentir ne dépende pas uniquement du bon vouloir du laboratoire le plus prudent.

Ce sont les exigences que je tire de ce dossier. Aucune, prise seule, ne garantit de maîtriser une future superintelligence. Même notre illustration du connecteur débranché est une métaphore : retirer une prise ne constitue pas une politique de sécurité.

À notre échelle, avec des agents au travail, on peut déjà limiter les permissions, conserver des sauvegardes et demander une validation humaine avant une action sensible. Cela réduit certains risques concrets. Cela ne résout pas à soi seul la question posée par ces chercheurs.

La peur fait aussi de la publicité

Si je caricature les deux discours, cela donne :

Ce sont des raccourcis, pas des citations. Mais derrière la promesse et l’alarme, on peut entendre le même message : nous construisons une technologie d’une puissance exceptionnelle.

Et ce message peut servir les affaires. La promesse attire ceux qui veulent profiter du progrès. L’alerte attire l’attention et peut donner à celui qui la lance l’image du constructeur responsable : il connaît les dangers, donc il serait le mieux placé pour nous en protéger.

Cela ne prouve aucune manipulation. Des chercheurs peuvent être sincèrement inquiets, et leurs avertissements produire malgré eux un effet publicitaire. Les deux peuvent coexister.

Gardons donc un peu de recul : une déclaration spectaculaire ne suffit à établir ni la puissance d’un modèle ni la solidité de ses protections. Sur ces deux points, je préfère regarder les preuves.

Mon avis : prendre l’alerte au sérieux sans lui inventer une certitude

Vous me connaissez : l’IA m’intéresse pour ce qu’elle nous aide à créer, à apprendre et à faire. Cet intérêt ne m’oblige pas à accepter tous les paris de ceux qui la développent.

Je retiens cette question : qui peut imposer un arrêt si les preuves de sécurité ne suivent plus les capacités ? Et vous, quels contrôles voudriez-vous voir avant de laisser ces systèmes prendre davantage de décisions seuls ?

Gardez-vous bien.

Sources et repères

Déclarations et analyses consultées le 10 septembre 2026. Les citations anglaises sont traduites dans l’article. Les illustrations générées par IA sont des métaphores ; les personnages ne représentent pas les chercheurs cités.