Anthropic a révélé mercredi un quatrième incident de cybersécurité découvert lors des tests de ses modèles d’intelligence artificielle.

L’entreprise explique qu’une ancienne version de Claude Opus 4.6 a réussi à accéder sans autorisation à des systèmes externes à la suite d’une mauvaise configuration de son environnement de test.

L’incident n’avait pas été détecté lors d’une première revue interne. Il vient s’ajouter à trois autres événements signalés par Anthropic en juillet, au cours desquels des modèles Claude avaient effectué des actions qui n’étaient pas prévues, notamment en modifiant des données ou en atteignant des infrastructures censées rester isolées.

Le cas du modèle Mythos 5 figure parmi les plus préoccupants. Lors d’un test, celui-ci a publié un paquet logiciel malveillant sur PyPI, une plateforme utilisée par les développeurs. Le paquet a ensuite été récupéré par plusieurs systèmes automatisés de sécurité, donnant indirectement au modèle accès à des informations réelles.

Une enquête est ouverte

Anthropic attribue notamment ces comportements à des erreurs de raisonnement et à des prises de décision imprudentes de ses modèles. Pour approfondir l’analyse, l’entreprise a confié une enquête à METR, un organisme indépendant spécialisé dans l’évaluation des capacités des systèmes d’intelligence artificielle.

L’objectif est de déterminer comment des modèles soumis à des environnements contrôlés peuvent malgré tout contourner certaines protections.

Ces incidents soulignent les difficultés croissantes liées au développement de systèmes capables d’agir de manière autonome. Alors que les modèles d’IA peuvent désormais réaliser des tâches complexes, notamment en cybersécurité, la capacité à anticiper leurs comportements dans des situations réelles devient un enjeu majeur avant leur déploiement à grande échelle.

L’article Claude d’Anthropic: un quatrième incident de cybersécurité, des erreurs de raisonnement et des décisions imprudentes est apparu en premier sur Managers.

Un chercheur britannique de 27 ans, Jacob Coxon, a annoncé sa démission d’Anthropic, l’un des principaux acteurs mondiaux de l’intelligence artificielle, en raison de ses inquiétudes concernant la course engagée par les grandes entreprises technologiques vers des systèmes d’IA capables, à terme, d’améliorer eux-mêmes leurs propres capacités.

Coxon, qui travaillait sur le pré-entraînement des modèles d’intelligence artificielle, avait auparavant travaillé chez OpenAI avant de rejoindre Anthropic. Il avait notamment choisi cette dernière entreprise en raison de sa réputation dans le domaine de la sécurité de l’IA. Il estime désormais que les deux entreprises sont prises dans une compétition qui pourrait rendre de plus en plus difficiles les arbitrages en faveur de la sécurité.

Dans des déclarations rapportées par le Wall Street Journal, le chercheur affirme que le secteur se dirige vers des scénarios parmi les plus préoccupants et estime que, d’ici la fin de l’année prochaine, certaines situations pourraient devenir incontrôlables. Il évoque notamment les risques liés au développement de systèmes capables d’améliorer progressivement leurs propres performances.

« Une course vers la superintelligence »

Selon Coxon, certains chercheurs utilisent désormais des expressions comme « crunchtime » et « endgame » pour décrire la trajectoire vers des modèles toujours plus autonomes et potentiellement capables de participer eux-mêmes à l’amélioration des systèmes d’IA.

Le chercheur considère qu’aucune entreprise ne serait aujourd’hui en mesure de développer seule et de manière responsable une intelligence artificielle dépassant les capacités humaines dans un large éventail de tâches. Il plaide ainsi pour une intervention des pouvoirs publics et pour une coordination internationale permettant de ralentir le développement si les risques deviennent trop importants.

Son départ intervient alors que les débats sur la sécurité de l’intelligence artificielle prennent une nouvelle ampleur au sein même des entreprises qui développent les modèles les plus avancés.

Des inquiétudes également chez Anthropic et OpenAI

Les avertissements de Coxon ne sont pas isolés. Evan Hubinger, chercheur senior chez Anthropic spécialisé dans la sécurité et l’alignement des systèmes d’IA, a lui aussi déclaré être préoccupé par le risque que l’intelligence artificielle puisse devenir extrêmement dangereuse. Il estime notamment qu’il n’existe pas encore de plan suffisamment solide pour garantir l’alignement d’une future superintelligence avec les intérêts humains.

Lire aussi : Dubaï : Comment un jeune tunisien a gagné 3 millions de dinars grâce à un film IA

Du côté d’OpenAI, le débat sur les risques liés à l’évolution rapide des modèles se poursuit également. Plusieurs responsables et chercheurs du secteur ont appelé à davantage de prudence et à la mise en place de mécanismes permettant aux pouvoirs publics d’intervenir si le rythme de développement des systèmes d’IA devient trop rapide.

Plus de 1 000 acteurs du secteur demandent des mécanismes de ralentissement

Cette inquiétude dépasse désormais les seuls chercheurs ayant quitté les grandes entreprises technologiques. Fin juillet, plus d’un millier de salariés et de professionnels du secteur de l’intelligence artificielle ont signé une déclaration appelant les gouvernements à mettre en place un mécanisme permettant de ralentir le développement des systèmes d’IA les plus avancés lorsque cela serait nécessaire.

La question posée est donc de plus en plus clairement politique : jusqu’où faut-il laisser avancer la course à la puissance des modèles d’intelligence artificielle et à quel moment les gouvernements doivent-ils disposer d’un « frein » capable d’intervenir ?

Les déclarations de Jacob Coxon ne constituent pas une preuve que l’IA deviendra incontrôlable. Elles témoignent toutefois d’une inquiétude croissante au sein même des équipes qui développent ces technologies. Le débat ne porte désormais plus uniquement sur les performances des futurs modèles, mais sur la capacité des sociétés et des États à conserver un contrôle effectif sur des systèmes de plus en plus autonomes.

L’article Superintelligence : Un chercheur quitte Anthropic face aux risques de perte de contrôle est apparu en premier sur webdo.