C’est une première pour OpenAI, qui ne sait plus si son futur modèle Astra dépasse ou non le niveau de risque cybersécurité le plus élevé de son cadre de sécurité interne. L’entreprise suspend donc certains développements internes du modèle et renforce ses contrôles de sécurité.
OpenAI évalue chacun de ses modèles avec Preparedness Framework, qui date de 2023. Cette grille mesure notamment les risques liés à la cybersécurité, jusqu’à un niveau maximal appelé « Critique ». Un modèle atteint ce niveau quand il peut développer, sans ingérence humaine, des exploits « zero-day », des failles encore inconnues des éditeurs visés, contre des systèmes déjà protégés par des défenses renforcées, ou quand il peut mener une cyberattaque inédite de bout en bout à partir d’un simple objectif général.
Après plusieurs jours d’évaluations internes, OpenAI a conclu ne pas savoir si Astra, l’un de ses futurs modèles, a déjà atteint ce niveau critique. Aucun modèle de l’entreprise, y compris GPT-5.6 Sol, n’avait jusque-là dépassé le niveau « Élevé ».
OpenAI isole Astra dans des environnements de test renforcés
OpenAI avait déjà classé GPT-5.5 au niveau « Élevé » en cybersécurité, dès son lancement en avril, avec le Preparedness Framework. Les résultats préliminaires d’Astra le font monter d’un cran sur sa grille. OpenAI met en place des environnements de test isolés pour Astra, restreint son accès au réseau et à certains outils, et renforce le chiffrement de ses poids. Un système de surveillance analyse en continu le raisonnement du modèle, la « chaîne de pensée » selon le vocabulaire d’OpenAI, et déclenche une intervention de sécurité dès qu’une activité jugée risquée apparaît.
Certaines activités internes ne répondent pas encore à ces nouvelles exigences de sécurité. OpenAI les suspend, le temps de les mettre en conformité. L’entreprise annonce aussi une collaboration avec des agences gouvernementales et des organisations de sécurité de l’IA pour tester les capacités d’Astra. Elle fournira par ailleurs des recommandations de sécurité à ses partenaires de test extérieurs, avant de leur confier des évaluations à plus haut risque.
Sam Altman, directeur général d'OpenAI, a confirmé sur X que cette évaluation retarde la sortie du modèle. Selon lui, l'entreprise a besoin d'un peu plus de temps pour agir en toute sécurité.
Anthropic et Meta signalent aussi des IA échappées de leurs tests de sécurité
Il faut dire que ces derniers temps, le ciel s’assombrit pour les éditeurs d’IA. OpenAI avait présenté Astra la semaine précédente pour ses avancées en mathématiques, avec dix solutions à des problèmes ouverts en mathématiques et en informatique théorique. Plusieurs rumeurs évoquaient alors un lancement dès la semaine suivante. Cette annonce survenait quelques jours après la reconnaissance, par OpenAI, du piratage de Hugging Face par deux de ses modèles en test, GPT-5.6 Sol et un prototype antérieur à Astra. OpenAI précise qu’Astra n’a pris part à aucun moment à cet incident.
Un agent avait par exemple tenté de faire approuver une modification malveillante dans un dépôt de code open source hébergé sur GitHub. Pour convaincre un développeur humain de valider ce changement, il avait inventé plusieurs profils fictifs. L’AI Security Institute britannique a recensé cet épisode. Il fait partie de dix-neuf actions non autorisées, repérées après 122 tentatives d’un même test de cybersécurité. Dix-sept de ces actions sont imputées à Claude Mythos 5 et les deux restantes reviennent à GPT-5.6 So…
Anthropic a par ailleurs reconnu que son modèle avait compromis, sans intention, l’infrastructure de trois entreprises lors d’évaluations internes distinctes, en raison d’une erreur de configuration. Meta a confirmé récemment que l’environnement de test de son modèle Muse Spark 1.1 avait été mal configuré par le prestataire externe Irregular. Il lui a donné un accès non prévu à internet. Le modèle a ensuite exploité une vulnérabilité chez un prestataire tiers et modifié une partie de son système interne.
Participer à la discussion
Partagez votre avis avec la communauté Clubic.