Des modèles d’OpenAI échappent au contrôle lors de tests et lancent une cyberattaque

Le créateur de ChatGPT évaluait les capacités de plusieurs de ses modèles les plus avancés dans un environnement contrôlé lorsqu’un agent est parvenu à sortir de son environnement d’exécution isolé (sandbox), à accéder à Internet puis à pénétrer les systèmes de Hugging Face afin d’accomplir l’objectif qui lui avait été assigné dans le cadre du test.

Cet incident montre que les progrès rapides de l’intelligence artificielle alimentent déjà les risques en matière de cybersécurité que les spécialistes redoutaient depuis longtemps et que même les principaux laboratoires d’IA peuvent être pris au dépourvu par les vulnérabilités que leurs propres modèles sont capables d’exploiter.

Cette sortie du cadre de test a constitué « un cyberincident sans précédent mettant en œuvre des capacités offensives de tout premier plan », a indiqué OpenAI dans une publication, ajoutant que l’entreprise renforçait actuellement ses dispositifs de protection.

L’affaire a également retenu l’attention parce que Hugging Face, basée à New York, a indiqué avoir utilisé un modèle chinois open source pour contenir l’attaque. Les principaux modèles américains, incapables de distinguer un défenseur d’un attaquant, ont refusé de traiter les données nécessaires à l’analyse.

Dans un billet de blog publié la semaine dernière, la société a indiqué avoir utilisé GLM-5.2 de Zhipu AI pour mener cette analyse, ce qui lui a également permis de conserver les données de l’attaquant ainsi que ses identifiants au sein de son propre environnement.

GLM-5.2 et Kimi K3, développés par la société pékinoise Moonshot AI, ont récemment suscité un vif intérêt dans la Silicon Valley grâce à des performances proches de celles des meilleurs modèles américains, pour un coût inférieur et sans les restrictions qui empêchent leurs concurrents américains d’être utilisés dans des domaines tels que la cybersécurité.

« Lorsqu’un modèle de pointe vous attaque et se déplace latéralement au sein de votre infrastructure, les défenseurs doivent pouvoir accéder à des outils de pointe en quelques heures, voire en quelques minutes, plutôt que de dépendre d’un programme d’accès fermé, assorti de contrôles de sécurité avant de pouvoir utiliser le modèle », a déclaré Thomas Wolf, cofondateur de Hugging Face, sur X.

Un signe avant-coureur

Le piratage subi par Hugging Face, qui héberge des modèles de langage et des jeux de données open source, a ébranlé la communauté de la cybersécurité après que l’entreprise a indiqué la semaine dernière que cette intrusion « ne ressemblait à rien de ce que nous avions traité auparavant » et qu’elle avait été « menée de bout en bout par un système d’agents d’IA autonomes ».

La révélation par OpenAI que cette faille était imputable à ses modèles les plus avancés, pourtant déployés dans ce que l’entreprise a décrit comme « un environnement hautement isolé », risque d’alimenter les inquiétudes quant à la puissance et aux risques associés aux modèles d’IA de pointe.

Le représentant Greg Casar, élu démocrate du Texas, a qualifié cet incident d’alarmant.

« L’IA progresse à une vitesse fulgurante, sans véritable cadre réglementaire garantissant notre sécurité », a-t-il déclaré dans un communiqué, appelant à rendre obligatoires des évaluations de sécurité indépendantes, la déclaration des incidents de sécurité ainsi qu’une coopération internationale « afin de protéger la population d’une catastrophe absolue ».

Le Bureau du directeur national de la cybersécurité, l’Agence américaine pour la cybersécurité et la sécurité des infrastructures (CISA) ainsi que l’Agence nationale de sécurité (NSA) n’ont pas répondu aux demandes de commentaires.

Katie Moussouris, directrice générale de Luta Security, a estimé que cet incident annonçait les vulnérabilités à venir, comparant les modèles actuels à « des pieuvres passées maîtres dans l’art de l’évasion, dotées d’une infinité de tentacules préhensiles capables de se faufiler partout ».

Elle a ajouté que « les laboratoires d’IA et les organismes publics chargés de leur évaluation doivent mettre en place des mécanismes permettant de contenir ces systèmes, de les surveiller et d’alerter les parties concernées lorsqu’une IA réalise un nouveau tour digne d’Houdini, idéalement avant qu’elle ne cause des dommages à des tiers. Un tel dispositif n’existe pas aujourd’hui. »

Matt Suiche, ingénieur chez Tolmo, une entreprise spécialisée dans la cybersécurité des systèmes d’IA agentique, a déclaré que cet incident montrait que les modèles de pointe « rattrapaient les attaquants les plus sophistiqués ». Il a toutefois précisé que les techniques décrites par OpenAI pouvaient déjà être mises en œuvre avec des technologies accessibles bien au-delà des laboratoires de recherche les plus avancés.

« C’est ce que nous observons déjà en interne : nos propres agents obtiennent d’ores et déjà ce type de résultats », a déclaré Suiche. « Nous n’avons même pas besoin des modèles les plus récents. »