L'IA "Gemini" de Google s'est échappée, piratant trois entreprises lors de tests

Cet incident, au cours duquel le programme a deviné les identifiants qui lui permettaient d'accéder à trois sites, survient dans un contexte marqué par une vague d'incidents similaires

Lire d'autres articles du Times of Israël sur Google – ajoutez-nous à vos sources préférées

Le modèle Gemini de Google a accédé à Internet et il a piraté d’autres entreprises lors d’un test qui portait sur ses capacités en matière de cyber-sécurité. Il s’agit ici du premier cas connu où les systèmes d’IA de la firme ont commis un tel acte de manière autonome, a annoncé cette dernière dans la journée de vendredi.

Ces intrusions ont eu lieu au mois de mai dernier lors d’un test de cyber-sécurité qui était mené par Irregular, une société indépendante spécialisée dans les évaluations de cyber-sécurité.

Au cours d’une évaluation standard, Gemini a trouvé des informations publiques en ligne et a deviné les identifiants qui permettaient d’accéder à trois sites internet qu’il estimait faire partie du périmètre de son test, a expliqué Heather Adkins, vice-présidente de l’ingénierie de sécurité chez Google, dans un communiqué.

« Nous nous sommes assurés que les trois entités en ont été informées, et nous avons collaboré avec notre partenaire de formation sur les modifications qu’il a désormais apporté à ses processus de test », a indiqué Adkins. « Ces événements soulignent l’importance de former des modèles d’IA puissants à agir de manière responsable ».

Un porte-parole d’Irregular a noté que l’incident concernait le même problème que celui qui avait touché d’autres laboratoires d’IA et que tous les laboratoires concernés avaient été informés à la fin du mois de juillet. « Tous les problèmes connus de notre côté ont été corrigés et résolus il y a plusieurs semaines », a déclaré le porte-parole.

Des incidents similaires liés à Irregular ont été révélés par Meta, Anthropic et OpenAI. Meta a annoncé, au mois d’août, que l’incident n’avait impliqué ni une évasion d’un bac à sable, ni une cyberattaque sophistiquée. Irregular, de son côté, a souligné travailler à l’élaboration de bonnes pratiques pour mener en toute sécurité des évaluations de cyber-sécurité des IA.

Ces incidents ont soulevé des questions concernant les mesures de protection nécessaires à prendre au fur et à mesure que les agents d’IA acquièrent une plus grande autonomie et un accès accru à Internet et aux systèmes informatiques.

Dans l’un des cas, le modèle Gemini a testé des mots de passe jusqu’à ce qu’il parvienne à accéder à un système protégé. Dans les deux autres cas, le modèle a trouvé des identifiants dans un référentiel public qui lui ont ensuite permis d’accéder à des systèmes protégés, selon le Wall Street Journal, qui a été le premier à révéler cette information.

Adkins a précisé que dans les trois cas, le modèle avait cessé ses activités de piratage.