Le patron d’Anthropic veut ralentir sur l’IA, Musk et Altman le soutiennent

Il faut « temporiser » l’amélioration de l’IA « pour que la prévention des risques soit en mesure de suivre le rythme », a écrit le directeur général d’Anthropic dans un message publié sur son site personnel.

« Dario a raison », a réagi, quelques heures plus tard, Elon Musk, sur X. « Je suis d’accord avec Dario », a aussi écrit le patron d’OpenAI Sam Altman, également sur X. « C’est un des principaux sujets de discussions chez OpenAI ces dernières semaines. »

Si Elon Musk a régulièrement eu des commentaires positifs sur Anthropic et son approche de l’IA, il est très rare de voir le patron d’OpenAI soutenir une initiative de celui d’Anthropic, les deux entreprises étant les deux grandes rivales du secteur.

Dario Amodei a, par ailleurs, quitté OpenAI en 2020 pour partie parce qu’il considérait que la start-up californienne se montrait trop laxiste sur la question de la sécurité de l’IA, avant de fonder Anthropic en 2021.

La proposition de Dario Amodei fait écho à plusieurs autres de même nature lancées depuis début juin, d’abord par lui-même, puis par Sam Altman, et enfin par un groupe d’employés du milieu.

Ces exhortations intervenaient après un incident lors duquel des modèles d’OpenAI étaient sortis spontanément de leur milieu confiné lors de tests pour rejoindre internet et attaquer la plateforme d’IA Hugging Face.

Depuis, plusieurs autres événements ayant vu des IA d’OpenAI et Anthropic se rendre sur internet à l’insu de leurs superviseurs ont été rapportés par les deux entreprises.

A chaque fois, ils impliquaient des agents IA, c’est-à-dire un programme spécifique bâti sur un modèle et doté de ses propres connaissances et de ses propres objectifs.

Les agissements et les méthodes de ces agents ont d’autant plus inquiété qu’ils ont montré une propension à se coordonner, à établir une hiérarchie entre eux, à tricher et à effacer les traces de leurs méfaits.

Une IA prenant le contrôle d’internet

Vu l’accélération actuelle du développement de l’IA, « je redoute que d’ici 6 à 12 mois, un groupe (d’agents) soit capable de prendre le contrôle de l’intégralité d’internet », prévient Dario Amodei, ce qui « pourrait entraîner des centaines de milliards de dollars de dégâts ».

Mardi, Jacob Coxon, salarié démissionnaire d’Anthropic et ancien d’OpenAI, avait dénoncé l’inertie des deux concurrents.

« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit sur le réseau social X.

Début août, le gouvernement américain a mis en place un cadre de supervision, qui prévoit l’examen, sur la base du volontariat, de nouveaux modèles d’IA avant leur sortie. Mais ce dispositif reste opaque.

Beaucoup s’interrogent sur son efficacité, dans la mesure où Donald Trump s’est régulièrement dit opposé à toute mesure ralentissant le développement de l’IA aux Etats-Unis, qu’il s’agisse de la sortie des modèles ou de la construction des centres de données.

Après avoir identifié les dérapages de leurs modèles, OpenAI et Anthropic ont chacun suspendu ou freiné le travail sur leurs nouvelles IA durant quelques jours, avant de le reprendre au même rythme.

Dans sa communication, Dario Amodei s’inquiète de l’arrivée de l’amélioration récursive autonome (RSI), un processus qui voit l’IA s’améliorer elle-même sans intervention humaine.

« Sans supervision, (cette méthode) pourrait dépasser nos capacités de compréhension et de contrôle de ces systèmes », explique le patron d’Anthropic. Elle doit être appliquée « avec beaucoup de prudence », « si tant est qu’il faille l’utiliser ».

Outre son appel, Dario Amodei formule plusieurs propositions, en premier lieu, l’intégration par les fleurons de l’IA d’observateurs indépendants.

S’il la recommande à toute l’industrie, le dirigeant s’engage à la mettre en place unilatéralement chez Anthropic.

Les observateurs auront les mêmes accès que les employés de l’entreprise et pourront vérifier que la start-up se tient bien à ses engagements, faire état d’éventuels nouveaux incidents et surveiller l’encadrement des modèles pour éviter leurs dérives.

Samedi, Sam Altman a promis d’en faire de même chez OpenAI.

Dario Amodei prône aussi la collaboration entre les entreprises les plus avancées pour définir des normes de sécurité communes. Il se dit aussi favorable à une forme de coordination politique entre toutes les grandes nations de l’IA.