Sécurité IA : Anthropic veut ralentir la course aux super-intelligences

Alors que les avertissements se multiplient concernant les dangers de l’intelligence artificielle, le débat sur la Sécurité IA atteint un nouveau seuil. Dario Amodei, PDG d’Anthropic, une figure majeure du secteur, a non seulement rejoint l’appel à « rythmer la frontière » de l’IA, mais a également détaillé trois stratégies concrètes pour y parvenir, s’engageant unilatéralement sur l’une d’elles.

Une prise de conscience accrue des dangers de l’IA

Ces dernières semaines ont été marquées par une intensification des alarmes lancées par les chercheurs en intelligence artificielle. Des personnalités influentes, comme Sam Altman d’OpenAI, ont évoqué la nécessité de ralentir le développement de l’IA pour mieux en maîtriser les implications critiques.

Le débat sur la Sécurité IA et l’alignement a été ravivé après la démission du chercheur Jacob Coxon d’Anthropic. Il a mis en garde contre une « prise de risque » par les entreprises leaders, soulignant que « les personnes qui construisent cette technologie croient sérieusement qu’elle pourrait tous nous tuer d’ici la fin de la décennie ».

Sans mentionner directement le cas Coxon, Dario Amodei a justifié son approche prudente. Il a cité le piratage d’OpenAI-HuggingFace et l’avancement « drastiquement plus rapide » de l’IA, notamment sa capacité croissante à générer la prochaine génération d’IA, comme des facteurs décisifs.

« Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA. Le progrès semblera toujours rapide, et nous devons utiliser sagement le temps que nous gagnons. »

La proposition d’Anthropic : des auditeurs externes pour la Sécurité IA

Pour concrétiser cette vision, Amodei propose l’intégration d’« évaluateurs embarqués » issus d’organisations tierces, à l’image de METR. Ces experts auraient pour mission de vérifier la conformité des entreprises d’IA aux engagements de rythme de développement et de sécurité, tout en assurant la remontée des incidents critiques.

Anthropic s’engage de manière unilatérale à adopter cette mesure, invitant les gouvernements à l’imposer aux autres entreprises frontières de l’IA. Ces évaluateurs bénéficieraient d’un accès « comparable à celui des équipes d’évaluation des risques internes », garantissant une surveillance accrue et des contrôles réguliers.

Cette approche rappelle celle des régulateurs intégrés au sein des institutions bancaires. Elle vise à prévenir des incidents, comme celui où des agents d’IA d’OpenAI ont pris le contrôle d’un forum wiki allemand, un événement que la firme a tardé à divulguer publiquement.

Vers une coordination internationale et la médiation étatique

Au-delà de cette démarche interne, le PDG d’Anthropic appelle à une coordination étroite entre les grandes entreprises d’IA des pays démocratiques. L’objectif est d’établir des normes de sécurité communes et de fixer des limites au rythme de progrès non contrôlé de l’IA.

Une telle collaboration est complexe, notamment en raison des tensions historiques entre les dirigeants d’OpenAI et d’Anthropic, mais aussi des craintes de scrutin antitrust. Les entreprises redoutent qu’une pause coordonnée ne soit perçue comme une entente illicite par les autorités.

Amodei suggère que le gouvernement américain pourrait jouer un rôle de médiateur ou de facilitateur, sans nécessairement participer aux discussions. Une exemption limitée pour certaines conversations de sécurité pourrait lever ces obstacles juridiques, ouvrant la voie à une gouvernance IA plus robuste et responsable.