Anthropic finance des benchmarks IA de nouvelle génération
L'intelligence artificielle progresse à un rythme effréné, mais son évaluation peine à suivre le rythme. Les benchmarks actuels ne reflètent pas l'utilisation réelle des systèmes d'IA par le grand public et certains doutent même de leur pertinence face aux dernières avancées. C'est dans ce contexte qu'Anthropic, créateur du modèle génératif Claude, lance un ambitieux programme pour financer le développement d'une nouvelle génération de benchmarks IA.
Anthropic veut des benchmarks IA plus complets et pertinents
Lundi, la startup Anthropic a dévoilé son initiative visant à subventionner des organisations tierces capables de créer des outils d'évaluation « mesurant efficacement les capacités avancées des modèles d'IA ». Les candidatures seront étudiées au fil de l'eau.
Notre investissement dans ces évaluations a pour but d'élever tout le domaine de la sécurité de l'IA, en fournissant des outils précieux bénéficiant à l'ensemble de l'écosystème. Développer des évaluations pertinentes et de haute qualité en matière de sécurité reste un défi, et la demande dépasse l'offre.
Anthropic, sur son blog officiel
Concrètement, Anthropic appelle à créer des tests évaluant la capacité d'un modèle à accomplir des tâches comme :
- Mener des cyberattaques
- « Améliorer » des armes de destruction massive
- Manipuler ou tromper les gens (deepfakes, désinformation...)
Vers une plateforme pour experts et des essais à grande échelle
Pour y parvenir, la startup imagine de nouvelles plateformes permettant aux experts de développer leurs propres évaluations, ainsi que des essais à grande échelle impliquant « des milliers » d'utilisateurs. Anthropic s'engage à acheter ou étendre les projets les plus prometteurs.
Un « système d'alerte précoce » pour les risques liés à l'IA
Concernant les risques d'IA touchant à la sécurité nationale et à la défense, Anthropic compte mettre en place un « système d'alerte précoce » pour les identifier et les évaluer. Les détails restent cependant flous pour le moment.
Des benchmarks pour la science, le multilinguisme et les biais
Le programme soutiendra aussi la recherche sur des benchmarks testant le potentiel de l'IA pour :
- Aider la recherche scientifique
- Converser en plusieurs langues
- Atténuer les biais ancrés et la toxicité
Un coordinateur dédié et des interactions avec les équipes d'Anthropic
Pour chapeauter cette initiative, Anthropic a embauché un coordinateur à plein temps. Les équipes sélectionnées pourront échanger directement avec les experts de la startup sur des sujets comme la sécurité, l'affinage des modèles ou l'IA de confiance.
Des intentions louables, mais des questions en suspens
Si la volonté d'Anthropic de soutenir de nouveaux benchmarks IA est louable, son statut d'acteur commercial dans la course à l'IA soulève des interrogations. La startup assume vouloir aligner certaines évaluations sur ses propres classifications de sécurité de l'IA. De quoi s'inquiéter d'une vision potentiellement biaisée des risques et de la sécurité.
Ses références aux risques « catastrophiques » et à l'IA « trompeuse » risquent aussi de hérisser une partie de la communauté. Beaucoup d'experts jugent peu probable l'émergence prochaine d'une IA surpassant l'intelligence humaine. Agiter ce spectre détournerait l'attention des vrais défis réglementaires actuels comme les hallucinations des IA.
Anthropic espère faire de l'évaluation complète de l'IA un « standard de l'industrie ». Un objectif que partagent de nombreuses initiatives ouvertes et indépendantes déjà actives sur le sujet des benchmarks. Reste à voir si elles accepteront de s'allier à un acteur privé dont la loyauté ira in fine à ses actionnaires.
