Epoch AI : Controverses sur le Financement d’OpenAI
Les récentes révélations sur le financement d'Epoch AI par OpenAI ont suscité l'émoi au sein de la communauté de l'intelligence artificielle. Cette organisation à but non lucratif, qui développe des benchmarks pour évaluer les capacités mathématiques des IA, est accusée d'avoir tardé à dévoiler ce soutien financier, jetant le doute sur l'intégrité de ses tests.
Epoch AI et FrontierMath : Des Liens Étroits avec OpenAI
Epoch AI a présenté le 20 décembre dernier FrontierMath, un benchmark comprenant des problèmes mathématiques de niveau expert destinés à mesurer les compétences des intelligences artificielles dans ce domaine. Il s'agit justement de l'un des tests utilisés par OpenAI pour démontrer les capacités de son futur modèle phare, o3.
Cependant, il s'avère qu'OpenAI a non seulement financé la création de FrontierMath, mais a également eu accès à de nombreux problèmes et solutions de ce benchmark. Des faits qu'Epoch AI n'a divulgués que très récemment, lors de l'annonce d'o3, suscitant de vives critiques.
Un Manque de Transparence Pointé du Doigt
Selon un contractant d'Epoch AI s'exprimant sur le forum LessWrong, de nombreux contributeurs à FrontierMath n'étaient pas informés de l'implication d'OpenAI jusqu'à ce que l'information soit rendue publique. Une situation qu'il juge problématique :
La communication à ce sujet a manqué de transparence. À mon avis, Epoch AI aurait dû divulguer le financement d'OpenAI, et les contractants devraient avoir des informations claires sur l'utilisation potentielle de leur travail.
– Un contractant d'Epoch AI
Sur les réseaux sociaux, certains s'inquiètent que ce manque de transparence ne porte atteinte à la réputation de FrontierMath en tant que benchmark objectif. Comment garantir l'intégrité des résultats si l'un des principaux acteurs testés a eu accès en amont aux problèmes ?
Epoch AI Reconnaît ses Torts
Face à la polémique, Tamay Besiroglu, co-fondateur et directeur associé d'Epoch AI, a réagi en admettant une "erreur" dans la gestion de la situation, tout en assurant que l'intégrité de FrontierMath n'était pas compromise :
Nous aurions dû négocier plus fermement la possibilité d'être transparents avec les contributeurs du benchmark dès que possible. Nos mathématiciens méritaient de savoir qui pouvait avoir accès à leur travail.
– Tamay Besiroglu, Epoch AI
Il précise également qu'il existe un "accord verbal" avec OpenAI pour ne pas utiliser les problèmes de FrontierMath dans l'entraînement de ses IA. Epoch AI dispose aussi d'un jeu de données de réserve distinct pour une vérification indépendante des résultats des benchmarks. Des garde-fous qui restent à prouver.
Le Défi des Benchmarks d'IA Impartiaux
Au-delà du cas spécifique d'Epoch AI et OpenAI, cette affaire met en lumière les défis liés au développement de benchmarks d'IA empiriques et objectifs. Obtenir les ressources nécessaires sans créer de conflits d'intérêts, réels ou perçus, avec les acteurs évalués est un équilibre délicat.
Elle souligne aussi l'importance cruciale de la transparence dans un domaine aussi sensible et scruté que l'intelligence artificielle. La confiance dans les processus d'évaluation est essentielle pour accompagner sereinement les progrès de cette technologie aux impacts majeurs.
Epoch AI aura fort à faire pour dissiper les doutes et prouver sa capacité à produire des benchmarks d'IA réellement impartiaux. Un défi de taille, car comme le souligne Ellot Glazer, mathématicien en chef de l'organisation, celle-ci n'a pas encore été en mesure de vérifier de façon indépendante les résultats d'o3 sur FrontierMath communiqués par OpenAI.
Le chemin vers des évaluations d'IA irréprochables et au-dessus de tout soupçon est encore long. Mais c'est un enjeu essentiel pour le développement éthique et maitrisé de cette technologie transformatrice.
