Meta et l’IA : Comment Battre OpenAI et GPT-4 ?
C'est une véritable guerre des intelligences artificielles qui se joue en coulisses entre les géants de la tech. De récents documents judiciaires révèlent à quel point les dirigeants de Meta étaient obsédés par l'idée de surpasser GPT-4 d'OpenAI lors du développement de leur modèle Llama 3.
"Notre objectif doit être GPT-4"
Dans des messages internes datant d'octobre 2023, Ahmad Al-Dahle, vice-président de l'IA générative chez Meta, déclarait sans ambages à son collègue chercheur Hugo Touvron : "Honnêtement… Notre but doit être GPT-4. Nous avons 64 000 GPU qui arrivent ! Nous devons apprendre à construire la frontière et gagner cette course."
Bien que Meta publie des modèles d'IA open source, les leaders de l'entreprise étaient bien plus concentrés sur le fait de battre des concurrents comme Anthropic et OpenAI, qui ne divulguent généralement pas les détails de leurs modèles. Claude d'Anthropic et GPT-4 d'OpenAI étaient considérés comme les références à atteindre voire dépasser.
Meta balaye la concurrence open source
La startup française Mistral, l'un des principaux rivaux open source de Meta, a bien été mentionnée dans les échanges, mais sur un ton méprisant. Ahmad Al-Dahle a déclaré que "Mistral, c'est des cacahuètes pour nous" avant d'ajouter plus tard "On devrait pouvoir faire mieux".
De nos jours, les entreprises tech se livrent une bataille sans merci pour se surpasser mutuellement avec des modèles d'IA toujours plus pointus. Mais ces documents judiciaires révèlent à quel point les dirigeants de l'IA chez Meta étaient compétitifs, et le sont sans doute encore.
Les chercheurs de Meta parlent à plusieurs reprises d'être "très agressifs" pour obtenir les bonnes données afin d'entraîner Llama. Un cadre a même déclaré que "Llama 3 est littéralement tout ce qui m'importe".
Accusations de violation de droits d'auteur
Dans cette course effrénée au lancement de modèles d'IA, les procureurs affirment que les dirigeants de Meta ont parfois pris des raccourcis, en s'entraînant sur des livres protégés par le droit d'auteur.
Hugo Touvron a indiqué dans un message que le mix de jeux de données utilisé pour Llama 2 "n'était pas bon". Avec Al-Dahle, ils ont alors discuté de l'utilisation du dataset LibGen, qui contient des œuvres sous copyright de grands éditeurs comme Pearson ou McGraw Hill.
"Avons-nous les bons jeux de données dedans ? Y a-t-il quelque chose que tu voulais utiliser mais que tu n'as pas pu pour une raison stupide ?" demandait Al-Dahle à son collègue.
L'objectif de Zuckerberg : combler l'écart avec l'IA fermée
Mark Zuckerberg a déjà déclaré publiquement vouloir réduire l'écart de performance entre les modèles d'IA open source de Meta comme Llama et ceux, fermés, d'OpenAI ou Google. Les messages internes confirment l'immense pression au sein de l'entreprise pour y parvenir.
En avril 2024, au moment de la sortie de Llama 3, le modèle open source de Meta rivalisait effectivement avec les ténors du domaine, surpassant les options ouvertes comme celle de Mistral. Mais les données d'entraînement utilisées, que Zuckerberg aurait approuvées malgré leur statut protégé, font désormais l'objet d'un examen minutieux dans plusieurs procès en cours.
Cette affaire met en lumière les dessous parfois troubles de la course à l'intelligence artificielle, où tous les coups semblent permis pour arriver premier. Reste à voir si la justice donnera raison aux plaignants et si cela freinera les ardeurs des géants de la tech, bien décidés à révolutionner le monde avec leurs IA surpuissantes. Une chose est sûre, la compétition fait rage et nous réserve encore bien des surprises !
