Meta dévoile Llama 3.3, un modèle d’IA plus efficace
Le géant technologique Meta vient de franchir un nouveau cap dans le domaine de l'intelligence artificielle générative avec l'annonce de son dernier modèle baptisé Llama 3.3 70B. Cette nouvelle version de la famille Llama promet des performances équivalentes à celles de Llama 3.1 405B, le plus grand modèle de Meta jusqu'à présent, tout en étant plus économique à exploiter.
Ahmad Al-Dahle, vice-président de l'IA générative chez Meta, a dévoilé les capacités de ce nouveau modèle uniquement basé sur du texte dans une publication sur le réseau social X (anciennement Twitter). Selon lui, Llama 3.3 70B tire parti des dernières avancées en matière de techniques d'optimisation post-entraînement pour offrir des performances de base améliorées à un coût nettement inférieur.
Un modèle d'IA surpuissant et efficace
Pour illustrer les prouesses de Llama 3.3 70B, Al-Dahle a partagé un graphique comparant les performances de ce dernier avec celles d'autres modèles d'IA de pointe comme GPT-4o d'OpenAI, Gemini 1.5 Pro de Google ou encore Nova Pro d'Amazon. Le modèle de Meta se distingue en surpassant ses concurrents sur plusieurs benchmarks de l'industrie, notamment MMLU qui évalue la capacité d'un modèle à comprendre le langage naturel.
Un porte-parole de Meta a précisé que Llama 3.3 70B devrait apporter des améliorations dans des domaines tels que les mathématiques, les connaissances générales, le suivi d'instructions et l'utilisation d'applications. Disponible en téléchargement sur la plateforme de développement d'IA Hugging Face ainsi que sur le site officiel de Llama, ce modèle marque un tournant dans la stratégie de Meta visant à dominer le secteur de l'IA avec des modèles "ouverts" pouvant être utilisés et commercialisés pour un large éventail d'applications.
Une adoption massive en interne et en externe
Meta n'a pas lésiné sur les moyens pour exploiter le potentiel de Llama en interne. Son assistant IA maison, Meta AI, est entièrement propulsé par des modèles Llama et compte désormais près de 600 millions d'utilisateurs actifs mensuels, selon Mark Zuckerberg, PDG de l'entreprise. Ce dernier affirme que Meta AI est en passe de devenir l'assistant IA le plus utilisé au monde.
Cependant, la nature ouverte des modèles Llama n'est pas sans poser quelques défis à Meta. En novembre dernier, un rapport a révélé que des chercheurs militaires chinois avaient utilisé un modèle Llama pour développer un chatbot de défense. Face à cette situation, Meta a réagi en rendant ses modèles accessibles aux entreprises de défense américaines.
En adoptant une approche ouverte avec Llama, nous voulons démocratiser l'accès à l'IA générative tout en nous assurant que cette technologie soit utilisée de manière responsable et éthique.
– Ahmad Al-Dahle, VP IA générative chez Meta
Vers une interprétation moderne des régulations sur l'IA
Par ailleurs, Meta s'inquiète de sa capacité à se conformer à l'AI Act, la loi européenne établissant un cadre réglementaire pour l'IA, jugeant sa mise en œuvre "trop imprévisible" pour sa stratégie de diffusion ouverte. Un autre point épineux concerne les dispositions du RGPD, le règlement européen sur la protection des données, relatives à l'entraînement des modèles d'IA. Meta entraîne ses modèles sur les données publiques des utilisateurs d'Instagram et de Facebook qui n'ont pas choisi de se retirer, des données qui, en Europe, sont soumises aux garanties du RGPD.
Plus tôt cette année, les régulateurs européens ont demandé à Meta de suspendre l'entraînement sur les données des utilisateurs européens le temps d'évaluer sa conformité au RGPD. Si Meta a obtempéré, l'entreprise a dans le même temps soutenu une lettre ouverte appelant à "une interprétation moderne" du RGPD qui ne "rejette pas le progrès".
Des investissements colossaux dans les infrastructures d'IA
Pour faire face aux défis techniques rencontrés par les autres laboratoires d'IA, Meta accélère le développement de son infrastructure informatique afin d'entraîner et de servir les futures générations de Llama. L'entreprise a annoncé mercredi la construction d'un centre de données dédié à l'IA en Louisiane, pour un investissement de 10 milliards de dollars. Il s'agira du plus grand centre de données d'IA jamais construit par Meta.
Lors de l'appel sur les résultats du quatrième trimestre en août dernier, Mark Zuckerberg a déclaré que pour entraîner le prochain ensemble majeur de modèles Llama, baptisé Llama 4, l'entreprise aurait besoin d'une puissance de calcul 10 fois supérieure à celle utilisée pour Llama 3. Meta s'est d'ores et déjà dotée d'un cluster de plus de 100 000 GPU Nvidia pour le développement de modèles, rivalisant ainsi avec les ressources de concurrents comme xAI.
Il est clair que l'entraînement de modèles d'IA générative est une activité coûteuse. Les dépenses en capital de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards un an plus tôt, en raison des investissements dans les serveurs, les centres de données et l'infrastructure réseau.
Avec Llama 3.3 70B, Meta franchit une nouvelle étape dans sa quête de leadership sur le marché de l'IA générative. Reste à voir si les efforts colossaux déployés par l'entreprise lui permettront de tenir ses engagements en matière de performances et d'éthique, tout en composant avec un environnement réglementaire de plus en plus exigeant.
