IBM se lance dans les LLM avec Granite 3.0
Face à l'essor fulgurant de l'IA générative, les géants de la tech rivalisent d'ingéniosité pour proposer des modèles de langage (LLM) toujours plus performants. Dans cette course effrénée à l'innovation, IBM se démarque avec sa nouvelle famille de LLM baptisée Granite 3.0. Ces modèles promettent de répondre à un large éventail de tâches tout en restant abordables pour les entreprises. Décryptage.
Granite 3.0 : l'arme ultime d'IBM dans la bataille des LLM
Avec Granite 3.0, IBM enrichit considérablement son catalogue open source de LLM. Cette nouvelle génération comprend pas moins de quatre versions de modèles à usage général : deux portés sur la sécurité, quatre de type MoE pour une inférence plus efficace et une faible latence, ainsi qu'un modèle Granite Time Series.
Les modèles denses de 2B et 8B paramètres ont été entraînés sur un total impressionnant de 12 mille milliards de jetons. Quant aux modèles MoE de 1B et 3B, avec respectivement 400M et 800M de paramètres activés, ils ont été entraînés sur 10 mille milliards de jetons. De quoi offrir des performances exceptionnelles !
Des modèles taillés pour l'IA d'entreprise
IBM a pensé les modèles Granite 3.0 8B et 2B comme des solutions "de travail" pour l'IA d'entreprise. Relativement compacts, ils peuvent facilement être fine-tunés avec des données d'entreprise et intégrés dans divers workflows. Ils excellent notamment pour des tâches comme le RAG, la classification, la synthèse ou encore l'extraction d'entités.
Les modèles MoE plus légers sont quant à eux parfaits pour des applications à faible latence et des déploiements basés sur CPU. Avec Granite 3.0, IBM adopte également la technique de personnalisation InstructLab, permettant aux entreprises d'atteindre une performance spécifique à moindre coût.
Au top des classements open source
Sur les benchmarks standard d'OpenLLM Leaderboard de Hugging Face, le modèle Granite 3.0 8B Instruct surpasse des concurrents de taille similaire comme Llama 3.1-8B de Meta ou encore Mistral-7B. Il brille aussi sur le benchmark de sécurité AttaQ développé par IBM.
La firme a également mis à jour ses modèles Granite Time Series pré-entraînés. Selon Big Blue, ils sont désormais capables de surpasser des modèles 10 fois plus grands d'Alibaba ou Google. Impressionnant !
Une intégration facilitée chez les partenaires
Pour favoriser l'adoption de ses LLM, IBM a travaillé avec de nombreux acteurs technologiques comme AWS, Docker, Domo, Qualcomm ou encore Salesforce. Tous les modèles Granite 3.0 sont ainsi disponibles en téléchargement sur HuggingFace sous licence Apache 2.0.
Les variantes Instruct et Guardian des LLM Granite 3.0 2B et 8B sont également accessibles dès maintenant pour un usage commercial sur la plateforme watsonx d'IBM. Une sélection sera aussi proposée prochainement en tant que microservices NIM de Nvidia et via les intégrations Vertex AI Model Garden de Google Cloud.
Cap sur les agents IA autonomes
Granite 3.0 n'est qu'une première étape dans la stratégie IA d'IBM. D'ici fin 2024, la firme prévoit d'inclure le support pour une fenêtre de contexte étendue de 128K et des capacités de compréhension de documents multimodaux pour les modèles de langage 8B et 2B.
Mais IBM voit plus loin et planche déjà sur le développement d'agents IA dotés d'une plus grande autonomie et de capacités de raisonnement avancées. La première version du modèle Granite 3.0 8B intègre d'ailleurs le support pour des fonctionnalités agentiques clés. De quoi préfigurer l'avenir de l'IA chez Big Blue !
Avec Granite 3.0, IBM marque un grand coup dans la course aux LLM et se positionne comme un acteur incontournable de l'IA générative pour les entreprises. Reste à voir comment ces modèles performants et abordables seront adoptés par le marché. Une chose est sûre : la révolution de l'IA ne fait que commencer !
