Sky-T1 : Un modèle IA Open Source à bas coût

Et si le futur de l'intelligence artificielle se jouait dans les laboratoires universitaires plutôt que dans la Silicon Valley ? C'est en tout cas ce que semble démontrer l'équipe de chercheurs de NovaSky, basée à l'UC Berkeley's Sky Computing Lab. Ils viennent de publier en open source Sky-T1, un modèle IA dit "de raisonnement" aux capacités étonnantes, le tout pour un coût de développement inférieur à 450$. Une prouesse qui bouscule déjà les géants du secteur.

Sky-T1 : Petit budget, grandes ambitions

Développer un modèle d'intelligence artificielle performant était jusqu'à présent réservé aux acteurs disposant de moyens colossaux. Mais les choses changent vite dans ce domaine en pleine effervescence, comme le prouve Sky-T1 :

Sky-T1-32B-Preview a été entraîné pour moins de 450$, ce qui démontre qu'il est possible de répliquer des capacités de raisonnement de haut niveau de manière abordable et efficace.

– L'équipe de NovaSky

Alors que les modèles comparables se chiffraient encore récemment en millions de dollars, les progrès fulgurants des techniques d'entraînement et l'utilisation astucieuse de données synthétiques ont permis de réduire drastiquement les coûts. Un véritable game changer.

Qu'est-ce qu'un modèle de "raisonnement" ?

Les IA de raisonnement se distinguent par leur capacité à en quelque sorte s'auto-vérifier et s'auto-corriger. Elles prennent plus de temps pour arriver à une solution, de l'ordre de quelques secondes à quelques minutes, mais le résultat est généralement plus fiable, notamment dans des domaines complexes comme la physique, les sciences ou les mathématiques.

Sky-T1 a ainsi fait la démonstration de ses talents sur plusieurs benchmarks de référence :

• Meilleures performances qu'une version préliminaire d'OpenAI o1 sur le dataset MATH500, qui regroupe des défis mathématiques de niveau compétition.
• Là encore devant la preview d'o1 sur LiveCodeBench, un ensemble de problèmes de programmation réputés ardus.

Le modèle marque en revanche le pas sur GPQA-Diamond, qui regroupe des questions de physique, chimie et biologie de niveau PhD. Mais au vu de la vitesse à laquelle progressent ces technologies, gageons que ce n'est qu'une question de temps avant que cette lacune ne soit comblée.

Les secrets de fabrication de Sky-T1

Pour créer leur modèle star, les chercheurs de NovaSky ont employé une méthode hybride astucieuse. Ils ont d'abord généré un jeu de données initial grâce à un autre modèle de raisonnement, Alibaba QwQ-32B-Preview. Ces données ont ensuite été retravaillées et remises en forme via OpenAI GPT-4o-mini.

L'entraînement à proprement parler de Sky-T1 et de ses 32 milliards de paramètres n'aura finalement nécessité "que" 19 heures sur un rack composé de 8 GPU Nvidia H100. À titre de comparaison, certains géants de la tech mobilisent des milliers de processeurs graphiques pendant des semaines pour obtenir des résultats similaires.

L'open source, une philosophie gagnante

Le tour de force de NovaSky ne se limite pas à la performance de Sky-T1. L'équipe a choisi la voie de l'open source, libérant l'ensemble des données d'entraînement ainsi que le code source. Une décision qui pourrait bien changer la donne dans un secteur ultra-compétitif :

Sky-T1 semble être le premier véritable modèle de raisonnement open source, dans le sens où il peut être répliqué from scratch par n'importe qui.

En démocratisant ainsi l'accès à une IA de pointe, NovaSky ouvre la voie à une accélération des usages et de l'innovation. De quoi inspirer d'autres acteurs à emboîter le pas ?

Et maintenant ? Les promesses de l'IA raisonnante

Sky-T1 n'est évidemment qu'un premier pas pour l'équipe, qui ne compte pas en rester là. Les chercheurs ont déjà annoncé travailler sur des versions encore plus performantes et économes en ressources :

Nous allons nous concentrer sur le développement de modèles plus efficaces qui maintiennent de solides performances de raisonnement, et explorer des techniques avancées pour améliorer encore leur efficacité et leur précision.

– L'équipe NovaSky

Pas de doute, l'open source a de beaux jours devant elle dans le monde foisonnant de l'intelligence artificielle. Et c'est une excellente nouvelle pour tous ceux qui rêvent de voir cette technologie transformative se démocratiser pour servir l'intérêt général. Vivement la suite !