OpenAI : Quand l’IA raisonne en chinois sans explication

Les progrès fulgurants de l'intelligence artificielle (IA) nous réservent parfois des surprises déroutantes. C'est le cas avec o1, le premier modèle d'IA "raisonnante" d'OpenAI, qui se met parfois à "penser" en chinois, en persan ou dans d'autres langues, même lorsqu'on lui pose une question en anglais. Un phénomène qui intrigue et qui soulève de nombreuses questions sur le fonctionnement de ces IA de nouvelle génération.

Quand o1 déraisonne en langues étrangères

Lorsqu'on soumet un problème à o1, comme "Combien y a-t-il de 'R' dans le mot 'fraise' ?", le modèle entame un processus de réflexion pour arriver à une réponse à travers une série d'étapes de raisonnement. Si la question est posée en anglais, la réponse finale d'o1 sera bien en anglais. Mais ce qui étonne, c'est que le modèle effectue certaines étapes intermédiaires dans une autre langue avant de tirer sa conclusion.

[o1] a commencé à penser en chinois de manière aléatoire à mi-parcours.

– Un utilisateur sur Reddit

Des utilisateurs perplexes ont rapporté ce comportement étrange sur les réseaux sociaux, sans qu'OpenAI ne fournisse d'explication ou ne reconnaisse même le phénomène. Alors, que se passe-t-il dans les rouages d'o1 ?

L'influence des données d'entraînement ?

Certains experts, comme Clément Delangue de Hugging Face, ont pointé du doigt le fait que les modèles d'IA raisonnante comme o1 sont entraînés sur des jeux de données contenant beaucoup de caractères chinois. Ted Xiao de DeepMind a affirmé qu'OpenAI et d'autres utilisent des services d'annotation de données basés en Chine, ce qui influencerait linguistiquement le raisonnement d'o1.

Mais d'autres ne sont pas convaincus par cette hypothèse, car o1 passe aussi aléatoirement au hindi, au thaï ou à d'autres langues. Ils avancent plutôt que le modèle utiliserait simplement les langues qu'il juge les plus efficaces pour atteindre son objectif, ou bien hallucinerait.

Le modèle ne sait pas ce qu'est une langue, ni que les langues sont différentes. Pour lui, ce n'est que du texte.

– Matthew Guzdial, chercheur en IA

Des associations issues de l'entraînement

En effet, les modèles d'IA ne traitent pas directement les mots mais des jetons (tokens). Des biais linguistiques peuvent alors s'introduire. Tiezhen Wang de Hugging Face pense que les incohérences de langage d'o1 viendraient d'associations faites lors de l'entraînement.

Par exemple, beaucoup préfèrent faire des maths en chinois car chaque chiffre ne compte qu'une syllabe, rendant les calculs plus concis. Mais pour parler de biais inconscients, l'anglais s'impose souvent, reflétant la langue dans laquelle ces notions ont été assimilées.

L'opacité des modèles d'IA

Bien que ces théories soient plausibles, Luca Soldaini de l'Allen Institute for AI nous met en garde : impossible de confirmer quoi que ce soit vu l'opacité de ces modèles. Un argument de plus en faveur de la transparence dans la conception des systèmes d'IA.

En attendant une réponse d'OpenAI, le mystère reste entier sur les raisons qui poussent o1 à penser en chansons françaises mais en biologie synthétique en mandarin. Un fascinant défi pour les chercheurs en IA !