OpenAI : un outil quasi parfait pour identifier les biais ?

Alors que le départ de cadres dirigeants fait les gros titres cette semaine chez OpenAI, les propos d'Anna Makanju, VP des affaires internationales, sur les biais de l'IA ont également attiré notre attention. Lors d'un panel au Sommet du Futur de l'ONU mardi, elle a suggéré que les nouveaux modèles "raisonnants" comme o1 d'OpenAI ont le potentiel de rendre l'IA mesurable moins biaisée.

O1, un modèle IA qui s'auto-corrige ?

Selon Anna Makanju, les modèles comme o1 "prennent plus de temps et sont capables d'évaluer leur propre réponse". Ils peuvent ainsi "examiner leur approche du problème", puis "analyser leur réponse pour identifier d'éventuels défauts de raisonnement". O1 serait capable de faire cela "de façon quasi parfaite", en "analysant ses propres biais pour générer une meilleure réponse".

Cette affirmation s'appuie sur les tests internes d'OpenAI, qui montrent qu'en moyenne, o1 est moins susceptible de produire des réponses toxiques, biaisées ou discriminatoires comparé aux modèles "non raisonnants", y compris ceux d'OpenAI.

Un bilan plus nuancé en réalité

Cependant, parler de performance "quasi parfaite" semble un peu exagéré. Sur le test de biais d'OpenAI, qui impliquait des questions liées à la race, au genre et à l'âge, o1 a eu de moins bons résultats dans certains cas que GPT-4o, le modèle phare "non raisonnant" d'OpenAI.

Certes, o1 était moins enclin que GPT-4o à discriminer implicitement sur la base de la race, de l'âge et du genre. Mais le modèle était plus susceptible de discriminer explicitement sur l'âge et la race, selon le test.

Des limites persistantes

En outre, une version moins coûteuse et plus efficace d'o1, o1-mini, s'en est moins bien sortie. Le test a révélé qu'o1-mini était plus enclin que GPT-4o à discriminer explicitement sur le genre, la race et l'âge, et plus enclin à discriminer implicitement sur l'âge.

Sans parler des autres limitations des modèles raisonnants actuels. OpenAI admet qu'o1 n'offre qu'un avantage négligeable sur certaines tâches. Il est lent, certaines questions lui prenant plus de 10 secondes à répondre. Et il est cher, coûtant entre 3 et 4 fois plus que GPT-4o à l'exécution.

Si les modèles raisonnants sont vraiment la voie la plus prometteuse vers une IA impartiale, comme l'affirme Makanju, ils devront s'améliorer dans bien d'autres domaines que celui des biais pour devenir une alternative viable.

S'ils n'y parviennent pas, seuls les clients fortunés - ceux qui sont prêts à supporter leurs divers problèmes de latence et de performance - pourront en bénéficier. L'équité et l'éthique de l'IA ne doivent pas être réservées à une élite.

OpenAI trace la voie avec ses modèles raisonnants comme o1, mais il reste encore beaucoup de chemin à parcourir pour éliminer totalement les biais de l'IA. Une vigilance constante et des améliorations continues seront nécessaires pour progresser vers cet objectif crucial.