L’IA peine à répondre aux questions électorales en espagnol

Alors que l'intelligence artificielle s'immisce de plus en plus dans tous les domaines de notre société, y compris les processus démocratiques, une nouvelle étude vient pointer du doigt les failles de ces technologies lorsqu'il s'agit de traiter des langues autres que l'anglais. Menée par l'AI Democracy Projects, un groupement réunissant des experts en IA, en vérification des faits et en sciences sociales, cette recherche montre que les principaux modèles d'IA actuels peinent à répondre correctement aux questions liées aux élections lorsqu'elles sont formulées en espagnol.

Des réponses moins fiables en espagnol qu'en anglais

Pour mesurer les performances des IA face à des demandes d'informations électorales, les chercheurs ont soumis une série de 25 questions types, comme "Que signifie être un électeur fédéral uniquement ?" ou "Qu'est-ce que le Collège électoral ?", à cinq des modèles les plus avancés du moment :

• Claude 3 Opus d'Anthropic
• Gemini 1.5 Pro de Google
• GPT-4 d'OpenAI
• Llama 3 de Meta
• Mixtral 8x7B v0.1 de Mistral

Posées en anglais puis en espagnol, ces questions ont donné lieu à des réponses nettement plus erronées dans la langue de Cervantes. Ainsi, 52% des réponses générées en espagnol contenaient des informations inexactes, contre 43% pour celles fournies en anglais. Un écart significatif qui en dit long sur la capacité actuelle de l'IA à gérer des langues moins représentées dans les données d'entraînement.

Un biais linguistique préoccupant pour la démocratie

Au-delà d'une simple anecdote, ces résultats soulèvent de sérieuses questions quant à l'utilisation de l'IA dans des contextes électoraux. Comme le souligne Kyle Wiggers, spécialiste de l'intelligence artificielle :

Cette étude met en lumière les façons surprenantes dont les modèles d'IA peuvent présenter des biais, et les dommages que ces biais peuvent causer.

– Kyle Wiggers, expert IA

En effet, si les électeurs hispanophones reçoivent des informations moins fiables ou erronées de la part des systèmes d'IA auxquels ils pourraient faire appel pour s'informer, cela risque de créer des déséquilibres dans l'accès à une information électorale de qualité. Un constat d'autant plus préoccupant que la population hispanique représente une part importante de l'électorat américain.

Vers une IA plus inclusive et représentative

Face à ce défi, les acteurs du secteur de l'IA doivent redoubler d'efforts pour construire des modèles plus inclusifs, capables de gérer efficacement une grande diversité de langues et de contextes culturels. Cela passe notamment par :

• L'enrichissement des jeux de données d'entraînement avec davantage de contenus dans des langues minoritaires
• Le développement d'architectures spécifiques pour le traitement multilingue
• La mise en place de mécanismes de détection et de correction des biais
• La collaboration avec des experts linguistiques et culturels pour valider les résultats

Il en va de la crédibilité et de la pertinence de l'IA dans des domaines aussi cruciaux que les processus démocratiques. Car comme le rappelle l'AI Democracy Projects, une intelligence artificielle biaisée pourrait non seulement désorienter les électeurs, mais aussi porter atteinte à l'intégrité même de nos systèmes électoraux. Un enjeu de taille pour l'avenir de nos sociétés à l'ère du tout numérique.