Le ministère américain du Commerce sécurise l’IA avec Dioptra

Face à l'essor fulgurant de l'intelligence artificielle, la question de sa sécurité et de sa fiabilité est plus que jamais cruciale. Pour y répondre, le ministère américain du Commerce vient de dévoiler plusieurs initiatives visant à renforcer la robustesse des systèmes d'IA et à aider les développeurs à gérer les risques associés.

Dioptra, un logiciel open source pour tester la résilience de l'IA

Parmi ces initiatives, le logiciel Dioptra se distingue. Développé par l'Institut national des normes et de la technologie (NIST), ce banc d'essai permet d'évaluer comment certains types d'attaques peuvent dégrader les performances d'un modèle d'IA. L'objectif ? Déterminer dans quelle mesure un système résiste à diverses cybermenaces.

Dioptra se focalise notamment sur un point de vulnérabilité majeur : les données d'entraînement. Si des acteurs malveillants parviennent à empoisonner ces données avec des inexactitudes, cela peut amener le modèle à prendre des décisions incorrectes, potentiellement désastreuses. Le logiciel permet donc de quantifier l'impact de telles attaques sur les performances.

Un outil expérimental qui monte en puissance

Initialement considéré comme un banc d'essai expérimental en 2022, Dioptra a fait ses preuves en l'espace de quelques années. Sa conception modulaire permet aux chercheurs d'échanger facilement des ensembles de données, des modèles, des attaques et des défenses alternatives.

Dioptra vise à faire progresser la métrologie nécessaire pour contribuer à sécuriser les systèmes compatibles avec le Machine Learning.

NIST

Toutefois, le logiciel présente une limitation majeure à ce stade : il ne fonctionne que sur des modèles pouvant être téléchargés et utilisés localement. Les modèles bloqués derrière une API, comme GPT-4 d'OpenAI, restent hors de portée pour l'instant.

Des guides pour atténuer les risques de l'IA générative

Au-delà de Dioptra, le NIST propose également plusieurs publications pour aider les développeurs à gérer les risques. Un guide d'actions identifie ainsi une douzaine de risques clés liés à l'IA générative, comme :

• La réduction de la barrière à l'entrée pour les cyberattaques
• La production de fausses informations et de désinformation
• La génération de discours haineux et d'autres contenus nuisibles
• Les "hallucinations" des systèmes d'IA

Pour chacun de ces risques, le document détaille plus de 200 mesures d'atténuation potentielles, en s'appuyant sur un cadre de référence dédié à l'IA.

Collaborer à l'échelle mondiale pour des normes d'IA

Enfin, le NIST appelle à une collaboration internationale pour l'élaboration et la mise en œuvre de normes consensuelles liées à l'IA. Un plan d'engagement mondial vise ainsi à stimuler la coopération, la coordination et le partage d'informations entre États et entreprises du monde entier.

Ces initiatives font écho à l'engagement croissant des autorités et des géants de la tech en faveur d'une IA plus sûre et responsable. Elles marquent une étape importante vers un développement maîtrisé de l'intelligence artificielle, conciliant progrès technologique et gestion des risques.