NIST dévoile un outil pour tester les risques des modèles IA
Dans un contexte où les modèles d'intelligence artificielle (IA) deviennent de plus en plus puissants et omniprésents, la question de leurs risques et de leur sécurité est plus que jamais cruciale. C'est dans cette optique que le National Institute of Standards and Technology (NIST), l'agence du département du Commerce des États-Unis chargée de développer des normes et des technologies, vient de lancer un nouvel outil baptisé Dioptra. Son objectif : permettre aux entreprises et aux utilisateurs d'évaluer, d'analyser et de suivre les risques liés à l'IA.
Un instrument de mesure contre les menaces
Dioptra, du nom de l'instrument astronomique classique utilisé pour les relevés, est un outil modulaire et open source accessible via une interface web. Il se concentre particulièrement sur la mesure de l'impact des attaques malveillantes visant à dégrader les performances d'un système d'IA, notamment via « l'empoisonnement » des données d'entraînement des modèles.
Tester les effets des attaques adverses sur les modèles d'apprentissage automatique est l'un des objectifs de Dioptra.
– NIST
Selon le NIST, ce logiciel gratuit pourrait aider la communauté, y compris les agences gouvernementales et les petites et moyennes entreprises, à mener des évaluations pour vérifier les affirmations des développeurs d'IA sur les performances de leurs systèmes. Il permettrait de faire des benchmarks, de la recherche, et d'exposer les modèles à des menaces simulées dans un environnement de « red teaming ».
Vers des normes de sécurité pour l'IA
La sortie de Dioptra s'inscrit dans un contexte plus large d'efforts pour encadrer les risques liés à l'IA. Elle fait suite à des documents du NIST et de son nouvel Institut de sécurité de l'IA, qui proposent des pistes pour atténuer certains dangers comme l'utilisation abusive pour générer de la pornographie non consensuelle.
Dioptra répond aussi au décret du président Biden sur l'IA, qui mandate le NIST pour aider aux tests des systèmes d'IA. Ce décret établit des normes de sécurité et de fiabilité, comme l'obligation pour les entreprises de notifier le gouvernement et de partager les résultats de tous les tests de sécurité avant le déploiement public.
Le NIST ne prétend pas que Dioptra peut éliminer totalement les risques, mais il estime que cet outil peut mettre en lumière les types d'attaques susceptibles de dégrader un système d'IA et quantifier cet impact sur les performances. Une limite importante cependant : il ne fonctionne pour l'instant qu'avec les modèles pouvant être téléchargés et utilisés localement, pas ceux uniquement accessibles via une API.
Une pièce du puzzle pour des IA plus sûres
Si Dioptra n'est pas une solution miracle, il représente une avancée importante dans la compréhension et la maîtrise des risques liés aux IA de plus en plus sophistiquées. C'est un outil précieux à disposition des acteurs de l'écosystème pour renforcer la robustesse et la résilience des systèmes d'IA face aux menaces.
Mais le chemin est encore long pour parvenir à des IA totalement sûres et fiables. Cela nécessitera un effort concerté impliquant chercheurs, entreprises, régulateurs et utilisateurs. Des outils comme Dioptra, combinés à des normes claires et des politiques responsables, seront essentiels pour construire un avenir où nous pourrons profiter des immenses bénéfices de l'IA en maîtrisant ses risques.
Dans ce défi majeur pour façonner le futur de l'IA, chaque contribution compte, des innovations technologiques comme Dioptra à l'implication éclairée de chacun. C'est ainsi, pas à pas, que nous pourrons bâtir une IA plus sûre et bénéfique pour tous.
