Les dangers de l’utilisation malveillante de l’IA musicale

L'intelligence artificielle a ouvert de nouvelles perspectives dans le domaine musical, permettant à chacun de générer des chansons en quelques clics. Mais cette démocratisation comporte aussi son lot de dangers, comme le révèle un récent rapport de la société ActiveFence. Des individus mal intentionnés exploitent en effet ces outils pour créer et diffuser massivement des contenus haineux, visant des minorités ethniques, religieuses ou encore la communauté LGBTQ+.

Des acteurs malveillants à l'œuvre

Depuis mars dernier, ActiveFence a constaté une nette augmentation des discussions sur les moyens de détourner les générateurs de musique IA au sein de communautés en ligne propageant des discours de haine. Les chansons ainsi produites glorifient le terrorisme, incitent à la violence contre les femmes ou encore célèbrent des théories conspirationnistes antisémites.

Pour passer entre les mailles des filets de modération, les utilisateurs rivalisent d'ingéniosité. Homophones offensants, espaces insérés dans les mots, transcriptions phonétiques... Les astuces sont nombreuses pour tromper les algorithmes de détection, comme l'illustre cet exemple relevé par les chercheurs :

Les utilisateurs ont partagé des orthographes phonétiques de termes péjoratifs, comme "jooz" au lieu de "Jews" et "say tan" pour "Satan", afin de contourner les filtres.

- Rapport ActiveFence

Un impact émotionnel fort

Si les contenus haineux ne datent pas d'hier, la musique leur donne un poids particulier. Comme le souligne ActiveFence, les chansons véhiculent une charge émotionnelle qui renforce leur pouvoir d'influence et de nuisance.

Imaginez quelqu'un qui prêche un discours haineux, puis imaginez une chanson rythmée qui reprend ce discours et que tout le monde peut facilement chanter et retenir.

- Porte-parole d'ActiveFence

Elles contribuent ainsi à renforcer la cohésion des groupes extrémistes et à choquer le grand public. Un phénomène qui n'est pas sans rappeler le mouvement "Rock Against Communism" et ses concerts de musique raciste dans les années 70-80 au Royaume-Uni.

Des solutions à mettre en place

Face à ces dérives, ActiveFence appelle les plateformes de génération musicale à renforcer leurs garde-fous :

• Mise en place d'outils de prévention et de détection plus poussés
• Évaluation approfondie des failles de sécurité en simulant les comportements malveillants
• Meilleure modération des contenus en entrée et en sortie

Mais la vigilance devra être constante car les utilisateurs s'adaptent vite. La détection des contenus problématiques dans des langues autres que l'anglais, comme l'arabe, reste aussi un défi de taille.

Si rien n'est fait, le risque est grand de voir ces chansons haineuses générer par IA se propager massivement, à l'image des deepfakes et autres contenus manipulés. Un énième terrain de lutte où les plateformes technologiques devront prouver leur engagement en faveur d'un Internet plus sûr et respectueux.