Faille de sécurité chez Optum : un chatbot exposé sur Internet
C'est une découverte pour le moins troublante qu'a fait un chercheur en sécurité informatique récemment. Un chatbot interne utilisé par les employés d'Optum, filiale du géant américain de l'assurance maladie UnitedHealth, pour traiter les demandes de remboursement, était accessible publiquement sur Internet sans aucune authentification requise.
Un outil sensible laissé sans protection
Baptisé "SOP Chatbot", cet outil d'intelligence artificielle permet aux employés d'Optum de poser des questions sur la manière de gérer les demandes de remboursement des assurés, en se basant sur les procédures standard de l'entreprise. Bien qu'hébergé sur un domaine interne, le chatbot était accessible depuis l'Internet public via son adresse IP, sans aucun mot de passe requis.
Si le chatbot ne semblait pas contenir ou générer de données médicales sensibles, cette exposition accidentelle intervient alors qu'UnitedHealth est déjà sous le feu des critiques pour son utilisation d'outils et d'algorithmes d'IA visant à passer outre les décisions des médecins et refuser les demandes de remboursement des patients.
Un accès rapidement restreint
Mossab Hussein, co-fondateur de la société de cybersécurité spiderSilk, a alerté de cette faille. L'accès au chatbot a été coupé peu après qu'Optum ait été contacté à ce sujet. La société a déclaré qu'il s'agissait d'un "outil de démonstration développé comme preuve de concept potentielle" mais "jamais mis en production". Les documents utilisés pour entraîner le chatbot n'auraient pas contenu de données de santé protégées.
Des employés jouaient avec le chatbot
Les historiques de conversation montrent que des employés d'Optum ont utilisé le chatbot des centaines de fois depuis septembre, lui posant des questions sur l'éligibilité de certaines demandes. Certains semblaient aussi intrigués par ses capacités, essayant de le "jailbreaker" pour lui faire produire des réponses hors sujet. À la demande d'écrire un poème sur le refus d'une demande, le chatbot s'est exécuté avec un certain talent !
Dans le royaume des soins de santé où règnent les règles et les politiques, une demande arrive, cherchant son dû, mais hélas, son destin est d'être refusée...
- Extrait du poème généré par le chatbot d'Optum
UnitedHealth déjà critiqué pour son usage de l'IA
Cette faille de sécurité informatique tombe mal pour UnitedHealth, déjà sous le feu des critiques pour son utilisation de l'IA dans l'assurance maladie. Le groupe, plus grand assureur santé privé des États-Unis, est poursuivi en justice pour avoir prétendument utilisé un modèle d'IA avec un taux d'erreur de 90% pour refuser des soins à des patients âgés.
Depuis l'assassinat ciblé en décembre du PDG d'UnitedHealthcare, Brian Thompson, de nombreux témoignages de patients exprimant leur détresse face aux refus de prise en charge par l'assureur affluent. UnitedHealth, qui a réalisé 22 milliards de dollars de bénéfices en 2023, assure qu'il se défendra devant les tribunaux.
Cette exposition, même accidentelle, d'un outil d'IA utilisé pour les remboursements ne risque pas d'améliorer son image auprès du public, déjà écornée par les controverses sur l'usage de l'intelligence artificielle dans la santé. Elle souligne aussi les enjeux cruciaux de sécurité des données médicales à l'heure où la santé se digitalise à vitesse grand V.
