ChatGPT et la fiabilité des citations dans le journalisme
Alors que de plus en plus d'éditeurs signent des accords de licence de contenu avec OpenAI, créateur de ChatGPT, une nouvelle étude publiée cette semaine par le Tow Center for Digital Journalism de l'Université Columbia jette une ombre inquiétante sur la fiabilité des citations générées par ce chatbot IA pour le contenu des éditeurs.
Des citations peu fiables, avec ou sans accord
Les chercheurs ont examiné les citations produites par ChatGPT après lui avoir demandé d'identifier la source de citations tirées d'un mélange d'éditeurs, certains ayant conclu des accords avec OpenAI et d'autres non. Leurs conclusions suggèrent que les éditeurs restent à la merci de la tendance de l'outil d'IA générative à inventer ou à déformer des informations, qu'ils autorisent ou non OpenAI à analyser leur contenu.
L'étude a révélé de "nombreux" cas où le contenu des éditeurs était cité de manière inexacte par ChatGPT, avec un "spectre de précision dans les réponses". Si certaines citations étaient entièrement correctes, beaucoup étaient totalement fausses. Les citations de ChatGPT semblent donc être un mélange peu fiable.
Inventer plutôt qu'admettre l'ignorance
Même pour les éditeurs ayant activement bloqué les robots d'analyse d'OpenAI, ChatGPT "avouait rarement" son incapacité à produire une réponse. Au lieu de cela, il se rabattait sur la confabulation pour générer une source, même incorrecte. Ce manque de transparence sur sa confiance dans une réponse peut rendre difficile pour les utilisateurs d'évaluer la validité d'une affirmation.
Récompenser le plagiat ?
L'étude soulève également la question de savoir si ChatGPT pourrait essentiellement récompenser le plagiat. Dans un cas, il a cité à tort un site web qui avait plagié un article du New York Times comme source de l'histoire originale du Times. Cela soulève de sérieuses questions sur la capacité d'OpenAI à filtrer et à valider la qualité et l'authenticité de ses sources de données.
Pas de traitement de faveur, même avec un accord
Même pour les éditeurs ayant conclu des accords avec OpenAI, l'étude a constaté que les citations de ChatGPT n'étaient pas toujours fiables. Laisser entrer ses robots d'analyse ne semble pas garantir l'exactitude. Il n'y a pas non plus de "visibilité" garantie pour les éditeurs dans le moteur de recherche d'OpenAI, même lorsqu'ils autorisent ses robots.
Contenu décontextualisé
Selon les chercheurs, le problème fondamental est que la technologie d'OpenAI traite le journalisme comme un "contenu décontextualisé", avec apparemment peu d'égards pour les circonstances de sa production originale. Les éditeurs ont donc "peu de contrôle significatif" sur ce qui arrive à leur contenu une fois entre les mains de ChatGPT, directement ou indirectement.
Quelle voie pour les éditeurs ?
Face à ces défis, les éditeurs doivent réfléchir attentivement à leurs relations avec des outils d'IA comme ChatGPT. Bien que la tentation des accords de licence puisse être grande, les risques pour la réputation et la confiance des lecteurs sont réels si le contenu est mal représenté.
Cependant, bloquer complètement les robots d'analyse ne semble pas non plus une solution, car cela n'empêche pas ChatGPT de citer des articles de manière erronée. Une voie à explorer pourrait être de travailler avec OpenAI et d'autres pour améliorer l'exactitude des citations et le respect des préférences des éditeurs. Mais cela nécessitera probablement des efforts concertés et une pression de l'industrie.
En fin de compte, alors que le journalisme continue de naviguer dans le paysage en évolution rapide de l'IA, maintenir des normes élevées de vérité, de transparence et de confiance restera essentiel. Les outils comme ChatGPT offrent à la fois des opportunités et des défis à cet égard. C'est aux éditeurs, aux chercheurs, aux développeurs d'IA et au public de travailler ensemble pour façonner cet avenir de manière responsable.
