Détection de contenu généré par intelligence artificielle
La mise en forme de cet article est à améliorer ().
La mise en forme du texte ne suit pas les recommandations de Wikipédia : il faut le « wikifier ».
Cet article est orphelin. Moins de trois articles lui sont liés ().
Vous pouvez aider en ajoutant des liens vers [[Détection de contenu généré par intelligence artificielle]] dans les articles relatifs au sujet.
Les logiciels de détection d’intelligence artificielle ont pour objectif de déterminer si certains contenus (texte, image, vidéo ou audio) ont été générés à l’aide de l’intelligence artificielle (IA).
Depuis 2023, les principaux exemples sont des logiciels comme GPTZero, qui affirment détecter si un texte a été écrit par l'intelligence artificielle et est parfois utilisé dans les établissements du supérieur pour empêcher le plagiat chez les étudiants. Cependant, la fiabilité de ces logiciels est un sujet de débat[1] et des inquiétudes existent quant à une éventuelle mauvaise utilisation des logiciels de détection d’IA par les enseignants.
Détection de texte[modifier | modifier le code]
La détection de textes a généralement pour but de prévenir le plagiat présumé, souvent en détectant la répétition de mots comme indicateurs qu'un texte aurait été généré par l'IA (y compris les hallucinations de l'IA). Ils sont souvent utilisés par les enseignants lors de la notation de leurs élèves, généralement de manière ponctuelle. À la suite de la sortie de ChatGPT et d'autres logiciels de génération de texte d’IA similaires, de nombreux établissements d’enseignement ont mis en place des politiques contre l’utilisation de l’IA par les étudiants[2]. Des logiciels de détection de texte générés par l'IA sont également utilisés par les employeurs, ainsi que par les moteurs de recherche en ligne[3].
Les détecteurs actuels peuvent parfois être peu fiables : dans certains cas, ils vont marquer des textes écrits par un humain comme générés par l'IA [4],[5],[6], et dans d'autre, ils ne parviendront pas à détecter des textes générés par l'IA[7]. Le MIT Technology Review a déclaré que la technologie « avait du mal à détecter des textes qui auraient été générés par ChatGPT puis légèrement réorganisé par des humains et obscurci par un outil de paraphrase »[8]. Il a également été démontré que les logiciels de détection de texte généré par l'IA discriminent les locuteurs non anglophones[3].
Deux étudiants de l'Université de Californie à Davis ont failli être expulsés après que leurs professeurs ont scanné leurs essais avec un outil de détection de texte appelé Turnitin, qui a détecté que ces derniers avaient été générés par l'IA. Cependant, à la suite de la couverture médiatique[9] et d'une enquête approfondie, les étudiants ont été innocentés[10],[11].
En avril 2023, l'Université de Cambridge et d'autres membres du réseau d'universités Russell Group au Royaume-Uni ont cessé d'utiliser l'outil de détection de texte généré par l'IA de Turnitin, après avoir exprimé leurs inquiétudes quant à son manque de fiabilité[12]. L'Université du Texas à Austin a pris la même décision six mois plus tard[13].
En mai 2023, un professeur de la Texas A&M University–Commerce (en) a utilisé ChatGPT pour détecter si le contenu de ses étudiants avait été écrit par l'IA, ce à quoi ChatGPT a répondu oui. Pour cette raison, il a menacé de faire échouer toute la classe, alors que ChatGPT n’est pas en mesure de détecter des textes générée par l’IA[14]. Aucun étudiant ne s'est vu refuser son diplôme à cause de cet évènement, et tous les étudiants, sauf un (qui a admis avoir utilisé l'IA) ont été exonérés des accusations d'avoir utilisé ChatGPT dans leur contenu[15].
Anti-détection de texte[modifier | modifier le code]
Il existe des logiciels conçus pour contourner la détection de texte générés par l'IA[16].
En août 2023, une étude a été menée par Taloni et al. à l'Université Magna Græcia et au Collège royal d'ophtalmologie, pour tester la détection de texte généré par l'IA[17]. L'étude a testé un outil de détection d'IA appelé Originality.ai qui s'est révélé capable de détecter GPT-4 avec une précision moyenne de 91,3 %[18],[19].
Cependant, lorsque l'outil a été incorporé par un autre logiciel appelé Undetectable.ai, la précision de détection d'Originality.ai a chuté à une précision moyenne de 27,8 %[17],[6].
L'étude de Taloni et al. a analysé 20 résumés d'articles publiés dans le Eye Journal, qui ont ensuite été paraphrasés à l'aide de GPT-4.0. Les résumés paraphrasés par l'IA ont été examinés à l'aide de QueText pour vérifier le plagiat et de Originality.ai pour vérifier si le contenu avait été généré par l’IA. Les textes ont ensuite été traités à nouveau par un logiciel contradictoire appelé Undetectable.ai dans le but de réduire les scores de détection de l'IA[17],[20],[21].
Certains experts estiment également que des techniques telles que le filigrane numérique sont inefficaces, car elles peuvent être supprimées ou ajoutées pour déclencher des faux positifs[22].
Détection d'images, de vidéos et d'audio[modifier | modifier le code]
Il existe un certain nombre de logiciels qui affirment pouvoir détecter des images générées par l'IA (par exemple, celles qui proviennent de Midjourney ou DALL-E). Ils ne sont pas totalement fiables[23],[24].
D'autres prétendent pouvoir identifier les deepfakes vidéo et audio, mais cette technologie, elle aussi, n'est pas encore totalement fiable[25].
Malgré le débat autour de l'efficacité de l'utilisation du filigrane, Google DeepMind développe activement un logiciel de détection appelé SynthID, qui fonctionne en insérant un filigrane numérique invisible à l'œil humain dans les pixels d'une image[26],[27].
Voir également[modifier | modifier le code]
- Alignement de l'IA
- Détection de similarité de contenu
- Hallucination (intelligence artificielle)
- Traitement du langage naturel
Références[modifier | modifier le code]
- (en) « 'Don't use AI detectors for anything important,' says the author of the definitive 'AI Weirdness' blog. Her own book failed the test », Fortune (consulté le )
- Alex Hern, « AI-assisted plagiarism? ChatGPT bot says it has an answer for that », The Guardian, (lire en ligne, consulté le )
- Ian Sample, « Programs to detect AI discriminate against non-native English speakers, shows study », The Guardian, (lire en ligne, consulté le ).
- Geoffrey A. Fowler, « Detecting AI may be impossible. That's a big problem for teachers. », The Washington Post, (lire en ligne, consulté le )
- Victor Tangermann, « There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate », Futurism, (lire en ligne, consulté le )
- « We tested a new ChatGPT-detector for teachers. It flagged an innocent student. », The Washington Post, (lire en ligne, consulté le ).
- Josh Taylor, « ChatGPT maker OpenAI releases 'not fully reliable' tool to detect AI generated content », The Guardian, (lire en ligne, consulté le )
- Rhiannon Williams, « AI-text detection tools are really easy to fool », MIT Technology Review, (lire en ligne, consulté le )
- « AI Detection Apps Keep Falsely Accusing Students of Cheating », Futurism (consulté le )
- (en-US) Jimenez, « Professors are using ChatGPT detector tools to accuse students of cheating. But what if the software is wrong? », USA TODAY (consulté le )
- (en-US) Klee, « She Was Falsely Accused of Cheating With AI -- And She Won't Be the Last », Rolling Stone, (consulté le )
- Bethan Staton, « Universities express doubt over tool to detect AI-powered plagiarism », Financial Times,
- (en-US) Carter, « Some universities are ditching AI detection software amid fears students could be falsely accused of cheating by using ChatGPT », Business Insider (consulté le )
- « A professor accused his class of using ChatGPT, putting diplomas in jeopardy », The Washington Post,
- « College instructor put on blast for accusing students of using ChatGPT », The Washington Post,
- (en-US) Christopher Beam, « The AI Detection Arms Race Is On—and College Students Are Building the Weapons », Wired, (lire en ligne, consulté le )
- (en) Taloni, Scorcia et Giannaccare, « Modern threats in academia: evaluating plagiarism and artificial intelligence detection scores of ChatGPT », Eye, , p. 1–4 (ISSN 1476-5454, DOI 10.1038/s41433-023-02678-7, lire en ligne
)
- (en-US) Wiggers, « Most sites claiming to catch AI-written text fail spectacularly », TechCrunch, (consulté le )
- « AI Content Checker and Plagiarism Check | GPT-4 | ChatGPT », originality.ai (consulté le )
- (en) « The Truly Undetectable AI Content Writing Tool », Undetectable AI (consulté le )
- Thompson, David.(13 décembre 2023). Researchers Say Undetectable.ai Is A Modern Threat To Academia Science Times. Retrieved 13 décembre 2023
- (en-US) « Researchers Tested AI Watermarks—and Broke All of Them », Wired, (lire en ligne, consulté le )
- Stuart A. Thompson, « How Easy Is It to Fool A.I.-Detection Tools? », The New York Times, (lire en ligne, consulté le )
- Choudhury Rizwan, « Expert debunks AI tool's claim that Israel’s photo is fake », Interesting Engineering, (lire en ligne, consulté le )
- Tiffany Hsu, « Another Side of the A.I. Boom: Detecting What A.I. Makes », The New York Times, (lire en ligne, consulté le )
- Pierce, « Google made a watermark for AI images that you can't edit out », The Verge, (consulté le )
- Wiggers, « DeepMind partners with Google Cloud to watermark AI-generated images », TechCrunch, (consulté le )
