维基百科

人工智能内容检测

人工智能检测软件旨在确定某些内容（文本、图像、视频或音频）是否是使用人工智能（AI）生成的。

截至 2023 年，这方面的典型案例有诸如GPTZero这样的软件，该软件声称可以检测文本是否是由人工智能生成，有有时被大学和高校用于防范学生的学术抄袭。然而，关于这类软件是否可靠的争论不断， [1]同时也存在对教育工作者可能误用AI检测软件担忧 。

准确性问题

事实证明，多个人工智能检测工具在准确和全面检测生成的人工智能生成文本方面表现不可靠。在韦伯·伍尔夫等人于 2023 年公布的一项研究中，研究人员对包括Turnitin和GPT Zero在内的 14 种文本检测软件进行评估，发现“所有软件的准确率都低于 80%，只有 5 个准确率超过 70%”。 [2]

关于文本检测

从文本层面上说，这样做通常是为了防止涉嫌抄袭，通常通过检测单词的重复来判断文本是否由人工智能生成，这被视为文本中使用人工智能的迹象，包括人工智能的幻觉。它们通常由教师在批改学生作业时临时使用。随着ChatGPT和类似的人工智能文本生成软件的发布，许多教育机构都发布了禁止学生使用人工智能的政策。 [3]评估求职者以及在线搜索引擎的工作人员也使用人工智能文本检测软件。[4]

目前的检测软件有时可能不够可靠，并且错误地将人类创作的作品标记为源自人工智能生成的文本[5] [6] [7] ，同时在其他情况下无法检测人工智能生成的作品。 [8]《麻省理工科技评论》指出，这项技术在人类稍微重新排列并使用释义工具混淆的ChatGPT生成文本上表现不佳。此外，人工智能文本检测软件也被证明存在歧视非英语母语者的情况。 [4]

加州大学戴维斯分校的两名学生差点被开除，因为他们的教授使用一种名为Turnitin的文本检测软件比对了他们的论文，该软件将这些论文标记为由人工智能生成。然而，经过媒体报道[9]和彻底调查后，学生们被澄清没有任何不当行为。 [10] [11]

2023 年 4 月，剑桥大学和英国罗素大学集团的其他成员大学选择放弃使用 Turnitin 这一文本检测软件，因为他们对其可靠性表示担忧。[12]六个月后，德克萨斯大学奥斯汀分校也选择放弃使用该软件。 [13]

2023 年 5 月，德克萨斯州农工大学康莫斯分校的一位教授使用ChatGPT来检测他的学生的作业是否由该软件编写，ChatGPT 称确实如此。因此，尽管ChatGPT无法检测出是否是人工智能生成的文本，他还是威胁要让整个班级挂科。 [14]除了一名学生承认使用该软件外，没有其他学生因此无法顺利毕业，所有学生都被免除在其作业中使用 ChatGPT 的责任追究。 [15]

关于反文本检测

有一些软件可以绕过人工智能文本检测。 [16]

在2023 年 8 月，塔洛尼等人员在麦格纳·格拉西亚大学和英国皇家眼科医院开展了一项研究，用于测试人工智能文本检测。 [17]该研究使用了一款名为 Originality.ai 的人工智能检测工具，发现其对 GPT-4 检测的平均准确率为 91.3%。

然而，当使用另一款名为Undetectable.ai的软件 Originality.ai进行重新处理时，Originality.ai的检测准确率下降至平均27.8%。[17] [7]

塔洛尼等人的研究分析了《眼科杂志》上中发表的20篇论文摘要，然后使用GPT-4.0对其进行了改写。对经过人工智能改写的摘要使用QueText检查是否抄袭，以及使用Originality.AI检查人工智能生成的内容，以审查经过GPT-4.0改写的摘要。随后，通过一款名为Undetectable.ai的对抗性软件对文本进行再处理，试图降低人工智能检测的相似度分数。 [17] [18] [19]

一些专家还认为，数字水印等技术是无效的，因为它们可以被删除或添加，从而触发错误的检测结果。 [20]

关于图像、视频、音频检测

有许多所谓的人工智能图像检测软件，用于检测人工智能生成的图像（例如，源自Midjourney或DALL-E的图像）。它们并不完全可靠。 [21] [22]

有一些声称能够识别深度伪造的视频和音频的软件，但目前这项技术还不够可靠。 [23]

尽管围绕数字水印的功效存在争议，但谷歌旗下人工智能公司DeepMind正在积极开发一种名为 SynthID 的检测软件，该软件的工作原理是将人眼看不见的数字水印插入图像的像素中。 [24] [25]

参见

参考资料

  1. ^ 'Don't use AI detectors for anything important,' says the author of the definitive 'AI Weirdness' blog. Her own book failed the test. Fortune. [2023-10-21]. （原始内容存档于2023-10-22） （英语）. 
  2. ^ Weber-Wulff, Debora; Anohina-Naumeca, Alla; Bjelobaba, Sonja; Foltýnek, Tomáš; Guerrero-Dib, Jean; Popoola, Olumide; Šigut, Petr; Waddington, Lorna. Testing of detection tools for AI-generated text. International Journal for Educational Integrity. 2023-12-25, 19 (1): 26. ISSN 1833-2595. doi:10.1007/s40979-023-00146-z （英语）. 
  3. ^ Hern, Alex. AI-assisted plagiarism? ChatGPT bot says it has an answer for that. The Guardian. 31 December 2022 [11 July 2023]. 
  4. ^ 4.0 4.1 Sample, Ian. Programs to detect AI discriminate against non-native English speakers, shows study. The Guardian. 10 July 2023 [10 July 2023]. 
  5. ^ Fowler, Geoffrey A. Detecting AI may be impossible. That's a big problem for teachers.. The Washington Post. 2 June 2023 [10 July 2023]. （原始内容存档于2023-06-03）. 
  6. ^ Tangermann, Victor. There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate. Futurism. 9 January 2023 [10 July 2023]. （原始内容存档于2023-12-02）. 
  7. ^ 7.0 7.1 We tested a new ChatGPT-detector for teachers. It flagged an innocent student.. The Washington Post. 1 April 2023 [10 July 2023]. （原始内容存档于2023-10-01）. 
  8. ^ Taylor, Josh. ChatGPT maker OpenAI releases 'not fully reliable' tool to detect AI generated content. The Guardian. 1 February 2023 [11 July 2023]. 
  9. ^ AI Detection Apps Keep Falsely Accusing Students of Cheating. Futurism. [2023-10-21]. （原始内容存档于2024-03-02）. 
  10. ^ Jimenez, Kayla. Professors are using ChatGPT detector tools to accuse students of cheating. But what if the software is wrong?. USA TODAY. [2023-10-21]. （原始内容存档于2024-05-16） （美国英语）. 
  11. ^ Klee, Miles. She Was Falsely Accused of Cheating With AI -- And She Won't Be the Last. Rolling Stone. 2023-06-06 [2023-10-21]. （原始内容存档于2024-06-15） （美国英语）. 
  12. ^ Staton, Bethan. Universities express doubt over tool to detect AI-powered plagiarism. Financial Times. 3 April 2023 [10 July 2023]. （原始内容存档于2023-09-01）. 
  13. ^ Carter, Tom. Some universities are ditching AI detection software amid fears students could be falsely accused of cheating by using ChatGPT. Business Insider. [2023-10-21]. （原始内容存档于2024-03-26） （美国英语）. 
  14. ^ Verma, Prashnu. A professor accused his class of using ChatGPT, putting diplomas in jeopardy. The Washington Post. 18 May 2023 [10 July 2023]. （原始内容存档于2023-09-05）. 
  15. ^ College instructor put on blast for accusing students of using ChatGPT. NBC News. 18 May 2023 [10 July 2023]. （原始内容存档于2023-10-10）. 
  16. ^ Beam, Christopher. The AI Detection Arms Race Is On—and College Students Are Building the Weapons. Wired. [2023-12-02]. ISSN 1059-1028. （原始内容存档于2024-05-25） （美国英语）. 
  17. ^ 17.0 17.1 17.2 Taloni, Andrea; Scorcia, Vincenzo; Giannaccare, Giuseppe. Modern threats in academia: evaluating plagiarism and artificial intelligence detection scores of ChatGPT . Eye. 2023-08-02: 1–4 [2024-01-22]. ISSN 1476-5454. doi:10.1038/s41433-023-02678-7. （原始内容存档于2024-03-14） （英语）. 
  18. ^ The Truly Undetectable AI Content Writing Tool. Undetectable AI. [2023-12-02]. （原始内容存档于2024-06-17） （英语）. 
  19. ^ Thompson, David.(13 Dec 2023). Researchers Say Undetectable.ai Is A Modern Threat To Academia Science Times. Retrieved 13 Dec 2023
  20. ^ Knibbs, Kate. Researchers Tested AI Watermarks—and Broke All of Them. Wired. [2023-10-21]. ISSN 1059-1028. （原始内容存档于2024-05-27） （美国英语）. 
  21. ^ Thompson, Stuart A.; Hsu, Tiffany. How Easy Is It to Fool A.I.-Detection Tools?. The New York Times. 28 June 2023 [10 July 2023]. （原始内容存档于2024-06-06）. 
  22. ^ Rizwan, Choudhury. Expert debunks AI tool's claim that Israel’s photo is fake. Interesting Engineering. October 15, 2023 [October 22, 2023]. （原始内容存档于2023-11-30）. 
  23. ^ Hsu, Tiffany; Myers, Steven Lee. Another Side of the A.I. Boom: Detecting What A.I. Makes. The New York Times. 18 May 2023 [10 July 2023]. （原始内容存档于2024-05-11）. 
  24. ^ Pierce, David. Google made a watermark for AI images that you can't edit out. The Verge. 2023-08-29 [2023-10-21]. （原始内容存档于2024-05-15）. 
  25. ^ Wiggers, Kyle. DeepMind partners with Google Cloud to watermark AI-generated images. TechCrunch. 2023-08-29 [2023-10-21]. （原始内容存档于2024-05-16）. 
检索自“https://zh.wikipedia.org/w/index.php?title=人工智能内容检测&oldid=83083326”