产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

AI 检测器能认出 ChatGPT 写的文字吗?它们到底有多准

更新于 · 阅读约 5 分钟

简短回答 有时能,但不可靠。大多数检测器靠用词规律来猜,所以会漏掉改写过的 AI 文字,也会误判一些人写的文字。开发它们的公司自己也这么说:Turnitin 让用户把结果当作开启对话的起点,而不是下结论。Blackboard 的 SafeAssign 根本不检测 AI。把分数当作线索,绝不能当作证据。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

AI 检测器真的能看出是不是 ChatGPT 写的吗?

不能确定。检测器读取文字,估算它由机器写成的可能性。它看不到文字是怎么写出来的,所以结果只是一个概率,而且两个方向都可能出错:

  • 漏掉 AI 文字。 OpenAI 自己的检测器在发布时的测试中,只识别出 26% 的 AI 文字。OpenAI 于 2023 年 7 月 20 日撤下了它,理由是“its low rate of accuracy”(准确率低)(OpenAI)。
  • 误判人写的文字。 同一个 OpenAI 工具有 9% 的时候把人写的文字错标为 AI(OpenAI)。Turnitin 也表示,它标出的某些句子其实是人写的(Turnitin)。

工具的开发者自己说明了结果该怎么用。Turnitin 的首席产品官说:

"Use the information to initiate a conversation, not to draw a conclusion." (Turnitin, June 2023) 译文:“用这些信息来开启一次对话,而不是下结论。”

做生意也是同样的道理。分数可以告诉您该往哪里看,但不能告诉您是谁写的。

AI 检测器是怎么工作的?

检查方式有三种,只有一种能给出确定的答案。

检查方式做什么能证明是 ChatGPT 写的吗?
规律猜测(大多数“AI 检测器”)用人写和 AI 写的样本训练出的模型,给用词的可预测程度打分不能,只是估计
文本比对(查重工具)把文字和已存储的网页、论文进行比对不能,新生成的 AI 文字匹配不到任何内容
水印检查寻找 AI 工具在自己的输出中加入的隐藏信号只对该工具的输出有效,而且修改会削弱它

规律猜测是免费在线检测器和大多数付费检测器的做法。AI 模型倾向于选最可能出现的下一个词,所以写出的文字流畅、可预测。朴素简单的人类写作看起来也可能同样可预测,下文的斯坦福研究把这一点和误判联系在一起。

水印是更可靠的方法,但有局限。Google 会在“text generated by the Gemini app and web experience”(Gemini 应用和网页版生成的文字)中加入一种名为 SynthID 的隐藏水印(Google DeepMind)。它自己的说明写道,当 AI 生成的文字被彻底改写(“can be greatly reduced when an AI-generated text is thoroughly rewritten”)或被翻译时,置信度会大大降低,而且水印“less effective on factual responses”(对事实类回答效果较差)(Google DeepMind and Hugging Face, 2024)。Gemini 的水印也无法说明任何关于 ChatGPT 或其他工具所写文字的情况。

Blackboard 或 SafeAssign 能检测出 ChatGPT 吗?

单靠它自己不能。SafeAssign 是 Blackboard 内置的检查工具,使用一种“text matching algorithm capable of detecting exact and inexact matching between a paper and source material”(能够检测论文与来源材料之间完全匹配和部分匹配的文本比对算法)(Anthology Blackboard Help)。它的帮助页面完全没有提到识别 AI 写作。新生成的 ChatGPT 文字通常匹配不到任何已存储的来源,所以能通过。

学校可以加装其他工具。“Turnitin can be integrated with Blackboard LMS”(Turnitin 可以与 Blackboard LMS 集成),学校开通后,老师可以按作业逐个启用(Anthology Blackboard Help)。这时 AI 检测结果来自 Turnitin,也带着上面提到的 Turnitin 的局限。老师也会凭眼睛判断:一篇读起来不像学生以往作品的论文,会被仔细查看。

AI 检测器多久出一次错?

比它们的销售页面暗示的更频繁,而且误判并不均匀。

  • 句子层面。 Turnitin 表示,它在句子层面的误报率“around 4%”(约 4%),其中 54% 被误标的句子紧挨着真正的 AI 文字(Turnitin)。一个人只修改了一段 AI 文字,自己写的句子也可能被一起标出。
  • 整篇文档。 Turnitin 称它的文档误报率低于 1%,但仅限于“for documents with 20% or more AI writing”(AI 写作占 20% 或以上的文档)(Turnitin)。这是厂商自己的测试,不是独立测试。
  • 英语非母语的写作者。 斯坦福的研究人员发现,七款常用检测器“consistently misclassify non-native English writing samples as AI-generated”(持续把英语非母语者的写作样本误判为 AI 生成)(Liang et al., Patterns, 2023)。同一项研究还发现,“simple prompting strategies”(简单的提示词策略)就能让 AI 文字躲过检测。

所以最容易被误判的,是写得简单的人。这包括很多优秀的商业写作者,因为简单的句子在手机上最好读。

检测器分数对 Google 排名意味着什么,以及美国联邦贸易委员会(FTC)对一家夸大准确率的检测器公司提起的案件,请看 AI 检测器与 SEO。

小企业主到底该不该用 AI 检测器?

如果要用,只把它当作提问的理由,绝不当作决定。

情况不要应该这样做
自由撰稿人的博客文章得分“90% AI”只凭分数就拒绝付款请对方提供笔记或草稿历史,并核对文中的事实
您的合同禁止 AI 写作靠检测器来执行写清楚允许什么,并要求每个数字都注明来源
客户说您的页面“是 AI 写的”一直改到工具显示“人类”展示只有您知道的东西:您的价格、照片、本地细节
您发布 AI 辅助撰写的页面追求低 AI 分数核实每一项说法;Google 评判的是质量,而不是来源(查看 Google 的政策)

决定内容是否有效的,不是谁敲的字,而是事实是否正确、是否体现真实经验。AI 内容中的人工投入介绍了值得补充的部分。

示例

一位屋顶承包商审核新写手

写手的第一篇文章在免费检测器上得分 85% AI。老板没有解雇她,而是自己检查了一遍:两个瓦片价格写错了,而且完全没提本地天气。他把这份问题清单发回给她。第二稿准确又具体。分数从来不重要,事实才重要。

一位被客户质疑的记账员

一位客户把记账员的欢迎指南放进检测工具,得到“60% AI”。其实是她自己用简单的英文写的。她给客户看了文档文件夹里带日期的草稿,事情就此了结。

一家清洁公司的博客

老板先用 ChatGPT 起草文章,再加入自己的检查清单和照片。他不再把文章放进检测器里跑,而是用省下的半小时多回答一个客户问题。

常见问题

ChatGPT 能分辨出是不是它写的吗?

不能。OpenAI 在 2023 年因准确率低撤下了自己的检测器(OpenAI)。问 ChatGPT“这是你写的吗?”,得到的只是猜测,而不是记录。

AI 检测器对短文字有效吗?

效果更差。OpenAI 表示它的分类器在少于 1,000 个字符时不可靠(OpenAI)。大多数广告文案和产品简介都比这短。

修改 AI 文字能躲过检测器吗?

常常可以。在斯坦福的研究中,简单的提示词就骗过了检测器;大幅改写甚至会削弱 Google 的水印(Liang et al.; Google DeepMind and Hugging Face)。

哪款 AI 检测器最准确?

没有任何独立机构认证过它们,厂商用的都是自己的数据来测试。上面 Turnitin 的数字也是它自己测出来的。

您的情况不同?

继续阅读

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Turnitin: Understanding the false positive rate for sentences of our AI writing detection capability (June 14, 2023)
  2. OpenAI: New AI classifier for indicating AI-written text (January 31, 2023; updated July 20, 2023)
  3. Liang et al., GPT detectors are biased against non-native English writers (Patterns, 2023)
  4. Google DeepMind and Hugging Face: Introducing SynthID Text (October 23, 2024)
  5. Google DeepMind: SynthID
  6. Anthology Blackboard Help: SafeAssign
  7. Anthology Blackboard Help: Turnitin integration