AI 检测器能认出 ChatGPT 写的文字吗?它们到底有多准
简短回答 有时能,但不可靠。大多数检测器靠用词规律来猜,所以会漏掉改写过的 AI 文字,也会误判一些人写的文字。开发它们的公司自己也这么说:Turnitin 让用户把结果当作开启对话的起点,而不是下结论。Blackboard 的 SafeAssign 根本不检测 AI。把分数当作线索,绝不能当作证据。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话AI 检测器真的能看出是不是 ChatGPT 写的吗?
不能确定。检测器读取文字,估算它由机器写成的可能性。它看不到文字是怎么写出来的,所以结果只是一个概率,而且两个方向都可能出错:
- 漏掉 AI 文字。 OpenAI 自己的检测器在发布时的测试中,只识别出 26% 的 AI 文字。OpenAI 于 2023 年 7 月 20 日撤下了它,理由是“its low rate of accuracy”(准确率低)(OpenAI)。
- 误判人写的文字。 同一个 OpenAI 工具有 9% 的时候把人写的文字错标为 AI(OpenAI)。Turnitin 也表示,它标出的某些句子其实是人写的(Turnitin)。
工具的开发者自己说明了结果该怎么用。Turnitin 的首席产品官说:
"Use the information to initiate a conversation, not to draw a conclusion." (Turnitin, June 2023) 译文:“用这些信息来开启一次对话,而不是下结论。”
做生意也是同样的道理。分数可以告诉您该往哪里看,但不能告诉您是谁写的。
AI 检测器是怎么工作的?
检查方式有三种,只有一种能给出确定的答案。
| 检查方式 | 做什么 | 能证明是 ChatGPT 写的吗? |
|---|---|---|
| 规律猜测(大多数“AI 检测器”) | 用人写和 AI 写的样本训练出的模型,给用词的可预测程度打分 | 不能,只是估计 |
| 文本比对(查重工具) | 把文字和已存储的网页、论文进行比对 | 不能,新生成的 AI 文字匹配不到任何内容 |
| 水印检查 | 寻找 AI 工具在自己的输出中加入的隐藏信号 | 只对该工具的输出有效,而且修改会削弱它 |
规律猜测是免费在线检测器和大多数付费检测器的做法。AI 模型倾向于选最可能出现的下一个词,所以写出的文字流畅、可预测。朴素简单的人类写作看起来也可能同样可预测,下文的斯坦福研究把这一点和误判联系在一起。
水印是更可靠的方法,但有局限。Google 会在“text generated by the Gemini app and web experience”(Gemini 应用和网页版生成的文字)中加入一种名为 SynthID 的隐藏水印(Google DeepMind)。它自己的说明写道,当 AI 生成的文字被彻底改写(“can be greatly reduced when an AI-generated text is thoroughly rewritten”)或被翻译时,置信度会大大降低,而且水印“less effective on factual responses”(对事实类回答效果较差)(Google DeepMind and Hugging Face, 2024)。Gemini 的水印也无法说明任何关于 ChatGPT 或其他工具所写文字的情况。
Blackboard 或 SafeAssign 能检测出 ChatGPT 吗?
单靠它自己不能。SafeAssign 是 Blackboard 内置的检查工具,使用一种“text matching algorithm capable of detecting exact and inexact matching between a paper and source material”(能够检测论文与来源材料之间完全匹配和部分匹配的文本比对算法)(Anthology Blackboard Help)。它的帮助页面完全没有提到识别 AI 写作。新生成的 ChatGPT 文字通常匹配不到任何已存储的来源,所以能通过。
学校可以加装其他工具。“Turnitin can be integrated with Blackboard LMS”(Turnitin 可以与 Blackboard LMS 集成),学校开通后,老师可以按作业逐个启用(Anthology Blackboard Help)。这时 AI 检测结果来自 Turnitin,也带着上面提到的 Turnitin 的局限。老师也会凭眼睛判断:一篇读起来不像学生以往作品的论文,会被仔细查看。
AI 检测器多久出一次错?
比它们的销售页面暗示的更频繁,而且误判并不均匀。
- 句子层面。 Turnitin 表示,它在句子层面的误报率“around 4%”(约 4%),其中 54% 被误标的句子紧挨着真正的 AI 文字(Turnitin)。一个人只修改了一段 AI 文字,自己写的句子也可能被一起标出。
- 整篇文档。 Turnitin 称它的文档误报率低于 1%,但仅限于“for documents with 20% or more AI writing”(AI 写作占 20% 或以上的文档)(Turnitin)。这是厂商自己的测试,不是独立测试。
- 英语非母语的写作者。 斯坦福的研究人员发现,七款常用检测器“consistently misclassify non-native English writing samples as AI-generated”(持续把英语非母语者的写作样本误判为 AI 生成)(Liang et al., Patterns, 2023)。同一项研究还发现,“simple prompting strategies”(简单的提示词策略)就能让 AI 文字躲过检测。
所以最容易被误判的,是写得简单的人。这包括很多优秀的商业写作者,因为简单的句子在手机上最好读。
检测器分数对 Google 排名意味着什么,以及美国联邦贸易委员会(FTC)对一家夸大准确率的检测器公司提起的案件,请看 AI 检测器与 SEO。
小企业主到底该不该用 AI 检测器?
如果要用,只把它当作提问的理由,绝不当作决定。
| 情况 | 不要 | 应该这样做 |
|---|---|---|
| 自由撰稿人的博客文章得分“90% AI” | 只凭分数就拒绝付款 | 请对方提供笔记或草稿历史,并核对文中的事实 |
| 您的合同禁止 AI 写作 | 靠检测器来执行 | 写清楚允许什么,并要求每个数字都注明来源 |
| 客户说您的页面“是 AI 写的” | 一直改到工具显示“人类” | 展示只有您知道的东西:您的价格、照片、本地细节 |
| 您发布 AI 辅助撰写的页面 | 追求低 AI 分数 | 核实每一项说法;Google 评判的是质量,而不是来源(查看 Google 的政策) |
决定内容是否有效的,不是谁敲的字,而是事实是否正确、是否体现真实经验。AI 内容中的人工投入介绍了值得补充的部分。
示例
一位屋顶承包商审核新写手
写手的第一篇文章在免费检测器上得分 85% AI。老板没有解雇她,而是自己检查了一遍:两个瓦片价格写错了,而且完全没提本地天气。他把这份问题清单发回给她。第二稿准确又具体。分数从来不重要,事实才重要。
一位被客户质疑的记账员
一位客户把记账员的欢迎指南放进检测工具,得到“60% AI”。其实是她自己用简单的英文写的。她给客户看了文档文件夹里带日期的草稿,事情就此了结。
一家清洁公司的博客
老板先用 ChatGPT 起草文章,再加入自己的检查清单和照片。他不再把文章放进检测器里跑,而是用省下的半小时多回答一个客户问题。
常见问题
ChatGPT 能分辨出是不是它写的吗?
不能。OpenAI 在 2023 年因准确率低撤下了自己的检测器(OpenAI)。问 ChatGPT“这是你写的吗?”,得到的只是猜测,而不是记录。
AI 检测器对短文字有效吗?
效果更差。OpenAI 表示它的分类器在少于 1,000 个字符时不可靠(OpenAI)。大多数广告文案和产品简介都比这短。
修改 AI 文字能躲过检测器吗?
常常可以。在斯坦福的研究中,简单的提示词就骗过了检测器;大幅改写甚至会削弱 Google 的水印(Liang et al.; Google DeepMind and Hugging Face)。
哪款 AI 检测器最准确?
没有任何独立机构认证过它们,厂商用的都是自己的数据来测试。上面 Turnitin 的数字也是它自己测出来的。
您的情况不同?
- 担心检测器分数影响您的 Google 排名:AI 检测器与 SEO
- 发布 AI 起草的页面:Google 会惩罚 AI 内容吗?
- 您的页面缺少信任信号:小企业的 E-E-A-T
- 您希望有团队来撰写和检查页面:SEO 智能体