ChatGPT 内容能做到检测不出吗?为什么检测分数会误导人
简短回答 做不到稳定可靠,网站也不需要。检测器靠的是文字有多好预测、模型训练时学到的模式,或者隐藏的水印。它们的分数是估计,不是证据:改写一下分数就变,人写的朴实文字也会被标记。Google 看的是页面对读者有没有帮助,而不是谁打的字。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话ChatGPT 写的内容能做到检测不出吗?
有时可以,针对某一个工具,维持一段时间。研究显示,改写 AI 文字能让检测率大幅下降:一个研究团队发现,他们的“recursive paraphrasing method can significantly reduce detection rates”(递归改写方法能显著降低检测率)(Sadasivan et al., 2023)。但检测器会更新,每个工具打分方式不同,明天的结果谁也保证不了。
对商业网站来说,这种追逐抓错了重点。Google 不按作者是谁来给页面排名:
"Our focus on the quality of content, rather than how content is produced, is a useful guide that has helped us deliver reliable, high quality results to users for years." (Google Search Central Blog, February 8, 2023) 译文:“我们关注的是内容的质量,而不是内容的制作方式。多年来,这一原则帮助我们为用户提供可靠、高质量的结果。”
Google 真正惩罚的是批量生产的凑数内容。它的垃圾内容政策描述的是“large amounts of unoriginal content that provides little to no value to users, no matter how it's created”(大量对用户几乎没有价值的非原创内容,无论它是怎么制作的)(Google Search Central: Spam policies)。一个“人性化”处理过的页面照样可能就是这种内容。该怎么做,请看 AI 检测器与 SEO。本页只解释分数本身。
AI 检测器怎么给文字打分?
主要有四种方法。大多数工具会混合使用,而且不说明具体怎么做。
| 方法 | 检查什么 | 弱点 |
|---|---|---|
| 困惑度(Perplexity) | AI 模型选出这些词的可能性有多大 | 清晰简单的文字也显得“可预测” |
| 突发性(Burstiness) | 这种可预测性在全文中变化多大 | 短小或格式统一的页面(价目表、常见问题)显得平淡 |
| 训练好的分类器 | 模型从标注过的人写和 AI 样本中学到的模式 | 好坏全看训练样本;对您来说是个黑箱 |
| 水印 | AI 公司在生成文字时加入的隐藏信号 | 只能识别该公司模型写的文字,大幅改写会削弱它 |
困惑度和突发性。 最早的检测器之一 GPTZero 把困惑度定义为“a measure of how likely an AI model would have chosen the exact same set of words as found in the document”(衡量 AI 模型选出与文档中完全相同的词的可能性),把突发性定义为“writing patterns and text perplexities vary over the entire document”(写作模式和文本困惑度在整篇文档中的变化程度)(GPTZero)。意外少、分布均匀,就会被判为 AI。GPTZero 自己说,它在 2023 年秋天改用“deep-learning based architecture”(基于深度学习的架构)后,就不再使用这两项了(GPTZero)。
训练好的分类器。 很多学校使用的 Turnitin 运行一个模型,标记它判断为“likely generated from a Large Language Model”(很可能由大语言模型生成)的句子,也标记经过“an AI paraphraser tool or an AI bypasser tool”(AI 改写工具或 AI 绕过检测工具)修改的文字(Turnitin Guides)。换句话说,它专门训练来抓“人性化”工具。
水印。 Google 的 SynthID 会在 Gemini 写作时轻微调整选词概率,留下一种配套检测器能读出的模式(Google DeepMind: SynthID)。Google 列出了它的局限:
"Detector confidence scores can be greatly reduced when an AI-generated text is thoroughly rewritten, or translated to another language." (Introducing SynthID Text, October 23, 2024) 译文:“当 AI 生成的文字被彻底改写或翻译成另一种语言时,检测器的置信度分数会大幅降低。”
OpenAI 开发过文字水印,但截至 2024 年 8 月的更新,仍然只是在考虑中。它说用另一个模型改写或翻译,就能让水印“trivial to circumvention by bad actors”(被不良行为者轻易规避)(OpenAI)。所以目前没有任何公开工具能确认 ChatGPT 水印。
“80% AI”这样的分数是什么意思?
要看是哪个工具,这正是分数误导人的第一个原因。两个工具可能显示同一个数字,意思却不同:
- 占全文的比例。 Turnitin 的百分比是其模型标记出的“qualifying text”(合格文本,即长篇文章段落中的句子)所占的比例(Turnitin Guides)。80% 表示大部分句子被标记,而不是它有 80% 的把握。
- 置信度。 很多其他工具显示的是它们有多确定整篇文字是 AI 写的。这时 80% 意思是“很可能”,即使按工具自己的标准,也有五分之一的可能判错。
Turnitin 还会隐藏低分结果。它的测试发现“a higher incidence of false positives when the percentage is between 0 and 19”(百分比在 0 到 19 之间时误报率较高),所以自 2024 年 7 月 8 日起,低于 20% 时它显示星号而不是数字(Turnitin Guides)。它至少需要 300 字(英文单词)的正文才会打分,并且说明其结果“should not be used as the sole basis for adverse actions against a student”(不应作为对学生采取不利措施的唯一依据)(Turnitin Guides)。大多数网站页面,比如服务页或联系页,都比这短,或者不是长篇正文。
为什么检测分数会误导人?
五个原因,都来自上面的来源:
- 分数是猜测,不是记录。 除了水印,没有检测器知道文字是怎么写出来的。它只是拿措辞和模式做比较。
- 朴实的文字会被标记。 研究人员测试了几款常用检测器,发现它们“consistently misclassify non-native English writing samples as AI-generated”(总是把非英语母语者的写作样本误判为 AI 生成),并可能“penalize writers with constrained linguistic expressions”(惩罚语言表达较受限的写作者)(Liang et al., 2023)。简短清晰、在手机上好读的句子,恰恰是这种方法不信任的。
- 改写会让分数上下浮动。 同一项研究发现,“simple prompting strategies”(简单的提示策略)就能“effectively bypass GPT detectors”(有效绕过 GPT 检测器)(Liang et al., 2023)。如果一个提示就能翻转结果,这个结果就说明不了文字本身什么。
- 小误差会累积。 连 OpenAI 也指出,即使水印的误报率很低,在大量文字上仍会产生“a large number of total false positives”(大量的误报总数)(OpenAI)。假设某个工具每 10 个人写的页面会误判 1 个:检查您自己写的 30 个页面,预计会有大约 3 个“AI”结果。
- 工具之间结论不一。 每个工具都有自己的方法、训练样本和判定门槛。同一个页面可能同一天在一个工具上通过,在另一个上不通过。
AI“人性化”工具有用吗?
它们能降低分数,也只是为此而设计的。它们替换词语、打乱句子;不会加入一条事实、一个价格、一张照片,或您自己做工时的一个步骤,而这些正是 Google 有用内容指南要求的(见 Google 喜欢的 AI 内容)。Turnitin 说它现在专门检测绕过工具的输出(Turnitin Guides),所以今天通过的,下次更新后可能就不通过了。
如果一个页面需要“人性化”工具才显得像人写的,该做的是让它更像您自己的,而不是伪装它。
那 AI 起草的页面应该怎么处理?
| 不要 | 改为这样做 |
|---|---|
| 反复改写,直到检测器显示“人类” | 加入一样只有您的企业知道的东西:真实的价格区间、一条本地规定、您常见到的一个错误 |
| 花钱买“人性化”工具 | 让真人核对每个数字、名称和规定 |
| 快速发布 50 个页面 | 发布客户真正会问的 10 项服务 |
| 隐瞒使用了 AI | 在页面上写上真人的姓名和职务;见 小企业的 E-E-A-T |
示例
一位屋顶承包商的服务页
老板用 ChatGPT 起草了六个服务页,然后加上自己的照片、保修条款和他安装的瓦片品牌。一个免费检测器显示“72% AI”。不需要改:每个页面都具体、准确,而这个分数在 Google 的排名规则里根本没有位置。
一位记账师因自己写的文字被标记
一位潜在客户把她 200 个英文单词的“关于我们”页面粘贴到检测器里,结果显示“AI 生成”。其实是她自己用简短朴实的句子写的。这正是 Liang 研究描述的误报模式,而且 200 个单词还低于 Turnitin 打分所需的 300 个单词下限。
一家买了“人性化”工具的诊所
办公室经理每月花 $20,把博客文章放进“人性化”工具处理。分数下降了;文章变得更啰嗦,还有两个治疗项目名称写错了。这 $20 和花掉的时间,不如拿来写一个页面,回答前台每天都会听到的那个问题。
常见问题
Google 能看出我的内容是 ChatGPT 写的吗?
Google 没说过它会去判断,它公开的规则看的是质量,“rather than how content is produced”(而不是内容的制作方式)(Google Search Central Blog)。就文字而言,Google 的 SynthID 水印覆盖的是 Gemini 的输出,不是 ChatGPT。
GPTZero 和 Turnitin 哪个更准?
它们的数字没法比较:衡量的是不同的东西。Turnitin 报告的是被标记句子的比例;很多其他工具报告的是置信度。两者都不能告诉您一个页面对客户有没有帮助。
用 Quillbot 改写 ChatGPT 的文字,能让它检测不出吗?
可能会降低某些分数,研究对一般改写也有同样的结论(Sadasivan et al., 2023)。Turnitin 说它也能检测经 AI 改写工具修改的文字(Turnitin Guides)。不管怎样,它都不会让页面更有用。
每个页面发布前都应该用 AI 检测器检查一遍吗?
不需要。分数无法告诉您页面是否准确、是否对客户有帮助。核对事实,加入只有您知道的内容,然后关注页面的点击和来电。
您的情况不同?
- 您想知道检测分数是否影响排名:AI 检测器与 SEO
- 您担心 Google 惩罚 AI 页面:Google 会惩罚 AI 内容吗?
- 您想要一份 AI 起草页面的检查清单:Google 喜欢的 AI 内容
- 您希望由团队来撰写和维护页面:SEO 智能体