GLTR AI 检测工具:原理与如今的局限
简短回答 GLTR 是 MIT-IBM Watson AI Lab 和 HarvardNLP 的研究人员在 2019 年做的研究工具。它按小模型 GPT-2 预测每个词的可能性给词上色。它不给分数,公开演示已下线,而经过编辑或用提示词调整过的当今聊天机器人文字可以骗过它。把它当作教学工具,而不是判决。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话GLTR AI 检测工具是什么?
GLTR(Giant Language Model Test Room,读作“glitter”)是 2019 年推出的免费开源研究演示。作者 Sebastian Gehrmann、Hendrik Strobelt 和 Alexander Rush 把它作为 MIT-IBM Watson AI Lab 与哈佛大学语言技术团队 HarvardNLP 的合作项目开发(GLTR 项目页面)。它不会告诉您“AI”还是“人写的”,只给每个词涂上颜色,由您自己判断。
如今它是否值得您花时间,取决于四个事实:
| 问题 | 截至 2026 年 11 月的答案 |
|---|---|
| 它用什么模型来比对? | GPT-2 117M,OpenAI 2019 年的小模型(GLTR 项目页面) |
| 能在线使用吗? | 不能。gltr.io/dist 的演示页面返回“404 Not Found”;Internet Archive 的存档显示它从 2024 年初起就无法访问 |
| 还在更新吗? | GitHub 上的代码最后一次修改是在 2024 年 1 月(GitHub) |
| 它会给分数吗? | 不会。只有颜色和三张图表 |
GLTR 是怎么工作的?
语言模型(ChatGPT 这类工具背后的引擎)写作时一次猜一个词,不断猜下一个词。GLTR 把您的文字交给 GPT-2,在每个词上问:实际出现的这个词,在 GPT-2 的猜测里排第几?作者这样解释背后的假设:
"We make the assumption that computer generated text fools humans by sticking to the most likely words at each position." (GLTR project page) 译文:“我们假设,计算机生成的文字是靠在每个位置都选用最可能的词来骗过人类的。”
相比之下,人更常选用模型意料之外的词。
GLTR 的颜色是什么意思?
| 颜色 | 这个词在 GPT-2 猜测中的排名…… | 含义 |
|---|---|---|
| 绿色 | 前 10 名 | 非常好预测 |
| 黄色 | 第 11–100 名 | 好预测 |
| 红色 | 第 101–1,000 名 | 出人意料 |
| 紫色 | 1,000 名以外 | 非常出人意料 |
排名区间来自 GLTR 项目页面。几乎全是绿色和黄色的页面看起来像机器写的;红色和紫色多,看起来像人写的。作者还指出,承载真正信息的词,比如名字和具体事实,“almost always appear in red or purple”(几乎总是显示为红色或紫色)(GLTR 项目页面)。
三张图表概括整段文字:各颜色的词各有多少;实际用词的概率与 GPT-2 首选词相比如何;以及模型在每一步有多确定(称为熵:熵低表示模型心中有一个明显的下一个词)。人写的文字往往显示出更多不确定性(GLTR 项目页面)。
GLTR 有多准?
它只在 2019 年的一次小测试中让人猜得更准,仅此而已。它自己的论文报告:一门大学语言技术课上的 35 名学生看新闻风格的文字,不借助工具时有 54.2% 的时候认出假文,借助 GLTR 的颜色后是 72.3%(Gehrmann et al., ACL 2019)。大多数假文来自 GPT-2,也就是 GLTR 用来比对的同一系列模型;其余来自《华盛顿邮报》的新闻写作机器人 Heliograf。论文没有测试任何当今的聊天机器人。
为什么 GLTR 识别不出现代 AI 文字?
对 2019 年的文字来说,GLTR 是合理的测试。如今有五点削弱了它:
- 它建立在一个关于 AI 如何选词的假设上。 作者写道,这个假设“is also limited in that it assumes a simple sampling scheme”(也有局限,因为它假定了一种简单的采样方式),而对手“might change the sampling parameters per word or sentence”(可能逐词或逐句改变采样参数)(GLTR 项目页面)。如今的工具让任何人都能改这些设置,开发者也会调校它们。
- 当裁判的是 2019 年的小模型。 给文字打分的是 GPT-2 117M。它从没见过现在的聊天机器人怎么措辞,所以它对“好预测”的判断停留在 2019 年。
- 提示词和编辑会模糊信号。 2023 年一项针对 ChatGPT 回答的基准测试发现,用 GLTR 的颜色计数训练一个计算机模型时,这些计数仍带有信号(在一个数据集上 F1 为 0.865;F1 是 0 到 1 的准确度指标)。那是实验室设置,不是您看到的颜色视图。在提示词中要求文字听起来像人写的,这个分数就降低 0.029;而对 25 个词或更短的文字,大多数检测工具都表现不佳(He et al., MGTBench, 2023)。手工编辑也会改变颜色,因为每换一个词,排名就会变。
- 平实清楚的文字也好预测。 一个简短的服务页面(“We repair furnaces in Denver. Call for a free quote.”,即“我们在丹佛维修暖炉,欢迎来电免费报价”)不管是谁写的,大多是绿色。工具无法知道简单的措辞是有意为之。
- 看懂它需要功力。 作者说,它“requires at least an advanced knowledge of the language to know whether an uncommon word does make sense at a position”(至少需要较高的语言水平,才能判断一个不常见的词放在那个位置是否合理),而且只能处理“only individual cases”(个别案例),处理不了大量文字(GLTR 项目页面)。
现在还能用 GLTR 吗?
只能自己运行。GitHub 上的代码用 Python 安装,会在您的电脑上启动一个本地服务器(GitHub)。这是开发人员的活儿,而且比对的仍是 GPT-2。对企业主来说,它适合用来了解检测工具的思路,不能当作证据。
GLTR 的结果对 SEO 有影响吗?
没有。Google 评判的是页面,而不是写页面的工具:
"Our focus on the quality of content, rather than how content is produced, is a useful guide that has helped us deliver reliable, high quality results to users for years." (Google Search Central Blog, February 8, 2023) 译文:“我们关注内容的质量,而不是内容的产生方式,这一原则多年来一直帮助我们为用户提供可靠、高质量的结果。”
满是绿色的页面也能有排名;满是紫色的页面也可能失败。真正重要的是什么,请看Google 会惩罚 AI 内容吗?和Google 认可的 AI 内容。
示例
屋顶承包商检查自由撰稿人写的博客文章
一位做开发的朋友在笔记本电脑上用 GLTR 检查一篇 600 词的文章,结果大多是绿色。这不能证明什么:平实的屋顶建议本来就好预测。更好的检查是:文章有没有提到当地的施工许可规定,有没有放他施工队的照片,事实有没有写对?
面包店老板检查自己写的文字
她自己用简短的句子写了“关于我们”页面。检测工具会把其中很多标成绿色。她保留原样。顾客在手机上看,而 Google 并不按文字的产生方式打分。
承诺“100% 人工”内容的营销公司
这家公司拿满是红色和紫色的 GLTR 截图当证据。老板改为要求每条说法都附上来源,并署上具体写作者的名字。换几个词就能改变颜色;核实过的事实却改不了。
常见问题
GLTR 免费吗?
免费。代码以 Apache 2.0 许可证开源(GitHub)。没有付费版本,目前也没有在线演示。
GLTR 对 ChatGPT 写的文字有效吗?
不可靠。它是基于 GPT-2 文字开发和测试的,作者也指出改变采样方式就能骗过它。作者从未用当今的聊天机器人测试过它,而编辑也会改变它的颜色。
GLTR 和较新的 AI 检测工具有什么区别?
GLTR 逐词显示颜色,把判断留给您。大多数较新的检测工具用当前模型的样本训练,只输出一个百分比。两者都会出错;请看AI 检测工具与 SEO。
GLTR 是谁做的?
MIT-IBM Watson AI Lab 和 HarvardNLP 的研究人员:Sebastian Gehrmann、Hendrik Strobelt 和 Alexander Rush。他们的论文在意大利佛罗伦萨举行的 ACL 2019 上发表(Gehrmann et al., 2019)。
您的情况不同?
- 您担心检测工具的分数影响排名:AI 检测工具与 SEO
- 您发布 AI 起草的页面,担心被惩罚:Google 会惩罚 AI 内容吗?
- 您希望 AI 草稿体现您自己的专业知识:AI 内容加上人工投入
- 您更希望由团队来撰写和维护页面:SEO 智能体