產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

GLTR AI 偵測工具:原理與現今的限制

更新於 · 閱讀約 5 分鐘

簡短回答 GLTR 是 MIT-IBM Watson AI Lab 與 HarvardNLP 的研究人員在 2019 年做的研究工具。它依小型模型 GPT-2 預測每個字詞的可能性替字詞上色。它不給分數,公開展示已下線,而經過編輯或用提示詞調整過的現今聊天機器人文字可以騙過它。把它當成教學工具,而不是判決。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

GLTR AI 偵測工具是什麼?

GLTR(Giant Language Model Test Room,唸作「glitter」)是 2019 年推出的免費開源研究展示。作者 Sebastian Gehrmann、Hendrik Strobelt 與 Alexander Rush 把它當作 MIT-IBM Watson AI Lab 與哈佛大學語言技術團隊 HarvardNLP 的合作計畫開發(GLTR 專案頁面)。它不會告訴您「AI」還是「人寫的」,只替每個字詞塗上顏色,由您自己判斷。

現在它值不值得您花時間,取決於四個事實:

問題截至 2026 年 11 月的答案
它用什麼模型來比對?GPT-2 117M,OpenAI 2019 年的小型模型(GLTR 專案頁面)
能在線上使用嗎?不能。gltr.io/dist 的展示頁面回傳「404 Not Found」;Internet Archive 的存檔顯示它從 2024 年初起就無法存取
還在更新嗎?GitHub 上的程式碼最後一次修改是在 2024 年 1 月(GitHub)
它會給分數嗎?不會。只有顏色和三張圖表

GLTR 是怎麼運作的?

語言模型(ChatGPT 這類工具背後的引擎)寫作時一次猜一個字詞,不斷猜下一個。GLTR 把您的文字交給 GPT-2,在每個字詞上問:實際出現的這個字詞,在 GPT-2 的猜測裡排第幾?作者這樣解釋背後的假設:

"We make the assumption that computer generated text fools humans by sticking to the most likely words at each position." (GLTR project page) 譯文:「我們假設,電腦產生的文字是靠在每個位置都選用最可能的字詞來騙過人類。」

相較之下,人更常選用模型意料之外的字詞。

GLTR 的顏色代表什麼?

顏色這個字詞在 GPT-2 猜測中的排名……意思
綠色前 10 名非常好預測
黃色第 11–100 名好預測
紅色第 101–1,000 名出人意料
紫色1,000 名以外非常出人意料

排名區間來自 GLTR 專案頁面。幾乎全是綠色和黃色的頁面看起來像機器寫的;紅色和紫色多,看起來像人寫的。作者也指出,承載真正訊息的字詞,例如名字和具體事實,「almost always appear in red or purple」(幾乎總是顯示為紅色或紫色)(GLTR 專案頁面)。

三張圖表彙整整段文字:各顏色的字詞各有多少;實際用詞的機率與 GPT-2 首選字詞相比如何;以及模型在每一步有多確定(稱為熵:熵低表示模型心中有一個明顯的下一個字詞)。人寫的文字往往顯示出更多不確定性(GLTR 專案頁面)。

GLTR 有多準?

它只在 2019 年的一次小型測試中讓人猜得更準,僅此而已。它自己的論文指出:一門大學語言技術課的 35 名學生閱讀新聞風格的文字,不借助工具時有 54.2% 的時候認出假文,借助 GLTR 的顏色後是 72.3%(Gehrmann et al., ACL 2019)。大部分假文來自 GPT-2,也就是 GLTR 用來比對的同一系列模型;其餘來自《華盛頓郵報》的新聞寫作機器人 Heliograf。論文沒有測試任何現今的聊天機器人。

為什麼 GLTR 認不出現代 AI 文字?

對 2019 年的文字來說,GLTR 是合理的測試。現在有五點削弱了它:

  1. 它建立在一個關於 AI 如何選詞的假設上。 作者寫道,這個假設「is also limited in that it assumes a simple sampling scheme」(也有限制,因為它假定了一種簡單的取樣方式),而對手「might change the sampling parameters per word or sentence」(可能逐字詞或逐句改變取樣參數)(GLTR 專案頁面)。現今的工具讓任何人都能改這些設定,開發者也會調校它們。
  2. 當裁判的是 2019 年的小型模型。 替文字評分的是 GPT-2 117M。它從沒看過現在的聊天機器人怎麼措辭,所以它對「好預測」的判斷停留在 2019 年。
  3. 提示詞和編輯會模糊訊號。 2023 年一項針對 ChatGPT 回答的基準測試發現,用 GLTR 的顏色計數訓練一個電腦模型時,這些計數仍帶有訊號(在一個資料集上 F1 為 0.865;F1 是 0 到 1 的準確度指標)。那是實驗室設定,不是您看到的顏色畫面。在提示詞中要求文字聽起來像人寫的,這個分數就降低 0.029;而對 25 個字詞或更短的文字,大多數偵測工具都表現不佳(He et al., MGTBench, 2023)。手動編輯也會改變顏色,因為每換一個字詞,排名就會變。
  4. 平實清楚的文字也好預測。 一個簡短的服務頁面(「We repair furnaces in Denver. Call for a free quote.」,即「我們在丹佛維修暖爐,歡迎來電免費報價」)不管是誰寫的,大多是綠色。工具無法知道簡單的措辭是刻意的選擇。
  5. 看懂它需要功力。 作者說,它「requires at least an advanced knowledge of the language to know whether an uncommon word does make sense at a position」(至少需要進階的語言能力,才能判斷一個不常見的字詞放在那個位置是否合理),而且只能處理「only individual cases」(個別案例),處理不了大量文字(GLTR 專案頁面)。

現在還能用 GLTR 嗎?

只能自己執行。GitHub 上的程式碼用 Python 安裝,會在您的電腦上啟動一個本機伺服器(GitHub)。這是開發人員的工作,而且比對的仍是 GPT-2。對企業主來說,它適合用來了解偵測工具的思路,不能當作證據。

GLTR 的結果對 SEO 有影響嗎?

沒有。Google 評判的是頁面,而不是寫頁面的工具:

"Our focus on the quality of content, rather than how content is produced, is a useful guide that has helped us deliver reliable, high quality results to users for years." (Google Search Central Blog, February 8, 2023) 譯文:「我們關注內容的品質,而不是內容的產生方式,這項原則多年來一直幫助我們為使用者提供可靠、高品質的結果。」

滿是綠色的頁面也能有排名;滿是紫色的頁面也可能失敗。真正重要的是什麼,請看Google 會懲罰 AI 內容嗎?和Google 認可的 AI 內容。

範例

屋頂承包商檢查自由撰稿人寫的部落格文章

一位做開發的朋友在筆電上用 GLTR 檢查一篇 600 字的文章,結果大多是綠色。這不能證明什麼:平實的屋頂建議本來就好預測。更好的檢查是:文章有沒有提到當地的施工許可規定,有沒有放他施工團隊的照片,事實有沒有寫對?

麵包店老闆檢查自己寫的文字

她自己用簡短的句子寫了「關於我們」頁面。偵測工具會把其中很多標成綠色。她保留原樣。顧客用手機閱讀,而 Google 並不依文字的產生方式評分。

承諾「100% 人工」內容的行銷公司

這家公司拿滿是紅色和紫色的 GLTR 截圖當證據。老闆改為要求每項說法都附上來源,並署上具體寫作者的名字。換幾個字詞就能改變顏色;查證過的事實卻改不了。

常見問題

GLTR 免費嗎?

免費。程式碼以 Apache 2.0 授權開源(GitHub)。沒有付費版本,目前也沒有線上展示。

GLTR 對 ChatGPT 寫的文字有效嗎?

不可靠。它是以 GPT-2 文字開發和測試的,作者也指出改變取樣方式就能騙過它。作者從未用現今的聊天機器人測試過它,而編輯也會改變它的顏色。

GLTR 和較新的 AI 偵測工具有什麼不同?

GLTR 逐字詞顯示顏色,把判斷留給您。大多數較新的偵測工具用目前模型的樣本訓練,只輸出一個百分比。兩者都會出錯;請看AI 偵測工具與 SEO。

GLTR 是誰做的?

MIT-IBM Watson AI Lab 與 HarvardNLP 的研究人員:Sebastian Gehrmann、Hendrik Strobelt 與 Alexander Rush。他們的論文在義大利佛羅倫斯舉行的 ACL 2019 上發表(Gehrmann et al., 2019)。

您的情況不同?

繼續閱讀

下一篇讓 ChatGPT 內容偵測不出來?Reddit 技巧與真正有效的做法網路上流行的讓 ChatGPT 文字「偵測不出來」的技巧,對照 Google 的規則和偵測器研究逐一檢驗:哪些對讀者有幫助,哪些會適得其反。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. GLTR project page (gltr.io, via Internet Archive): Catching a Unicorn with GLTR
  2. Gehrmann, Strobelt, Rush: GLTR: Statistical Detection and Visualization of Generated Text (ACL 2019 demo paper)
  3. GLTR source code on GitHub (detecting-fake-text)
  4. Internet Archive: capture history of the GLTR demo page
  5. He et al.: MGTBench: Benchmarking Machine-Generated Text Detection (arXiv, March 2023)
  6. Google Search Central Blog: Google Search's guidance about AI-generated content (February 8, 2023)