ChatGPT 內容能做到偵測不出嗎?為什麼偵測分數會誤導人
簡短回答 無法穩定做到,網站也不需要。偵測器依據的是文字有多好預測、模型訓練時學到的模式,或是隱藏的浮水印。它們的分數是估計,不是證據:改寫一下分數就變,人寫的樸實文字也會被標記。Google 看的是網頁對讀者有沒有幫助,而不是誰打的字。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話ChatGPT 寫的內容能做到偵測不出嗎?
有時可以,針對某一個工具,維持一段時間。研究顯示,改寫 AI 文字能讓偵測率大幅下降:一個研究團隊發現,他們的「recursive paraphrasing method can significantly reduce detection rates」(遞迴改寫方法能顯著降低偵測率)(Sadasivan et al., 2023)。但偵測器會更新,每個工具打分數的方式不同,明天的結果誰也無法保證。
對商業網站來說,這種追逐搞錯了重點。Google 不會依作者是誰來替網頁排名:
"Our focus on the quality of content, rather than how content is produced, is a useful guide that has helped us deliver reliable, high quality results to users for years." (Google Search Central Blog, February 8, 2023) 譯文:「我們關注的是內容的品質,而不是內容的製作方式。多年來,這個原則幫助我們為使用者提供可靠、高品質的結果。」
Google 真正懲罰的是大量產出的充數內容。它的垃圾內容政策描述的是「large amounts of unoriginal content that provides little to no value to users, no matter how it's created」(大量對使用者幾乎沒有價值的非原創內容,無論它是怎麼製作的)(Google Search Central: Spam policies)。一個經過「人性化」處理的網頁,照樣可能就是這種內容。該怎麼做,請看 AI 偵測器與 SEO。本頁只解釋分數本身。
AI 偵測器怎麼替文字打分數?
主要有四種方法。大多數工具會混合使用,而且不說明具體怎麼做。
| 方法 | 檢查什麼 | 弱點 |
|---|---|---|
| 困惑度(Perplexity) | AI 模型選出這些字詞的可能性有多大 | 清楚簡單的文字也顯得「可預測」 |
| 突發性(Burstiness) | 這種可預測性在全文中變化多大 | 短小或格式一致的網頁(價目表、常見問題)顯得平淡 |
| 訓練好的分類器 | 模型從標註過的人寫與 AI 樣本中學到的模式 | 好壞全看訓練樣本;對您來說是個黑箱 |
| 浮水印 | AI 公司在生成文字時加入的隱藏訊號 | 只能辨識該公司模型寫的文字,大幅改寫會削弱它 |
困惑度和突發性。 最早的偵測器之一 GPTZero 把困惑度定義為「a measure of how likely an AI model would have chosen the exact same set of words as found in the document」(衡量 AI 模型選出與文件中完全相同字詞的可能性),把突發性定義為「writing patterns and text perplexities vary over the entire document」(寫作模式與文字困惑度在整份文件中的變化程度)(GPTZero)。意外少、分布平均,就會被判為 AI。GPTZero 自己說,它在 2023 年秋天改用「deep-learning based architecture」(以深度學習為基礎的架構)後,就不再使用這兩項了(GPTZero)。
訓練好的分類器。 許多學校使用的 Turnitin 執行一個模型,標記它判斷為「likely generated from a Large Language Model」(很可能由大型語言模型生成)的句子,也標記經過「an AI paraphraser tool or an AI bypasser tool」(AI 改寫工具或 AI 規避偵測工具)修改的文字(Turnitin Guides)。換句話說,它專門訓練來抓「人性化」工具。
浮水印。 Google 的 SynthID 會在 Gemini 寫作時輕微調整選字機率,留下一種配套偵測器能讀出的模式(Google DeepMind: SynthID)。Google 列出了它的限制:
"Detector confidence scores can be greatly reduced when an AI-generated text is thoroughly rewritten, or translated to another language." (Introducing SynthID Text, October 23, 2024) 譯文:「當 AI 生成的文字被徹底改寫或翻譯成另一種語言時,偵測器的信賴分數會大幅降低。」
OpenAI 開發過文字浮水印,但截至 2024 年 8 月的更新,仍然只是在考慮中。它說用另一個模型改寫或翻譯,就能讓浮水印「trivial to circumvention by bad actors」(被不肖人士輕易規避)(OpenAI)。所以目前沒有任何公開工具能確認 ChatGPT 浮水印。
「80% AI」這種分數是什麼意思?
要看是哪個工具,這正是分數誤導人的第一個原因。兩個工具可能顯示同一個數字,意思卻不同:
- 占全文的比例。 Turnitin 的百分比是其模型標記出的「qualifying text」(合格文字,即長篇文章段落中的句子)所占的比例(Turnitin Guides)。80% 表示大部分句子被標記,而不是它有 80% 的把握。
- 信賴度。 許多其他工具顯示的是它們有多確定整篇文字是 AI 寫的。這時 80% 的意思是「很可能」,即使按工具自己的標準,也有五分之一的機率判錯。
Turnitin 還會隱藏低分結果。它的測試發現「a higher incidence of false positives when the percentage is between 0 and 19」(百分比在 0 到 19 之間時誤判率較高),所以自 2024 年 7 月 8 日起,低於 20% 時它顯示星號而不是數字(Turnitin Guides)。它至少需要 300 字(英文單字)的正文才會打分數,並且說明其結果「should not be used as the sole basis for adverse actions against a student」(不應作為對學生採取不利處置的唯一依據)(Turnitin Guides)。大多數網站網頁,例如服務頁或聯絡頁,都比這短,或者不是長篇正文。
為什麼偵測分數會誤導人?
五個原因,都來自上面的來源:
- 分數是猜測,不是紀錄。 除了浮水印,沒有偵測器知道文字是怎麼寫出來的。它只是拿措辭和模式做比較。
- 樸實的文字會被標記。 研究人員測試了幾款常用偵測器,發現它們「consistently misclassify non-native English writing samples as AI-generated」(一再把非英語母語者的寫作樣本誤判為 AI 生成),並可能「penalize writers with constrained linguistic expressions」(懲罰語言表達較受限的寫作者)(Liang et al., 2023)。簡短清楚、在手機上好讀的句子,恰恰是這種方法不信任的。
- 改寫會讓分數上下浮動。 同一項研究發現,「simple prompting strategies」(簡單的提示策略)就能「effectively bypass GPT detectors」(有效規避 GPT 偵測器)(Liang et al., 2023)。如果一個提示就能翻轉結果,這個結果就說明不了文字本身什麼。
- 小誤差會累積。 連 OpenAI 也指出,即使浮水印的誤判率很低,在大量文字上仍會產生「a large number of total false positives」(大量的誤判總數)(OpenAI)。假設某個工具每 10 個人寫的網頁會誤判 1 個:檢查您自己寫的 30 個網頁,預計會有大約 3 個「AI」結果。
- 工具之間結論不一。 每個工具都有自己的方法、訓練樣本和判定門檻。同一個網頁可能同一天在一個工具上通過,在另一個上不通過。
AI「人性化」工具有用嗎?
它們能降低分數,也只是為此而設計的。它們替換字詞、打亂句子;不會加入一項事實、一個價格、一張照片,或您自己施工時的一個步驟,而這些正是 Google 實用內容指南要求的(見 Google 喜歡的 AI 內容)。Turnitin 說它現在專門偵測規避工具的輸出(Turnitin Guides),所以今天通過的,下次更新後可能就不通過了。
如果一個網頁需要「人性化」工具才顯得像人寫的,該做的是讓它更像您自己的,而不是偽裝它。
那 AI 起草的網頁應該怎麼處理?
| 不要 | 改成這樣做 |
|---|---|
| 反覆改寫,直到偵測器顯示「人類」 | 加入一樣只有您的公司知道的東西:真實的價格區間、一條在地規定、您常見到的一個錯誤 |
| 花錢買「人性化」工具 | 請真人核對每個數字、名稱和規定 |
| 快速發布 50 個網頁 | 發布客戶真正會問的 10 項服務 |
| 隱瞞使用了 AI | 在網頁上寫上真人的姓名和職稱;見 小型企業的 E-E-A-T |
範例
一位屋頂承包商的服務頁
老闆用 ChatGPT 起草了六個服務頁,然後加上自己的照片、保固條款和他安裝的瓦片品牌。一個免費偵測器顯示「72% AI」。不需要改:每個網頁都具體、正確,而這個分數在 Google 的排名規則裡根本沒有位置。
一位記帳師因自己寫的文字被標記
一位潛在客戶把她 200 個英文單字的「關於我們」網頁貼到偵測器裡,結果顯示「AI 生成」。其實是她自己用簡短樸實的句子寫的。這正是 Liang 研究描述的誤判模式,而且 200 個單字還低於 Turnitin 打分數所需的 300 個單字下限。
一家買了「人性化」工具的診所
辦公室經理每月花 $20,把部落格文章丟進「人性化」工具處理。分數下降了;文章變得更囉嗦,還有兩個療程名稱寫錯了。這 $20 和花掉的時間,不如拿來寫一個網頁,回答櫃檯每天都會聽到的那個問題。
常見問題
Google 看得出我的內容是 ChatGPT 寫的嗎?
Google 沒說過它會去判斷,它公開的規則看的是品質,「rather than how content is produced」(而不是內容的製作方式)(Google Search Central Blog)。就文字而言,Google 的 SynthID 浮水印涵蓋的是 Gemini 的輸出,不是 ChatGPT。
GPTZero 和 Turnitin 哪個比較準?
它們的數字無法比較:衡量的是不同的東西。Turnitin 回報的是被標記句子的比例;許多其他工具回報的是信賴度。兩者都無法告訴您一個網頁對客戶有沒有幫助。
用 Quillbot 改寫 ChatGPT 的文字,能讓它偵測不出嗎?
可能會降低某些分數,研究對一般改寫也有同樣的結論(Sadasivan et al., 2023)。Turnitin 說它也能偵測經 AI 改寫工具修改的文字(Turnitin Guides)。不管怎樣,它都不會讓網頁更有用。
每個網頁發布前都應該用 AI 偵測器檢查一遍嗎?
不需要。分數無法告訴您網頁是否正確、是否對客戶有幫助。核對事實,加入只有您知道的內容,然後留意網頁的點擊和來電。
您的情況不同?
- 您想知道偵測分數是否影響排名:AI 偵測器與 SEO
- 您擔心 Google 懲罰 AI 網頁:Google 會懲罰 AI 內容嗎?
- 您想要一份 AI 起草網頁的檢查清單:Google 喜歡的 AI 內容
- 您希望由團隊來撰寫和維護網頁:SEO 代理