AI 偵測器能認出 ChatGPT 寫的文字嗎?它們到底有多準
簡短回答 有時能,但不可靠。大多數偵測器靠用詞模式來猜,所以會漏掉改寫過的 AI 文字,也會誤判一些人寫的文字。開發它們的公司自己也這麼說:Turnitin 要使用者把結果當作開啟對話的起點,而不是下結論。Blackboard 的 SafeAssign 根本不偵測 AI。把分數當作線索,絕不能當作證據。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話AI 偵測器真的能看出是不是 ChatGPT 寫的嗎?
無法確定。偵測器讀取文字,估算它由機器寫成的可能性。它看不到文字是怎麼寫出來的,所以結果只是一個機率,而且兩個方向都可能出錯:
- 漏掉 AI 文字。 OpenAI 自己的偵測器在發布時的測試中,只辨識出 26% 的 AI 文字。OpenAI 於 2023 年 7 月 20 日撤下了它,理由是「its low rate of accuracy」(準確率低)(OpenAI)。
- 誤判人寫的文字。 同一個 OpenAI 工具有 9% 的時候把人寫的文字錯標為 AI(OpenAI)。Turnitin 也表示,它標示的某些句子其實是人寫的(Turnitin)。
工具的開發者自己說明了結果該怎麼用。Turnitin 的產品長說:
"Use the information to initiate a conversation, not to draw a conclusion." (Turnitin, June 2023) 譯文:「用這些資訊來開啟一次對話,而不是下結論。」
做生意也是同樣的道理。分數可以告訴您該往哪裡看,但無法告訴您是誰寫的。
AI 偵測器是怎麼運作的?
檢查方式有三種,只有一種能給出確定的答案。
| 檢查方式 | 做什麼 | 能證明是 ChatGPT 寫的嗎? |
|---|---|---|
| 模式猜測(大多數「AI 偵測器」) | 用人寫和 AI 寫的樣本訓練出的模型,替用詞的可預測程度評分 | 不能,只是估計 |
| 文字比對(抄襲檢查工具) | 把文字和已儲存的網頁、論文進行比對 | 不能,新產生的 AI 文字比對不到任何內容 |
| 浮水印檢查 | 尋找 AI 工具在自己的輸出中加入的隱藏訊號 | 只對該工具的輸出有效,而且修改會削弱它 |
模式猜測是免費線上偵測器和大多數付費偵測器的做法。AI 模型傾向於選最可能出現的下一個字詞,所以寫出的文字流暢、可預測。樸素簡單的人類寫作看起來也可能同樣可預測,下文的史丹佛研究把這一點和誤判連結在一起。
浮水印是較可靠的方法,但有局限。Google 會在「text generated by the Gemini app and web experience」(Gemini 應用程式和網頁版產生的文字)中加入一種名為 SynthID 的隱藏浮水印(Google DeepMind)。它自己的說明寫道,當 AI 產生的文字被徹底改寫(「can be greatly reduced when an AI-generated text is thoroughly rewritten」)或被翻譯時,信心程度會大幅降低,而且浮水印「less effective on factual responses」(對事實類回答效果較差)(Google DeepMind and Hugging Face, 2024)。Gemini 的浮水印也無法說明任何關於 ChatGPT 或其他工具所寫文字的情況。
Blackboard 或 SafeAssign 能偵測出 ChatGPT 嗎?
單靠它本身不能。SafeAssign 是 Blackboard 內建的檢查工具,使用一種「text matching algorithm capable of detecting exact and inexact matching between a paper and source material」(能夠偵測論文與來源資料之間完全相符和部分相符的文字比對演算法)(Anthology Blackboard Help)。它的說明頁面完全沒有提到辨識 AI 寫作。新產生的 ChatGPT 文字通常比對不到任何已儲存的來源,所以能通過。
學校可以加裝其他工具。「Turnitin can be integrated with Blackboard LMS」(Turnitin 可以與 Blackboard LMS 整合),學校開通後,老師可以按作業逐一啟用(Anthology Blackboard Help)。這時 AI 偵測結果來自 Turnitin,也帶著上面提到的 Turnitin 的局限。老師也會用眼睛判斷:一篇讀起來不像學生以往作品的論文,會被仔細查看。
AI 偵測器多常出錯?
比它們的銷售頁面暗示的更頻繁,而且誤判並不平均。
- 句子層面。 Turnitin 表示,它在句子層面的誤報率「around 4%」(約 4%),其中 54% 被誤標的句子緊鄰真正的 AI 文字(Turnitin)。一個人只修改了一段 AI 文字,自己寫的句子也可能被一起標示。
- 整份文件。 Turnitin 稱它的文件誤報率低於 1%,但僅限於「for documents with 20% or more AI writing」(AI 寫作占 20% 或以上的文件)(Turnitin)。這是廠商自己的測試,不是獨立測試。
- 英語非母語的寫作者。 史丹佛的研究人員發現,七款常用偵測器「consistently misclassify non-native English writing samples as AI-generated」(一再把英語非母語者的寫作樣本誤判為 AI 產生)(Liang et al., Patterns, 2023)。同一項研究還發現,「simple prompting strategies」(簡單的提示詞策略)就能讓 AI 文字躲過偵測。
所以最容易被誤判的,是寫得簡單的人。這包括很多優秀的商業寫作者,因為簡單的句子在手機上最好讀。
偵測器分數對 Google 排名代表什麼,以及美國聯邦貿易委員會(FTC)對一家誇大準確率的偵測器公司提起的案件,請看 AI 偵測器與 SEO。
小型企業老闆到底該不該用 AI 偵測器?
如果要用,只把它當作提問的理由,絕不當作決定。
| 情況 | 不要 | 應該這樣做 |
|---|---|---|
| 自由撰稿人的部落格文章得分「90% AI」 | 只憑分數就拒絕付款 | 請對方提供筆記或草稿紀錄,並核對文中的事實 |
| 您的合約禁止 AI 寫作 | 靠偵測器來執行 | 寫清楚允許什麼,並要求每個數字都註明來源 |
| 客戶說您的網頁「是 AI 寫的」 | 一直改到工具顯示「人類」 | 展示只有您知道的東西:您的價格、照片、在地細節 |
| 您發布 AI 輔助撰寫的網頁 | 追求低 AI 分數 | 查核每一項說法;Google 評判的是品質,而不是來源(查看 Google 的政策) |
決定內容是否有效的,不是誰打的字,而是事實是否正確、是否展現真實經驗。AI 內容中的人工投入介紹了值得補充的部分。
範例
一位屋頂承包商審核新寫手
寫手的第一篇文章在免費偵測器上得分 85% AI。老闆沒有解僱她,而是自己檢查了一遍:兩個瓦片價格寫錯了,而且完全沒提在地天氣。他把這份問題清單寄回給她。第二稿準確又具體。分數從來不重要,事實才重要。
一位被客戶質疑的記帳員
一位客戶把記帳員的歡迎指南放進檢測工具,得到「60% AI」。其實是她自己用簡單的英文寫的。她給客戶看了文件資料夾裡附有日期的草稿,事情就此了結。
一家清潔公司的部落格
老闆先用 ChatGPT 起草文章,再加入自己的檢查清單和照片。他不再把文章丟進偵測器裡跑,而是用省下的半小時多回答一個客戶問題。
常見問題
ChatGPT 能分辨出是不是它寫的嗎?
不能。OpenAI 在 2023 年因準確率低撤下了自己的偵測器(OpenAI)。問 ChatGPT「這是你寫的嗎?」,得到的只是猜測,而不是紀錄。
AI 偵測器對短文字有效嗎?
效果更差。OpenAI 表示它的分類器在少於 1,000 個字元時不可靠(OpenAI)。大多數廣告文案和產品簡介都比這短。
修改 AI 文字能躲過偵測器嗎?
常常可以。在史丹佛的研究中,簡單的提示詞就騙過了偵測器;大幅改寫甚至會削弱 Google 的浮水印(Liang et al.; Google DeepMind and Hugging Face)。
哪款 AI 偵測器最準確?
沒有任何獨立機構認證過它們,廠商用的都是自己的資料來測試。上面 Turnitin 的數字也是它自己測出來的。
您的情況不同?
- 擔心偵測器分數影響您的 Google 排名:AI 偵測器與 SEO
- 發布 AI 起草的網頁:Google 會懲罰 AI 內容嗎?
- 您的網頁缺少信任訊號:小型企業的 E-E-A-T
- 您希望有團隊來撰寫和檢查網頁:SEO 代理