SEO 內容自動化中的強化學習,一次講清楚
簡短回答 強化學習是一種朝著某個分數、靠反覆試錯來學習的軟體。在 SEO 中,它大多運作在您已經在用的工具裡:ChatGPT 的訓練用到了它,廣告平台和測試工具也會從結果中學習。小網站很少有足夠的流量來訓練自己的模型。判斷一個工具要看結果,而不是看標籤。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話用白話說,什麼是強化學習?
它是一種軟體,學習方式就像新員工摸索哪種銷售話術有效:先試一試,看看得分,然後多做得分高的事。沒有人事先告訴它正確答案。
這個領域的標準教科書由 Richard Sutton 和 Andrew Barto 撰寫,書中這樣定義:
"Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal." (Sutton and Barto, Reinforcement Learning: An Introduction, 2018) 譯文:「強化學習就是學習該做什麼——如何把情境對應到行動——從而讓一個數值獎勵訊號最大化。」
對企業主來說,有三個部分最重要:
| 部分 | 意思 | SEO 範例 |
|---|---|---|
| 行動 | 軟體做出的選擇 | 顯示哪個標題 |
| 獎勵 | 它想要提高的那個數字 | 點擊、來電、表單提交 |
| 回饋循環 | 結果回流,改變下一次的選擇 | 下週它會更常顯示勝出的標題 |
這本書點出了讓它與眾不同的兩個特點:「trial-and-error search and delayed reward」(試錯搜尋與延遲獎勵)。對 SEO 來說,延遲獎勵是難處。今天改了一個頁面,排名可能幾週後才變動,而且和其他所有變化混在一起。教科書裡的公式(馬可夫決策過程、Q 學習、策略梯度)是工程師用來打造它的工具。您購買或使用工具時完全用不到它們。
強化學習在 SEO 和行銷中實際出現在哪裡?
大多在您已經在用的工具裡,而不是某個獨立的「強化學習 SEO」產品。
| 在哪裡 | 誰在學習 | 它因什麼獲得獎勵 | 來源 |
|---|---|---|---|
| ChatGPT 及類似寫作工具 | 語言模型,在訓練期間學習一次 | 人工評分員排名較高的回答 | OpenAI |
| 您網站上的多臂吃角子老虎機測試 | 哪個頁面版本獲得更多訪客 | 轉換 | Optimizely |
| 廣告出價 | 每次競價出多少錢 | 轉換或轉換價值 | Google Ads(它說的是「Google AI」和機器學習,沒有點名說是強化學習) |
AI 寫作工具。 OpenAI 這樣介紹 ChatGPT:
"We trained this model using Reinforcement Learning from Human Feedback (RLHF)" (OpenAI: Introducing ChatGPT) 譯文:「我們使用基於人類回饋的強化學習(RLHF)訓練了這個模型。」
在這個過程中,訓練人員為多個回答排名,模型被調整成更接近他們偏好的那類回答。所以,當一個以這類模型為基礎的內容工具宣稱用了強化學習時,這種學習通常發生在模型開發商那裡,在您輸入任何內容之前就已完成。它並沒有從您的排名中學習。
多臂吃角子老虎機測試。 多臂吃角子老虎機(multi-armed bandit)測試是一種 A/B 測試(一個頁面的兩個版本,分流訪客),在測試進行中就把訪客逐步導向勝出的版本。教科書把吃角子老虎機問題當作強化學習的一種簡化情形來講。測試工具廠商 Optimizely 形容這類測試會「move traffic gradually towards winning variations」(把流量逐步轉向勝出的版本)。這是在您自己的頁面上最接近真正試錯學習的做法,而且需要穩定的流量。
廣告出價。 Google Ads 表示,它的智慧出價(Smart Bidding)策略「use Google AI to optimize for conversions or conversion value in every auction」(使用 Google AI 在每次競價中針對轉換或轉換價值進行最佳化)。Google 並沒有稱之為強化學習,所以不要想當然。無論如何道理都一樣:系統從您回報的轉換中學習。Google 表示智慧出價需要開啟轉換追蹤,並建議先累積一定的轉換量作為基準,讓系統能夠校準。參見 Google Ads 自動化。
Google 用強化學習為頁面排名嗎?
Google 沒有這麼說過。它公布的排名系統清單中包括 RankBrain、BERT 和神經比對等 AI 系統,被描述為理解語言和意義的工具。參見 Google 的 AI 排名系統。
Google 確實表示,它會從人們使用搜尋結果的方式中學習:
"We also use aggregated and anonymized interaction data to assess whether search results are relevant to queries." (Google Search: How Search works) 譯文:「我們也會使用彙整並匿名化的互動資料,來評估搜尋結果與查詢是否相關。」
它不公布任何單一訊號的權重。一個承諾靠「訓練」拿到排名的工具,是在猜一個 Google 以外沒人看得到的系統。
小型企業能用強化學習做 SEO 嗎?
單靠自己很少做得到,因為學習需要資料量。一個從點擊中學習的循環,每個選項都需要很多次點擊才看得出誰勝出。一個每月 300 名訪客的網站,如果分給 3 個標題版本,每個版本每月只有大約 100 次造訪。某個版本多出幾次表單提交,可能只是運氣。
在小規模下真正有效的做法:
- 利用已經內建的學習能力:AI 寫作工具、廣告平台的自動出價、在您流量最大的頁面上做多臂吃角子老虎機測試。
- 給它正確的獎勵。把來電和表單提交當作轉換來追蹤,而不只是造訪量,否則系統只會越來越擅長做錯的事。
- 讓人來審核。Google 建議「manually factcheck and review all AI-generated content for accuracy and trustworthiness before publishing」(在發布前以人工查核並審閱所有 AI 生成內容的準確性與可信度)。
- 不要讓任何循環大量產出頁面。Google 的垃圾內容政策把「Using generative AI tools or other similar tools to generate many pages without adding value for users」(使用生成式 AI 工具或其他類似工具產生大量頁面,卻沒有為使用者增加價值)列為大量內容濫用。推行順序詳見 SEO 內容自動化。
廠商說「強化學習」時該問什麼
四個問題能分辨出真正的回饋循環和單純的標籤:
- 獎勵是什麼? 排名、點擊、來電還是銷售?如果他們說不出一個具體數字,就不存在循環。
- 它從誰的資料中學習? 是您網站的結果,還是在別處訓練過一次的模型?
- 它需要多少流量? 問清楚它做出任何改動之前所需的最低流量。
- 我能查看並復原每一項改動嗎? 您需要一份紀錄:改了什麼、什麼時候改的、為什麼改。
工具的評分不等於成果。參見 SEO 工具與 SEO 專業能力。
範例
一家網站很小的水電工
每月約 400 次造訪。一個工具提供「自我學習」標題。分成三份,每個標題每月約 130 次造訪:太少,學不出東西。更好的用法:讓 AI 工具草擬標題,挑一個用上,3 個月後看來電情況。
一家投放廣告的牙科診所集團
每月在 Google Ads 上花 $3,000,每月追蹤到 60 個預約。這裡自動出價有真實的轉換可以學習。企業主要做的是:確保預約追蹤正確,讓系統從預約而不是點擊中學習。
一個流量很大的服務頁面
一個頁面每月 12,000 次造訪。對兩個行動呼籲(CTA)版本做多臂吃角子老虎機測試,隨著結果出來,流量會逐步轉向表現較好的那個。
常見問題
強化學習就是 AI 嗎?
不是。它是 AI 學習的一種方式:朝著某個分數反覆試錯。其他 AI 則從標註好的範例或文字中的規律學習。
ChatGPT 是從我網站的排名中學習的嗎?
不是。OpenAI 表示,它是用人類訓練人員給出的排名來訓練 ChatGPT 的。您所用工具的產出不會自動回饋到您的 Google 排名中。
我需要懂 Q 學習或馬可夫決策過程嗎?
不需要。那是工程師的數學。購買工具時,您只需要知道它因什麼獲得獎勵、從誰的資料中學習。
強化學習工具能讓我排上第一頁嗎?
沒有任何工具能保證這一點。Google 不公布排名權重,排名取決於您的頁面、您的競爭對手以及 Google 的系統。
您的情況不同?
- 您的流量不大,想知道 AI 能在哪裡幫您省時間:SEO 內容自動化
- 您擔心自動產生的頁面會被處罰:Google 會處罰 AI 內容嗎?
- 您想讓學習發生在廣告裡:Google Ads 自動化 或 /paid-ads/
- 您想讓別人替您做 SEO:/seo/