產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

SEO 內容自動化中的強化學習,一次講清楚

更新於 · 閱讀約 5 分鐘

簡短回答 強化學習是一種朝著某個分數、靠反覆試錯來學習的軟體。在 SEO 中,它大多運作在您已經在用的工具裡:ChatGPT 的訓練用到了它,廣告平台和測試工具也會從結果中學習。小網站很少有足夠的流量來訓練自己的模型。判斷一個工具要看結果,而不是看標籤。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

用白話說,什麼是強化學習?

它是一種軟體,學習方式就像新員工摸索哪種銷售話術有效:先試一試,看看得分,然後多做得分高的事。沒有人事先告訴它正確答案。

這個領域的標準教科書由 Richard Sutton 和 Andrew Barto 撰寫,書中這樣定義:

"Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal." (Sutton and Barto, Reinforcement Learning: An Introduction, 2018) 譯文:「強化學習就是學習該做什麼——如何把情境對應到行動——從而讓一個數值獎勵訊號最大化。」

對企業主來說,有三個部分最重要:

部分意思SEO 範例
行動軟體做出的選擇顯示哪個標題
獎勵它想要提高的那個數字點擊、來電、表單提交
回饋循環結果回流,改變下一次的選擇下週它會更常顯示勝出的標題

這本書點出了讓它與眾不同的兩個特點:「trial-and-error search and delayed reward」(試錯搜尋與延遲獎勵)。對 SEO 來說,延遲獎勵是難處。今天改了一個頁面,排名可能幾週後才變動,而且和其他所有變化混在一起。教科書裡的公式(馬可夫決策過程、Q 學習、策略梯度)是工程師用來打造它的工具。您購買或使用工具時完全用不到它們。

強化學習在 SEO 和行銷中實際出現在哪裡?

大多在您已經在用的工具裡,而不是某個獨立的「強化學習 SEO」產品。

在哪裡誰在學習它因什麼獲得獎勵來源
ChatGPT 及類似寫作工具語言模型,在訓練期間學習一次人工評分員排名較高的回答OpenAI
您網站上的多臂吃角子老虎機測試哪個頁面版本獲得更多訪客轉換Optimizely
廣告出價每次競價出多少錢轉換或轉換價值Google Ads(它說的是「Google AI」和機器學習,沒有點名說是強化學習)

AI 寫作工具。 OpenAI 這樣介紹 ChatGPT:

"We trained this model using Reinforcement Learning from Human Feedback (RLHF)" (OpenAI: Introducing ChatGPT) 譯文:「我們使用基於人類回饋的強化學習(RLHF)訓練了這個模型。」

在這個過程中,訓練人員為多個回答排名,模型被調整成更接近他們偏好的那類回答。所以,當一個以這類模型為基礎的內容工具宣稱用了強化學習時,這種學習通常發生在模型開發商那裡,在您輸入任何內容之前就已完成。它並沒有從您的排名中學習。

多臂吃角子老虎機測試。 多臂吃角子老虎機(multi-armed bandit)測試是一種 A/B 測試(一個頁面的兩個版本,分流訪客),在測試進行中就把訪客逐步導向勝出的版本。教科書把吃角子老虎機問題當作強化學習的一種簡化情形來講。測試工具廠商 Optimizely 形容這類測試會「move traffic gradually towards winning variations」(把流量逐步轉向勝出的版本)。這是在您自己的頁面上最接近真正試錯學習的做法,而且需要穩定的流量。

廣告出價。 Google Ads 表示,它的智慧出價(Smart Bidding)策略「use Google AI to optimize for conversions or conversion value in every auction」(使用 Google AI 在每次競價中針對轉換或轉換價值進行最佳化)。Google 並沒有稱之為強化學習,所以不要想當然。無論如何道理都一樣:系統從您回報的轉換中學習。Google 表示智慧出價需要開啟轉換追蹤,並建議先累積一定的轉換量作為基準,讓系統能夠校準。參見 Google Ads 自動化。

Google 用強化學習為頁面排名嗎?

Google 沒有這麼說過。它公布的排名系統清單中包括 RankBrain、BERT 和神經比對等 AI 系統,被描述為理解語言和意義的工具。參見 Google 的 AI 排名系統。

Google 確實表示,它會從人們使用搜尋結果的方式中學習:

"We also use aggregated and anonymized interaction data to assess whether search results are relevant to queries." (Google Search: How Search works) 譯文:「我們也會使用彙整並匿名化的互動資料,來評估搜尋結果與查詢是否相關。」

它不公布任何單一訊號的權重。一個承諾靠「訓練」拿到排名的工具,是在猜一個 Google 以外沒人看得到的系統。

小型企業能用強化學習做 SEO 嗎?

單靠自己很少做得到,因為學習需要資料量。一個從點擊中學習的循環,每個選項都需要很多次點擊才看得出誰勝出。一個每月 300 名訪客的網站,如果分給 3 個標題版本,每個版本每月只有大約 100 次造訪。某個版本多出幾次表單提交,可能只是運氣。

在小規模下真正有效的做法:

  • 利用已經內建的學習能力:AI 寫作工具、廣告平台的自動出價、在您流量最大的頁面上做多臂吃角子老虎機測試。
  • 給它正確的獎勵。把來電和表單提交當作轉換來追蹤,而不只是造訪量,否則系統只會越來越擅長做錯的事。
  • 讓人來審核。Google 建議「manually factcheck and review all AI-generated content for accuracy and trustworthiness before publishing」(在發布前以人工查核並審閱所有 AI 生成內容的準確性與可信度)。
  • 不要讓任何循環大量產出頁面。Google 的垃圾內容政策把「Using generative AI tools or other similar tools to generate many pages without adding value for users」(使用生成式 AI 工具或其他類似工具產生大量頁面,卻沒有為使用者增加價值)列為大量內容濫用。推行順序詳見 SEO 內容自動化。

廠商說「強化學習」時該問什麼

四個問題能分辨出真正的回饋循環和單純的標籤:

  1. 獎勵是什麼? 排名、點擊、來電還是銷售?如果他們說不出一個具體數字,就不存在循環。
  2. 它從誰的資料中學習? 是您網站的結果,還是在別處訓練過一次的模型?
  3. 它需要多少流量? 問清楚它做出任何改動之前所需的最低流量。
  4. 我能查看並復原每一項改動嗎? 您需要一份紀錄:改了什麼、什麼時候改的、為什麼改。

工具的評分不等於成果。參見 SEO 工具與 SEO 專業能力。

範例

一家網站很小的水電工

每月約 400 次造訪。一個工具提供「自我學習」標題。分成三份,每個標題每月約 130 次造訪:太少,學不出東西。更好的用法:讓 AI 工具草擬標題,挑一個用上,3 個月後看來電情況。

一家投放廣告的牙科診所集團

每月在 Google Ads 上花 $3,000,每月追蹤到 60 個預約。這裡自動出價有真實的轉換可以學習。企業主要做的是:確保預約追蹤正確,讓系統從預約而不是點擊中學習。

一個流量很大的服務頁面

一個頁面每月 12,000 次造訪。對兩個行動呼籲(CTA)版本做多臂吃角子老虎機測試,隨著結果出來,流量會逐步轉向表現較好的那個。

常見問題

強化學習就是 AI 嗎?

不是。它是 AI 學習的一種方式:朝著某個分數反覆試錯。其他 AI 則從標註好的範例或文字中的規律學習。

ChatGPT 是從我網站的排名中學習的嗎?

不是。OpenAI 表示,它是用人類訓練人員給出的排名來訓練 ChatGPT 的。您所用工具的產出不會自動回饋到您的 Google 排名中。

我需要懂 Q 學習或馬可夫決策過程嗎?

不需要。那是工程師的數學。購買工具時,您只需要知道它因什麼獲得獎勵、從誰的資料中學習。

強化學習工具能讓我排上第一頁嗎?

沒有任何工具能保證這一點。Google 不公布排名權重,排名取決於您的頁面、您的競爭對手以及 Google 的系統。

您的情況不同?

繼續閱讀

下一篇SEO 中的 AI:每項工作它能做什麼,到哪裡為止AI 在關鍵字研究、寫作、頁面體驗、連結和稽核中能幫上什麼、到哪裡為止,以及 Google 劃定界線的規則。

自己動手

AI SEO 代理評測:選擇之前的 8 項檢查用您自己的 Search Console 和網站帳戶做 8 項測試,看出 AI SEO 代理是在您的網站上真正做事,還是只會寄報告。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Sutton and Barto: Reinforcement Learning: An Introduction, 2nd edition (MIT Press, 2018)
  2. OpenAI: Introducing ChatGPT (2022)
  3. Google Search: How Search works, ranking results
  4. Google Search Central: A guide to Google Search ranking systems
  5. Google Ads Help: About Smart Bidding
  6. Optimizely: Multi-armed bandit (optimization glossary)
  7. Google Search Central: Spam policies (scaled content abuse)
  8. Google Search Central: Guidance on using generative AI content