产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

SEO 内容自动化中的强化学习,一文讲清

更新于 · 阅读约 5 分钟

简短回答 强化学习是一种朝着某个分数、靠反复试错来学习的软件。在 SEO 中,它大多运行在您已经在用的工具里:ChatGPT 的训练用到了它,广告平台和测试工具也会从结果中学习。小网站很少有足够的流量来训练自己的模型。判断一个工具要看结果,而不是看标签。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

用大白话说,什么是强化学习?

它是一种软件,学习方式就像新员工摸索哪种销售话术管用:先试一试,看看得分,然后多做得分高的事。没有人提前告诉它正确答案。

这个领域的标准教材由 Richard Sutton 和 Andrew Barto 编写,书中这样定义:

"Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal." (Sutton and Barto, Reinforcement Learning: An Introduction, 2018) 译文:“强化学习就是学习该做什么——如何把情境映射到行动——从而让一个数值奖励信号最大化。”

对企业主来说,有三个部分最重要:

部分含义SEO 示例
行动软件做出的选择展示哪个标题
奖励它想要提高的那个数字点击、来电、表单提交
反馈循环结果回流,改变下一次的选择下周它会更多地展示胜出的标题

这本书点出了让它与众不同的两个特点:“trial-and-error search and delayed reward”(试错搜索和延迟奖励)。对 SEO 来说,延迟奖励是难点。今天改了一个页面,排名可能几周后才变化,而且和其他所有变化混在一起。教材里的公式(马尔可夫决策过程、Q 学习、策略梯度)是工程师用来构建它的工具。您购买或使用工具时完全用不到它们。

强化学习在 SEO 和营销中实际出现在哪里?

大多在您已经在用的工具里,而不是某个单独的“强化学习 SEO”产品。

在哪里谁在学习它因什么获得奖励来源
ChatGPT 及类似写作工具语言模型,在训练期间学习一次人工评分员排名更高的回答OpenAI
您网站上的多臂老虎机测试哪个页面版本获得更多访客转化Optimizely
广告出价每次竞价出多少钱转化或转化价值Google Ads(它说的是“Google AI”和机器学习,没有点名说是强化学习)

AI 写作工具。 OpenAI 这样介绍 ChatGPT:

"We trained this model using Reinforcement Learning from Human Feedback (RLHF)" (OpenAI: Introducing ChatGPT) 译文:“我们使用基于人类反馈的强化学习(RLHF)训练了这个模型。”

在这个过程中,训练人员对多个回答进行排名,模型被调整为更接近他们偏好的那类回答。所以,当一个基于这类模型的内容工具声称用了强化学习时,这种学习通常发生在模型开发商那里,在您输入任何内容之前就已完成。它并没有从您的排名中学习。

多臂老虎机测试。 多臂老虎机(multi-armed bandit)测试是一种 A/B 测试(一个页面的两个版本,分流访客),在测试进行中就把访客逐步引向胜出的版本。教材把老虎机问题当作强化学习的一种简化情形来讲。测试工具供应商 Optimizely 形容这类测试会“move traffic gradually towards winning variations”(把流量逐步转向胜出的版本)。这是在您自己的页面上最接近真正试错学习的做法,而且需要稳定的流量。

广告出价。 Google Ads 表示,它的智能出价(Smart Bidding)策略“use Google AI to optimize for conversions or conversion value in every auction”(使用 Google AI 在每次竞价中针对转化或转化价值进行优化)。Google 并没有称之为强化学习,所以不要想当然。无论如何道理都一样:系统从您报告的转化中学习。Google 表示智能出价需要开启转化跟踪,并建议先积累一定的转化量作为基线,让系统能够校准。参见 Google Ads 自动化。

Google 用强化学习给页面排名吗?

Google 没这么说过。它公布的排名系统名单中包括 RankBrain、BERT 和神经匹配等 AI 系统,被描述为理解语言和含义的工具。参见 Google 的 AI 排名系统。

Google 确实表示,它会从人们使用搜索结果的方式中学习:

"We also use aggregated and anonymized interaction data to assess whether search results are relevant to queries." (Google Search: How Search works) 译文:“我们还会使用汇总并匿名化的互动数据,来评估搜索结果与查询是否相关。”

它不公布任何单个信号的权重。一个承诺靠“训练”拿到排名的工具,是在猜一个 Google 以外没人能看到的系统。

小企业能用强化学习做 SEO 吗?

单靠自己很少能做到,因为学习需要数据量。一个从点击中学习的循环,每个选项都需要很多次点击才能看出谁胜出。一个每月 300 名访客的网站,如果分给 3 个标题版本,每个版本每月只有大约 100 次访问。某个版本多出几次表单提交,可能只是运气。

在小规模下真正有效的做法:

  • 利用已经内置的学习能力:AI 写作工具、广告平台的自动出价、在您流量最大的页面上做多臂老虎机测试。
  • 给它正确的奖励。把来电和表单提交作为转化来跟踪,而不只是访问量,否则系统只会越来越擅长做错的事。
  • 让人来审核。Google 建议“manually factcheck and review all AI-generated content for accuracy and trustworthiness before publishing”(在发布前人工核实并审核所有 AI 生成内容的准确性和可信度)。
  • 不要让任何循环批量生产页面。Google 的垃圾内容政策把“Using generative AI tools or other similar tools to generate many pages without adding value for users”(使用生成式 AI 工具或其他类似工具生成大量页面,却没有为用户增加价值)列为规模化内容滥用。推进顺序详见 SEO 内容自动化。

供应商说“强化学习”时该问什么

四个问题能分辨出真正的反馈循环和单纯的标签:

  1. 奖励是什么? 排名、点击、来电还是销售?如果他们说不出一个具体数字,就不存在循环。
  2. 它从谁的数据中学习? 是您网站的结果,还是在别处训练过一次的模型?
  3. 它需要多少流量? 问清楚它做出任何改动之前所需的最低流量。
  4. 我能查看并撤销每一项改动吗? 您需要一份记录:改了什么、什么时候改的、为什么改。

工具的评分不等于结果。参见 SEO 工具与 SEO 专业能力。

示例

一家网站很小的水管工

每月约 400 次访问。一个工具提供“自学习”标题。分成三份,每个标题每月约 130 次访问:太少,学不出东西。更好的用法:让 AI 工具起草标题,挑一个用上,3 个月后看来电情况。

一家投放广告的牙科诊所集团

每月在 Google Ads 上花 $3,000,每月跟踪到 60 个预约。这里自动出价有真实的转化可供学习。企业主要做的是:确保预约跟踪准确,让系统从预约而不是点击中学习。

一个流量很大的服务页面

一个页面每月 12,000 次访问。对两个行动号召(CTA)版本做多臂老虎机测试,随着结果出来,流量会逐步转向表现更好的那个。

常见问题

强化学习就是 AI 吗?

不是。它是 AI 学习的一种方式:朝着某个分数反复试错。其他 AI 则从标注好的示例或文本中的规律学习。

ChatGPT 是从我网站的排名中学习的吗?

不是。OpenAI 表示,它是用人类训练人员给出的排名来训练 ChatGPT 的。您所用工具的输出不会自动反馈到您的 Google 排名中。

我需要懂 Q 学习或马尔可夫决策过程吗?

不需要。那是工程师的数学。购买工具时,您只需要知道它因什么获得奖励、从谁的数据中学习。

强化学习工具能让我排上首页吗?

没有任何工具能保证这一点。Google 不公布排名权重,排名取决于您的页面、您的竞争对手以及 Google 的系统。

您的情况不同?

继续阅读

下一篇SEO 中的 AI:每项工作它能做什么,到哪里为止AI 在关键词研究、写作、页面体验、链接和审核中能帮上什么、到哪里为止,以及 Google 划定界线的规则。

自己动手

AI SEO 智能体评测:选择之前的 8 项检查用您自己的 Search Console 和网站账户做 8 项测试,看出 AI SEO 智能体是在您的网站上真正干活,还是只会发报告。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Sutton and Barto: Reinforcement Learning: An Introduction, 2nd edition (MIT Press, 2018)
  2. OpenAI: Introducing ChatGPT (2022)
  3. Google Search: How Search works, ranking results
  4. Google Search Central: A guide to Google Search ranking systems
  5. Google Ads Help: About Smart Bidding
  6. Optimizely: Multi-armed bandit (optimization glossary)
  7. Google Search Central: Spam policies (scaled content abuse)
  8. Google Search Central: Guidance on using generative AI content