SEO 内容自动化中的强化学习,一文讲清
简短回答 强化学习是一种朝着某个分数、靠反复试错来学习的软件。在 SEO 中,它大多运行在您已经在用的工具里:ChatGPT 的训练用到了它,广告平台和测试工具也会从结果中学习。小网站很少有足够的流量来训练自己的模型。判断一个工具要看结果,而不是看标签。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话用大白话说,什么是强化学习?
它是一种软件,学习方式就像新员工摸索哪种销售话术管用:先试一试,看看得分,然后多做得分高的事。没有人提前告诉它正确答案。
这个领域的标准教材由 Richard Sutton 和 Andrew Barto 编写,书中这样定义:
"Reinforcement learning is learning what to do—how to map situations to actions—so as to maximize a numerical reward signal." (Sutton and Barto, Reinforcement Learning: An Introduction, 2018) 译文:“强化学习就是学习该做什么——如何把情境映射到行动——从而让一个数值奖励信号最大化。”
对企业主来说,有三个部分最重要:
| 部分 | 含义 | SEO 示例 |
|---|---|---|
| 行动 | 软件做出的选择 | 展示哪个标题 |
| 奖励 | 它想要提高的那个数字 | 点击、来电、表单提交 |
| 反馈循环 | 结果回流,改变下一次的选择 | 下周它会更多地展示胜出的标题 |
这本书点出了让它与众不同的两个特点:“trial-and-error search and delayed reward”(试错搜索和延迟奖励)。对 SEO 来说,延迟奖励是难点。今天改了一个页面,排名可能几周后才变化,而且和其他所有变化混在一起。教材里的公式(马尔可夫决策过程、Q 学习、策略梯度)是工程师用来构建它的工具。您购买或使用工具时完全用不到它们。
强化学习在 SEO 和营销中实际出现在哪里?
大多在您已经在用的工具里,而不是某个单独的“强化学习 SEO”产品。
| 在哪里 | 谁在学习 | 它因什么获得奖励 | 来源 |
|---|---|---|---|
| ChatGPT 及类似写作工具 | 语言模型,在训练期间学习一次 | 人工评分员排名更高的回答 | OpenAI |
| 您网站上的多臂老虎机测试 | 哪个页面版本获得更多访客 | 转化 | Optimizely |
| 广告出价 | 每次竞价出多少钱 | 转化或转化价值 | Google Ads(它说的是“Google AI”和机器学习,没有点名说是强化学习) |
AI 写作工具。 OpenAI 这样介绍 ChatGPT:
"We trained this model using Reinforcement Learning from Human Feedback (RLHF)" (OpenAI: Introducing ChatGPT) 译文:“我们使用基于人类反馈的强化学习(RLHF)训练了这个模型。”
在这个过程中,训练人员对多个回答进行排名,模型被调整为更接近他们偏好的那类回答。所以,当一个基于这类模型的内容工具声称用了强化学习时,这种学习通常发生在模型开发商那里,在您输入任何内容之前就已完成。它并没有从您的排名中学习。
多臂老虎机测试。 多臂老虎机(multi-armed bandit)测试是一种 A/B 测试(一个页面的两个版本,分流访客),在测试进行中就把访客逐步引向胜出的版本。教材把老虎机问题当作强化学习的一种简化情形来讲。测试工具供应商 Optimizely 形容这类测试会“move traffic gradually towards winning variations”(把流量逐步转向胜出的版本)。这是在您自己的页面上最接近真正试错学习的做法,而且需要稳定的流量。
广告出价。 Google Ads 表示,它的智能出价(Smart Bidding)策略“use Google AI to optimize for conversions or conversion value in every auction”(使用 Google AI 在每次竞价中针对转化或转化价值进行优化)。Google 并没有称之为强化学习,所以不要想当然。无论如何道理都一样:系统从您报告的转化中学习。Google 表示智能出价需要开启转化跟踪,并建议先积累一定的转化量作为基线,让系统能够校准。参见 Google Ads 自动化。
Google 用强化学习给页面排名吗?
Google 没这么说过。它公布的排名系统名单中包括 RankBrain、BERT 和神经匹配等 AI 系统,被描述为理解语言和含义的工具。参见 Google 的 AI 排名系统。
Google 确实表示,它会从人们使用搜索结果的方式中学习:
"We also use aggregated and anonymized interaction data to assess whether search results are relevant to queries." (Google Search: How Search works) 译文:“我们还会使用汇总并匿名化的互动数据,来评估搜索结果与查询是否相关。”
它不公布任何单个信号的权重。一个承诺靠“训练”拿到排名的工具,是在猜一个 Google 以外没人能看到的系统。
小企业能用强化学习做 SEO 吗?
单靠自己很少能做到,因为学习需要数据量。一个从点击中学习的循环,每个选项都需要很多次点击才能看出谁胜出。一个每月 300 名访客的网站,如果分给 3 个标题版本,每个版本每月只有大约 100 次访问。某个版本多出几次表单提交,可能只是运气。
在小规模下真正有效的做法:
- 利用已经内置的学习能力:AI 写作工具、广告平台的自动出价、在您流量最大的页面上做多臂老虎机测试。
- 给它正确的奖励。把来电和表单提交作为转化来跟踪,而不只是访问量,否则系统只会越来越擅长做错的事。
- 让人来审核。Google 建议“manually factcheck and review all AI-generated content for accuracy and trustworthiness before publishing”(在发布前人工核实并审核所有 AI 生成内容的准确性和可信度)。
- 不要让任何循环批量生产页面。Google 的垃圾内容政策把“Using generative AI tools or other similar tools to generate many pages without adding value for users”(使用生成式 AI 工具或其他类似工具生成大量页面,却没有为用户增加价值)列为规模化内容滥用。推进顺序详见 SEO 内容自动化。
供应商说“强化学习”时该问什么
四个问题能分辨出真正的反馈循环和单纯的标签:
- 奖励是什么? 排名、点击、来电还是销售?如果他们说不出一个具体数字,就不存在循环。
- 它从谁的数据中学习? 是您网站的结果,还是在别处训练过一次的模型?
- 它需要多少流量? 问清楚它做出任何改动之前所需的最低流量。
- 我能查看并撤销每一项改动吗? 您需要一份记录:改了什么、什么时候改的、为什么改。
工具的评分不等于结果。参见 SEO 工具与 SEO 专业能力。
示例
一家网站很小的水管工
每月约 400 次访问。一个工具提供“自学习”标题。分成三份,每个标题每月约 130 次访问:太少,学不出东西。更好的用法:让 AI 工具起草标题,挑一个用上,3 个月后看来电情况。
一家投放广告的牙科诊所集团
每月在 Google Ads 上花 $3,000,每月跟踪到 60 个预约。这里自动出价有真实的转化可供学习。企业主要做的是:确保预约跟踪准确,让系统从预约而不是点击中学习。
一个流量很大的服务页面
一个页面每月 12,000 次访问。对两个行动号召(CTA)版本做多臂老虎机测试,随着结果出来,流量会逐步转向表现更好的那个。
常见问题
强化学习就是 AI 吗?
不是。它是 AI 学习的一种方式:朝着某个分数反复试错。其他 AI 则从标注好的示例或文本中的规律学习。
ChatGPT 是从我网站的排名中学习的吗?
不是。OpenAI 表示,它是用人类训练人员给出的排名来训练 ChatGPT 的。您所用工具的输出不会自动反馈到您的 Google 排名中。
我需要懂 Q 学习或马尔可夫决策过程吗?
不需要。那是工程师的数学。购买工具时,您只需要知道它因什么获得奖励、从谁的数据中学习。
强化学习工具能让我排上首页吗?
没有任何工具能保证这一点。Google 不公布排名权重,排名取决于您的页面、您的竞争对手以及 Google 的系统。
您的情况不同?
- 您的流量不大,想知道 AI 能在哪里帮您省时间:SEO 内容自动化
- 您担心自动生成的页面会被处罚:Google 会处罚 AI 内容吗?
- 您想让学习发生在广告里:Google Ads 自动化 或 /paid-ads/
- 您想让别人替您做 SEO:/seo/