自动索引:哪些事可以自动化,让页面被搜索引擎发现
简短回答 您能自动化的是通知搜索引擎有新页面,而不是让页面被收录。是否收录由 Google 自己决定,它也表示不保证收录。自动化三件事:网站搭建工具自动更新的站点地图、面向 Bing 和其他一些搜索引擎的 IndexNow,以及指向每个新页面的链接。别买那些号称能让 Google 立即收录的工具。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话能让 Google 自动收录页面吗?
不能。您能自动化的是通知,而不是结果。收录(索引)是指搜索引擎读取了您的页面并把它存储起来,让它能出现在搜索结果中。这件事由 Google 自己决定:
"Google doesn't guarantee that it will crawl, index, or serve your page, even if your page follows the Google Search Essentials." (Google Search Central: How Google Search works) 译文:“即使您的页面符合 Google 搜索基本要求,Google 也不保证会抓取、收录或展示您的页面。”
所以对商家网站来说,“自动索引”只有一个意思:每个新页面或改动过的页面,都会自动通知搜索引擎,不用您记着去做。这部分很简单,而且免费。
“自动索引”还有一个更早的含义:用软件给文档标注关键词,比如图书馆目录。给自己的页面标注关键词并不能让它们进入 Google。Google 表示,meta keywords 标签“is not used by Google Search, and it has no effect on indexing and ranking at all”(不被 Google 搜索使用,对收录和排名完全没有影响)(Google Search Central: Meta tags Google supports)。
可以自动化什么,各自有什么作用
| 步骤 | 自动完成的事 | 适用的搜索引擎 | 设置 |
|---|---|---|---|
| XML 站点地图 | 网站搭建工具列出每个页面,发布时自动更新文件 | Google、Bing 等 | 通常无需设置。Google 表示 WordPress、Wix 和 Blogger 网站很可能已经有了 |
| robots.txt 中的站点地图一行 | 搜索引擎能找到站点地图,不用您再次提交 | Google、Bing | 一行:`Sitemap: https://example.com/sitemap.xml` |
| 真实的 lastmod 日期 | 站点地图显示哪些页面真的改过 | Google、Bing | 检查您的平台没有给每个页面都标上今天的日期 |
| IndexNow | 每次发布、修改或删除都会发送给参与的搜索引擎 | Bing、Yandex、Seznam、Naver、Yep、Internet Archive、Amazonbot。不包括 Google | 很多平台或插件里有一个开关 |
| 内部链接 | 新页面出现在菜单、博客列表或服务页面中,也就是爬虫已经会去的地方 | 全部 | 把主题设置为自动列出新文章或新服务 |
Google 关于搜索工作原理的指南说,它通过已知页面上的链接发现新页面,比如分类页面链接到一篇新文章。最后一行是大家最容易忘记的,而且对所有搜索引擎都有效。
每一行的具体设置,请看站点地图最佳做法和向 Google 和 Bing 提交站点地图。
对 Google 无法自动化的事
有三件事看起来能自动化,其实不能。
请求编入索引。 Search Console 的网址检查工具有一个“请求编入索引”按钮,只能由人来点击。Google 关于重新抓取的页面说,这有配额限制,重复请求“won't get it crawled any faster”(不会让抓取更快),并且“If you have large numbers of URLs, submit a sitemap”(如果您有大量网址,请提交站点地图)(Google Search Central: Ask Google to recrawl your URLs)。
网址检查 API(URL Inspection API)。 有些工具用它批量检查页面。它只负责报告。Google 的描述是用来“View the indexed, or indexable, status of the provided URL”(查看所提供网址的已收录或可收录状态)(Search Console API reference)。它不会发出任何收录请求。
站点地图 ping。 Google 在 2023 年 6 月宣布,其站点地图 ping 地址将在六个月后停止工作;该文章现在说明弃用已经完成(Google Search Central Blog)。仍在 ping Google 的插件没有任何作用。
“即时收录”工具有用吗?
对 Google 上的普通商家页面没用。这类工具和插件大多通过 Google 的 Indexing API 推送您的页面。Google 只允许这个 API 用于两种页面:
"The Indexing API can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject." (Google Search Central: Indexing API quickstart) 译文:“Indexing API 只能用于抓取包含 JobPosting,或在 VideoObject 中嵌入 BroadcastEvent 的页面。”
也就是招聘广告和直播视频。屋顶维修页面或餐厅菜单都不属于这两种。Google 还会留意那些把请求分散到多个账号来绕过每日限额的工具:
"All submissions through the Indexing API undergo rigorous spam detection. Any attempts to abuse the Indexing API, including the use of multiple accounts or other means to exceed usage quotas, may result in access being revoked." (Google Search Central: Indexing API quickstart) 译文:“所有通过 Indexing API 的提交都会经过严格的垃圾内容检测。任何滥用 Indexing API 的行为,包括使用多个账号或其他方式超出使用配额,都可能导致访问权限被撤销。”
如何识别夸大承诺的工具:
- 它宣称 Google “即时”“保证”或“强制”收录。Google 对任何人都不保证这些。
- 它要求您创建 Google Cloud 服务账号或上传 JSON 密钥来使用 Indexing API,而您的页面并不是招聘广告或直播。
- 它按网址收费,做的却是站点地图和 IndexNow 免费就能做到的事。
IndexNow 本身也不承诺收录。它的常见问题说,提交“doesn't guarantee indexing”(不保证收录),每个搜索引擎自行决定(IndexNow: FAQ)。
真正能让页面更快被收录的方法
通知页面会让它被抓取。它能否被保留,取决于页面本身。Google 的原话:
"Our systems prioritize the fast inclusion of high quality, useful content." (Google Search Central: Ask Google to recrawl your URLs) 译文:“我们的系统会优先快速收录高质量、有用的内容。”
实际做法:从 Google 已经常访问的页面链接到新页面,确保没有东西阻止它(最典型的是误加的 noindex 标签;请看阻止收录的问题),并让页面内容不是您网站上另一个页面的复制品。常见的时间范围请看 Google 收录一个页面需要多久。
示例
以下是使用整数的示意案例。
一家用 Wix 的园林绿化公司发布了新服务页面
Wix 会更新站点地图,开启 IndexNow 的话还会通知 Bing。店主把页面加到“服务”菜单,并点击一次“请求编入索引”。没有别的需要自动化。
一家牙科诊所被推销每月 $50 的“保证 Google 收录”服务
这个工具要求提供 Google Cloud 密钥来使用 Indexing API。诊所的页面是服务介绍和博客文章,不是招聘广告或直播,所以该工具是在 Google 明确不支持的页面上使用这个 API。诊所没有购买,而是去检查了自己的站点地图和 robots.txt。
一家水管公司一次发布 30 个城市页面
站点地图列出了全部 30 个页面,IndexNow 把它们发送给 Bing。两周后,Search Console 显示其中一些处于“Discovered, currently not indexed”(已发现 - 尚未编入索引)状态。自动化已经完成了它的工作;这些页面彼此几乎一模一样,这才是真正的问题。
常见问题
IndexNow 对 Google 有用吗?
没用。Google 不在 IndexNow 的参与搜索引擎名单上(IndexNow: searchengines.json)。对 Google,请用站点地图和链接。
对普通页面使用 Indexing API 违反 Google 的规定吗?
Google 说这个 API“can only be used”(只能用于)招聘信息和直播视频。其他用途都超出了这个范围,滥用可能导致访问权限被撤销。
自动索引需要 SEO 插件吗?
通常不需要。大多数网站搭建工具已经会生成站点地图。如果您的平台没有站点地图或 IndexNow 开关,插件才有帮助。
为什么我的页面被抓取了却没有被收录?
Google 读过了这些页面,但选择不保留它们,常见原因是内容单薄或重复。请看已发现,尚未编入索引。
您的情况不同?
- 您的页面已经等了好几周:Google 收录一个页面需要多久。
- Search Console 显示“已发现”或“已抓取 - 尚未编入索引”:已发现,尚未编入索引。
- 可能有东西在阻止 Google:阻止收录的问题。
- 您想把站点地图和 IndexNow 设置好:站点地图最佳做法。
- 您想有人每周盯着收录情况:SEO 与 GEO 智能体。