SEO 可抓取性:规划网站结构,让 Google 找到每个页面
简短回答 Google 通过已知页面上的链接发现新页面,所以网站结构的关键是路径。让每个想被找到的页面离首页不超过大约三次点击,从对应服务或主题的中心页链接到它,并且不让任何页面没有链接。免费的抓取工具可以显示每个页面的点击深度。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话有效的结构:首页、中心页、详情页
把您的网站想象成一棵树,Google 顺着链接一次爬一层。首页是树干。几个中心页挂在首页下面,每项服务或每个主题一个。每个详情页挂在它的中心页下面。Google 自己的指南也描述了这条路径:当“a hub page, such as a category page, links to a new blog post”(中心页,例如分类页,链接到一篇新博客文章)时,它就会发现新页面(Google Search Central: How Google Search works)。
| 层级(距首页的点击次数) | 放什么 | 水管工示例 |
|---|---|---|
| 0 | 首页 | 首页 |
| 1 | 中心页,从主菜单链接 | 下水道、热水器、服务地区、博客 |
| 2 | 详情页,从所属中心页链接 | 疏通下水道、下水管摄像检测、即热式热水器安装 |
| 3 | 辅助页面,从详情页或博客中心页链接 | “为什么我的下水道有异味?”文章 |
下面的步骤能把任何网站整理成这种结构,不管您卖的是服务、产品还是专业建议,也不管在美国还是加拿大:Google 抓取加拿大网站的方式和抓取美国网站一样。
什么是点击深度,多深算太深?
点击深度是从首页到达某个页面需要点击的次数。Google 把它当作判断页面重要程度的一个线索:
"Google can use information such as the number of links it needs to follow to reach a page and the number of links to a page to infer the relative importance of a page over the rest of your site." (Google Search Central: Help Google understand your ecommerce website structure) 译文:“Google 可以利用到达某个页面需要跟随的链接数量,以及指向该页面的链接数量等信息,推断该页面相对于网站其他部分的重要程度。”
Google 没有给出固定上限,所以“三次点击规则”只是经验法则,不是 Google 的规定。常用的抓取工具 Screaming Frog 默认会标记深度为 4 或以上的页面,首页算作 0(Screaming Frog: Pages With High Crawl Depth)。对于少于几百个页面的网站,这是合理的目标:最能赚钱的页面放在 1 或 2 层,您在意的页面都不超过 3 层。
第 1 步:免费测量点击深度
- 下载 Screaming Frog SEO Spider。免费版最多抓取 500 个网址,对大多数小企业网站足够了(Screaming Frog 价格)。
- 输入您的首页地址,开始抓取。
- 在 Internal 标签页中,按 Crawl Depth 列排序。深度为 4 或以上的页面都需要更短的路径。
- 写下您最重要的 5 到 10 个页面(真正带来收入的服务)及其深度。深度为 3 或更深的都应该往上移。
然后打开 Search Console 的“链接”报告,查看内部链接下的“Top linked pages”(链接次数最多的网页)。Google 建议用它来确认“that users can get from page A to page B with the fewest clicks”(用户能以最少的点击从页面 A 到达页面 B),以及您的“most linked pages are the ones that you expect”(链接次数最多的页面正是您预期的那些)(Search Console Help: Links report)。如果您的隐私政策排在最好的服务页前面,说明链接指错了方向。设置方法见 Search Console 指南。
第 2 步:建立中心页,把树压扁
中心页是介绍一个主题、并链接到该主题下所有页面的页面,例如“热水器”页面链接到维修、更换和即热式热水器页面。有了中心页,就能保持较浅的深度,而不必在菜单里塞 40 个链接。
- 每个服务类别、城市组或博客主题各建一个中心页。从主菜单链接每个中心页,让中心页位于深度 1。
- 在中心页上,用直白、有描述性的文字链接每个详情页(“即热式热水器安装”),而不是“了解更多”。Google 的链接指南要求锚文本“descriptive, reasonably concise, and relevant”(有描述性、相当简洁且相关)(Google Search Central: Link best practices)。
- 每个详情页都链接回它的中心页,再链接两三个相关页面。
- 在详情页上添加面包屑导航(首页 > 热水器 > 即热式)。Google 表示它显示“the page's position in the site hierarchy”(页面在网站层级中的位置)(Google Search Central: Breadcrumb structured data),而且每一级都多了一个向上的链接。
- 也从首页链接您最好的页面。Google 表示“the more links a page has to it within a site, the higher the relative importance”(一个页面在网站内获得的链接越多,相对重要性就越高)(Google Search Central: ecommerce site structure)。
好的服务中心页除了链接还应该写些什么,见 服务页面的页面内 SEO。如果您要添加一个城市页面中心页,请先看看 Google 所说的门页。
第 3 步:给每个孤立页面一个链接
孤立页面在您网站的任何地方都没有链接指向它,所以它的点击深度是无限的。Google 的规则很简短:
"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Link best practices) 译文:“您在意的每个页面,都应该至少有一个来自您网站其他页面的链接。”
要找出孤立页面,比较两份清单:您拥有的页面(站点地图文件,通常是 yoursite.com/sitemap.xml,或建站工具里的页面列表),以及第 1 步抓取到的页面。在第一份清单上、却不在第二份清单上的页面就是孤立页面。常见的有旧的广告落地页、过期的促销页,以及从菜单中移除的博客文章。对每个孤立页面,要么从它的中心页链接过去,要么并入更强的页面,要么删除。
第 4 步:使用 Google 能跟随的链接
链接只有在 Google 能读取时才算数。Google 表示,通常只有标准的 HTML 锚元素、并带有 href 属性(存放地址的那部分)时,它才能抓取该链接(Google Search Central: Link best practices)。说白了,就是背后有网址的普通文字链接或图片链接。
| 看起来像链接,但 Google 可能漏掉 | 修复方法 |
|---|---|
| 点击后只运行脚本的按钮或菜单项 | 改成指向页面地址的真正链接 |
| 博客或图库上的“加载更多”按钮或无限滚动 | 添加编号分页,每页链接到下一页(Google Search Central: Pagination) |
| 没有替代文字(alt text)的图片链接 | 添加替代文字;Google 会把它当作链接文字(链接最佳做法) |
| 需要登录或填表才能看到的页面 | 想被找到的内容都放在登录之外 |
| 指向已删除页面的链接(404 错误) | 改为指向现有页面;Screaming Frog 把这些列为 Internal Client Error (4XX) |
运行第 1 步的抓取:抓取工具无法通过链接到达的页面,Google 也可能漏掉。自定义代码和图库等插件最常出问题。
第 5 步:清除抓取陷阱
抓取陷阱是一组几乎无穷无尽的地址,会耗掉 Google 的抓取次数:筛选和排序选项、永远有“下个月”链接的日历、站内搜索结果页。Google 表示,大多数情况下“no good reason”(没有充分理由)允许抓取筛选后的项目,并建议在 robots.txt 中屏蔽这些参数;用 canonical 标签把它们指向未筛选的页面也可以,不过 Google 认为长期来看效果较差(Google Search Central: Faceted navigation)。大多数服务类网站没有抓取陷阱。网店、房源列表和活动网站则常常有。屏蔽任何内容之前,请先了解 robots.txt 能做什么、不能做什么。
第 6 步:确认 Google 找到了这些页面
给 Google 一些时间重新抓取,然后用 Search Console 的网址检查工具检查每个往上移的页面。Google 推荐用这个工具查看“how Google sees your page”(Google 如何看待您的页面)(SEO Starter Guide)。如果页面显示“已发现”或“已抓取 - 尚未编入索引”,问题往往出在内容,而不是结构:见 这些状态是什么意思。
对小网站影响不大的东西
- 抓取预算。 Google 的抓取预算指南是为拥有 100 万以上页面,或 1 万以上且每天变化的页面的网站写的(Google: Crawl budget management)。
- 站点地图。 有帮助,但 Google 表示,链接良好、“about 500 pages or fewer”(约 500 个页面或更少)的网站可能不需要(Google: Learn about sitemaps)。链接优先。
- 目录式网址和其中的关键词。 把页面归入目录可以帮助 Google 了解每个部分的更新频率,但网址中的关键词“have hardly any effect beyond appearing in breadcrumbs”(除了出现在面包屑中,几乎没有作用)(SEO Starter Guide)。不要仅仅为了配合树状结构而改动正常运作的网址。
示例
一家有 30 个页面的水管公司
抓取结果显示下水管摄像检测页面位于深度 4:首页、服务、下水道、博客文章,然后才是这个页面。老板在菜单中添加了一个“下水道”中心页,链接全部五个下水道页面。下水管摄像检测页面和其他四个下水道页面一起移到了深度 2。
一家博客很旧的会计师事务所
这家事务所有 120 篇博客文章。博客每页显示 10 篇,其余藏在“加载更多”按钮后面,所以 110 篇文章只能通过脚本到达。改成编号分页,并添加三个主题中心页(记账、工资、税务)后,每篇文章都在深度 3 或以内。
一家有 400 件商品的精品店
尺码、颜色和价格筛选产生了数千个地址。店主在 robots.txt 中屏蔽了筛选参数,并从分类页链接每件商品。抓取的网址从 6,000 个降到 450 个,全部都是真实页面。
常见问题
SEO 中的可抓取性是什么?
就是搜索引擎通过跟随链接到达您页面的难易程度。Google 永远到达不了的页面,再好也无法被编入索引或出现在搜索结果中。
可抓取性和可索引性是一回事吗?
不是。可抓取性是 Google 能否到达某个页面;可索引性是 Google 是否保留它。即使抓取正常,noindex 标签或内容薄弱的页面也会阻止编入索引。
真的有“三次点击规则”吗?
Google 从没定过这条规则。它说的是,到达页面需要的链接数量是判断重要性的一个信号,所以您在意的页面越浅越好。
页脚和菜单链接算数吗?
算,它们都是普通链接。正文中相关文字里的链接还能告诉 Google 页面讲的是什么,所以两种都要用。
多久检查一次点击深度?
每次改版、修改菜单或批量添加新页面之后检查一次,平时每几个月检查一次。小网站的免费抓取只需几分钟。
您的情况不同?
- 您的网站完全不在 Google 上:从 按顺序逐项检查 开始。
- 改版后流量立刻下降:看看 网站改版后流量为什么下降。
- 您经营一家有分类和筛选的网店:阅读 电商 SEO。
- 您想看看竞争对手的网站结构:试试 用 Screaming Frog 抓取竞争对手网站。
- 您希望有人替您规划并修好网站结构:看看 SEO 智能体。