用 Screaming Frog 做移动端 SEO:以手机身份抓取并修复
简短回答 有付费许可证的话,把 Screaming Frog 的用户代理设为 Googlebot Smartphone,在 API Access 中连接 PageSpeed Insights,然后抓取。PageSpeed 标签页显示每个页面的速度;Mobile 标签页标出缺少的 viewport 标签和过小的点击目标。免费版这两样都做不了,所以小网站可以改用 PageSpeed Insights 测试重点页面。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话如何在 Screaming Frog 中以手机身份抓取您的网站
改一个设置,连接一项免费的 Google 服务,然后抓取。Google 是按您页面的手机版本来排名的:
"Google uses the mobile version of a site's content, crawled with the smartphone agent, for indexing and ranking." (Google Search Central: Mobile-first indexing best practices) 译文:“Google 使用由智能手机代理抓取的网站移动版内容来编入索引和排名。”
以下步骤依据 Screaming Frog 截至 2026 年 11 月的用户指南和教程:
| 步骤 | 位置 | 怎么做 |
|---|---|---|
| 1. 切换为手机 | Configuration > User-Agent | 选择 Googlebot 的智能手机预设。用户代理是爬虫向您的服务器请求页面时报上的名字;同一设置也决定它遵守哪些 robots.txt 规则 |
| 2. 连接 PageSpeed Insights | Configuration > API Access > PageSpeed Insights | 选择 Remote(需要 Google 提供的免费 API 密钥)或 Local(在您的电脑上运行 Google 的 Lighthouse 测试,无需密钥) |
| 3. 选择手机数据 | 同一窗口的 Metrics 标签页 | 选 Mobile,不选 Desktop。保持勾选“Mobile Friendly” |
| 4. 找出单独的手机页面 | Configuration > Spider > Crawl | 勾选移动版备用链接(mobile alternate links)的 Crawl 和 Store。只有您的网站有 m. 地址时才需要 |
| 5. 可选:以手机视角查看页面 | Configuration > Spider > Rendering | 选择 JavaScript,并使用 Googlebot 智能手机的窗口尺寸。截图会出现在 Rendered Page 标签页 |
| 6. 抓取 | 地址栏,Start | 等抓取进度条和 API 进度条都到 100% |
Screaming Frog 的移动端教程说得很直接:“An SEO Spider licence is required.”(需要 SEO Spider 许可证。)免费版无法更改设置,也无法连接 PageSpeed Insights(Screaming Frog: SEO Spider user guide, General)。
您需要付费许可证吗?
只有当页面多到无法逐个手动测试时才需要。许可证每位用户每年 £199;2026 年 11 月显示的美元价格为 $279,没有加元价格(Screaming Frog: pricing)。
| 您的网站 | 最省钱的好办法 |
|---|---|
| 重要页面少于约 20 个 | 免费:在 PageSpeed Insights 中用 Mobile 逐个测试,再看 Search Console 中的 Core Web Vitals 报告 |
| 几百个页面,或有多个网站 | 许可证:一次抓取就能在一张表里得到每个页面的速度和手机检查结果 |
| 需要登录的网站 | 许可证加 Local 模式,它“can be used for sites that require authentication”(可用于需要身份验证的网站)(Screaming Frog: Configuration) |
Screaming Frog 自己点明了许可证填补的空白:在 PageSpeed Insights 中“you are limited to one URL at a time”(一次只能测一个网址),而 Search Console 只显示良好、需要改进或较差,不显示每个页面的具体数值(Screaming Frog: How to audit Core Web Vitals)。
以 Googlebot Smartphone 身份抓取会有什么不同?
对大多数小企业网站来说,差别很小。如果您的网站采用响应式设计(同一个页面随屏幕自动调整),Google 表示“the content and the metadata are the same on the mobile and desktop version”(移动版和桌面版的内容与元数据相同)(Google Search Central)。失效链接和缺失的标题在两种抓取中都会出现。
当您的服务器对手机区别对待时,手机设置才真正有用:
- 动态服务: 同一地址,给手机的 HTML 不同。只有手机抓取才能看到 Google 编入索引的内容。
- 单独的 m. 网站: Google 要求桌面页面作为规范网址(主版本),手机页面作为它的备用版本:“The desktop URL is always the canonical, and the mobile version is the alternate of that URL.”(桌面网址始终是规范网址,移动版是该网址的备用版本。)
- 只针对手机的屏蔽: 只给手机返回的 noindex 标签(不编入索引)或 robots 规则。Google 的规则是:“Use the same robots meta tags on the mobile and desktop site.”(在移动版和桌面版网站上使用相同的 robots meta 标签。)
Google 的智能手机爬虫会以 Android 手机上的 Chrome 身份出现,名称中带有“Googlebot/2.1”(Google Search Central: Google's common crawlers)。如果您的防火墙会拦截未知爬虫,Screaming Frog 的请求可能会受到和 Google 真实爬虫不同的对待。不确定您的网站是怎么搭建的?请看响应式设计与 SEO。
看懂 PageSpeed 标签页:每个页面的速度
大多数移动端问题都在这里。这个标签页有两类数据(Screaming Frog: Tabs):
- CrUX(实测数据): 过去 28 天真实 Chrome 用户的访问,来自 Google 的 Chrome 用户体验报告(Chrome User Experience Report)。Google 的 Core Web Vitals 衡量的就是它。仅 Remote 模式提供;“CrUX data is not available by running Lighthouse locally.”(在本地运行 Lighthouse 时没有 CrUX 数据。)
- Lighthouse(实验室数据): 对页面的一次模拟加载。适合找原因;它不代表真实访客的感受。
先按 Core Web Vitals Assessment 列(Pass 或 Fail)排序,再按各项指标排序。Google 对“良好”的标准(Google Search Central: Core Web Vitals):
| 指标 | 衡量什么 | 良好 |
|---|---|---|
| Largest Contentful Paint(LCP) | 主要内容何时显示 | 2.5 秒以内 |
| Interaction to Next Paint(INP) | 点击后多快有反应 | 低于 200 毫秒 |
| Cumulative Layout Shift(CLS) | 页面加载时跳动多少 | 低于 0.1 |
小网站出现空白很正常。Google 表示,页面可能没有真实用户数据,“if it has been recently published or has too few samples from real users”(如果它是最近发布的,或真实用户样本太少)(PageSpeed Insights: About)。这时把 Lighthouse 列当作粗略参考,先修访问量最大的页面。点击某个页面,打开下方的 Lighthouse Details 标签页,就能看到拖慢它的文件;Reports > PageSpeed 可全部导出。
有一项变化要留意:Google 表示计划在 PageSpeed Insights API 中“to discontinue including real-world data from the Chrome User Experience Report”(不再包含来自 Chrome 用户体验报告的真实数据)(PageSpeed Insights API: Get started)。没有给出日期。一旦发生,Remote 模式下的 CrUX 列可能会变空,直到 Screaming Frog 做出调整。
看懂 Mobile 标签页:viewport、点击目标、字体
Mobile 标签页按页面给每项检查打分;“'100' is a pass, while '0' represents an audit fail”(“100”表示通过,“0”表示检查未通过)(Screaming Frog: How to audit mobile usability)。它的筛选条件:
| 筛选条件 | 含义 | 常见修法 |
|---|---|---|
| Viewport Not Set | 没有 viewport 标签,手机显示的是缩小的桌面版布局 | 在页面 head 中加入设为 width=device-width, initial-scale=1 的 viewport 标签(Chrome for Developers) |
| Target Size | 按钮或链接小于 24 × 24 CSS 像素,或彼此太近 | 加大按钮,菜单链接之间留出更多空间 |
| Content Not Sized Correctly | 页面比屏幕宽或窄:需要左右滚动 | 找出过宽的元素:固定宽度的表格、图片或嵌入内容 |
| Illegible Font Size | 超过 40% 的文字小于 12 像素 | 在主题中调大基础字号 |
| Unsupported Plugins | Flash、Silverlight 或 Java 小程序 | 换成视频或普通 HTML |
| Mobile Alternate Link | 桌面页面指向单独的手机页面 | 没问题,但响应式设计更容易维护 |
有两个筛选条件只在 Local 模式下有效。Lighthouse 去掉了字号和内容宽度检查,所以 Remote API 不再返回这两项(Screaming Frog: How to audit mobile usability)。
批量导出在 Reports > Mobile。
先修什么
在带来客户的页面上,先修会挡住客户的问题:
- Viewport Not Set。 在页面模板里加一行,所有页面一次修好。
- 手机上不同的内容。 “Only the content shown on the mobile site is used for indexing”(只有移动版网站上显示的内容会用于编入索引)(Google Search Central)。用您自己的手机检查几个页面。
- 服务页和联系页的 Core Web Vitals 未通过。 修法请看移动端的 Core Web Vitals。
- 拨号按钮和菜单的点击目标。 “Call now”按钮点不中,就是丢了一个潜在客户。
速度问题要摆正位置。Google 表示页面体验“there is no single signal”(没有单一信号),不过 Core Web Vitals“are used by our ranking systems”(会被我们的排名系统使用)(Google Search Central: Understanding page experience)。
示例
以下为说明用的案例,数字为虚构。
一家有 35 个页面的牙科诊所(美元)
诊所需要的是 8 个治疗项目页面的速度数据,而不是整个网站。老板把每个页面都在 PageSpeed Insights 中用 Mobile 测了一遍,发现两个页面因顶部大图导致 LCP 未通过,于是压缩了图片。工具费用:$0。
一家有 600 个页面的家居服务公司(加元)
城市页面和服务页面让网站超过了免费版 500 个网址的上限。购买许可证(以美元计价)后,一次抓取就得到每个页面的 PageSpeed 数据。Mobile 标签页显示,有 120 个页面在同一模板中的“Call”按钮太小;修改一次主题就全部解决。
一家有 m. 网站的餐厅
开启移动版备用链接后进行手机抓取,发现 15 个手机页面没有菜单文字,只有图片。Google 按手机版本编入索引,所以这些页面在 Google 看来几乎没有内容。修法:在手机页面上加上菜单文字,或改成一个响应式网站。
常见问题
免费版 Screaming Frog 能以手机身份抓取吗?
不能。更改用户代理属于配置功能,需要许可证。PageSpeed Insights 数据和 Mobile 标签页也一样(Screaming Frog: General; How to audit mobile usability)。
PageSpeed Insights API 密钥免费吗?
免费。Google 用您的 Google 账号点几下就能生成。这个 API 每天允许 25,000 次查询,所以在 Remote 模式下 Screaming Frog 每分钟最多检查约 36 个页面(Screaming Frog: Configuration)。
为什么 CrUX 列是空的?
这个页面在 28 天内的 Chrome 真实访问太少,或者您用的是 Local 模式。改看 Lighthouse 列,或者看页面缺少自身数据时 PageSpeed Insights 显示的全站数据。
Search Console 还有移动设备易用性报告吗?
没有了。Google 在 2023 年 12 月停用了它和 Mobile-Friendly Test(移动设备适合性测试)。改为检查什么,请看 Search Console 中的移动设备易用性。
您的情况不同?
- 想要通俗易懂的速度修复步骤:移动端的 Core Web Vitals。
- 想免费逐个测试页面:PageSpeed Insights:怎么看懂报告。
- 不确定 Google 从您的手机页面编入了什么:移动优先索引。
- 您的页面用脚本生成内容:JavaScript SEO 审核。
- 想抓取竞争对手的网站:用 Screaming Frog 做竞争对手分析。
- 更希望有人替您做审核和修复:SEO 与 GEO 智能体。