产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做移动端 SEO:以手机身份抓取并修复

更新于 · 阅读约 8 分钟

简短回答 有付费许可证的话,把 Screaming Frog 的用户代理设为 Googlebot Smartphone,在 API Access 中连接 PageSpeed Insights,然后抓取。PageSpeed 标签页显示每个页面的速度;Mobile 标签页标出缺少的 viewport 标签和过小的点击目标。免费版这两样都做不了,所以小网站可以改用 PageSpeed Insights 测试重点页面。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

如何在 Screaming Frog 中以手机身份抓取您的网站

改一个设置,连接一项免费的 Google 服务,然后抓取。Google 是按您页面的手机版本来排名的:

"Google uses the mobile version of a site's content, crawled with the smartphone agent, for indexing and ranking." (Google Search Central: Mobile-first indexing best practices) 译文:“Google 使用由智能手机代理抓取的网站移动版内容来编入索引和排名。”

以下步骤依据 Screaming Frog 截至 2026 年 11 月的用户指南和教程:

步骤位置怎么做
1. 切换为手机Configuration > User-Agent选择 Googlebot 的智能手机预设。用户代理是爬虫向您的服务器请求页面时报上的名字;同一设置也决定它遵守哪些 robots.txt 规则
2. 连接 PageSpeed InsightsConfiguration > API Access > PageSpeed Insights选择 Remote(需要 Google 提供的免费 API 密钥)或 Local(在您的电脑上运行 Google 的 Lighthouse 测试,无需密钥)
3. 选择手机数据同一窗口的 Metrics 标签页选 Mobile,不选 Desktop。保持勾选“Mobile Friendly”
4. 找出单独的手机页面Configuration > Spider > Crawl勾选移动版备用链接(mobile alternate links)的 Crawl 和 Store。只有您的网站有 m. 地址时才需要
5. 可选:以手机视角查看页面Configuration > Spider > Rendering选择 JavaScript,并使用 Googlebot 智能手机的窗口尺寸。截图会出现在 Rendered Page 标签页
6. 抓取地址栏,Start等抓取进度条和 API 进度条都到 100%

Screaming Frog 的移动端教程说得很直接:“An SEO Spider licence is required.”(需要 SEO Spider 许可证。)免费版无法更改设置,也无法连接 PageSpeed Insights(Screaming Frog: SEO Spider user guide, General)。

您需要付费许可证吗?

只有当页面多到无法逐个手动测试时才需要。许可证每位用户每年 £199;2026 年 11 月显示的美元价格为 $279,没有加元价格(Screaming Frog: pricing)。

您的网站最省钱的好办法
重要页面少于约 20 个免费:在 PageSpeed Insights 中用 Mobile 逐个测试,再看 Search Console 中的 Core Web Vitals 报告
几百个页面,或有多个网站许可证:一次抓取就能在一张表里得到每个页面的速度和手机检查结果
需要登录的网站许可证加 Local 模式,它“can be used for sites that require authentication”(可用于需要身份验证的网站)(Screaming Frog: Configuration)

Screaming Frog 自己点明了许可证填补的空白:在 PageSpeed Insights 中“you are limited to one URL at a time”(一次只能测一个网址),而 Search Console 只显示良好、需要改进或较差,不显示每个页面的具体数值(Screaming Frog: How to audit Core Web Vitals)。

以 Googlebot Smartphone 身份抓取会有什么不同?

对大多数小企业网站来说,差别很小。如果您的网站采用响应式设计(同一个页面随屏幕自动调整),Google 表示“the content and the metadata are the same on the mobile and desktop version”(移动版和桌面版的内容与元数据相同)(Google Search Central)。失效链接和缺失的标题在两种抓取中都会出现。

当您的服务器对手机区别对待时,手机设置才真正有用:

  • 动态服务: 同一地址,给手机的 HTML 不同。只有手机抓取才能看到 Google 编入索引的内容。
  • 单独的 m. 网站: Google 要求桌面页面作为规范网址(主版本),手机页面作为它的备用版本:“The desktop URL is always the canonical, and the mobile version is the alternate of that URL.”(桌面网址始终是规范网址,移动版是该网址的备用版本。)
  • 只针对手机的屏蔽: 只给手机返回的 noindex 标签(不编入索引)或 robots 规则。Google 的规则是:“Use the same robots meta tags on the mobile and desktop site.”(在移动版和桌面版网站上使用相同的 robots meta 标签。)

Google 的智能手机爬虫会以 Android 手机上的 Chrome 身份出现,名称中带有“Googlebot/2.1”(Google Search Central: Google's common crawlers)。如果您的防火墙会拦截未知爬虫,Screaming Frog 的请求可能会受到和 Google 真实爬虫不同的对待。不确定您的网站是怎么搭建的?请看响应式设计与 SEO。

看懂 PageSpeed 标签页:每个页面的速度

大多数移动端问题都在这里。这个标签页有两类数据(Screaming Frog: Tabs):

  • CrUX(实测数据): 过去 28 天真实 Chrome 用户的访问,来自 Google 的 Chrome 用户体验报告(Chrome User Experience Report)。Google 的 Core Web Vitals 衡量的就是它。仅 Remote 模式提供;“CrUX data is not available by running Lighthouse locally.”(在本地运行 Lighthouse 时没有 CrUX 数据。)
  • Lighthouse(实验室数据): 对页面的一次模拟加载。适合找原因;它不代表真实访客的感受。

先按 Core Web Vitals Assessment 列(Pass 或 Fail)排序,再按各项指标排序。Google 对“良好”的标准(Google Search Central: Core Web Vitals):

指标衡量什么良好
Largest Contentful Paint(LCP)主要内容何时显示2.5 秒以内
Interaction to Next Paint(INP)点击后多快有反应低于 200 毫秒
Cumulative Layout Shift(CLS)页面加载时跳动多少低于 0.1

小网站出现空白很正常。Google 表示,页面可能没有真实用户数据,“if it has been recently published or has too few samples from real users”(如果它是最近发布的,或真实用户样本太少)(PageSpeed Insights: About)。这时把 Lighthouse 列当作粗略参考,先修访问量最大的页面。点击某个页面,打开下方的 Lighthouse Details 标签页,就能看到拖慢它的文件;Reports > PageSpeed 可全部导出。

有一项变化要留意:Google 表示计划在 PageSpeed Insights API 中“to discontinue including real-world data from the Chrome User Experience Report”(不再包含来自 Chrome 用户体验报告的真实数据)(PageSpeed Insights API: Get started)。没有给出日期。一旦发生,Remote 模式下的 CrUX 列可能会变空,直到 Screaming Frog 做出调整。

看懂 Mobile 标签页:viewport、点击目标、字体

Mobile 标签页按页面给每项检查打分;“'100' is a pass, while '0' represents an audit fail”(“100”表示通过,“0”表示检查未通过)(Screaming Frog: How to audit mobile usability)。它的筛选条件:

筛选条件含义常见修法
Viewport Not Set没有 viewport 标签,手机显示的是缩小的桌面版布局在页面 head 中加入设为 width=device-width, initial-scale=1 的 viewport 标签(Chrome for Developers)
Target Size按钮或链接小于 24 × 24 CSS 像素,或彼此太近加大按钮,菜单链接之间留出更多空间
Content Not Sized Correctly页面比屏幕宽或窄:需要左右滚动找出过宽的元素:固定宽度的表格、图片或嵌入内容
Illegible Font Size超过 40% 的文字小于 12 像素在主题中调大基础字号
Unsupported PluginsFlash、Silverlight 或 Java 小程序换成视频或普通 HTML
Mobile Alternate Link桌面页面指向单独的手机页面没问题,但响应式设计更容易维护

有两个筛选条件只在 Local 模式下有效。Lighthouse 去掉了字号和内容宽度检查,所以 Remote API 不再返回这两项(Screaming Frog: How to audit mobile usability)。

批量导出在 Reports > Mobile。

先修什么

在带来客户的页面上,先修会挡住客户的问题:

  1. Viewport Not Set。 在页面模板里加一行,所有页面一次修好。
  2. 手机上不同的内容。 “Only the content shown on the mobile site is used for indexing”(只有移动版网站上显示的内容会用于编入索引)(Google Search Central)。用您自己的手机检查几个页面。
  3. 服务页和联系页的 Core Web Vitals 未通过。 修法请看移动端的 Core Web Vitals。
  4. 拨号按钮和菜单的点击目标。 “Call now”按钮点不中,就是丢了一个潜在客户。

速度问题要摆正位置。Google 表示页面体验“there is no single signal”(没有单一信号),不过 Core Web Vitals“are used by our ranking systems”(会被我们的排名系统使用)(Google Search Central: Understanding page experience)。

示例

以下为说明用的案例,数字为虚构。

一家有 35 个页面的牙科诊所(美元)

诊所需要的是 8 个治疗项目页面的速度数据,而不是整个网站。老板把每个页面都在 PageSpeed Insights 中用 Mobile 测了一遍,发现两个页面因顶部大图导致 LCP 未通过,于是压缩了图片。工具费用:$0。

一家有 600 个页面的家居服务公司(加元)

城市页面和服务页面让网站超过了免费版 500 个网址的上限。购买许可证(以美元计价)后,一次抓取就得到每个页面的 PageSpeed 数据。Mobile 标签页显示,有 120 个页面在同一模板中的“Call”按钮太小;修改一次主题就全部解决。

一家有 m. 网站的餐厅

开启移动版备用链接后进行手机抓取,发现 15 个手机页面没有菜单文字,只有图片。Google 按手机版本编入索引,所以这些页面在 Google 看来几乎没有内容。修法:在手机页面上加上菜单文字,或改成一个响应式网站。

常见问题

免费版 Screaming Frog 能以手机身份抓取吗?

不能。更改用户代理属于配置功能,需要许可证。PageSpeed Insights 数据和 Mobile 标签页也一样(Screaming Frog: General; How to audit mobile usability)。

PageSpeed Insights API 密钥免费吗?

免费。Google 用您的 Google 账号点几下就能生成。这个 API 每天允许 25,000 次查询,所以在 Remote 模式下 Screaming Frog 每分钟最多检查约 36 个页面(Screaming Frog: Configuration)。

为什么 CrUX 列是空的?

这个页面在 28 天内的 Chrome 真实访问太少,或者您用的是 Local 模式。改看 Lighthouse 列,或者看页面缺少自身数据时 PageSpeed Insights 显示的全站数据。

Search Console 还有移动设备易用性报告吗?

没有了。Google 在 2023 年 12 月停用了它和 Mobile-Friendly Test(移动设备适合性测试)。改为检查什么,请看 Search Console 中的移动设备易用性。

您的情况不同?

继续阅读

下一篇用 Majestic 做本地 SEO:按主题找本地外链机会本地商家如何用 Majestic 的 Topical Trust Flow 和 Clique Hunter 找到值得争取链接的本地和行业网站、各套餐价格,以及免费做法。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider user guide, Configuration
  2. Screaming Frog: SEO Spider user guide, Tabs
  3. Screaming Frog: SEO Spider user guide, General
  4. Screaming Frog: How to audit mobile usability
  5. Screaming Frog: How to audit Core Web Vitals
  6. Screaming Frog: SEO Spider pricing
  7. Google Search Central: Mobile site and mobile-first indexing best practices
  8. Google Search Central: Google's common crawlers
  9. Google Search Central: Understanding Core Web Vitals and Google search results
  10. Google Search Central: Understanding page experience in Google Search results
  11. PageSpeed Insights: About PageSpeed Insights
  12. PageSpeed Insights API: Get started
  13. Google Search Central Blog: The Search Console mobile friendly testing tool (retired)
  14. Chrome for Developers: Lighthouse viewport audit