SERP 抓取工具:有哪些工具、是否合法、自建还是购买
简短回答 SERP 抓取工具是自动执行搜索并把结果保存为数据的软件。Google 的垃圾内容政策和服务条款禁止未经许可的自动查询,所以自己搭建风险最大。大多数企业主根本不需要:Search Console 免费显示您自己的排名,排名追踪工具或 SERP API 按每次搜索几美分出售这些数据。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话SERP 抓取工具是做什么的?
它替您在搜索引擎里输入搜索,一次几百甚至几千个,并把返回的内容保存到电子表格或数据库里。SERP 就是搜索引擎结果页(search engine results page):您搜索后看到的广告、地图结果、蓝色链接、“其他人还问了”(People Also Ask)框和 AI 回答。
这些数据能告诉企业什么:
| 问题 | 抓取工具记录的内容 |
|---|---|
| 我的 50 个主要搜索词排第几? | 您在每个搜索词下每天的排名 |
| 谁才是我真正的搜索竞争对手? | 在您的搜索词中出现最多的网站 |
| 哪些搜索会显示广告、地图或 AI 回答? | 每个结果页上的功能(见 SERP 功能) |
| 客户在问什么? | “其他人还问了”的问题和相关搜索 |
| 竞争对手收什么价、承诺什么? | 广告文字和商品信息(如有显示) |
价值在于规模和历史。手动搜索一次,只能看到今天的结果页。抓取工具能告诉您 200 个结果页在六个月里怎么变化。
抓取 Google 搜索结果合法吗?
Google 不允许未经许可抓取,而且在两个地方写明了。它的垃圾内容政策:
"Machine-generated traffic (also called automated traffic) refers to the practice of sending automated queries to Google. This includes scraping results for rank-checking purposes or other types of automated access to Google Search conducted without express permission." (Google Search Central: Spam policies) 译文:“机器生成的流量(也称为自动流量)是指向 Google 发送自动查询的做法。这包括为查询排名而抓取结果,或其他未经明确许可对 Google 搜索进行的自动访问。”
同一部分还说,这类行为违反其垃圾内容政策和服务条款。2026 年 7 月 30 日生效的服务条款禁止“using automated means to access content from any of our services in violation of the machine-readable instructions on our web pages”(违反我们网页上机器可读的说明,使用自动方式访问我们任何服务中的内容)。Google 自己的 robots.txt 文件,也就是这些机器可读的说明,对所有爬虫都写有“Disallow: /search”这一行。
抓取除了违反 Google 的条款,是否还违法,法院仍在争论。正在进行的案件是 Google 自己提起的:
- 2025 年 12 月 19 日: Google 起诉 SerpApi(一家把 Google 搜索结果作为数据出售的公司),理由是“for circumventing security measures protecting others' copyrighted content”(规避保护他人版权内容的安全措施)(Google 博客)。
- 2026 年 7 月: 法院驳回了 Google 的原始起诉书,允许其重新提交部分内容(Search Engine Roundtable)。
- 2026 年 11 月 9 日: 北加州一名联邦法官驳回了 Google 的修改后起诉书,这是第二次驳回。据 SerpApi 的总法律顾问称,Google 有 21 天时间修正,否则案件将彻底终结。
所以法律尚无定论,但 Google 的规定很明确。这对您意味着什么,应该问律师,而不是看这个页面。对小企业来说,实际风险更简单:Google 屏蔽这些流量,您的抓取工具就停止工作。
您真的需要 SERP 抓取工具吗?
通常不需要。先从经许可就能拿到的数据开始。
| 需求 | 经许可的途径 | 费用 |
|---|---|---|
| 您自己的排名,以及您出现在哪些搜索中 | Google Search Console 效果报告 | 免费 |
| 把同样的数据放进电子表格或脚本 | Search Console API:点击次数、展示次数和“Average position in search results”(搜索结果中的平均排名),每次请求最多 25,000 行 | 免费 |
| 快速看一下某个搜索 | 退出登录,在您服务的地区自己搜索 | 免费 |
| 大量关键词的每日排名 | 排名追踪工具(见如何使用关键词排名查询工具) | 月费 |
| 大规模查看竞争对手的排名 | 付费 SEO 工具或 SERP API | 按次或按月 |
Search Console 只覆盖您自己的网站,而且只有 Google。它告诉您人们在找到您之前搜了什么,但无法告诉您谁排在您前面。这个空缺正是抓取工具存在的原因。用 Search Console 做关键词研究介绍了它能做什么。
自建还是购买:哪个更合适?
如果确实需要这些数据,就购买。
| 自己搭建 | 从 SERP API 购买 | |
|---|---|---|
| 搭建 | 需要开发人员、服务器,以及解析每种页面布局的代码 | 注册,发送一个搜索,拿回结构化数据 |
| Google 改版后还能用吗? | 只有有人修好才行 | 供应商的事 |
| 被屏蔽 | 您的问题。要避免就得伪装流量,而这正是 Google 起诉的事 | 供应商的事 |
| Google 的条款 | 发送自动查询的是您 | 由供应商发送;Google 仍然没有给予许可 |
| 每月 1,000 次搜索的成本 | 开发人员时间加服务器 | 0.60 至 25 美元(价格见下文) |
购买并不会让数据得到 Google 认可,只是把工作和被屏蔽的风险转给了别人。有一家供应商 SerpApi 出售“U.S. Legal Shield”(美国法律保障),提供“up to $2 million in coverage for the scraping and parsing of search engine data”(针对搜索引擎数据的抓取和解析,最高 200 万美元的保障),仅限 Production 套餐(每月 150 美元)及以上,便宜的套餐没有(SerpApi 定价)。
官方途径基本已经没有了。Google 表示其 Custom Search JSON API “is closed to new customers”(不再接受新客户),现有用户“have until January 1, 2027 to transition to an alternative solution”(必须在 2027 年 1 月 1 日之前改用其他方案)。Microsoft 已于 2025 年 8 月 11 日停用 Bing Search API,并引导客户改用 Azure AI Agents 中的 Grounding with Bing Search。
SERP API 要花多少钱?
两份公开价目表,核对于 2026 年 11 月 16 日:
| 供应商 | 免费额度 | 起步价格 | 每 1,000 次搜索 |
|---|---|---|---|
| SerpApi | 每月 250 次搜索 | 每月 25 美元,含 1,000 次 | 起步套餐 25 美元,100,000 次套餐(725 美元)为 7.25 美元 |
| DataForSEO,Google 自然搜索结果 | 未列出 | 按量付费 | 0.60 美元(标准队列)、1.20 美元(优先)、2.00 美元(实时) |
DataForSEO 的标准队列稍后返回结果;实时模式立即返回,但更贵。一家本地企业每周追踪一次 50 个搜索词,每月约 200 次搜索,在 SerpApi 的免费额度之内。
抓取的数据无法告诉您的事
抓取工具只看到结果页的一个版本。Google 会对结果做个性化:
"To do this, we use information such as your location, past Search history, and Search settings to determine what is most relevant for you in the moment." (Google: How Search works) 译文:“为此,我们会使用您的位置、过去的搜索记录和搜索设置等信息,来判断此时此刻什么内容与您最相关。”
对水管工或牙医来说,位置最重要。设为“Chicago”的抓取工具,看到的地图结果可能和离您店两英里的客户看到的不一样。选择能设置城市或邮政编码的 API,并把任何排名当作一个范围,而不是确定的事实。
它也无法告诉您搜索之后发生了什么:电话、预约、销售。这些在您自己的分析数据里,而这才是真正带来收入的数字。
示例
一位有 30 个关键词的屋顶承包商
她想知道新的服务页面排名有没有上升。Search Console 的效果报告免费显示她在每个搜索中的平均排名。不需要抓取工具。
一家关注五个竞争对手的牙科集团
他们想要三个城市中 40 个搜索词的每周排名,包括对手的排名:每月约 480 次搜索。SerpApi 的 25 美元套餐包含 1,000 次;DataForSEO 每月不到 1 美元,另加开发人员对接的时间。
一位考虑自建的代理公司老板
编写抓取工具、租用服务器并让它不被屏蔽,成本远高于每 1,000 次搜索 0.60 美元,而且自动查询都以他的名义发出。他选择购买 API。
常见问题
SERP 抓取违反 Google 的规定吗?
是的。Google 的垃圾内容政策把“scraping results for rank-checking purposes”(为查询排名而抓取结果)列为未经明确许可不允许的自动流量,并表示这违反其服务条款。
抓取 Google 会影响我网站的排名吗?
这项政策针对的是发送给 Google 的查询,而不是您网站上的页面。实际后果是请求被屏蔽。
Google 有官方的搜索 API 吗?
对新客户来说没有。Custom Search JSON API 已不接受新注册,现有用户必须在 2027 年 1 月 1 日之前迁出。
我可以改为抓取 Bing 吗?
Microsoft 已于 2025 年 8 月 11 日停用 Bing Search API。替代产品 Grounding with Bing Search 把结果提供给 Azure AI 智能体,而不是给您一个结果页。
排名追踪工具会抓取 Google 吗?
去问供应商。云端追踪工具从自己的服务器发送查询,所以成本和被屏蔽的风险由它承担,而不是您。
您的情况不同?
- 您只关心自己的排名: 先用免费工具查看您的 Google 排名。
- 您想看看竞争对手哪些地方做得好: 按照 SEO 竞争对手拆解来做。
- 您希望有人帮您盯排名并采取行动: 请看 SEO 与 GEO 智能体。