每个 AI 助手的回答从哪里来
它们回答前都会搜索网络,但搜的不是同一个网络。把来源做好,回答自然跟上。
| 助手 | 网络回答的来源 | 需要放行的爬虫 | 为它提供数据的商家信息平台 |
|---|---|---|---|
| Gemini | Google 搜索索引(Google) | Googlebot;Google-Extended 还控制 Gemini 应用 | Google 商家资料(Google Business Profile),通过 Google 地图(Gemini 帮助) |
| Copilot | Bing(Microsoft) | Bingbot(Bing) | Bing Places(Bing) |
| Perplexity | 自建索引,超过 2000 亿个网址(Perplexity) | PerplexityBot(Perplexity) | 文档中没有商家信息计划;Yelp 页面会被引用(Yelp) |
| Claude | 自己的网络搜索,列出的提供商中包括 Brave Search(Anthropic) | Claude-SearchBot 和 Claude-User(Anthropic) | 文档中没有商家信息计划 |
| ChatGPT | 自己的爬虫加合作搜索提供商,其中包括 Microsoft(OpenAI) | OAI-SearchBot | Yelp 和您在 ChatGPT 上的商家信息(美国):见如何让 ChatGPT 推荐您 |
所以 Google 商家资料为 Gemini 提供数据,Bing Places 为 Copilot 提供数据,只有您自己的网站能覆盖全部五个。
如何在 Perplexity 中获得排名
放行它的爬虫。Perplexity 自建索引,所以在 Google 上的排名不会自动带过来。
"To ensure your site appears in search results, we recommend allowing PerplexityBot in your site's robots.txt file and permitting requests from our published IP ranges listed below." (Perplexity Docs) 译文:“为确保您的网站出现在搜索结果中,我们建议在网站的 robots.txt 文件中允许 PerplexityBot,并放行来自下方所列我们公布的 IP 地址段的请求。”
- 也要检查防火墙。 Perplexity 表示,使用 Cloudflare 等网络应用防火墙的网站“may need to explicitly allow Perplexity's bots”(可能需要明确放行 Perplexity 的机器人)(Perplexity 文档)。
- 修改需要一天生效。 robots.txt 的修改可能需要“up to 24 hours”(最多 24 小时)才生效(Perplexity 文档)。
- 屏蔽并非万无一失。 它的第二个代理 Perplexity-User 会在有人提问时访问页面,而且“generally ignores robots.txt rules”(通常忽略 robots.txt 规则)(Perplexity 文档)。
如何出现在 Gemini 中
在 Google 上获得排名,并把 Google 商家资料填写完整。Gemini 没有单独的索引需要进入。
- 网络回答来自 Google 搜索索引,Google 会“to the model at prompt time”(在提问时提供给模型)(Google)。
- 地点回答(谁在营业、有多远、评分多少)来自地图:“Gemini uses public information from Google Maps”(Gemini 使用 Google 地图上的公开信息)来查找商家,并显示营业时间、评分和网站(Gemini 应用帮助)。
一个陷阱:在 robots.txt 中屏蔽 Google-Extended,也会让 Google 无法用您的页面为 Gemini 应用的回答提供依据(Google)。它不影响普通搜索:
"Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google) 译文:“Google-Extended 不影响网站在 Google 搜索中的收录,也不会被用作 Google 搜索的排名信号。”
Claude 如何搜索网络?
当问题需要最新信息时,它会实时搜索,然后注明引用的内容。“Every response includes citations”(每个回答都包含引用)(Claude 帮助中心)。
Anthropic 有三个机器人,其中两个与搜索可见度相关(Anthropic):
| 机器人 | 作用 | 如果屏蔽它 |
|---|---|---|
| Claude-SearchBot | 为搜索建立页面索引 | “may reduce your site's visibility and accuracy in user search results”(可能降低您的网站在用户搜索结果中的可见度和准确性) |
| Claude-User | 用户提问时抓取页面 | “may reduce your site's visibility for user-directed web search”(可能降低您的网站在用户发起的网络搜索中的可见度) |
| ClaudeBot | 收集训练数据 | 表示您以后的页面不应被用于训练 |
Anthropic 的子处理方名单列出了三家网络搜索提供商:Brave Search、Parallel Web Systems 和 turbopuffer(Anthropic 信任中心)。它没有说明某个回答由哪一家提供。
Copilot:Bing 索引和 Bing Places
Copilot 的回答来自 Bing。Microsoft 表示,当网络信息有助于回答时,Copilot“may fetch information from the Bing search service”(可能从 Bing 搜索服务获取信息)(Microsoft Learn)。
"Bing and Copilot search experiences rely on the same core crawling, indexing, and ranking foundation as traditional search." (Bing Webmaster Guidelines) 译文:“Bing 和 Copilot 的搜索体验依赖与传统搜索相同的核心抓取、索引和排名基础。”
对于本地问题,Microsoft 建议用 Bing Places 让您的地址、营业时间和电话保持“eligible for inclusion in AI-generated responses”(有资格被纳入 AI 生成的回答)(Bing 网站管理员博客)。设置方法见 Bing Places 和 Copilot。
一份通用清单
| 步骤 | 做什么 | 对谁有帮助 |
|---|---|---|
| 1 | 在 robots.txt 中允许 Googlebot、Bingbot、OAI-SearchBot、PerplexityBot、Claude-SearchBot 和 Claude-User | 全部 |
| 2 | 问您的主机或 CDN 服务商是否开启了屏蔽机器人的规则;放行各家公布的 IP 地址段 | Perplexity、ChatGPT |
| 3 | 把 Google 商家资料、Bing Places 和 Yelp 填写完整,名称、地址和电话保持一致 | Gemini、Copilot、全部 |
| 4 | 每项服务一个页面,关键信息放在顶部附近 | 全部 |
| 5 | 不必做专门的 AI 文件 | Google 表示它不使用这些文件 |
第 4 步是 Bing 自己的建议:“Place essential information near the top of the URL”(把关键信息放在网页顶部附近)(Bing Webmaster Guidelines)。关于第 5 步:
"You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them." (Google Search Central) 译文:“要出现在 Google 搜索(包括其生成式 AI 功能)中,您不需要创建新的机器可读文件、AI 文本文件、标记或 Markdown,因为 Google 搜索本身并不使用它们。”
这些都不能保证被提及。Bing 表示:“GEO does not guarantee grounding or citations in AI experiences”(GEO 不保证在 AI 体验中被用作依据或被引用)(Bing Webmaster Guidelines)。
如何判断是否有效
| 您出现在哪里 | 去哪里看 |
|---|---|
| Google AI 概览和 AI 模式 | Search Console 的生成式 AI 效果报告:展示次数和页面,自 2026 年 8 月 31 日起对所有网站开放(Google)。它不包括 Gemini 应用。 |
| Copilot 和 Bing 的 AI 摘要 | Bing 网站管理员工具(Bing Webmaster Tools)的 AI 效果报告,自 2026 年 2 月起公开预览:显示引用次数及背后的查询(Bing) |
| Perplexity、Claude、Gemini 应用 | 它们的文档中没有面向网站所有者的报告。每月问同样的问题,做法和 ChatGPT 20 个问题测试一样。 |
另外,问每位新来电的客户是怎么找到您的。
示例
网站在屏蔽机器人的防火墙后面的屋顶承包商
网站在 Google 上有排名,也出现在 Gemini 中,但从未出现在 Perplexity 或 Claude 中。主机的防火墙默认屏蔽“AI 机器人”。放行 PerplexityBot、Claude-SearchBot 和 Claude-User 后问题解决;Gemini 本来就不需要这一步。
多伦多的一家物理治疗诊所
Google 商家资料很完善,但没有 Bing Places 商家信息。它出现在 Gemini 的地点回答中,却不在 Copilot 的回答中。把 Google 商家资料导入 Bing Places 后,等 Bing 的发布周期结束,就有资格出现了。
屏蔽了 Google-Extended 的会计师
他不想让自己的文章被用于 AI 训练。他在 Google 上的排名没有变化,但 Gemini 应用再也无法用他的页面作为回答依据。他现在只对文章目录保留屏蔽,服务页面则放行。
您的情况不同?
- 您的客户用的是 ChatGPT:如何让 ChatGPT 推荐您的商家。
- 您从没设置过 Bing:Bing Places 和 Copilot。
- 您在考虑屏蔽哪些机器人:该不该屏蔽 AI 爬虫?
- Google 的 AI 回答对您最重要:本地服务的 AI 概览和 AI 模式。
- 有人给您报了 GEO 月费:GEO 值得花钱做吗?
- 您希望有人代劳并追踪效果:SEO 与 GEO 智能体。