AI 如何搜索网络:带实时搜索的大语言模型详解
简短回答 AI 聊天机器人通常凭训练记忆回答,而这份记忆截止于几个月前;只有当它判断问题需要最新信息时,才会去搜索。这时它把问题改写成几个简短的搜索词,在搜索索引中查找,读取其中一些页面,再写出带引用的回答。只有这些搜索能找到并读取您的页面,您的商家才会出现在回答里。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话大语言模型如何搜索互联网?
它不像您那样浏览网页。大语言模型(LLM)是 ChatGPT、Claude、Gemini 和 Copilot 背后的引擎,它首先根据训练中学到的内容回答。当问题需要更新的信息时,它会走一遍查找流程:
| 步骤 | AI 做什么 |
|---|---|
| 1. 判断 | 判断搜索能否让回答更好 |
| 2. 改写 | 把您的问题改写成几个简短的搜索词,本地问题还会加上您的大致位置 |
| 3. 搜索 | 把搜索词发到搜索索引:这是网络的存档副本,不是实时网络 |
| 4. 阅读 | 读取搜索结果,有时会当场打开某个页面 |
| 5. 重复 | 读完第一批结果后,再做更精确的搜索 |
| 6. 回答 | 写出回复,并引用用到的页面 |
Google 的开发者文档这样描述 Gemini 的第 1 步:
"The model analyzes the prompt and determines if a Google Search can improve the answer." (Google AI Studio docs: Grounding with Google Search) 译文:“模型会分析提示,判断 Google 搜索能否改进回答。”
OpenAI 描述了 ChatGPT 的第 2 步和第 5 步:它“typically rewrites your query into one or more targeted queries”(通常会把您的查询改写成一个或多个有针对性的查询),在看过第一批结果后“may send additional, more specific queries”(可能再发送更多、更具体的查询)。Microsoft 表示,Copilot 的查询“consists of a few words informed by the user's prompt”(由根据用户提示得出的几个词组成)(Microsoft Learn)。
研究人员把这种做法称为检索增强生成(RAG):先查资料,再写回答。2020 年提出这个名称的论文,把语言模型和一个可搜索的维基百科索引结合起来(Lewis et al.)。Google 把同样的思路称为“接地”(grounding)。
这对您意味着什么:AI 只能引用第 3 步返回的内容。那些简短搜索找不到的页面,或者爬虫读不了的页面,不会出现在回答里。
ChatGPT 什么时候搜索,什么时候凭记忆回答?
当答案可能在训练之后发生了变化,它就会搜索。OpenAI 表示:“ChatGPT may search the web automatically when your question would benefit from current information.”(当您的问题需要最新信息时,ChatGPT 可能会自动搜索网络。)您也可以在工具菜单中选择“搜索”强制它搜索。网页搜索在所有 ChatGPT 套餐中都可用,包括免费版,未登录的用户也能用(OpenAI Help Center)。
Anthropic 的开发者文档列出了 Claude 什么时候搜索、什么时候不搜索:
| 通常会搜索 | 通常凭记忆回答 |
|---|---|
| 最新新闻和公告 | 已成定论的事实、数学、科学基础知识 |
| 当前价格、汇率、比分 | 写作和头脑风暴 |
| 可能已经变化的机构、人物或产品 | 您粘贴到对话里的文字 |
| 任何要求查一查的请求 | 问候和闲聊 |
第三行就包括您的商家。记忆有截止日期:OpenAI 最新模型列出的知识截止日期在 2026 年 4 月 30 日到 6 月 1 日之间,Anthropic 当前的 Claude 模型是 2026 年 6 月(OpenAI API docs: Models;Claude docs: Models overview)。在那之后您修改的价格、地址或服务,只有通过搜索才能进入 AI 的回答。如果聊天机器人跳过搜索,它可能会重复以前的情况。
每个 AI 用的是哪个搜索引擎?
它们各自搜索不同的索引,所以被一个找到不等于被所有的找到。每一个的设置方法见如何在 Perplexity、Gemini 和 Claude 中获得排名。
| AI | 搜索发往哪里 | 谁来读取您的网站 |
|---|---|---|
| ChatGPT | 合作搜索服务商(包括 Microsoft),加上 OpenAI 自己的搜索 | OAI-SearchBot 建立索引;有人提问时由 ChatGPT-User 打开页面 |
| Copilot | Bing | Bingbot |
| Gemini | Google 的搜索索引 | Googlebot |
| Claude | Anthropic 的网页搜索工具 | Claude-SearchBot 为搜索抓取;有人提问时由 Claude-User 打开页面 |
| Perplexity | 自己的搜索 | PerplexityBot 建立索引;有人提问时由 Perplexity-User 打开页面 |
Google 把 Gemini 的接地定义为“providing content from the Google Search index to the model at prompt time”(在提示时把 Google 搜索索引中的内容提供给模型)(Google's common crawlers)。Perplexity 表示它是“in real-time”(实时)搜索的(Perplexity Help Center)。
AI 会实时读取我的网站吗?
大多数时候它读的是存档副本。“实时搜索”通常是指搜索一个索引,而索引里保存的是爬虫上次看到的页面。有些助手也会在有人提问时打开页面:OpenAI 表示 ChatGPT“may visit a web page with a ChatGPT-User agent”(可能会用 ChatGPT-User 代理访问网页)。Anthropic 和 Perplexity 也有类似的抓取程序。
由此带来三点:
- 修改需要时间才能生效。 AI 引用的是它手上的副本。Microsoft 表示,IndexNow(一种通知 Bing 和其他搜索引擎页面已更新的方式)“helps ensure that AI systems reference the most current version of a page when generating answers”(有助于确保 AI 系统在生成回答时引用页面的最新版本)(Bing Webmaster Blog,2026 年 2 月)。
- 爬虫必须能进来。 OpenAI 请网站所有者确认“the website host or content delivery network allows traffic from OpenAI's published searchbot IP addresses”(网站主机或内容分发网络允许来自 OpenAI 公布的搜索爬虫 IP 地址的流量)。防火墙或屏蔽机器人的设置,可能在这些爬虫读到任何内容之前就把它们拦下。参见该不该屏蔽 AI 爬虫?
- 它读文字,不运行脚本。 2024 年 12 月一项针对 Vercel 网络流量的研究发现,ChatGPT 和 Claude 的爬虫会下载 JavaScript 文件,但不会运行,所以脚本在页面上生成的内容它们都看不到;使用 Googlebot 的 Gemini 则会运行脚本(Vercel)。Google 把“Making sure that important content is available in textual form”(确保重要内容以文字形式提供)列为其 AI 功能的基本要求之一。
所以要把价格、服务区域和营业时间写在页面文字里,而不是只放在图片、PDF 或小组件中。
为什么带来源的 AI 回答仍然会出错?
引用只说明 AI 去哪里看了,不说明它读对了。OpenAI 自己的帮助页面就这么说:
"Search results and citations can be incomplete, outdated, or incorrect." (OpenAI Help Center: Searching the web with ChatGPT) 译文:“搜索结果和引用可能不完整、过时或不正确。”
| 哪里出错 | 会发生什么 |
|---|---|
| 搜索词太短 | 几个词漏掉了问题中关键的具体信息 |
| 存档副本太旧 | 您改了页面,爬虫还没回来过 |
| 来源有误 | 旧的目录信息还显示您以前的地址 |
| 根本没搜索 | AI 凭您修改之前的训练数据回答 |
| 个人上下文 | ChatGPT 改写搜索时可能会用到已保存的记忆,所以两个人可能得到不同的结果(OpenAI Help Center) |
模型在训练中学到的东西您改不了。您能改的是它引用的页面或商家信息。想知道 ChatGPT 现在怎么说您,就做一次 20 个问题测试。
我能给自己的聊天机器人加上实时网页搜索吗?
可以,通过各家 AI 公司的开发者工具。有一个常见建议已经过时了:Microsoft 已于 2025 年 8 月 11 日停用 Bing Search API,并引导客户改用“Grounding with Bing Search as part of Azure AI Agents”(Azure AI Agents 中的 Bing 搜索接地功能)(Microsoft Lifecycle)。
| 服务商 | 工具 | 说明 |
|---|---|---|
| OpenAI | API 中的网页搜索工具 | 推理模型“can refine its searches as it reads results”(可以边读结果边细化搜索) |
| Anthropic | Claude API 中的网页搜索工具 | 每 1,000 次搜索 US$10,另加用量费用;查一个事实通常需要 1–3 次搜索 |
| Gemini API 中的 Grounding with Google Search | 返回带引用的回答以及所用的搜索词 | |
| Microsoft | Azure AI Agents 中的 Grounding with Bing Search | Bing Search API 的替代方案 |
您自己网站上的聊天机器人通常需要的恰恰相反:根据您自己的页面回答,而不是整个开放网络。以 Anthropic 的工具为例,它可以限定只搜索您列出的域名。
示例
以下为示意案例,数字为虚构。
丹佛的一家牙科诊所(美元)
它在 2026 年 9 月把洁牙价格从 US$120 涨到 US$140,晚于最新模型的知识截止日期。不搜索时,聊天机器人可能报 US$120;搜索时,它会读到价格页面。解决办法:把新价格以文字形式写在网站和每个商家信息平台上,并使用 IndexNow,让 Bing 更快收录这次修改。
卡尔加里的一家屋顶公司(加元)
报价小组件只有在脚本运行后才会显示“更换屋顶 C$9,000 起”。不运行脚本的爬虫只看到一个空框。解决办法:在小组件下面加一句写明价格区间的普通文字。
一家搬了家的律师事务所
Perplexity 引用了一条旧的目录信息,上面是以前的地址。事务所自己的网站是对的,但在 AI 做的那次简短搜索中,目录排在了前面。解决办法:更正目录信息,一周后再问一次。
常见问题
ChatGPT 能上网吗?
能,所有套餐都可以,包括免费版,未登录也行。当问题需要最新信息,或您选择“搜索”时,它就会搜索。
ChatGPT 的信息是最新的吗?
只有在它搜索时才是。否则它凭训练数据回答;OpenAI 最新模型的知识截止日期在 2026 年 4 月到 6 月之间。
什么是 RAG?
检索增强生成:AI 先取回文档,再根据文档写回答。Google 的 AI 功能会检索“up-to-date web pages from our Search index”(我们搜索索引中的最新网页)。
我能看到 AI 搜了什么吗?
有时可以。Copilot Chat 会显示它发给 Bing 的“the exact web search queries”(确切的网页搜索查询);Bing Webmaster Tools(预览版)会显示一部分 AI 接地查询的样本。
您的情况不同?
- 您不确定防火墙或 robots.txt 是否屏蔽了 AI 爬虫:该不该屏蔽 AI 爬虫?
- 您想了解每个助手的索引和商家信息平台:如何在 Perplexity、Gemini 和 Claude 中获得排名
- 本地问题中 ChatGPT 推荐的是别家:ChatGPT 从哪里找到本地商家
- 您从没设置过为 Copilot 提供数据的 Bing:Bing Places 和 Copilot
- 您想看看 ChatGPT 今天怎么说您:20 个问题测试
- 您希望有人让您的页面对每个引擎都保持最新、可读:SEO 与 GEO 智能体