为 LLM 优化您的网站:爬虫、结构化数据和常见问题
简短回答 要为 LLM 优化网站,就要放行它们的搜索机器人,并给它们纯文字。在 robots.txt 和防火墙中允许 OAI-SearchBot、PerplexityBot、Googlebot 和 Bingbot,让 Google 和 Bing 收录您的网页,并把关键信息写在网页的 HTML 里,而不是只放在 JavaScript 或图片中。结构化数据和 FAQ 标记可有可无;Google 不使用 llms.txt。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话LLM 是怎么访问您的网站的?
主要是通过一个已经抓取过您网页的搜索系统。Google 的 AI 回答读取 Google 的索引,Copilot 读取 Bing 的索引,而 ChatGPT、Perplexity 和 Claude 会派出各自的搜索机器人。Google 的 AI 优化指南写道:
"The way Google Search finds and processes your pages remains the core of how our AI systems access your data." (Google Search Central: Optimizing for generative AI features) 译文:“Google 搜索发现和处理您网页的方式,仍然是我们的 AI 系统获取您数据的核心。”
| AI 回答 | 从哪里读取您的网站 | 需要满足的条件 |
|---|---|---|
| Google AI 概览(AI Overviews)和 AI 模式(AI Mode) | Google 搜索索引 | 网页已被收录、允许显示摘要、“Search generative AI”设为 Include |
| Microsoft Copilot、Bing AI 摘要 | Bing 索引 | 允许 Bingbot,网页已被 Bing 收录 |
| ChatGPT 搜索 | OAI-SearchBot | robots.txt 和防火墙都放行该机器人 |
| Perplexity | PerplexityBot | 同上 |
| Claude | Claude-SearchBot | 同上 |
Microsoft 表示,Bing 和 Copilot“rely on the same core crawling, indexing, and ranking foundation as traditional search”(依靠与传统搜索相同的核心抓取、索引和排名基础)(Bing Webmaster Guidelines)。机器人名称来自各公司的爬虫说明页面。
第 1 步:让 AI 搜索机器人通过 robots.txt 和防火墙
打开 yourdomain.com/robots.txt。查看 OAI-SearchBot、PerplexityBot、Claude-SearchBot、Googlebot、Bingbot 或“User-agent: *”(所有机器人)下面有没有“Disallow: /”这一行。屏蔽 GPTBot 和 ClaudeBot 这类训练机器人,并不会让您从 AI 回答中消失。各机器人分别做什么:该不该屏蔽 AI 爬虫?
然后检查防火墙,因为被防火墙拦下的机器人根本读不到 robots.txt。Google 列出的 AI 功能基本要求中,包括允许“by any CDN or hosting infrastructure”(任何 CDN 或托管基础设施)放行抓取。OpenAI 建议为 OAI-SearchBot“allowing requests from our published IP ranges”(允许来自我们公布的 IP 范围的请求),Perplexity 对 PerplexityBot 也有同样要求。两个常见陷阱:
- “验证您是真人”页面。 Anthropic 表示,它的机器人“will not attempt to bypass CAPTCHAs”(不会尝试绕过验证码)。验证页面会把它们挡在外面。
- Cloudflare 的 Bot Fight Mode。 Perplexity 的文档提醒,即使您添加了放行规则,它也“can still challenge Perplexity bots”(仍可能拦截 Perplexity 的机器人进行验证)。
修改需要时间生效。OpenAI 表示,robots.txt 更新后大约需要 24 小时。
第 2 步:让 Google 和 Bing 收录您的网页
Google 的 AI 回答只会链接已被收录、并且“eligible to be shown in Google Search with a snippet”(有资格在 Google 搜索中带摘要显示)的网页(Google Search Central: AI features and your website)。Copilot 使用 Bing 的索引。所以:
- 在 Google Search Console 和 Bing Webmaster Tools 中验证您的网站,并向两者提交 XML 站点地图。Bing 会立即抓取新的站点地图,之后“typically at least once per day”(通常至少每天一次)(Bing Webmaster Blog, July 2025)。
- 在两个工具中对主要网页运行网址检查(URL Inspection)。Bing 的 Live URL 选项卡会显示“exactly what the Bingbot sees”(Bingbot 看到的确切内容)。
- 如果您的建站平台支持 IndexNow,就把它打开。Bing 表示,它会在“individual URLs are added, updated, or removed”(单个网址被添加、更新或删除)时通知“Bing and participating search engines”(Bing 和参与的搜索引擎)。
- 在 Search Console 中,打开 Settings(设置),再打开 Search generative AI。默认是 Include。选择 Exclude 会把您的链接和内容从 AI 概览、AI 模式以及 Google Discover 的 AI 功能中移除。到 2026 年 8 月 31 日,Google 已向全球所有网站推出这项设置,所以请确认没有人把它关掉。
网页没出现在 Google 上:网站在 Google 上搜不到,以及已抓取或已发现,但尚未编入索引。
第 3 步:把关键信息写进 HTML,而不是只放在 JavaScript 或图片里
快速测试:打开一个服务页面,右键点击,选择“查看网页源代码”,然后搜索(Ctrl+F,Mac 上是 Cmd+F)您的电话号码、一个服务名称和一个价格。如果源代码里找不到,说明它们是网页加载后由 JavaScript 画上去的,有些 AI 爬虫可能永远看不到。
- Google: 服务器端渲染或预渲染“is still a great idea because it makes your website faster for users and crawlers, and not all bots can run JavaScript”(仍然是个好主意,因为它能让网站对用户和爬虫都更快,而且并非所有机器人都能运行 JavaScript)(Google Search Central: JavaScript SEO basics)。
- Bing 把“Hiding critical content behind client-side rendering”(把关键内容藏在客户端渲染后面)列为应避免的做法。
- 网站托管商 Vercel 在 2024 年 12 月的一项测试发现,OpenAI、Anthropic 和 Perplexity 的爬虫不运行 JavaScript;Googlebot 会运行。它们如今的爬虫说明页面对 JavaScript 只字未提,所以请按它们仍不运行来做打算。
解决办法是对主要内容使用服务器端渲染或预渲染;如果是定制网站,这需要开发人员来做。聊天窗口和评价轮播可以继续用 JavaScript。
图片里的文字也有同样的问题。Google 的检查清单包括“Making sure that important content is available in textual form”(确保重要内容以文字形式提供),Bing 也表示图片和视频“should not be the sole source of information”(不应是唯一的信息来源)。照片里的价目表、存成 JPG 的菜单、只在地图上显示的服务范围:请把它们用文字写在网页上。
第 4 步:检查会把您挡在 AI 回答之外的标签
Meta robots 标签可以在代码里设置,也可能由 SEO 插件添加,它们会限制 AI 回答能用的内容。在网页源代码中搜索“robots”和“snippet”。
| 标签 | Google AI 概览和 AI 模式 | Copilot |
|---|---|---|
| noindex | 从 Google 搜索中消失,AI 功能也一样 | 从 Bing 搜索和 Copilot 中消失 |
| nosnippet | 没有摘要,因此没有资格作为辅助链接 | “may limit Copilot citation quality”(可能降低 Copilot 的引用质量) |
| data-nosnippet、max-snippet | 限制 Google 可以显示的文字 | data-nosnippet:与 nosnippet 相同 |
| noarchive | 不在 Google 的 AI 控制项列表中 | “prevents content from being used in Copilot responses”(阻止内容被用于 Copilot 回答) |
| nocache | 不在 Google 的 AI 控制项列表中 | Copilot 只能获得网址、标题和摘要 |
来源:Google Search Central(AI features and your website)和 Bing Webmaster Guidelines。在私密页面上用这些标签没问题。在服务页面上,它们通常是开发人员或插件留下的。
LLM 需要结构化数据吗?
不需要。Google 表示:
"Structured data isn't required for generative AI search, and there's no special schema.org markup you need to add." (Google Search Central: Optimizing for generative AI features) 译文:“生成式 AI 搜索不需要结构化数据,也没有需要您额外添加的特殊 schema.org 标记。”
Microsoft 的态度更积极一些:结构化数据“may support clearer grounding but does not guarantee visibility”(可能有助于更清晰的依据,但不保证曝光),并且“must accurately reflect visible content”(必须准确反映可见内容)(Bing Webmaster Guidelines)。OpenAI 和 Perplexity 的爬虫说明页面都没有提到它。只有当 LocalBusiness 或 Organization 标记与访客看到的内容一致时,才保留它们。哪些类型仍然有用:本地商家结构化数据标记。
FAQ 板块对 AI 回答有帮助吗?
页面上看得见的问答可以有帮助。FAQ 标记在 Google 上已经不会带来任何可见的展示:Google 从 2026 年 5 月 7 日起不再显示 FAQ 富媒体搜索结果(Google Search Central: documentation updates)。Microsoft 在推出其 AI 引用报告时表示:“Clear headings, tables, and FAQ sections help surface key information and make content easier for AI systems to reference accurately.”(清晰的标题、表格和 FAQ 板块有助于呈现关键信息,让 AI 系统更容易准确引用内容。)
让 FAQ 能被读到的,是网站设置:
- 写在 HTML 里。 答案必须通过网页源代码测试,而不是要等有人点击问题才加载。
- 放在服务页面上。 Bing 表示:“URLs focused on a primary topic are more likely to be selected for grounding results.”(专注于一个主要主题的网址更可能被选为回答依据。)价格问题请在价格页面上回答,而不是集中在一个包罗万象的 FAQ 页面。
- 放在靠前的位置。 Bing 表示:“Place essential information near the top of the URL.”(把重要信息放在网页靠前的位置。)
可以跳过的:llms.txt 和给 AI 看的隐藏文字
- llms.txt 和 Markdown 副本。 Google 表示:“You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them.”(您不需要为了出现在 Google 搜索中(包括其生成式 AI 功能)而创建新的机器可读文件、AI 文本文件、标记或 Markdown,因为 Google 搜索本身不使用它们。)在 Google 上保留这样一个文件“will neither harm nor help”(既无害也无益)。OpenAI、Perplexity 和 Anthropic 的爬虫说明页面也没有要求网站所有者提供。
- 针对 AI 的隐藏文字。 Bing 警告,“designed to manipulate or interfere with language models used by Bing or Copilot”(旨在操纵或干扰 Bing 或 Copilot 所用语言模型)的内容“may result in reduced visibility or removal”(可能导致曝光降低或被移除)。自 2026 年 5 月起,禁止隐藏文字的 Google 垃圾内容政策也涵盖了“attempting to manipulate generative AI responses”(试图操纵生成式 AI 回答)。
怎么知道 AI 工具能读到您的网站?
- Copilot: Bing Webmaster Tools 的 AI Performance 报告自 2026 年 2 月起公开预览,会显示哪些网页在 Copilot 和 Bing 的 AI 摘要中被引用。
- Google: Search Console 的 Generative AI 效果报告涵盖其 AI 功能(Google 的 AI 优化指南)。
- ChatGPT: 它会在发出的链接上加上 utm_source=chatgpt.com,所以这些访问会出现在您的分析数据里(OpenAI Help Center)。
完整的分阶段检查:GEO 成熟度模型。
示例
以下为说明性案例,并非客户结果。
价目表是一张照片的园林绿化商
价格页面是一张印刷传单的扫描件。查看网页源代码,里面没有价格,所以没有任何爬虫读得到。他把五项主要价格用表格写在网页上,传单则保留为可下载文件。
被机器人验证挡住的牙科诊所
一个安全插件会向它不认识的访客显示“验证您是真人”。PerplexityBot 和 Claude 的机器人收到的都是验证页面。解决办法:按公布的 IP 范围放行经过验证的搜索机器人,其他访客照常验证。
用 JavaScript 应用搭建的律师事务所网站
网页源代码里只有一个标题和一段脚本,别的什么都没有。Bing 的 Live URL 视图证实了这个缺口。开发人员为各业务领域页面开启了预渲染,现在网页源代码测试能看到每一个段落。
常见问题
网页速度对 AI 爬虫重要吗?
Google 的 AI 指南把网页体验(包括“reducing latency”,即降低延迟)列为基本要求之一。OpenAI、Perplexity 和 Anthropic 的爬虫说明页面没有规定速度门槛。关于访客体验,请看 Core Web Vitals(核心网页指标)。
修改多久后才生效?
OpenAI:robots.txt 修改后大约 24 小时。Google:抓取需要“anywhere from several days to several months”(几天到几个月不等)。切换 Search generative AI 设置一般需要几天。
在加拿大有什么不同吗?
没有。Google 的 Search generative AI 设置适用于全球,OpenAI、Perplexity、Anthropic 和 Bing 的爬虫规则也没有国家限制。
我需要开发人员吗?
第 1、2、4 步通常不需要:它们都是您的托管商、防火墙、Search Console 和 Bing Webmaster Tools 里的设置。如果您的网页是用 JavaScript 搭建的,第 3 步往往需要。
您的情况不同?
- 您在考虑屏蔽哪些 AI 机器人:该不该屏蔽 AI 爬虫?
- 您的网页在 Google 上完全搜不到:网站在 Google 上搜不到
- 您想了解结构化数据的细节:本地商家结构化数据标记
- Copilot 把您的营业时间或地址弄错了:Bing Places 和 Copilot
- 您的网站搭建方式让爬虫只看到空白页面:网站智能体
- 您宁愿让别人帮您检查设置:SEO 与 GEO 智能体