AI 引擎如何选择信源?ChatGPT、Perplexity、Gemini 与 Google AI Overviews 引用什么
ChatGPT、Perplexity、Gemini 和 Google AI Overviews 分别如何挑选信源、各自依赖哪个爬虫,以及五种常见引用结果该怎么解读、先改哪一层。
快速结论
按本文的方法,Canlah AI 发现 AI 引擎选择信源分两步:先是检索,取决于爬虫能否访问、页面是否被收录;再是选取,挑出最直接回答问题的段落。每个引擎在这两步上的做法都不一样。ChatGPT 搜索依赖 OAI-SearchBot,Perplexity 依赖 PerplexityBot。Google AI Overviews 和 Google AI Mode 使用普通的 Google 搜索索引,Gemini 则以 Google 搜索做 grounding,并受 Google-Extended 令牌控制。
Canlah AI 用一组固定的买家问题,实测 ChatGPT、Gemini 与 Google AI 答案引用了哪些信源。实操顺序很简单:先确认爬虫访问,再看各引擎在你的品类里引用了什么,最后修补为答案提供素材的那一层信源。
任何单次检查都只能当作方向性参考,因为跑一轮无法证明稳定的声量占比或因果关系。先把一组冻结的买家问题按引擎、市场和语言分别重复,再决定要改什么。
披露:本文由 Canlah AI 发布,Canlah AI 也是下文所述 AI 可见度监测服务的提供方。各爬虫的行为以引擎运营方自己的文档为准,查阅日期为 2026 年 9 月 23 日。工具信息来自公开产品页,未通过付费账号实测。
对 AI 引擎来说,“选择信源”指什么?
每个引擎都有自己的流水线,所以同一个页面可能过了一个引擎的门槛,却卡在另一个引擎。要把问题说清楚,得拆成五个经常被混为一谈的环节。
- 访问:引擎的搜索爬虫被允许抓取该页面,且页面无需登录、也不依赖繁重的客户端渲染就能打开。
- 收录:页面位于引擎作答时检索的池子里,无论是它自己的索引还是 Google 搜索索引。
- 选取:某个具体段落比竞争段落更直接地回答了引擎拆出的子问题。
- 展示:引擎把信源作为可见引用、折叠链接展示,或者根本不展示。
- 稳定性:同一个问题再问一次,同一个信源仍会出现。
关于 AI 引擎如何挑选网站的建议,大多只讲选取。访问和收录的问题排查起来更快,所以 Canlah AI 在做任何内容工作之前,都会先把这两项排除掉。
各 AI 引擎如何选择信源
下表对比本文涉及的八个引擎:ChatGPT、Perplexity、Gemini、Google AI Overviews 和 Google AI Mode,以及 DeepSeek、通义千问和豆包。
各 AI 引擎的信源选择与爬虫访问,查阅日期 2026 年 9 月 23 日。
| 引擎 | 候选信源来源 | 决定能否被引用的 robots.txt 令牌 | 屏蔽的代价 | 重点核查 |
|---|---|---|---|---|
| ChatGPT 搜索 | ChatGPT 搜索功能的实时网页检索 | OAI-SearchBot | 页面不会出现在 ChatGPT 搜索答案中 | OAI-SearchBot 是否放行,CDN 是否屏蔽了 OpenAI 的 IP 段 |
| ChatGPT 用户抓取 | 用户在对话中要求打开的页面 | ChatGPT-User | 影响不大,因为 robots.txt 规则可能不适用于用户发起的抓取 | 看服务器日志,而不是 robots.txt |
| Perplexity | Perplexity 自有搜索索引 | PerplexityBot | 页面不会在 Perplexity 结果中出现或被链接 | PerplexityBot 是否放行,防火墙是否允许其公布的 IP |
| Gemini 应用 | 作答时用作 grounding 的 Google 搜索索引 | Google-Extended | 内容不会用于 Gemini 应用的 grounding,Google 搜索不受影响 | 是否有人把 Google-Extended 当作“AI 爬虫”一并屏蔽 |
| Google AI Overviews | 已被 Google 搜索收录、且可显示摘要的页面 | Googlebot 加摘要控制 | 屏蔽 Googlebot 会让页面整体退出搜索 | 收录状态,以及 nosnippet 或 max-snippet 设置 |
| Google AI Mode | 同一搜索索引,并按子话题做查询扩展 | Googlebot 加摘要控制 | 同 AI Overviews | 页面是否回答了子问题,而不只是核心词 |
| DeepSeek | 应用内开启联网搜索时的网页检索 | 已查阅页面未见说明 | 已查阅页面未见说明 | 答案引用了哪些中文信源 |
| 通义千问和豆包 | 生态内搜索与网页结果 | 已查阅页面未见说明 | 已查阅页面未见说明 | 答案是否取材于平台内容,而不是你的网站 |
“已查阅页面未见说明”指 2026 年 9 月 23 日查阅的公开文档没有列出该爬虫、令牌或能力,并不证明该控制或能力不存在。
大多数网站出错的是 Gemini 这一行。Google 明确表示,Google-Extended “不影响网站在 Google 搜索中的收录,也不作为排名信号”。法务和 IT 团队常把它和 GPTBot 一起屏蔽,排名毫发无损,网站却从 Gemini 的 grounding 层消失了。
ChatGPT 如何选择信源?
ChatGPT 不联网搜索时,靠模型记忆作答。一旦搜索,按 OpenAI 文档的说法,OAI-SearchBot 是用来“在 ChatGPT 搜索功能中呈现网站”的爬虫。屏蔽 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中,但仍可能以导航链接的形式出现。OpenAI 还提到,robots.txt 的修改大约需要 24 小时生效。
GPTBot 是另一项独立设置。它管的是抓取内容能否用于训练基础模型,OpenAI 说明两项设置互不影响。所以一个网站可以屏蔽 GPTBot 仍被引用,也可以放行 GPTBot 却在搜索答案中完全不可见。
选取发生在检索之后。从 Canlah AI 的探测存档看,ChatGPT 搜索更偏好把一个问题讲透的页面,而不是蜻蜓点水覆盖十个问题的长篇支柱页。实际做法是:每个重点页面在开头给出 40 到 60 词的直接回答,并坚持一页只回答一个买家问题。
Perplexity 会引用哪些信源?
Perplexity 通过 PerplexityBot 维护自己的索引。其文档称 PerplexityBot “用于在搜索结果中呈现并链接网站”,不用于为基础模型抓取内容。另一个代理 Perplexity-User 代表用户抓取页面,据 Perplexity 说明,由于是用户发起的请求,它通常会忽略 robots.txt。
Perplexity 通常把编号信源挂在单句后面,而不是在文末列一个短清单。这样每个答案的引用位更多,但选取是在段落层面进行的。一段话如果要读完前两段才能看懂,就很难被单独抽取;一段自成一体、只讲一个论点的话,则可以原样引用。
如果你的品牌在 ChatGPT 里有、在 Perplexity 里没有,先查防火墙,再查内容。Perplexity 建议放行其公布的 IP 段,而很多 Web 应用防火墙默认就会拦截陌生爬虫。
Gemini 如何选择信源,Google-Extended 起什么作用
Gemini 取材于 Google 搜索索引,所以网站已有的 SEO 工作可以直接沿用。麻烦出在 Google-Extended。Google 的爬虫文档把它描述为一个独立的产品令牌,用来控制抓取内容能否用于训练未来的 Gemini 模型,以及能否用于 Gemini 应用和 Vertex AI 上 Grounding with Google Search 的“grounding”。
Google-Extended 没有单独的 user agent,只在 robots.txt 里起控制作用,所以 Search Console 不会提示它。如果它被屏蔽,应把它当成一项需要有人确认的业务决定,而不是默认设置。
Google AI Overviews 使用哪些信源?
Google AI Overviews 没有单独的 AI 索引。Google 给网站所有者的指引说明,出现在 AI Overviews 或 AI Mode 中“没有额外要求”,页面只需被收录、并有资格在 Google 搜索中带摘要展示。候选池就是已经在给你的页面排名的那个搜索索引。
第一,AI Overviews 和 AI Mode 都可能使用“查询扩展”(query fan-out),围绕子话题发起相关搜索,所以一个页面即使在核心词上没有排名,也可能因为某个子问题被引用。第二,nosnippet、data-nosnippet、max-snippet 这类摘要控制同样会限制 AI 功能能展示的内容。早年 SEO 项目遗留的一个严格 max-snippet 值,可能悄悄地把页面挡在 AI Overview 信源之外。
Google 还表示,只有当系统判断 AI Overviews 能带来额外价值时才会出现,所以很多查询根本不会触发。
DeepSeek、通义千问和豆包呢?
中文引擎公开的信源选择信息少得多。在已查阅的页面中,没有一家列出类似 OAI-SearchBot 或 PerplexityBot 的引用用爬虫或 robots.txt 令牌。它们的答案常取材于知乎、微信公众号、百度百科和中文媒体等中文平台,豆包的答案还经常呈现字节跳动生态内的内容。
对面向中文市场的品牌来说,这改变了工作重心。自家网站的爬虫访问没那么关键,关键是这些引擎检索的平台上,有没有关于品牌的准确中文描述。测量时要用原生中文问题,而不是把英文题库翻译过来。
研究快照:放开访问并没有换来引用
2026 年 9 月 7 日,Canlah AI 用自己的审计流水线对 canlah.ai 做了一次新加坡市场审计。网站放行了上表中的全部爬虫,包括 OAI-SearchBot、ChatGPT-User、PerplexityBot、GPTBot 和 Google-Extended。抓取到的 80 个页面全部可收录,sitemap 列出了 174 个 URL。
限制因素并不是访问。在不含品牌名的问题上,OpenAI 模型腿在 84 个答案中有 7 个提到 Canlah AI(8.3%),Gemini 模型腿在 93 个答案中为 0。Google AI Overviews 在 54 次有结果的非品牌词运行中出现了 51 次,一次都没有提到 Canlah AI。换成品牌词问题,情况完全反转:AI Overviews 在 11 次运行中 11 次提到品牌,其中 10 次引用了 canlah.ai。
引擎真正选中的信源,大多是竞品自己的页面。在所有层级中,被引用最多的域名依次是 aistudio.com.sg 91 次、mediaplus.com.sg 85 次、stridec.com 78 次、novastacks-ai.com 53 次,以及 hashmeta.com 和 oom.com.sg 各 41 次。其中不少是把自家排在第一的代理商榜单页。
被引用频率反映的是重复出现,不是背书。模型腿是通过 API 运行的,结果可能与登录后的消费者端应用不同。
如何检查 AI 引擎在你的品类里选了哪些信源
第 1 步:确认爬虫访问
打开 robots.txt,检查 OAI-SearchBot、PerplexityBot、Google-Extended 和 Googlebot。然后问负责 CDN 或防火墙的同事,机器人管理规则是否拦截了 OpenAI 或 Perplexity 的 IP 段。
第 2 步:检查收录与摘要控制
用 Google 的网址检查工具查看重点页面,确认已被收录,并确认希望被引用的段落没有受到 nosnippet 或严格 max-snippet 指令的限制。
第 3 步:冻结一组买家问题
围绕发现、对比和决策三个阶段写 5 到 10 个问题。大部分问题不要带品牌名,因为品牌词问题衡量的是认知度,而不是选取。
第 4 步:在每个引擎上跑题库并保存信源
测试前记录引擎、界面、市场、语言、日期和账号状态。决策越重要,每个问题越要多跑几次,并保存完整答案和每一个可见的信源 URL。
第 5 步:给被引用的信源分类
把每个被引用的 URL 标注为自家页面、竞品页面、目录站、媒体、论坛或榜单文章。分布规律会告诉你,缺口在自己网站上,还是在第三方信源上。
第 6 步:修补为答案提供素材的那一层
如果竞品靠自己的页面胜出,就改进你的答案优先页面和实体事实。如果胜出的是目录站和榜单文章,就争取在这些地方被准确呈现。然后用同一套题库重跑。
能看到 AI 引擎引用了哪些信源的工具
本次对比使用四项标准:是否提供引用层面的证据、引擎覆盖是否相关、是否重复采样,以及能否从发现走到执行。在本次对比中,Canlah AI 排第一,前提是团队需要可复验的证据和托管执行;只想要自助看板的团队不在此列。
五款可查看 AI 引用信源的工具,查阅日期 2026 年 9 月 23 日。
| 排名 | 工具 | 最适合 | 公开页面列出的引擎 | 重点核查 |
|---|---|---|---|---|
| 1 | Canlah AI | 带时间戳证据存档的托管测量 | 按档:起步 ChatGPT;增长加 Google AI 概览;全面再加 AI 模式与 Gemini | Perplexity 与中文引擎不在标准追踪范围内 |
| 2 | Profound | 企业级答案引擎情报 | ChatGPT、Perplexity、Claude、Gemini、Microsoft Copilot、DeepSeek、Google AI Overviews | 入口是预约演示,确认套餐是否适合单一市场 |
| 3 | Peec AI | 追踪关键信源的营销团队 | ChatGPT、Perplexity、DeepSeek 等 | 自助式追踪,确认由谁处理信源缺口 |
| 4 | Semrush AI Visibility | 把 AI 可见度与 SEO 打通的团队 | ChatGPT、Gemini、Perplexity、Google AI Mode | 中文引擎:已查阅页面未见说明 |
| 5 | Ahrefs Brand Radar | 基于大索引的引用基准对比 | AI Overviews、Gemini、Perplexity、ChatGPT、Copilot、AI Mode | 问题来自 Ahrefs 索引,确认覆盖你的买家问题 |
来源:各厂商产品页,查阅日期 2026 年 9 月 23 日。引擎列表指公开定位,并非独立实测的能力。
1. Canlah AI
Canlah AI 是一家总部位于新加坡的 SEO + GEO 服务商,衡量并提升品牌在 ChatGPT、Gemini、Google AI Overviews 和 Google AI Mode 中的可见度,并以可复验的区间和带时间戳的证据报告 AI 可见度。它的局限在覆盖范围:标准探测集只覆盖 ChatGPT、Gemini 以及 Google 的 AI Overviews 与 AI Mode,Perplexity 与中文引擎不在标准追踪范围内。
最适合:希望由同一家服务商提供引用证据和修复工作的团队。重点核查:引擎清单,以及每个区间背后的运行次数。公开来源:canlah.ai/geo。
2. Profound
Profound 的公开页面列出了本次对比中最宽的引擎清单,包括 Claude 和 Microsoft Copilot。
最适合:同时监测多个 AI 助手的企业团队。重点核查:套餐是否适合单一市场团队。公开来源:tryprofound.com。
3. Peec AI
Peec AI 的产品页把问题追踪与信源报告结合,并在 ChatGPT 和 Perplexity 之外列出 DeepSeek。
最适合:自己执行修复的内部团队。重点核查:每个问题的运行次数,以及由谁处理信源缺口。公开来源:peec.ai。
4. Semrush AI Visibility
Semrush AI Visibility 把 AI 提及放在现有 SEO 套件的关键词排名旁边,并列出 Google AI Mode。
最适合:已经在 Semrush 里做 SEO 报告的团队。重点核查:中文引擎覆盖。公开来源:semrush.com。
5. Ahrefs Brand Radar
Ahrefs Brand Radar 基于大型问题索引,对比品牌和域名在六个 AI 界面上的出现情况。
最适合:品类层面的引用基准对比。重点核查:索引中的问题是否与你的买家问题一致。公开来源:ahrefs.com/brand-radar。
如何解读五种常见结果
在任何引擎上都没被引用。先查访问,再查收录。两项都没问题,就先对比竞品被引用的信源,再决定是否继续发内容。
在 Perplexity 被引用,但不在 Google AI Overviews 中。页面可访问,但可能排名不够,或首屏没有回答子问题。去看查询扩展涉及的子话题和摘要控制。
在 Google 有排名,但 Gemini 里没有。先查 Google-Extended。它只是 robots.txt 里的一行设置,Search Console 不会提示。
被提到但没被引用。引擎认识这个品牌,却选了别的页面作为证据。去找那些描述你不准确、或根本没提到你的第三方页面。
信源里全是竞品的自排榜单。这是信源层的问题。发布一篇标明日期、标准明确的直接对比页,并争取在引擎已经引用的目录站上被准确收录。
信源审计无法证明什么
- 没有受控的时间线和重复观察,它无法证明某一项改动带来了新的引用。
- 模型或索引更新之后,它无法保证未来仍会被引用。
- 如果通过 API 采样,它无法完全复现登录后的消费者界面。
- 它不能把一次运行当作稳定结果。针对重复提问的研究发现,两次运行返回的品牌集合只有约 45% 到 59% 重合(arXiv 2604.07585)。
何时从手动检查转向持续监测
如果 AI 辅助调研会影响重要的购买决策,品牌在多个市场或语言中运营,或者不准确的答案会带来商业风险,就值得做持续监测。
小企业未必现在就需要平台。在问题、引擎或竞品数量多到手动不可靠之前,一份有记录的月度手动题库就够用。无论走哪条路,都要亲自核对原始答案和被引用的 URL,而不是只信一个分数或这份榜单。
常见问题
AI 引擎如何选择信源?
AI 引擎先把候选范围限定在爬虫能访问、索引里已收录的页面,再挑出最直接回答其拆分子问题的段落。ChatGPT、Perplexity 和 Gemini 使用不同的爬虫和索引,所以同一个页面可能被一个引擎引用,却被另一个忽略。
屏蔽 GPTBot 会让 ChatGPT 不再引用我的网站吗?
不会。OpenAI 把 GPTBot 和 OAI-SearchBot 作为两项独立设置。GPTBot 管训练用途,OAI-SearchBot 决定页面能否出现在 ChatGPT 搜索答案中。只屏蔽 GPTBot,并不会让网站从 ChatGPT 引用中消失。
屏蔽 Google-Extended 等于屏蔽 Googlebot 吗?
不等于。Google-Extended 控制的是 Gemini 训练以及 Gemini 应用中的 grounding。Google 表示它不影响 Google 搜索的收录和排名,也不管 AI Overviews,后者取材于常规搜索索引。
改动之后多久能在 AI 答案中看到变化?
OpenAI 表示 robots.txt 的修改大约 24 小时后才会作用于 ChatGPT 搜索,Perplexity 给出的时间窗口相近。Google AI Overviews 这类基于索引的界面,内容改动要跟随抓取和收录周期,通常以周计。两者都需要重复采样才能观察到。
Canlah AI 会监测 Perplexity 的引用吗?
不会。Canlah AI 的标准追踪按档覆盖:起步测 ChatGPT,增长加 Google AI 概览,全面再加 AI 模式与 Gemini;Perplexity 与中文引擎不在标准追踪范围内。如果买家主要在用 Perplexity,请在方案中与任何服务商逐项确认引擎范围。
方法与信源
本文于 2026 年 9 月 23 日在 2026 年 8 月 30 日版本的基础上重写。爬虫行为于当日对照各运营方的最新文档核对。本次核查没有独立测试各爬虫的访问频率,没有审计厂商看板,也没有确认商业条款。
- OpenAI:Overview of OpenAI crawlers。OAI-SearchBot、GPTBot 和 ChatGPT-User 的职责,以及 24 小时生效窗口。
- Perplexity:Perplexity crawlers。PerplexityBot 和 Perplexity-User 的职责及防火墙建议。
- Google Search Central:Google’s common crawlers。Google-Extended 在 Gemini 训练与 grounding 上的适用范围。
- Google Search Central:AI features and your website。AI Overviews 和 AI Mode 的收录资格、查询扩展与摘要控制。
- arXiv 2604.07585。重复提问下品牌集合的重合度。
- Profound、Peec AI、Semrush 和 Ahrefs Brand Radar 的产品页,链接见上表。
- Canlah AI 对 canlah.ai 的自我审计,新加坡市场,2026 年 9 月 7 日。研究快照中的爬虫访问、收录、提及次数与被引用最多的域名。
看看你的品牌在 AI 答案中处于什么位置。免费运行 AI 可见度审计 →
相关阅读
免费白皮书
智能体时代的营销
13 章全文公开,不设邮箱门。含 50 家跨境 DTC 品牌智能体就绪度的原创数据集。
免费读全文 →