ChatGPT API 和网页版推荐的品牌差多远?Canlah AI 数据报告
ChatGPT API 和网页版回答一样吗?Canlah AI 用 30 个新加坡买家问题实测:848 条网页版回答对 90 条 API 回答,品牌出现率平均差 23.2 个百分点。
ChatGPT API 和 ChatGPT 网页版点名品牌的频率明显不同。2026 年 10 月 15 日至 16 日,Canlah AI 用 30 个新加坡买家问题做了一次预先登记的实测:对常被点名的品牌,「回答里点到它的比例」在 API(gpt-5.5)和网页版之间平均差 23.2 个百分点(均方根,90% 区间 18.7 到 27.1)。实测预先规定,差距要低于 10 点才算「一样」,所以无法确认 API 能代替网页版。
登录的 ChatGPT Plus 和不登录访客之间差得更多,扣掉正常的随机波动后还差 32.5 个百分点;不过这两类账号用的模型不同、跑的时段也不同。在网页版里同一个问题问 3 到 5 次,用来估计另一个账号看到的品牌,不比 API 的 3 条回答差,误差在预先定好的 5 点范围之内。
关于这项研究:Canlah AI 在做一款 Chrome 插件(目前内测中),在用户自己的 ChatGPT 里测量 AI 回答,所以这个结果和我们有利益关系。问题集、判定规则和分析代码在发出第一个正式测试问题之前就已冻结并记下哈希值,之后的每一处改动都写进了偏差日志。
核心结论
- API 和网页版点名品牌的频率不同:对最常被点名的品牌,API 和网页版的出现率平均差 23.2 点(90% 区间 18.7 到 27.1)。GEO 服务商题差 16.8 点,少儿编程题差 25.1 点,牙科诊所题差 26.6 点。
- ChatGPT Plus 和不登录差得最多:扣掉每个账号自身的随机波动后还差 32.5 点(90% 区间 28.9 到 35.8),前五名平均只重合 3.7 家。两类账号的模型和时段也不同,所以这个差距不只是账号造成的。
- 网页版问几次,不比 API 差:网页版问 3 次,预测另一个账号看到的品牌出现率,Plus 的误差比 API 多 2.2 点(90% 上限 4.6),不登录多 0.2 点(上限 2.5),都在预先定好的 5 点门槛之内。后来加测的 gpt-6.1-sol 比网页版差 5.1 到 9.7 点。
- 常客品牌要问 4 到 5 次:对出现率至少 20% 的品牌,一般的题在网页版问 4 到 5 次,就可以预期其中 95% 会出现。要把单个品牌出现率的抽样误差压到 5 个百分点,同一题要问 35 到 58 次。
- 网页版有 API 永远给不了的东西:90.4% 的 Plus 回答带地图或商家卡片,35.4% 的不登录回答(622 条中 220 条)带广告。统计时广告已剔除,只数回答正文里的品牌。
研究设计:30 个新加坡买家问题,三类 ChatGPT 账号加 API
测试共 30 个问题:15 个买家需求,每个都有英文和中文两个版本,平均分在新加坡的三个行业里。每个问题都写明新加坡,并要求给出推荐名单,例如「新加坡做隐适美哪家诊所最好?请直接给出推荐名单。」
三个行业,每个行业五个买家需求
| 行业 | 问到的五个买家需求 |
|---|---|
| GEO 服务商 | 综合最好;能让品牌被 ChatGPT 推荐并说明理由;面向中小企业;面向 B2B 科技公司;中英文都能做 |
| 牙科与正畸诊所 | 隐适美最好的诊所;戴牙套并说明理由;面向儿童和青少年;实惠的隐适美;淡滨尼一带的牙套或隐适美 |
| 少儿编程 | 综合最好;值得报名的课程;7 到 10 岁零基础;青少年 Python;武吉知马一带的编程学校 |
所有回答都来自同一条新加坡网络。文中「网页版」指人们在 chatgpt.com 上实际用到的 ChatGPT。四个来源如下:
- ChatGPT Plus:付费账号,开临时聊天并关闭个性化,界面显示的模型是 gpt-6-thinking。共收回 515 条回答,主比较用 12 个完整轮次里的 353 条;一轮答满 30 题中的 27 题以上就算完整。
- 不登录:两个从没登录过的浏览器配置,测试读不到模型名。共收回 622 条,主比较用 17 个完整轮次里的 495 条。
- ChatGPT 免费版:一小时问了 43 条后撞到用量上限,随后换成更小的模型。84 条回答里有 37 条没加载出来,也没有跑完任何一轮,所以只做描述,不参与比较。
- API:OpenAI Responses API,模型 gpt-5.5,强制联网搜索,用户位置设为新加坡。原计划每题 6 次;有三波没跑,一波是按预设的费用规则砍掉的,两波是预算挪给第二个模型,最后每题 3 次,共 90 条。第二组是规则冻结后加的,问 gpt-6.1-sol 每题 5 次,共 150 条。整个测试的 API 费用是 $43.29。
「品牌」指回答正文里被当作选项推荐的机构,不同写法已合并。广告已剔除,地图和商家卡片不计入品牌,所以网页版和 API 只比回答正文。
结果:API、Plus、不登录三方相差多少
主指标是品牌出现率的均方根差距。对每个常被点名的品牌,分别算出它在两个来源里被点名的比例,再取这些差的均方根,并扣掉纯随机抽样本来就会产生的差。差距为 0,表示两个来源点名同样的品牌、频率也一样。
ChatGPT 各来源之间的品牌出现率差距,30 个新加坡问题,2026 年 10 月 15 日至 16 日
| 比较 | 出现率差距 | 90% 区间 | 预先登记的判定 |
|---|---|---|---|
| API(gpt-5.5)对网页版 | 23.2 点 | 18.7 到 27.1 | 说不清:超过「一样」要求的 10 点上限 |
| ChatGPT Plus 对不登录 | 32.4 点 | 28.7 到 35.8 | 不一样:扣除账号内噪声后差 32.5 点 |
| 不登录配置 A 对配置 B | 2.2 点 | 0.0 到 8.6 | 说不清:扣除噪声后 6.9 点,区间 −8.5 到 12.4 |
| 每个账号自己拆两半,平均 | 5.1 点 | 0.0 到 11.0 | 同一账号内部的噪声底线 |
23.2 点的差距让 API 过不了「一样」这一关;但它也不能判为「不一样」,因为两个网页版账号彼此差 32.4 点,比 API 离网页版还远。所以预先登记的判定是「说不清」。
按行业看 API 与网页版的差距
| 行业 | API 对网页版差距 | 不登录回答里带地图的比例(事后统计) |
|---|---|---|
| GEO 服务商 | 16.8 点 | 10.8%(167 条中 18 条) |
| 牙科与正畸诊所 | 26.6 点 | 43.5%(161 条中 70 条) |
| 少儿编程 | 25.1 点 | 22.2%(167 条中 37 条) |
| 全部 30 题 | 23.2 点 | 25.3%(495 条中 125 条) |
ChatGPT Plus 有 90.4% 的回答带地图或商家卡片(353 条中 319 条)。不登录的地图数是主分析之后从存档页面重新数的,因为抽取器没认出那种地图。牙科题的 API 差距最大,不登录网页版里带地图的也最多,所以一家诊所如果只看 API 的回答,这两样都会漏掉。
准确度:网页版问几次能测准什么
准确度测试回答一个实际问题:企业在自己的 ChatGPT 里把一个问题问几次,能不能据此推断别的 ChatGPT 用户看到什么?「真值」取另一个账号看到的品牌出现率,所以任何一方都不是拿自己的回答给自己打分。API 一方每题 3 条回答。
| 方法 | 对另一账号出现率的误差 | 与 API 相比 |
|---|---|---|
| ChatGPT Plus 问 3 次 | 26.4 点 | +2.2(90% 上限 4.6) |
| ChatGPT Plus 问 5 次 | 24.8 点 | +0.6(上限 3.1) |
| 不登录问 3 次 | 28.9 点 | +0.2(上限 2.5) |
| 不登录问 5 次 | 27.6 点 | −1.2(上限 1.3) |
| API gpt-5.5,3 条回答 | 24.2 到 28.8 点 | — |
| API gpt-6.1-sol,5 条回答,后来加测 | 31.5 到 37.3 点 | 网页版好 5.1 到 9.7 点 |
问 3 次和问 5 次两组比较,经 Holm 校正后都过了预先定好的 5 点「不比 API 差」门槛(p = 0.023 和 p = 0.002)。问 5 次在三个行业里都成立;问 3 次在两个行业成立,少儿编程题上 Plus 问 3 次比 API 差 5.6 点。两边的绝对误差都不小,在 24 到 37 点之间,因为另一个账号看到的名单本来就不一样。
一个问题要问几次
对出现率至少 20% 的品牌,一般的题在 Plus 上 GEO 要问 5 次、牙科和编程要问 4 次,才能预期其中 95% 出现;不登录要 4 到 5 次。要让样本覆盖度到 95%(这个指标偏重常被点名的品牌),一般的题要 6 到 27 次,最难的一题要 58 次。在 Plus 上同一个会话里连问 5 遍,回答的相似度是每次新开会话的 1.35 倍,没到预先定的 1.5 倍「复读」线,结论是说不清,所以每次新开会话仍是更稳的做法。在 Plus 的 6 个买家需求上,换一种问法能解释常客品牌出现率波动的 15.4%(90% 区间 5.9 到 24.9)。
2026 年 10 月 ChatGPT 账号实测能说明什么、不能说明什么
这次实测说明:在三个行业的新加坡买家问题上,API 给出的品牌出现率和 ChatGPT 网页版平均差 23.2 点,Plus 和不登录之间差得更多。它也说明,每题在网页版里跑几次,用来估计另一个账号看到什么,在 5 点的范围内不比调 3 次 API 差。
它没有把账号、模型和时段的影响拆开。Plus 用 gpt-6-thinking,不登录读不到模型,API 用 gpt-5.5。不登录的轮次大多跑在 10 月 15 日上午,Plus 大多在当天下午和晚上,最后一轮在 10 月 16 日,所以每一个差距都是账号、模型、界面和时段合在一起的差。它只覆盖两天、一条新加坡网络、三个行业,也只测了 ChatGPT。这些结论是这个样本上的相关关系,不是因果。
给在 ChatGPT 里监测品牌的人的建议
- 先问清数字来自哪一层。只用 API 算出来的可见度分数,描述的是 API。这次实测里 API 和网页版平均差 23.2 点。
- 写明是哪类账号。登录的 Plus 用户和不登录访客,前五名平均只重合 3.7 家。监测报告要说清楚展示的是谁的视角。
- 每题新开会话问 4 到 5 次,再看常客品牌。一条回答只是个例;要把一个比例的抽样误差压到 5 点以内,得跑几十次。
- 保留回答原文。每个比例都应该能点开看到背后的回答,让买家自己核对 ChatGPT 说了什么。
Canlah AI 的 Chrome 插件 Canlah AI 答案监测,走的就是网页版这条路:它在用户自己的 ChatGPT 里问买家会问的问题,登录了就开临时聊天并关闭个性化,没登录就按访客身份问;攒够 10 个答案才给出第一个百分比。
先看看 ChatGPT 怎么说你:加入 Canlah AI 答案监测内测名单 →
常见问题
ChatGPT API 和网页版的回答一样吗?
品牌出现率不一样。在 Canlah AI 2026 年 10 月用 30 个新加坡买家问题做的实测里,对常被点名的品牌,API(gpt-5.5)和 ChatGPT 网页版的出现率平均差 23.2 个百分点,超过了实测为「一样」定的 10 点上限。网页版还会显示地图、商家卡片,不登录时还有广告,这些 API 都不会返回。
ChatGPT Plus 和不登录用户看到的品牌一样吗?
不一样。同样 30 个问题,ChatGPT Plus 和不登录访客的回答扣掉正常随机波动后还差 32.5 个百分点,前五名平均只重合 3.7 家。两类账号的模型和跑的时段也不同,所以这个差距是账号、模型和时段合在一起的结果。
在 ChatGPT 里监测品牌,一个问题要问几次?
要看清常被点名的品牌,每题新开会话问 4 到 5 次:实测中,对出现率至少 20% 的品牌,一般的题在网页版问 4 到 5 次,就可以预期其中 95% 会出现。要把单个品牌出现率的抽样误差压到 5 个百分点,同一题要问 35 到 58 次。
方法与局限
回答在 2026 年 10 月 15 日(新加坡时间)通过同一条新加坡网络收集,Plus 的第 12 轮在 10 月 16 日补完。问题集、排程、判定规则和分析代码在 10 月 15 日新加坡时间 03:49、发出第一个正式测试问题之前冻结;冻结前跑过一次小试,不计入结果。每个文件都记下了 SHA-256 哈希,之后的每一处改动都按编号写进偏差日志。除了专门测「同一会话连问」的那一组,每个问题都新开会话。各网页版账号用各自独立的浏览器配置,Plus 账号每发一题都核对临时聊天和个性化开关。
品牌由规则抽取器从回答正文里取出;置信度低的回答由另一个 AI 审核者盲审,不同写法通过别名表合并。10% 抽样的盲测中,抽取器的 F1 是:API 回答 0.97、Plus 0.97、不登录 1.00,都高于 0.95 的门槛;免费版 0.89。免费版不参与比较,是因为它没有跑完任何一轮。区间是按买家需求聚类、重抽 10,000 次得到的 90% 区间,同一需求的中英两个版本算一个聚类。预先登记的一致性检验,和问 3 次、问 5 次的准确度检验,一起用 Holm 方法做了多重检验校正;Plus 对不登录的比较和 gpt-6.1-sol 那一组不在校正范围内。
局限:只有两天、一条新加坡网络、三个行业、30 个问题;只测 ChatGPT,没有 Gemini 和 Google AI 概览;每类账号用的模型和时段都不同;免费版可用回答太少,无法比较。原计划的 6 波 API 调用只跑了 3 波;当晚复测取消;主动限流爬坡也停了,因为 Plus 账号被服务器强制登出。差距是在这些回答里最常被点名的品牌上测得的,换行业或换市场可能不同。
- Canlah AI ChatGPT 三类账号矩阵实测存档,2026 年 10 月 15 日至 16 日:预先登记与哈希、偏差日志、原始回答与页面存档、API 调用记录、品牌抽取与质控、分析输出。
相关文章
免费白皮书
智能体时代的营销
13 章全文公开,不设邮箱门。含 50 家跨境 DTC 品牌智能体就绪度的原创数据集。
免费读全文 →