产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

AI 比较工具:如何比较 AI 模型和应用

更新于 · 阅读约 6 分钟

简短回答 先用 Arena 和 Artificial Analysis 等公开排行榜把范围缩小到两三个 AI 应用,再用您自己的真实任务做盲测来决定。排名平均的是陌生人的提示词,而不是您的工作。付费之前,先查看方案的隐私条款:有些个人方案默认可能用您的聊天内容训练模型,除非您主动选择退出。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

如何比较 AI 模型和应用?

分三步走。公开排名用来列出候选,您自己的测试选出胜者,方案条款决定买哪个方案。

工具比较什么无法告诉您什么
Arena(arena.ai)聊天模型,由用户对两个匿名回答投票排名模型如何处理您的客户、您的行业或您的文件
Artificial Analysis(artificialanalysis.ai)模型在一组测试题上的表现,以及通过开发者账户(API)使用的速度和单次价格每月的应用方案包含什么,或其使用限制
各厂商的价格页和隐私页方案功能、使用限制、您的聊天内容是否用于训练模型质量
您自己的盲测您的团队实际上会发出哪个回答这是任何排名都替代不了的

模型是引擎(GPT、Claude、Gemini)。应用是您登录使用的产品(ChatGPT、Claude、Gemini、Microsoft Copilot),各有自己的限制、工具和隐私规则。两个应用可以运行同一个模型,但能让您做的事却不同。据 Microsoft Learn,Microsoft 就在其工作版 Copilot 中提供 Anthropic 和 OpenAI 的模型,由管理员决定是否启用。

AI 排行榜实际衡量的是什么?

Arena 给您看两个未署名模型的回答,问您哪个更好。只有在名字隐藏时,您的投票才算数:

"Only votes made while the models are anonymous count toward official rankings." (Arena FAQ) 译文:“只有在模型匿名时所投的票才计入官方排名。”

Arena 的常见问题说,投票会输入 Bradley-Terry 评分,这是一种用于一对一比赛的计分方法,很像国际象棋等级分。它的 Side by Side 模式让您选两个已署名的模型,用您自己的提示词比较,但这些投票不计入公开排名。

Artificial Analysis 自己做测试,并发布 Intelligence Index(智能指数)。据其方法论页面,这是一个加权分数,涵盖知识工作、编程、科学和通用问题,各占 25%。它也坦承局限:

"Like all evaluation metrics, it has limitations and may not apply directly to every use case." (Artificial Analysis) 译文:“和所有评估指标一样,它有局限,未必直接适用于每一种用途。”

同一页面说,该指数主要基于文本和英文。它列出的价格是服务商按 token(一小段文字)向开发者收取的费用,不是您订阅应用所付的钱。

排名还可能被操纵。2025 年一项针对 Arena 的研究发现,一些 AI 公司测试了许多私有版本,只公布最好的分数;作者(Singh 等,2025 年 4 月)写道,只挑最好的分数“leads to biased Arena scores”(会导致 Arena 分数出现偏差)。领先者之间的小差距,应当视为平手。

我该如何自己做 AI 比较?

用您的真实工作测试一小时,胜过任何排名。有免费方案的应用就用免费方案。

  1. 选三个您每周都做的任务:回复询价、起草一段服务页面内容、总结上个月的评价。
  2. 每个任务写一个提示词,把完全相同的提示词和文件粘贴到每个应用里。
  3. 把回答复制到同一个文档,标为 A、B、C,去掉应用名称。
  4. 让实际会发出这些内容的人来排名,不告诉他哪个是哪个。
  5. 核对每个回答里的每个事实、价格和说法。数一数发出前需要改几处。
每个回答的评分项为什么重要
事实正确Microsoft Learn 说 AI 回答“aren't guaranteed to be 100% factual”(不保证 100% 符合事实)
需要的修改修改越少,省下的时间越多
像您的口吻客户能看出千篇一律的文案
遵循指示长度、格式、该省略什么

不要把客户姓名、健康信息或任何隐私内容粘贴到测试工具里。Arena 的常见问题说,对话可能会出现在研究数据集中并分享给模型开发商,并建议“avoiding including any sensitive information”(避免包含任何敏感信息)。

为企业选 AI 应用时,哪些标准最重要?

质量只是其中一项。对小企业来说,隐私和适配度往往才是决定因素。

标准查看什么出处
是否用您的聊天内容训练?ChatGPT 的 Free、Go、Plus 和 Pro 方案标明“Content is used to train our models”(内容会用于训练我们的模型),可选择退出ChatGPT 价格页
Claude 的个人方案只有在您于设置中允许时才用聊天内容训练;其企业方案默认不用Anthropic Privacy Center
Microsoft 工作版 Copilot:提示词和回答“aren't used to train foundation LLMs”(不用于训练基础大语言模型)Microsoft Learn
Google Workspace:您的数据“outside your domain without permission”(未经许可不会在您的域之外)用于模型训练Google Workspace AI 隐私页
您的工作资料在哪里如果您的邮件和文件在 Google Workspace 或 Microsoft 365 中,内置 AI 可以读取;独立应用没有连接器就读不到上述厂商页面
限制和广告免费和低价方案会限制消息数和上传量;ChatGPT 的 Go 方案“may include ads”(可能包含广告)ChatGPT 价格页
可以验证的说法销售页上的“AI-powered”(AI 驱动)什么也证明不了;请对方用您自己的任务提供免费试用FTC,2024 年 9 月

美国联邦贸易委员会(FTC)已对夸大 AI 能力的公司采取行动。其时任主席在 2024 年 9 月说:

"Using AI tools to trick, mislead, or defraud people is illegal." (FTC, September 2024) 译文:“使用 AI 工具欺骗、误导或诈骗他人是违法的。”

在加拿大有什么不同?

工具和排名都一样。无论您选哪个应用,加拿大法律下的隐私责任都在您自己。加拿大联邦、省和地区的隐私专员写道,“using generative AI are obligated to ensure that their activities comply with applicable privacy laws and regulations in Canada”(使用生成式 AI 的机构有义务确保其活动符合加拿大适用的隐私法律法规)(2023 年 12 月)。所以上表中关于训练的几行和质量同样重要。

示例

一家水管公司挑选写作助手

老板在 Arena 的文本排行榜上选出前三名应用。她在每个应用的免费方案中运行同样的三个提示词(报价跟进、热水器页面、评价回复)。她的办公室经理在盲测中,三个任务有两个选了应用 B。由于会放入客户邮件,她买了该应用默认不用聊天内容训练的企业方案,而不是个人方案。

一家已在用 Microsoft 365 的会计师事务所

事务所的文件和邮件都在 Microsoft 365 中。合伙人没有另加新应用,而是用一封客户信函草稿,对比测试 Copilot 和一个外部助手。Copilot 需要的修改更少,因为它能看到去年的信函,而且它的提示词不会用于模型训练。他们保留外部应用的免费方案,只用来做公开资料研究。

一家面包店比较图像工具

排名回答不了老板真正的问题:哪个工具画出的蛋糕像她做的。她给两个工具各上传一张产品照片,要求生成同样的节日帖子,数一数各自需要尝试几次。她留下了尝试次数较少的那个。

常见问题

有没有一个网站能比较所有 AI 应用?

没有。Arena 和 Artificial Analysis 比较的是模型,不是应用方案。方案限制、价格和隐私条款只在各厂商自己的价格页和隐私页上,而且经常变化。

AI 排行榜可信吗?

它们适合用来列候选名单,不能当作结论。Arena 反映的是陌生人的提示词和偏好,而且 2025 年一项研究发现,公司可以测试私有版本,只公布最好的分数。

比较 AI 工具需要付费吗?

通常不需要。ChatGPT 在价格页上列有 Free 方案,Arena 也允许您用自己的提示词比较两个已署名的模型。等您的测试选出胜者后再付费。

我应该多久重新检查一次选择?

每当厂商推出新模型或更改方案条款时,重新做一次三个任务的测试。只需一小时,用同样的提示词。

您的情况不同?

继续阅读

下一篇AI 定价模式:如何为您的企业选对方案订阅、额度还是按 token 计费的 API:2026 年 11 月 AI 工具怎么收费,ChatGPT/Codex 和 Claude 的价格,以及哪种适合小企业。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Arena: How it works
  2. Arena: FAQ
  3. Artificial Analysis: Benchmarking methodology
  4. Artificial Analysis: Intelligence benchmarking methodology
  5. Singh et al.: The Leaderboard Illusion (arXiv, April 2025)
  6. ChatGPT: Pricing
  7. Anthropic Privacy Center: Is my data used for model training? (consumer plans)
  8. Anthropic Privacy Center: Is my data used for model training? (commercial products)
  9. Google Workspace: Generative AI security, compliance and privacy
  10. Microsoft Learn: Data, privacy, and security for Microsoft Copilot
  11. FTC: FTC announces crackdown on deceptive AI claims and schemes (September 25, 2024)
  12. Office of the Privacy Commissioner of Canada: Principles for responsible, trustworthy and privacy-protective generative AI technologies (December 7, 2023)