AI 比较工具:如何比较 AI 模型和应用
简短回答 先用 Arena 和 Artificial Analysis 等公开排行榜把范围缩小到两三个 AI 应用,再用您自己的真实任务做盲测来决定。排名平均的是陌生人的提示词,而不是您的工作。付费之前,先查看方案的隐私条款:有些个人方案默认可能用您的聊天内容训练模型,除非您主动选择退出。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话如何比较 AI 模型和应用?
分三步走。公开排名用来列出候选,您自己的测试选出胜者,方案条款决定买哪个方案。
| 工具 | 比较什么 | 无法告诉您什么 |
|---|---|---|
| Arena(arena.ai) | 聊天模型,由用户对两个匿名回答投票排名 | 模型如何处理您的客户、您的行业或您的文件 |
| Artificial Analysis(artificialanalysis.ai) | 模型在一组测试题上的表现,以及通过开发者账户(API)使用的速度和单次价格 | 每月的应用方案包含什么,或其使用限制 |
| 各厂商的价格页和隐私页 | 方案功能、使用限制、您的聊天内容是否用于训练模型 | 质量 |
| 您自己的盲测 | 您的团队实际上会发出哪个回答 | 这是任何排名都替代不了的 |
模型是引擎(GPT、Claude、Gemini)。应用是您登录使用的产品(ChatGPT、Claude、Gemini、Microsoft Copilot),各有自己的限制、工具和隐私规则。两个应用可以运行同一个模型,但能让您做的事却不同。据 Microsoft Learn,Microsoft 就在其工作版 Copilot 中提供 Anthropic 和 OpenAI 的模型,由管理员决定是否启用。
AI 排行榜实际衡量的是什么?
Arena 给您看两个未署名模型的回答,问您哪个更好。只有在名字隐藏时,您的投票才算数:
"Only votes made while the models are anonymous count toward official rankings." (Arena FAQ) 译文:“只有在模型匿名时所投的票才计入官方排名。”
Arena 的常见问题说,投票会输入 Bradley-Terry 评分,这是一种用于一对一比赛的计分方法,很像国际象棋等级分。它的 Side by Side 模式让您选两个已署名的模型,用您自己的提示词比较,但这些投票不计入公开排名。
Artificial Analysis 自己做测试,并发布 Intelligence Index(智能指数)。据其方法论页面,这是一个加权分数,涵盖知识工作、编程、科学和通用问题,各占 25%。它也坦承局限:
"Like all evaluation metrics, it has limitations and may not apply directly to every use case." (Artificial Analysis) 译文:“和所有评估指标一样,它有局限,未必直接适用于每一种用途。”
同一页面说,该指数主要基于文本和英文。它列出的价格是服务商按 token(一小段文字)向开发者收取的费用,不是您订阅应用所付的钱。
排名还可能被操纵。2025 年一项针对 Arena 的研究发现,一些 AI 公司测试了许多私有版本,只公布最好的分数;作者(Singh 等,2025 年 4 月)写道,只挑最好的分数“leads to biased Arena scores”(会导致 Arena 分数出现偏差)。领先者之间的小差距,应当视为平手。
我该如何自己做 AI 比较?
用您的真实工作测试一小时,胜过任何排名。有免费方案的应用就用免费方案。
- 选三个您每周都做的任务:回复询价、起草一段服务页面内容、总结上个月的评价。
- 每个任务写一个提示词,把完全相同的提示词和文件粘贴到每个应用里。
- 把回答复制到同一个文档,标为 A、B、C,去掉应用名称。
- 让实际会发出这些内容的人来排名,不告诉他哪个是哪个。
- 核对每个回答里的每个事实、价格和说法。数一数发出前需要改几处。
| 每个回答的评分项 | 为什么重要 |
|---|---|
| 事实正确 | Microsoft Learn 说 AI 回答“aren't guaranteed to be 100% factual”(不保证 100% 符合事实) |
| 需要的修改 | 修改越少,省下的时间越多 |
| 像您的口吻 | 客户能看出千篇一律的文案 |
| 遵循指示 | 长度、格式、该省略什么 |
不要把客户姓名、健康信息或任何隐私内容粘贴到测试工具里。Arena 的常见问题说,对话可能会出现在研究数据集中并分享给模型开发商,并建议“avoiding including any sensitive information”(避免包含任何敏感信息)。
为企业选 AI 应用时,哪些标准最重要?
质量只是其中一项。对小企业来说,隐私和适配度往往才是决定因素。
| 标准 | 查看什么 | 出处 |
|---|---|---|
| 是否用您的聊天内容训练? | ChatGPT 的 Free、Go、Plus 和 Pro 方案标明“Content is used to train our models”(内容会用于训练我们的模型),可选择退出 | ChatGPT 价格页 |
| Claude 的个人方案只有在您于设置中允许时才用聊天内容训练;其企业方案默认不用 | Anthropic Privacy Center | |
| Microsoft 工作版 Copilot:提示词和回答“aren't used to train foundation LLMs”(不用于训练基础大语言模型) | Microsoft Learn | |
| Google Workspace:您的数据“outside your domain without permission”(未经许可不会在您的域之外)用于模型训练 | Google Workspace AI 隐私页 | |
| 您的工作资料在哪里 | 如果您的邮件和文件在 Google Workspace 或 Microsoft 365 中,内置 AI 可以读取;独立应用没有连接器就读不到 | 上述厂商页面 |
| 限制和广告 | 免费和低价方案会限制消息数和上传量;ChatGPT 的 Go 方案“may include ads”(可能包含广告) | ChatGPT 价格页 |
| 可以验证的说法 | 销售页上的“AI-powered”(AI 驱动)什么也证明不了;请对方用您自己的任务提供免费试用 | FTC,2024 年 9 月 |
美国联邦贸易委员会(FTC)已对夸大 AI 能力的公司采取行动。其时任主席在 2024 年 9 月说:
"Using AI tools to trick, mislead, or defraud people is illegal." (FTC, September 2024) 译文:“使用 AI 工具欺骗、误导或诈骗他人是违法的。”
在加拿大有什么不同?
工具和排名都一样。无论您选哪个应用,加拿大法律下的隐私责任都在您自己。加拿大联邦、省和地区的隐私专员写道,“using generative AI are obligated to ensure that their activities comply with applicable privacy laws and regulations in Canada”(使用生成式 AI 的机构有义务确保其活动符合加拿大适用的隐私法律法规)(2023 年 12 月)。所以上表中关于训练的几行和质量同样重要。
示例
一家水管公司挑选写作助手
老板在 Arena 的文本排行榜上选出前三名应用。她在每个应用的免费方案中运行同样的三个提示词(报价跟进、热水器页面、评价回复)。她的办公室经理在盲测中,三个任务有两个选了应用 B。由于会放入客户邮件,她买了该应用默认不用聊天内容训练的企业方案,而不是个人方案。
一家已在用 Microsoft 365 的会计师事务所
事务所的文件和邮件都在 Microsoft 365 中。合伙人没有另加新应用,而是用一封客户信函草稿,对比测试 Copilot 和一个外部助手。Copilot 需要的修改更少,因为它能看到去年的信函,而且它的提示词不会用于模型训练。他们保留外部应用的免费方案,只用来做公开资料研究。
一家面包店比较图像工具
排名回答不了老板真正的问题:哪个工具画出的蛋糕像她做的。她给两个工具各上传一张产品照片,要求生成同样的节日帖子,数一数各自需要尝试几次。她留下了尝试次数较少的那个。
常见问题
有没有一个网站能比较所有 AI 应用?
没有。Arena 和 Artificial Analysis 比较的是模型,不是应用方案。方案限制、价格和隐私条款只在各厂商自己的价格页和隐私页上,而且经常变化。
AI 排行榜可信吗?
它们适合用来列候选名单,不能当作结论。Arena 反映的是陌生人的提示词和偏好,而且 2025 年一项研究发现,公司可以测试私有版本,只公布最好的分数。
比较 AI 工具需要付费吗?
通常不需要。ChatGPT 在价格页上列有 Free 方案,Arena 也允许您用自己的提示词比较两个已署名的模型。等您的测试选出胜者后再付费。
我应该多久重新检查一次选择?
每当厂商推出新模型或更改方案条款时,重新做一次三个任务的测试。只需一小时,用同样的提示词。
您的情况不同?
- 为每项营销工作(广告、草稿、图片)选模型:AI 营销模型。
- 用第二个 AI 检查第一个:不绑定模型的 AI 做 SEO。
- 比较 AI 搜索引擎而不是 AI 助手:最好的 AI 搜索引擎。
- 提示词中包含患者或客户的健康数据:ChatGPT 符合 HIPAA 吗?。
- 比较替您做 SEO 工作的 AI 智能体:AI SEO 智能体评估清单,或了解 SEO 智能体。