AI模型评测到底评什么？
你刷到一个新闻：某AI模型在最新榜单上拿了第一。
点进去想看看这模型到底有多厉害，结果发现——另一篇文章说它排第十。
同一个模型，差距怎么这么大？
问题不在模型，在于评测本身。
今天咱们就好好聊聊这个事。
评测不是打分，是一场"因人而异"的考试
很多人以为AI评测就是：拿出一套题，模型做一下，给个分数。
事情远没这么简单。
高考和考驾照都是考试，但考的内容完全不是一回事。高考测你多年学习的综合能力，驾照测你能不能安全开车上路。
AI评测也是这个道理。
用户关心的是：这玩意儿能不能帮我干活？
公司关心的是：上线后能省多少成本？
研究人员关心的是：模型的能力边界到底在哪？
开发者关心的是：下一步该怎么优化？
政策制定者关心的是：这东西对社会有什么影响？
这五类人问的根本不是同一个问题，用同一套评测结果去回答，怎么可能对得上？
下次再看到"全球第一"的标题，先问问：这个第一是谁评的？评给谁看的？
看懂评测结果，你得先理解这四件事
一个完整的评测过程，其实就像做菜。
得有食材（输入数据），得知道怎么炒（调用方式），得有人尝尝咸淡（评估输出），还得看客人满不满意（结果解读）。
这四个环节，缺一不可。
第一个，输入什么数据。 同样的模型，用医疗数据测和用日常对话测，结果能一样吗？
第二个，怎么调用模型。 调API和本地部署，调参方式不同，效果也不同。
第三个，怎么评估输出。 谁来定义"对"？标准是什么？人工打分还是自动评测？
第四个，怎么解读结果。 分数高就一定好吗？会不会是数据泄露导致的虚假高分？
评测榜单为什么那么乱？
根本原因就是：这四件事里，只要有一件不透明，整个结果就值得怀疑。
你不信任一份不知道放了什么的菜单吧？同样道理，一份不告诉你数据怎么来的、怎么测的评测报告，你也别轻信。
Quizzing还是Asking？先分清两种评测模式
这里有个关键区分，大部分人不知道。
有一种测试叫Quizzing模式。
你出题，模型答题，你手里有标准答案。就像闭卷考试，学生会就是会，不会就是不会。
另一种叫Asking模式。
你问模型一个问题，你自己也不知道答案。就像你去找咨询师聊天，他说的对不对，你根本没法当场判断。
现在很多榜单测的是什么？Quizzing。
因为Quizzing容易打分，对错一眼就能看出来。
但这带来一个致命问题：模型可能只是在"背答案"，而不是真的"会"。
就像有些学生题海战术刷多了，看到原题就写得很溜，但你问他换个问法，他就不会了。模型也一样。
Benchmark刷分高，不代表你真拿去用的时候好用。
所以下次看到一个高分榜单，你先问一句：这是Quizzing还是Asking？
如果是Quizzing高分，别高兴太早。
准确性——模型"知道什么、答对什么"
好，说完评测的基本框架，我们来看三大维度。
第一个维度：准确性。这个最好理解。模型答对了多少？和标准答案一致吗？
准确性通过知识问答Benchmark来测，比如你熟悉的MMLU、CMMLU这些。
但准确性有个很大的坑：模型可能是"背住了"，而不是"理解了"。
这就像一份考卷，学生考了95分，看着很厉害对吧？但结果你一看卷子——十道题里五道答案是错的，只是老师改错了也给分了。这分数有意义吗？
Benchmark数据质量问题确实存在。有的题目标错了答案，有的题目逻辑矛盾，有的题干本身就模糊不清。
用这样的数据去测，分数再高也是自欺欺人。
所以看到高准确率，先别急着叫好。问问自己：这个Benchmark谁维护的？数据质量有审核吗？
鲁棒性——模型在"刁难"下还能不能稳住
第二个维度：鲁棒性。
准确性看的是正常情况下对不对，鲁棒性看的是被刁难时崩不崩。
想象一个销售员，平时侃侃而谈，客户问什么都能接住。但遇到一个故意找茬的客户，三句话就被激怒了。
这种销售，能力行吗？
AI模型也一样。正常输入能处理，换个说法就懵了，加几个无关的干扰词，答案就跑偏了。
更严重的是对抗攻击。有人故意给模型下套，通过精心设计的输入让模型说出不该说的话，这就是Jailbreaking。
鲁棒性高的模型，面对这些刁难依然能稳住。
真正的高手，不仅正常发挥好，被人故意干扰也能保持冷静。你选哪个？
可用性——模型能否真正帮你解决问题
第三个维度：可用性。这个最容易被忽略，但最实用。
准确性高，不代表好用。
就像你问客服一个具体问题，他回答得都对，但就是不解决你的问题。你能说他"准确"吗？但你能说他"有用"吗？
可用性看的是：模型能不能帮你把事办成。
你让它写一份报告，它写了。你让它帮你分析数据，它分析了。这个过程顺不顺畅？结果能不能直接用？
可用性通过指令跟随性Benchmark来测，比如IFEval这类。还有真实对话分析系统，比如Clio，直接看用户实际使用中的表现。
可用性差的模型，准确率再高也是中看不中用。
就像一个满腹经纶但不会说话的人，你问他问题他都能回答对，但就是不告诉你该怎么做。你说急人不急人？
三个维度，缺一不可
准确、鲁棒、可用，这三个维度就像三角形的三条边。一条短了，另外两条再长也撑不起一个完整的形状。
准确性再高，鲁棒性不行，一遇到对抗样本就崩。
准确性和鲁棒性都好，可用性不行，实际用起来还是鸡肋。
三个维度都强，才是真正靠谱的模型。
下次再看到AI评测榜单，别急着被"第一名"晃花了眼。先问三个问题：
这个榜单测的是哪个维度？
用的是Quizzing还是Asking模式？
数据质量有保障吗？
能问出好问题，才不会被评测结果牵着鼻子走。
话说回来，知道模型"准不准"很重要。但具体到一个分类任务，准确率就够了吗？
比如垃圾邮件识别，模型说100封里有95封判断对了。这95%算高吗？未必。如果这5%漏掉的全是重要邮件呢？
分类任务怎么评估，有一套专门的指标等着你。Accuracy、Precision、Recall、F1，听着头大，但用起来有讲究。
咱们下回接着聊。