AI模型评测（Benchmark）是用标准化的测试集和评分规则来量化比较不同AI模型能力的方法。随着AI模型越来越多，评测成为选型和比较的关键工具。
主要评测维度
知识理解
- MMLU：多领域知识问答（57个学科）
- MMLU-Pro：更难版本，减少侥幸正确
- GPQA：研究生级别的专业问题
- AIME：美国数学邀请赛题目
- MATH：竞赛级数学题
- ARC-AGI：抽象推理挑战
- HumanEval：Python函数生成
- MBPP：基础编程题
- SWE-bench：真实GitHub Issue修复
- C-Eval：中文综合能力评测
- CMMLU：中文多领域知识
- WMT：机器翻译质量
综合榜单
- LMSYS Chatbot Arena：人类投票的对话模型排行（最有参考价值）
- Open LLM Leaderboard：开源模型综合排行
- AlpacaEval：自动+人工评估
评测的局限性
- 🚫 数据污染：评测题目可能出现在训练数据中
- 🚫 刷榜行为：专门优化评测成绩而非实际能力
- 🚫 脱离实际：评测环境vs真实使用场景差异大
- 🚫 中文不足：大多数评测以英文为主
如何选模型
1. 先看Chatbot Arena（真实用户反馈） 2. 再看与你任务相关的专项评测 3. 最后自己用实际任务测试 4. 不要迷信任何一个分数
2026年趋势
评测体系正在从"静态题库"转向"动态对抗评估"。AI模型越来越强，传统评测的区分度下降。真实用户偏好（Chatbot Arena的Elo分数）变得比标准化测试分数更有参考价值。