模型参数（Parameters）

模型参数（Parameters）是神经网络内部用于计算的数值集合，相当于模型的“神经元权重”。训练的过程，就是不断调整这些参数、让它们学会把输入正确映射到输出的过程。参数越多，模型通常能记住越多模式、拥有越强的表达能力——因此“参数规模”成了衡量大模型体量最直观的指标。

常用单位与示例

• 7B / 13B / 70B 等：B 代表十亿（Billion），即 70 亿、130 亿、700 亿参数
• 千亿级：如 GPT-3 拥有约 1750 亿参数，是当年大模型的代表作
• 万亿级：新一代旗舰模型普遍达到数万亿参数（多为稀疏专家模型 MoE）

参数与能力的关系

• 大体上“参数越多越聪明”，但并非绝对
• 数据质量、训练方法、架构设计同样关键——同样参数的两家公司，模型差距可以很大

注意：参数不等于全部

• 激活参数：MoE 模型推理时只激活一部分参数（如总参数数千亿、每次激活几百亿），实际算力开销看激活参数而非总参数
• 业界讨论：靠数据与算法优化，小参数模型也能追平大参数模型的表现

趋势 2026 年，单纯比拼“总参数”的说法变少，人们更关注“性价比”——同样成本下，哪个模型效果更好。