⏳

长时程任务能力(Time Horizon)

50%-Task-Completion Time Horizon
前沿概念
能力评估智能体METR

「长时程任务能力」是 METR 提出的一种能力度量方式,核心指标叫 50% 任务完成时间跨度:对一批任务,找出模型能以 50% 成功率完成的那一档,再看人类专家完成同类任务通常需要多长时间。它把"模型能做什么"翻译成"相当于多长的人类工作量",比单纯的正确率更贴近实际可用性。

怎么测

研究者先给具备相关领域专长的人类计时,任务来自 RE-Bench、HCAST 以及 66 个新增的较短任务;再在同一批任务上测前沿模型。

论文报告的结果

Claude 3.7 Sonnet 的 50% 时间跨度约为 50 分钟;自 2019 年以来,前沿模型的时间跨度大约每 7 个月翻一倍,且 2024 年的趋势可能有所加速。作者把增长主要归因于可靠性提升、从错误中恢复的能力,以及逻辑推理与工具使用能力的进步。

适用边界

论文自己强调外部效度有限——任务集是人为构造的,把趋势外推到真实软件工程任务属于推测而非结论。该指标刻画的是统计意义上的能力档位,不代表模型能像人一样独立负责一段同等时长的工作;讨论时应同时看任务构成与置信区间,而不是只引用一个"多少分钟"。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些自有内容板块,帮你从不同角度发现好工具。

☆ 0