「SWE-bench」是一个面向真实软件工程任务的评测框架，用来回答"模型能不能像工程师那样修 bug"，而不是"能不能写出一段独立的小函数"。
构成
论文从 12 个流行的 Python 仓库里收集了 2,294 个真实 GitHub issue 及其对应的合并 PR，形成任务集。评测时给模型一个代码库和一条 issue 描述，要求它直接编辑代码库来解决问题。
为什么难
修这类问题往往需要同时理解并协调多个函数、类甚至文件的改动，要求模型与执行环境交互、处理很长的上下文、完成远超传统代码生成的复杂推理。论文发布时的评测显示，包括当时较强的闭源模型与作者微调的 SWE-Llama 在内，都只能解决最简单的一批问题。
与「AI模型评测」的关系
AI 模型评测讲的是评测方法论（怎么设计基准、怎么防污染），SWE-bench 是一个具体的、被广泛引用的基准实例。
适用边界
任务集以 Python 仓库为主，语言与项目类型覆盖有限；分数反映的是在该任务集上的修复通过率，不能直接外推到其他语言、私有代码库或需要产品判断的工程工作。使用时还应关注基准是否被训练数据污染（参见「数据污染」）。