稀疏自编码器（Sparse Autoencoder，SAE）是机制可解释性研究的核心工具。Anthropic 在《Scaling Monosemanticity》报告中把它用于 Claude 3 Sonnet（其自述的中等规模生产模型），从模型激活中提取可解释特征，并称特征数量达到数百万。
理论前提
报告建立在两个假说之上——「线性表示假说」认为模型把有意义的概念（即特征）表示为激活空间中的方向；「叠加假说」进一步认为模型利用高维空间中近乎正交的方向，表示比维度数量更多的特征。若接受这两个假说，自然做法就是字典学习，SAE 是其中被证明相当有效的一种实现。
机制
SAE 是把高维激活经稀疏瓶颈再重建的自编码器结构。稀疏约束让每个隐单元倾向于只对一类语义模式响应，从而把原本叠加纠缠在一起的激活拆解成含义相对单一的特征。
得到什么
报告称提取出的特征高度抽象，并具有多语言（同一概念跨语言响应）与多模态（同一概念在文本与图像中都响应）性质，还能在具体与抽象表述之间泛化，例如「含安全漏洞的代码」与「关于安全漏洞的抽象讨论」。示例包括名人、国家与城市、代码中的类型签名等特征；报告也观察到与欺骗、谄媚、偏见、危险内容等安全议题相关的特征，并指出特征可用于引导模型行为。
适用边界
报告自述这项研究仍属非常初步（very preliminary），并明确把「数百万特征」带来的特征探索规模化列为未解决的开放问题；SAE 找到的特征能否直接当作因果解释，需要后续工作验证。