⚖️

审慎对齐(Deliberative Alignment)

Deliberative Alignment
前沿概念
对齐安全推理

要解决的问题:传统安全对齐高度依赖人工标注的「这个回答好、那个回答坏」,成本高、覆盖面有限,且模型学到的是模仿示范而非理解规则,遇到没见过的越狱写法容易失守。

做法

Deliberative Alignment 直接教模型安全规范本身,并训练它在作答前显式回忆、并依据这些规范进行推理。论文用该方法对齐了 OpenAI 的 o 系列模型,报告在不需要人工撰写思维链或答案的前提下,实现了对 OpenAI 安全政策的高精度遵循。

效果

论文称该方法把帕累托前沿往外推——在提升对越狱鲁棒性的同时降低了过度拒答率,并改善了分布外泛化;作者据此论证「对显式规范做推理」能让对齐更可扩展、更可信、也更可解释。

适用边界

效果上限取决于规范文本本身是否清晰、完备、无冲突;规范写得含糊,模型推理得再努力也会跑偏。与「宪法AI」的区别在于:后者用一部宪法让模型自我批评、自我修订以生成偏好数据,本条则是训练模型在推理阶段主动引用并遵守成文规范。

🔗 探索更多 AI 工具板块

除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。

☆ 0