AI安全与对齐 (AI Safety)

核心问题

1. 对齐问题（Alignment Problem）

• 如何确保AI的目标与人类真实意图一致？
• AI可能"字面理解"指令但误解意图
• 例子：让AI"最大化点击量"，它可能生成耸人听闻的虚假内容

• 防止生成有害内容（暴力、仇恨、色情等）
• 拒绝被用于恶意目的（诈骗、网络攻击等）
• 防止越狱/提示词注入攻击

• AI可能放大训练数据中的社会偏见
• 在招聘、贷款、司法等场景中的公平性问题

• 训练数据中可能包含个人信息
• 用户与AI的对话内容是否安全

安全技术手段

• RLHF/DPO：让AI偏好安全回答
• 红队测试：安全专家尝试让AI做坏事，修补漏洞
• Constitutional AI：AI自我审查，遵循安全原则
• 内容过滤器：输入输出两端检测
• 水印技术：AI生成内容可追溯

2026年热点

• AI自主性增强带来的安全挑战（Agent可能自主执行危险操作）
• AI生成虚假信息的规模化传播
• 各国AI监管法规加速出台（欧盟AI Act、中国生成式AI管理办法）
• 开源模型的安全问题（无法像闭源API那样做内容过滤）