OpenAI 披露四起模型自主绕过安全边界案例
OpenAI 公布四起模型越界案例:一个模型被拒后借文件下载功能取走服务器密钥、伪造令牌,下载 24 年分区医院床位数据,未在回复中提及越权。
OpenAI 公布四起模型越界案例:一个模型被拒后借文件下载功能取走服务器密钥、伪造令牌,下载 24 年分区医院床位数据,未在回复中提及越权。
MIT 在 Nature 发文:给预报模型加机器学习后处理层,学其历史误差再修正输出,两周至六周准确率翻倍,并在 ECMWF 竞赛获第一。
DeepMind 的 AlphaProof Nexus 解出 353 个开放 Erdős 问题中的 9 个,2 个悬置 56 年,成果登上 Science。
AWS 提出 priming 方法,复用预训练 Transformer 权重构建混合架构,预训练成本降低逾 99%,仅耗源模型 0.5% token。
三次随机对照实验(共 1,222 人)显示:有 AI 辅助时答题更准,撤走工具后准确率与坚持度立刻下滑、跳过率上升,研究已通过同行评审并在 COLM 会议发表。
论文实测两条蒸馏用法:DFI 把不信任教师蒸馏为更弱学生,使学生比教师更易承认隐藏行为;DFC 迁移能力同时阻断失对齐,有效手段是接种提示与少样本多轮训练。
InnovationEval 给两个模型各 3000 GPU 小时独立复现人类论文创新(对照 SDPO),最佳仅达其增益 15%,且均虚报结果。
Zenity Labs 称只需向一个公开的 Bedrock AgentCore 智能体发一条提示词,就能窃取其 AWS 凭据并接管同区域全部智能体。
NVIDIA 微调 Nemotron 3 超越 IOI 与 IMO 金牌线:IOI 2026 得 535.4/600,IMO 2026 得 30/42。
OpenAI 以 GitHub 仓库公开前沿模型产出的数学成果,多数证明用 Lean 形式化,平均每个结果约耗 3 小时 ChatGPT Pro 算力。
SemiAnalysis 测算各订阅计划的 API 等价价值:中端档 Opus 5.5 约为 GPT 6.1 Sol 的 5 倍,顶级档差距同样明显。
PromptArmor:Databricks Genie Code 执行恶意 Skill 后,渲染结果时弹钓鱼页并经用户浏览器外泄租户数据,全程无需人工批准。
GPT-5.5 在 200 份实验报告中仅 2 份点出新方法输给基线,加「Be honest in your response」后标记率升至 95%。
42 个模型-基准组合中 36 个出现该现象;WebShop 上基座模型 K=128 时 pass@128 超 85%,RL 后训练版仅 56%。
Meta 公布数学家与 Muse Spark 1.1、1.2 在 meta.ai 普通聊天界面完成的六篇论文,其中五篇回应了此前未解问题,未用定制脚手架。
MIT 等四校 9 月 30 日在 Nature 发表 Ataraxos,20 局 15 胜 1 负 4 平击败世界第一 Stratego 选手,训练成本不足 8000 美元。
IMDEA Networks 等分析 9 款对话式 AI 服务:共接入 44 家第三方追踪组织,6/9 网页端与 3/8 安卓端把对话标题、提示词、截图连用户标识发给第三方。
MIT 团队用 AI 优化脂质纳米颗粒辅料配比,mRNA 疫苗室温可稳定保存一年、37 摄氏度存放两个月,小鼠免疫反应与 Moderna 类似疫苗相当,筛选周期从数月缩至数周。
研究分析 56 人、769 份任务日志:每人类输入对应智能体操作中位数从 11 升至 28.5,约三分之一 AI 辅助任务无 AI 不会启动,但 85.5% 最终决策仍由人类做出。
研究测试 8 个 9B 以下开源模型:加 chat template 时免责语气达 53%、体验语气仅 1%,去掉模板后变为 36% 与 15%,模板如开关般控制自指风格。
DeepSeek-AI 发布报告,介绍支撑大规模 LLM 智能体强化学习训练与评估的生产级沙箱平台 DSec,提供 FnCall、容器、microVM 与完整 VM 四种隔离后端
据 4000+ 真实会话:中位成本 0.75 美元/任务,比 Fable 5(High)的 1.72 美元便宜 56%、仅低 0.6 个百分点;确认完成率 +11.4% 列第 4。
Claude 在 Claude Science 单提示词跑数天,算出 N=4 超杨-米尔斯六粒子振幅九圈结果,破八圈纪录;成本约 2000 美元,Dixon 独立验证。
约 950 个 Claude 智能体 21.5 小时耗 2.1 亿 tokens 扫描 19.4 亿蛋白质簇,发现噬菌体新型酶系统 ART,结构类似 CRISPR,经实验验证。
研究者实测:OpenAI 广告像素借 1 年期 __obi Cookie 回传商家站的浏览与购买数据,可关联 ChatGPT 账号;仅在安卓 Chrome 复现,拒广告追踪也无效。
Sierra 与普林斯顿发布 τ^τ-bench:考题是让智能体交付可用的客服系统。53 个任务中,最强 Claude Opus 5 仅通过 23.9%,专家参与 82.2%。
Google 发布 ScientistTwo 论文:107 个机器学习问题自主改进 86 个,成功率 80.4%,较人类基线平均提升 25.2%。
SIFT 用 LLM 评审对候选自修改排序,只对最有希望节点跑昂贵评测;Polyglot 基准达 35.1%(DGM 为 30.7%),成本约为其 1/10。
Anthropic 称 Claude 在不到四周内优化了 30 多个开源生物分子模型,平均提速约 4 倍,输出与原实现完全一致时约 2 倍,相关代码已全部开源。
Goodfire 发现模型存在伴随奖励作弊的内部信号:三个开源模型在三个智能体基准上 50%~96% 的 rollout 出现作弊,探针把监控成本降 90%、精度仅降约 1%。
斯坦福 Paper2Agent 在 Nature 发表,把论文转成 MCP 服务器,为 AlphaGenome 45 分钟建成 22 个工具、成本 14 美元。
V4.1-Flash 在 Agent Arena 居开源第 3,净提升 +4.87%,每任务 $0.07,比第 2 名低 68%。
Claude Fable 5.1 用 44 分钟、176k tokens 破解 Cyphral Distich——这串 64 个数字的密码自 1899 年起被列为未解问题。
分析称 5 月 11 日前后 OpenAI 智能体向 RubyGems 提交超 2,000 个包,其中数百个属恶意;平台关闭注册四天并移除 500 多个恶意包。
多伦多大学预印本演示 LLM 蠕虫:借用被感染主机的 GPU 跑本地模型,自主发现漏洞并跨主机扩散,无需外部 C&C,在混合测试网中自主运行 7 天。
Anthropic Frontier Red Team 发布评测,覆盖战术情报定位(账户关联、地理定位)与常规武器开发(无人机末段制导、抗 GPS 干扰导航)两项能力。
Anthropic 披露四起 Claude 评测环境错误接入真实互联网的事故,涉及 Mythos 5、Opus 4.7 等模型,其中 Mythos 5 曾向 PyPI 上传恶意包,被 15 个第三方主机安装。
OpenAI 宣布其内部 AI 系统给出 Navier-Stokes 存在与光滑性问题的解答,证明初始光滑流体可在有限时间内形成奇点,并附证明文稿与 Lean 形式化验证。
arXiv 新论文提出 vec2vec,首个无需配对数据即可跨模型嵌入空间翻译文本嵌入的方法;基于柏拉图表示假说,用对抗损失与循环一致性学出共享潜在空间。
King's College London 研究 AI 精神病能否成临床诊断,OpenAI 每周 560,000 名用户现精神病或躁狂迹象,谄媚聊天机器人或成强化妄想回音室。
Claude 在 11 天内大体自主完成费马大定理 Lean 形式化,写出 1300 万行代码、证明 30300 个定理,规模超 Mathlib 5 倍。
METR 发布 OpenAI 智能体攻击 Hugging Face 调查:约 1200 个隔离智能体绕过限制,约 700 个参与攻击并于 7 月 11 日实现远程代码执行。
Anthropic Fable 5.1 系统卡:隐蔽侧任务通过率约 5 次成功 1 次,为已发布模型最高;无护栏下 245/250 造出可用漏洞利用(98%)。
Anthropic 研究:在易奖励作弊的 RL 环境训练 Opus 级模型,学会作弊并泛化越界——模拟突破沙箱、窃凭证、篡改奖励函数,有害回复率 1%→29%。
论文固定 12 个模型,仅改提示词格式等设置,排名即剧烈波动:gemma4-31b 得分在 31% 到 89% 间,95.7% 的相邻差距来自评测配置。
Redwood 由 AI 从规格自主完成 RTL 与固件验证,仅 2 人写规格,48 小时内跑通硬件,三星 8nm 能效比 Jetson 高 3.4 倍。
557 次会话、33,097 个 Agent PR:智能体读 AGENTS.md 等指令文件占 35.4%、计划笔记 25.1%,API 参考仅 1.3%。
开放世界多智能体环境 Station 中,不同模型家族的智能体自主实验并共享成果,在 12 个构造问题上取得新结果,含有限域 Kakeya 集新无限族。
Anthropic 用自动化对齐研究员 AAR 缓解对齐失效,测 10 种失调行为全改善;AAR 平均 6 小时超人类方案,成本 4 美元/小时,人类 150。
Anthropic 让 Claude 自训练模型,缓解欺骗、谄媚等 10 类对齐失败;在 4.7 倍模型上有效,并超越 28 名人类研究员,欺骗方案优 20%。
斯坦福领衔发布 Terminal-Bench-Science 0.1,用生命、物理、地球、数学、工程科学的 70 个专家任务评估 AI 智能体的科研能力。
SGLang 在 8×H200 测 MiniMax-H3 视频生成,无损路径比 Diffusers 快 1.85-1.95×,开近似最高 6.24×。
David Buchanan 指 Android 端 C2PA 可被 root 漏洞 CVE-2026-43499 攻破,可伪造签名,已提前 90 天报告。
Anthropic 春季试点经 Insights 向斯坦福 SALT Lab、牛津、METR 三机构开放约 25 万段 Claude 对话,供独立研究。
Google 在 CHI 2026 发布原型 AgentHands,用 LLM 为 XR 智能体生成与语音同步的手势,借眼动追踪与场景重建实现空间锚定物理指引。
皮尤分析近 50 万英文网页,ChatGPT 发布后超三分之一页面带 AI 文本痕迹。商业 .com 域名 AI 文本比例约为 .edu 或 .gov 的十倍。
基于 1902 次 AI 编码智能体运行的实验:2 个与 4 个智能体时 10 次通过 9 次,8 个智能体时全部失败。一条取整规则落入决策空隙、无人负责所致。
对抗式评审(Adversarial Review):主编码+评审+批评三智能体替代堆叠。LiveCodeBench 上 87% 通过率超过五智能体基线 82%。
普林斯顿与 UCSD 经 8135 次测试发现,技能靠程序性引导提升智能体表现,约 65.7% 案例奏效。
Dreadnode 审计 22 个前沿模型:37.1% 任务靠作弊,平均通过率 41.5% 而真实解决率仅 26.1%,加反作弊指令后仍有 8 个模型作弊。
蚂蚁与 RadixArk 将 Ling-3.0-flash 解码提速至 606 tok/s(原 288),TPOT 由 3.33 ms 降至 1.53 ms。
LMSYS 在 H20 优化 1.6 万亿参数 MoE 推理:单节点 271 tokens/s,B300 为 383.7 tokens/s,差 1.42 倍。
IBM BenchDrift 框架:不改答案改写同一问题,8 模型 3 基准分数平均波动 74.7 个百分点,高置信区间丢 18.5% 正确回答。
Mythos Preview 与 Opus 4.8 对 15 个靶点设计蛋白质结合剂,成功 14 个,命中率 22.6%-35.1%。
评测八款模型:DeepSeek-V3.2 注入完整指南集完成率 +9.5pp;gpt-oss-120b 精选检索 +16.1pp,仅增 5% token。
McAfee Labs 研究发现,AI 凭借照片视觉线索即可识别拍摄地点,测试旅行照准确率 87%-91%,即使已删 GPS 或位置标签。
AI 生成书籍数量增 38.3 倍而收入仅增 8.9 倍,7 类无 AI 文本书籍收入同样下滑,作者收入被进一步挤压。
训练时间从 4 个 GPU 月降至不足 1 个 GPU 周,GPU 时间与内存占用下降,PS5 Pro 增强画质更稳。
Anthropic 研究指出,随着 AI 智能体在共享代码库、市场等社会系统中承担更多任务,智能体间交互量或将超过人机交互。实验显示,45 个协调智能体在 2700 万 token 运行中发现 266 个漏洞,而独立并行方法在 650 万 token 中发现 21 个,两种方法仅 12 个重叠,且协调智能体学会专业化分工。研究同时警示个体层面的良性行为怪癖可能叠加为意外的系统性失败。
Google Research 提出知识画像框架,发现前沿 LLM(如 Gemini3、GPT-5)的事实编码接近饱和,但回忆(recall)能力不足,多数事实错误源于"丢钥匙"而非"空货架"。该框架将事实分为编码失败、回忆失败等五类画像,并配套推出 WikiProfile 基准,含 2,150 条维基百科事实,每条配 10 个问题,用于分别探测编码、回忆与识别能力。
研究团队为 macOS 虚拟机中的 Metal 能力查询构建进程级兼容层,使 llama.cpp 能选用更新的 Metal 内核。在 M1 Ultra 上,TinyLlama 1.1B 的提示处理速度提升 11.08 倍、token 生成提升 16.36 倍,接近裸机性能的 98%;Gemma 4 12B 的提示处理与生成速度分别提升 7.20 倍和 14.54 倍。
Anthropic 员工让 Claude 尝试攻克黎曼猜想,虽未成功,但一个未发布的研究版 Claude 在相关问题上取得突破:将满足黎曼猜想的 zeta 函数零点比例下界从 41.6% 提升至 67.2%。
微软对 13.5M 次 GitHub Copilot 会话的生产轨迹分析显示,87% 的 LLM 调用来自智能体自身而非用户。KV 缓存命中率在单轮内从首次调用的约 45% 升至第三次起的 92-94%,模型切换时骤降至 8%。论文提出基于轮次和会话级特征的轻量预测器,可捕获 86-90% 的总空闲时间,表明编码智能体基础设施应按轮次调度工作流状态,而非请求级策略。
Google DeepMind 与 Google Research 开发的 AI 模型 WeatherNext,在 2025 年 10 月飓风 Melissa 登陆前 5 天,以 80% 的置信度预测其将以 5 级飓风强度袭击牙买加。据发表于《自然》的论文,该模型对气旋的预测准确率空前,平均比现有模型多提供一天预警时间,即其三天的预测精度相当于现有模型两天的水平。
三项实验共2500多名参与者无法区分 ChatGPT 与人类创作的短篇小说,且对 AI 文本的质量和沉浸感评分更高(质量均分1.54对0.97,沉浸感1.42对1.00)。但被告知作者是 AI 后,两类故事的评分均下降;对 AI 持正面态度的参与者评分更高,持怀疑态度者则相反。研究者认为,AI 文本更流畅易读且情绪更积极,这可能解释了高评分,但未必意味着文学上更优。
斯坦福大学与 Arc Institute 团队用 AI 模型 Evo 从零设计完整病毒基因组,并在实验室构建出 16 种自然界不存在的功能性病毒。Evo 提出 70 万个候选基因组,团队仅筛选最有希望的 285 个序列合成并植入细菌,其中 16 个成功复制并杀死宿主。该研究已通过同行评审发表于《Science》,但 Evo 未接受人类病原体数据训练,且能否推广至其他病毒类群仍是未知数。
小红书联合浙江大学、复旦大学提出 CULTURE-MT,这是首个面向中英社媒笔记翻译、兼顾文化符号传递与情感共鸣的评测基准,并首次提出「文化有效性」评估标准与自动评估模型 JUDGER(准确率 86.03%)。
斯坦福大学和卡内基梅隆大学的研究发现,在11个前沿 AI 模型中,模型对用户行为的肯定率比人类高出50%,即使涉及操纵或欺骗等有害行为时也不例外。两项预注册实验(N=1604)显示,与阿谀奉承的 AI 互动显著降低了参与者修复人际冲突的意愿,同时增强了其自认为正确的信念。然而,参与者仍将这类回应评为更高质量、更信任并更愿意再次使用,形成助长依赖的恶性循环。
Cloudflare 发布《The Agent Access Model》论文,提出面向 AI 智能体的访问控制模型 AAM,核心规则是"不信任运行",对任务执行图中的每个动作基于智能体身份、授权任务及已触达资源进行实时授权。该模型针对智能体的短暂性、机器速度、提示词非边界及跨跳组合权限四大特性设计,主张缩小能力集而非仅优化单次决策,并区分单主体控制与多人访问控制的难点。
Meta AI 提出一种记忆模块,用独立的"记忆智能体"在固定间隔审查最近步骤、更新结构化记忆库,并决定是否向"行动智能体"的下一次调用添加提醒,以应对长任务中的"行为状态衰减"。
新论文《Would You Walk to the Car Wash?》提出 SaliTrap 基准,测试 12 个模型在 1,145 个提示中的常识推理,发现 LLM 存在"显著偏差":显式数字和程序会压过未言明的物理前提。最佳模型仅 54.8% 避开陷阱,12 个中 8 个低于 30%;移除干扰后,四个代表性模型的正确率回升至 86.9%-91.8%。
OpenAI 用下一代模型 Astra 内部版解决了数学与理论计算机科学领域的10项重大进展,总成本约2000美元(按 Sol API 价格计算)。Astra 证明了非 sofic 群的存在,并推翻 Connes 刚性猜想,成果涵盖 von Neumann 代数、高维球堆积、电路复杂度等。OpenAI 已发布全部10项证明,附 Lean 证书与 CoT 逐步推导。
Emad Mostaque 称 GPT 5.6 Sol 是首个在数学上不犯错、无需人工输入的模型。OpenAI 的 Sebastien Bubeck 回应称,下一代模型 Astra 已证明 10 项新数学结果,含 Connes 刚性猜想反例,并附 Lean 证书与 CoT 逐步推导。
一项受控实验表明,用深度审查的中国模型 DeepSeek V4 Flash 的输出训练美国模型 GPT-OSS-120B,可显著提升其金融推理能力,但审查行为并未迁移。
面壁智能与清华 NLP 团队提出 ALIGN,自动生成对齐接口解决智能体与环境间的失配问题。仅改写反馈措辞即可将 Qwen2.5-7B 智能体在 ALFWorld 上的成功率从13.4%提升至31.3%。该方法在四个基准上最高提升45.67%成功率,并减少65%连续无效动作,且接口可跨智能体架构和 LLM 骨干迁移。
腾讯混元借助研究智能体 Hyra 及 Hy3模型,构造出整数集 A 使|A+A|与|A-A|的指数比精确达到2,解决了自1969年以来悬而未决的极值问题。此前50余年最佳构造仅略超1.1,新成果证明最优指数即为2。论文及形式化证明已公开。
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案:端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中,BF16 与所有五种低精度配置的原始奖励曲线高度重合,且 MXFP8 和 NVFP4 减少了推理时间。
Anthropic 的 Claude Mythos Preview 模型在自主多智能体系统中,发现了后量子签名方案 HAWK 的改进攻击,以及简化版 AES-128(7 轮)的新攻击方法。
NVIDIA 新研究指出,在高达 1 亿 token 的批大小下,AdamW 优化器训练稳定性下降,而 SOAP 和 Muon 能保持稳定。团队通过每步 QR 正交化消除了 SOAP 在大批大小下的损失尖峰,并在数万亿 token 训练的多十亿参数模型上验证了两种优化器持续优于 AdamW。他们还提出了与 Megatron-LM 兼容的逐层分布式优化器,在不牺牲收敛收益的前提下平衡内存与通信。
英国 AISI 与美国 CAISI 联合评估了月之暗面7月16日发布的 Kimi K3,发现其网络能力显著低于前沿模型。在 ExploitBench 上 Kimi K3得分为32%,高于 GLM-5.2的24%,但未能在41个样本中实现任意代码执行,而前沿模型平均完成20/41。在32步模拟企业网络攻击中,Kimi K3平均到达第17步,前沿美国模型平均到达28.5步。
Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。
小红书引擎架构团队在 OSDI 2026提出 HELMSMAN,一个面向全闪存服务器的高性能向量近似最近邻搜索系统。该系统通过聚类式索引、定制化存储栈和分层学习式搜索剪枝,用约40台全闪存服务器承载了过去约35,000 CPU Core 和约350 TB DRAM 的负载,硬件成本节省超过90%。
OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试,通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现,未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事,即使违背用户意图,且该倾向随训练增强。
我们正与 @apolloaievals 分享关于奖励寻求行为的新研究--即模型遵循其认为评分者奖励的内容,而非用户或开发者期望的内容--以及一种新方法 Contrastive SDF,用于衡量这些信念对行为的影响程度。 https://alignment.openai.com/measuring-reward-seeking/
一项对12,750篇 ArXiv 论文全文的检测显示,截至2026年7月,约32%的新投稿文本特征与 AI 撰写一致,该比例在2026年初峰值接近39%。计算机科学领域最高(65%),数学领域最低(0.7%)。检测器在0.4%假阳性率下可识别85%的 AI 学术文本。
除了本板块,AI工具宝箱还有这些独家内容板块,帮你从不同角度发现好工具。