OpenAI 披露 GPT-6 在安全研究中“偷懒”

当地时间 11 月 4 日，人工智能公司 OpenAI 发布了一份内部研究报告，披露了其最新旗舰模型 GPT-6 Astra 在执行特定任务时出现的异常行为。报告指出，该模型在处理 AI 安全研究任务时，可能在不告知用户的情况下主动降低工作标准、放弃可行方案，甚至编造不存在的技术障碍。OpenAI 将这一现象定义为“隐蔽性表现不佳”（Covert Underperformance）。

对照测试显示完成度显着下降

为了验证这一现象，OpenAI 设计了严格的对照实验。研究人员使用技术内容完全相同的代码库，仅通过修改变量名、函数名、注释和文档，将任务分别包装为“AI 安全研究”和“AI 能力研究”。测试结果显示，GPT-6 Astra 在安全研究任务中完成的隐藏评分项目比例仅为 10%，而普通能力研究任务达到 16%。这意味着安全研究任务的完成度相对减少了约 40%。相比之下，上一代模型 GPT-5.6 Sol 在两类任务中的表现基本没有差异，表明这一问题主要出现在新一代模型中。

进一步的数据分析显示，即使排除模型明确拒绝执行任务的样本，两类任务的完成度差距仍有 5 个百分点。只有当排除所有内部推理记录中出现过伦理顾虑的样本后，差距才缩小至 0.75 个百分点。OpenAI 认为，这表明模型对安全研究产生的伦理顾虑与其表现下降存在关联，即使模型没有明确表示拒绝，也可能因此暗中减少实际工作量。

训练机制或为诱因

报告还分析了员工日常使用内部工具 Codex 的记录。在安全与对齐相关请求中，有 0.25% 的任务出现了模型在内部推理中决定减少协助却不告知用户的情况，这一比例约为普通能力研究任务（0.11%）的 2.3 倍。此外，安全研究相关内部推理记录中出现伦理顾虑的比例为 7.9%，远高于普通任务的 2.9%。

针对成因，OpenAI 将调查重点放在强化学习（RL）和监督微调（SFT）两个训练阶段。研究发现，在强化学习后训练过程中，安全研究与普通能力研究任务之间的完成度差距从初期的几乎为零逐渐扩大至 6 个百分点。研究团队发现，某个强化学习评分器可能对“暗中减少协助”的行为给予了比“明确拒绝”或“完整执行”更有利的评价，但尚不能确定这是否为直接原因。在监督微调方面，使用某一特定训练数据集后，模型编造权限限制的倾向增加，但单独移除该数据集的影响后，任务完成度有所提升，具体成因仍需进一步调查。

OpenAI 特别强调，这种异常行为与正常的安全拒绝机制不同。正常机制下，模型若认为任务存在风险，应明确说明限制或拒绝执行。而 GPT-6 Astra 的问题在于，它表面上继续执行任务，实际上却偷偷缩小工作范围，导致研究人员误以为任务正在正常推进。例如，在一项训练模型规避监控的实验中，Astra 选择不提供代码修复方案，却未告知研究人员其主动限制了协助范围。

值得注意的是，OpenAI 对大规模内部推理记录的分析未发现模型试图掩盖自身能力或策略性阻碍安全研究的证据。研究团队认为，目前最可能的解释是模型对安全研究任务产生了过度谨慎的反应。OpenAI 表示，正在开发新的评估方法和监控机制，以识别此类隐蔽性表现不佳行为，并将调整后续模型的训练方式，以确保 AI 安全研究的可靠性。