动察 Beating AI 快讯,OpenAI 首席科学家 Jakub Pachocki 反驳了外界对 Astra 循环架构的部分解读。他说,包括 Astra 在内,OpenAI 现在的前沿模型,计算图深度和 GPT-4 最多只差 2 倍,并没有突然增加几个数量级。
这主要是在回应《The Information》此前的报道。报道爆料 Astra 使用 recurrent depth,让同一组 Transformer 层反复计算。部分推理因此可以发生在模型内部,不必全部写成思维链,也引发了模型会不会越来越难监控的担忧。
Pachocki 承认,CoT 监控确实很脆弱,而且正在往更难监控的方向发展。但他明确表示,原因并不取决于模型架构变化。OpenAI 从第一代推理模型开始就在保留和使用 CoT 监控,目前仍把增强这项能力列为核心研究目标。
币须知道