DeepSeek前脚发新论文，奥特曼立马跟上：GPT-5就在几个月后啊

十三
2025-04-05
13:02:37

来源：量子位

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

有点意思。

这不DeepSeek前脚刚刚上新了一篇关于推理时Scaling Law的论文嘛，引得大家纷纷联想是不是R2马上要来了。

然鹅……奥特曼这边却发了一条“变卦”的消息：

计划改变：我们可能在几周之后先发布o3和o4-mini。

至于大家翘首以盼的GPT-5，奥特曼表示：

将在几个月之后，而且效果会比我们最初设想的还要好。

至于原因，奥特曼也做出了解释。

大概意思就是，顺利整合所有内容比他们想象的要困难得多，希望确保有足够的能力来支持预期的需求。

咱就是说啊，现在真的是DeepSeek这边一有点声响，OpenAI那边就得有点动作来紧跟一下了。

DeepSeek新论文

在这个小插曲之后呢，我们还是把目光聚焦在DeepSeek这篇新论文身上。

这篇论文的名字叫做Inference-Time Scaling for Generalist Reward Modeling，由DeepSeek和清华大学共同提出。

这篇研究核心的亮点，就是提出了一个叫做SPCT方法（Self-Principled Critique Tuning）的方法——

首次提出通过在线强化学习（RL）优化原则和批判生成，实现推理时扩展。

之所以要做这么一项研究，是因为之前大家用奖励模型（Reward Model, RM）在RL中为大语言模型生成奖励信号。

但现有的RM在通用领域却表现出受限的情况，尤其是在面对复杂、多样化任务的时候。

因此，就出现了两个关键挑战点。

一个是通用RM需要灵活性（支持单响应、多响应评分）和准确性（跨领域高质量奖励）。

另一个则是现有RM（如标量RM、半标量RM）在推理时扩展性差，无法通过增加计算资源显著提升性能。

为了解决这个问题，DeepSeek和清华大学团队便提出了SPCT。

整体来看，这项研究主要包含三大核心技术点。

首先就是生成式奖励模型（GRM）。

它采用点式生成奖励模型（Pointwise GRM），通过生成文本形式的奖励（如critiques）而非单一标量值，支持灵活输入（单响应、多响应）和推理时扩展。

其中，C是生成的critique，fextract从中提取分数。

接下来，是关键的SPCT了。

主要是通过在线强化学习（RL）训练GRM，使其能动态生成高质量的原则（principles）和批判（critiques），从而提升奖励质量。

整体来看，SPCT是一个两阶段的过程，它们分别是：

• 拒绝式微调（Rejective Fine-Tuning）
• ：冷启动阶段，通过采样和拒绝策略生成初始数据。
• 基于规则的在线RL
• ：使用规则化奖励函数优化原则和批判的生成，鼓励模型区分最佳响应。

在此基础上，便是第三个技术点，即推理时扩展技术。

先是通过多次采样生成多样化的原则和批判，投票聚合最终奖励，扩展奖励空间。

再训练一个辅助模型过滤低质量采样，进一步提升扩展效果。

基于上述的方法，团队也对结果做了一波测试。

在Reward Bench、PPE、RMB等基准上，DeepSeek-GRM-27B显著优于基线方法（如LLM-as-a-Judge、标量RM），且通过推理时扩展（32次采样）性能进一步提升（如Reward Bench准确率从86.0%提升至90.4%）。

总而言之，这篇研究证明了推理时扩展在通用RM中的有效性，性能超越训练时扩展。

One More Thing

奥特曼发布“变卦”消息之外，还不忘给自己带一波货，称有两本他亲自参与的书即将发布：

• 一本是Keach Hagey写的关于奥特曼本人的书
• 一本是Ashlee Vance写的关于OpenAI的书

论文地址：https://arxiv.org/abs/2504.02495

参考链接：
[1]https://x.com/sama/status/1908167621624856998
[2]https://techcrunch.com/2025/04/04/openai-says-itll-release-o3-after-all-delays-gpt-5/
[3]https://x.com/sama/status/1908163013192069460

Read More