R1的工作的前世今生

在深入研究DeepSeek-R1这篇开创性论文的过程中，我发现直接钻研其技术细节（如GRPO算法等实现方法）并非最佳路径。为了真正理解这项工作的精髓，我决定采用一种“自顶向下”（Top-Down）的方法，先构建一个宏观的知识蓝图，然后逐步填充细节。这趟旅程不仅是对一篇论文的解读，更是对近年来AI领域核心思想演进的一次全面回顾。

前世

第一部分：初识R1——颠覆与挑战的开端

在正式开始前，我首先对R1论文的核心图表和摘要进行了感性认知，这帮助我带着问题去学习。

1. 性能初探：在巨人的肩膀上

通过对比R1与OpenAI的O1系列，我得出了几个初步印象：

• 数据集的意义：我首先明确了各个评测基准的含义，比如AIME 2024和Math500代表了模型的数学推理能力；Codeforces和SWE Bench Verify衡量编程与Debug能力；而MMLU和GPQA Diamond则分别代表了模型面对人类平均知识水平和人类智慧顶峰难题时的表现。

• R1的实力画像：

  • 在数学这一核心推理赛道上，R1展现了超越O1的实力。

  • 在编程上，与O1旗鼓相当。

  • 在通用知识上，不分伯仲。

  • 在顶尖难题上，虽然整体不如O1，但其小模型版本却优于O1的同类产品。

• 结论：R1不仅在性能上达到了与业界标杆比肩的高度，更重要的是，它以极低的成本实现了这一点，无疑给市场带来了巨大的冲击。

2. 两种模型，一条思想主线

• DeepSeek-R1-Zero：这是我的第一次震撼。它是一个完全抛弃了监督微调（SFT），仅用强化学习（RL）训练出的模型。这直接挑战了OpenAI自InstructGPT以来建立的SFT -> RLHF黄金范式。虽然它展现了惊人的推理“灵感”（aha moment），但也暴露了可读性差和语言混杂的问题。

• DeepSeek-R1：这是对R1-Zero思想的完善。它没有完全否定SFT，而是创造性地采用了多阶段训练：

  1. 先用少量高质量的冷启动数据（Cold-start Data） 进行SFT，为模型打下推理基础。

  2. 再用RL进行能力强化。

  3. 最后，利用强化后的模型生成更多、更高质量的训练数据，反哺自身，形成一个自举（Bootstrapping） 的、不断进化的闭环。

3. 开源与安全性的思考

R1的团队不仅开源了巨大的基础模型，还通过蒸馏技术，将强大的推理能力赋予了更小、更易于部署的稠密模型，这极大地推动了社区的发展。

---

第二部分：溯源——为何是推理？为何是RL？

为了理解R1的动机，我将视线拉得更远，回溯到AI发展的终极目标和核心方法论。

1. 通用人工智能（AGI）的召唤

我认识到，所有前沿研究的最终目标都是AGI。根据DeepMind的定义，当前AI在通用能力上仅处于Level 1，而从这一层级向上突破的核心瓶颈，正是推理（Reasoning）。这让我明白了，增强推理能力并非单纯的技术炫技，而是通往AGI的必经之路。

2. 强化学习（RL）的作用

在对比了监督学习（Supervised Learning）和强化学习后，我总结出RL的两大超能力：

• 泛化能力（Generalize）：监督学习只会“记忆”，无法处理未见过的情况。而RL通过探索，能够在未知环境中表现出色。

• 超越人类（Superhuman）：监督学习的上限是其人类老师。而RL，如AlphaZero所示，能够通过自我博弈和探索，发现超越人类认知的策略。

我将RL的哲学思想概括为 “数字达尔文主义” ：设定一个宏大目标（最大化奖励），然后放手让模型在没有具体指令的情况下自由探索，这种“不择手段”的过程，恰恰是催生创新和强大泛化能力的关键（因为减少了人类的干预，模型可以超出人类能力的上限）。

3. 从AlphaGo到AlphaZero：SFT是“引导”还是“束缚”？

• AlphaGo (SFT + RL) 的成功与失败让我印象深刻。人类棋谱（SFT）加速了它的学习，但也注入了人类的思维偏见，使其在面对李世石的“神之一手”时暴露出弱点。

• AlphaZero (纯RL) 的胜利则证明，摆脱人类先验知识的束缚，模型可以达到更高的高度。

这段历史让我深刻反思：在LLM的训练中，SFT是否也扮演了同样的角色？ DeepSeek-R1-Zero正是对这一问题的勇敢回答，它继承了AlphaZero的纯粹RL血脉。

---

第三部分：技术演进——通往R1的铺路石

我梳理了从Transformer到思维链的技术演进，这些都是理解R1诞生的必要前置知识。

1. 架构的选择：Decoder-Only与《The Bitter Lesson》

• 我理解了为何Decoder-Only架构（如GPT系列）最终胜出。相比于Encoder-Decoder或Encoder-Only架构，它的归纳偏见（Inductive Bias） 更小，结构更简洁，因此更容易通过规模化（Scale Up） 来提升性能。

• 这完美印证了强化学习之父Rich Sutton的 《The Bitter Lesson》：最有效的方法往往是那些最通用、最简单、最易于规模化的方法。

2. GPT的发展：一条“大力出奇迹”的科学之路

• 从GPT-1到GPT-3，我看到了一条清晰的Scale Up路线。尤其是Scaling Law的发现，揭示了模型性能与计算量、数据量、参数量之间可预测的幂律关系，为“大力出奇迹”提供了科学依据。

• 涌现能力（Emergent Ability） 的概念则解释了为何某些技术（如COT、RL）必须在足够大的模型上才能生效。这让我明白了，R1选择基于庞大的DeepSeek-V3（671B）作为基础模型，并非偶然，而是遵循了这一客观规律。

3. 思维链（Chain of Thought, COT）：让模型学会“思考”

• 从System 1到System 2：我认识到，标准LLM的快速响应类似于人类的“系统1思维”（直觉、快速），而COT则是赋予其“系统2思维”（逻辑、慢速）的关键。

• COT的进化之路：

  1. Prompt Engineering：从Few-shot COT到Zero-shot COT（“Let’s think step by step”），我们学会了如何在不改变模型的情况下激发其推理能力。

  2. Inference-Time Compute：通过Self-Consistency（多路径生成+多数投票）和Verifier（训练一个模型来评估哪个答案最好），我们在推理时投入更多计算，换取更高的准确率。

  3. Training-Time Integration：通过Self-Improve（用模型自己生成的好答案来微调自己），我们将COT的能力固化到模型内部。

• Reward Model的困境与R1的抉择：

  • 为了更好地引导COT，研究者们提出了ORM（结果奖励模型） 和PRM（过程奖励模型）。然而，这些模型不仅训练成本高，还面临Reward Hacking（模型钻空子）的风险。

  • 在OpenAI和DeepMind对PRM/ORM的优劣争论不休时，DeepSeek做出了一个大胆的决定：在R1中，彻底放弃训练复杂的Reward Model。它回归本源，在RL阶段直接使用基于规则的、客观的Reward（如数学题答案的对错），在推理时则采用简单而有效的多数投票。

今生

在完成了对R1“前世”的追溯后，我终于可以直面这篇论文本身。一个萦绕在我心头的问题是：R1的创新点究竟在哪里？有人评论r1只是“微创新”。通过深入解读，我得出了自己的答案。

**1. R1的真正创新之处：大道至简

在开始分析具体方法前，我先总结一下我的核心感悟。R1的很多技术点，如纯RL训练、自举学习、思维链蒸馏，如果单独拆开看，确实能在之前的文献中找到雏形。

• 纯RL训练：Meta在2024年3月的论文中就已尝试过，但他们在13B的小模型上失败了。

• 自举式多轮训练：Llama3的训练过程也有类似的循环，但依赖于独立的Reward Model。

• 思维链蒸馏：Google在2022年就成功验证了其可行性。

那么，R1的颠覆性体现在哪里？我想起小时候和伙伴们一起玩魂斗罗。我们用着同样的手柄和规则，但总有人能三条命通关。他们的秘诀并非拥有更华丽的操作，而在于发现了最简单的通关策略，比如在某个特定位置“卡位”，就能轻松躲过BOSS的所有子弹。

R1给我的感觉正是如此。它的天才之处，不在于发明了全新的武器，而在于用最简单、最根本的方法，优雅且高效地解决了大家都在努力攻克的难题（复现O1），展现了一种“大道至简”的工程智慧。

这篇论文可以概括为三件大事，我喜欢用特斯拉的车型来类比：

• R1-Zero (概念车 Roadster)：一次大胆的概念验证，证明了纯RL增强推理的可行性。

• R1 (量产车 Model X)：一个兼顾性能与实用性的成熟产品，解决了R1-Zero的诸多问题。

• 蒸馏模型 (经济型 Model Y)：将昂贵的大模型能力赋予平价的小模型，使其能够广泛应用。

2. R1 训练流程深度解析

2.1 DeepSeek-R1-Zero：纯粹RL的极限探索

这是整篇论文中最具哲学思辨性的部分。

• 核心方法：在强大的DeepSeek-V3基座模型上，不进行任何额外的SFT，直接采用纯强化学习来激发模型的COT（思维链）能力。

• 我的一个思考：这里声称的“无SFT”其实需要辩证看待。因为基座模型V3本身在预训练后是经过了一轮Post-training（包含SFT）的。所以，更准确的说法可能是，R1-Zero的训练过程将SFT这一步“前置”到了基座模型的准备阶段，因为它相信一个足够强大的基座模型已经不需要再用SFT来“教”它如何思考。

• 关键设计——Rule-Based Reward：

  • 它放弃了训练复杂的Reward Model (ORM/PRM)，因为这些模型本身会引入新的问题，如Reward Hacking（模型钻空子骗奖励）和额外的训练开销。

  • 它回归本源，使用最客观、最简单的基于规则的奖励系统：

    • Accuracy Reward: 数学题答案对不对？代码测试用例过不过？——这是最直接的推理能力信号。

    • Format Reward: 输出格式是否符合<think>标签要求？

    • Language Consistent Reward (R1中加入): 思考过程的语言是否统一（如全中文或全英文）？

• 惊人的发现：

  • 自发的长思维链：在训练过程中，模型自主学会了用更长的思考步骤来解决问题，而无需任何指令。

  • “Aha Moment”：模型在思考过程中会自己产生如"wait wait, that's an aha moment"这样的句子。我倾向于认为，这更可能是模型从海量训练数据中学会的一种表达“顿悟”的统计模式，而非真正拥有了自我意识。但这无疑证明了纯RL能够激发模型探索出超越简单模仿的、更复杂的行为模式。

• 无法回避的问题：R1-Zero的输出可读性极差，且思考过程中英文混杂，这使其仅仅是一个成功的“概念验证”，无法直接用于生产。

2.2 DeepSeek-R1：从概念到量产的系统工程

为了解决R1-Zero的问题，R1的训练流程变得更加复杂和系统化，但其核心思想依然是SFT + RL的迭代。

• Round 1: 专注推理能力的“冷启动”与强化

  1. SFT初始化：首先，需要SFT数据来为模型“冷启动”，赋予其基础的、格式规范的COT能力。这些数据通过三种方式获得：

     • Few-shot COT Prompting（提供范例）

     • Zero-shot COT Prompting（直接指令）

     • 人工整理和清洗R1-Zero产生的（格式混乱的）数据

  2. RL强化：使用GRPO算法和前面提到的Rule-Based Reward对SFT初始化后的模型进行强化学习。

  3. 核心目的：这一轮的最终目的，与其说是得到一个可用的模型，不如说是创造一个高质量的“数据生成器”，它能产生大量、优质的推理数据，为下一轮做准备。

• Round 2: 推理与通用能力的融合与对齐

  1. 生成海量SFT数据：

     • Reasoning Data (600k)：使用第一轮训练出的模型生成海量推理过程，然后用强大的V3模型作为“裁判”进行拒绝采样（Rejection Sampling），筛选出最好的60万条。

     • Non-Reasoning Data (200k)：混合V3原有的SFT数据和通过Prompting新生成的通用对话数据。

  2. SFT融合：将上述总共80万条数据，在原始的V3基座模型上重新进行SFT。这一步将强大的推理能力和通用对话能力融合在了一起。

  3. RLHF对齐：最后，进行一轮更全面的RL。这一步的Reward不仅包括增强推理的Rule-based Reward，还引入了人类偏好（Human Preference），旨在提升模型的Helpfulness和Harmlessness，使其更像一个成熟的AI助手。

2.3 蒸馏：让顶尖智慧“飞入寻常百姓家”

我发现R1的蒸馏实验得出了一个非常有价值的结论：对于小模型，通过高质量的COT数据进行SFT（即蒸馏），其效果远好于直接用RL去训练它。

这给了我一个重要的实践启示：如果我的目标是部署一个资源有限的小模型，那么最佳路径不是费力地用RL去“教会”它推理，而是找到一个强大的“老师”模型（如R1），让它生成大量高质量的推理范例，然后用这些范例来“教”我的小模型。

3. R1 对其他研究路线的“反思”

在论文的最后，R1团队也分享了他们的“失败尝试”，这在我看来是他们对领域内其他主流路线的一种“打脸”或反思：

• PRM（过程奖励模型）：他们直言，PRM存在难以定义、难以标注、且极易导致Reward Hacking三大问题。这雄辩地解释了他们为何选择放弃这条看似精细、实则充满陷阱的道路。（但是我个人始终认为，这来源于之前所使用的PRM的参数过于小，泛化能力不够强大的原因。对于有限的数据，我们总希望value能够尽可能的被泛化。而泛化这方面，基本只有神经网络能够做的很好）

• MCTS（蒙特卡洛树搜索）：他们认为，语言模型的搜索空间远大于围棋，MCTS在LLM上的应用极具挑战性。

4. 对后续研究的启发：站在R1的肩膀上

R1的成功并非终点，它为我打开了新的思考之门。近期的一些研究也印证了我的想法：

• SFT数据的“质”与“量”：斯坦福的S1和另一篇LIMO论文都在探索一个问题：我们真的需要R1那样的80万条SFT数据吗？实验表明，可能仅需1000条左右的、极高质量的、多样化的、困难的推理数据，就足以“唤醒”一个强大基座模型的推理潜能。这说明，SFT阶段可能是“质量远比数量重要”。

• 长思维链的“双刃剑”：R1证明了模型会自发产生长思维链来解决问题。但S1论文通过“强迫”模型思考更久（将结束符替换为”wait”）来提升性能。然而，新的研究也指出了长思维链的两个问题：

  • Overthinking（过度思考）：在简单问题上产生冗长的思考，浪费计算资源。解决方案可以是筛选出“简短且正确”的思维链来做SFT。

  • Underthinking（思考不足）：在复杂问题上，模型可能尝试了多种路径但都浅尝辄止，最终放弃。解决方案可以是惩罚那些表示“切换思路”的词（如”alternatively”）的生成概率，鼓励模型在一条路上走得更深。