漫话大模型：AI 解出千禧年难题，但爱因斯坦式创新它做不到

9 月 8 号，OpenAI 发了一篇博客，标题就很炸裂：On the Navier-Stokes Millennium Prize Problem。

纳维斯托克斯方程，千禧年七大数学难题之一，悬赏 100 万美元，困扰人类数学家 25 年。OpenAI 说，我们解出来了。

10000 个 AI agent，88 小时，500 万条消息交换，用 Lean 做了形式化验证。

消息一出，数学圈炸了。Diego Córdoba 说了句 “We’re a little bit in shock”。但紧接着争议也来了——Tristan Buckmaster 指控 OpenAI 用了他刚发表的方法论，说他仓促赶出来的论文"只能叫 AI slop"。

一个 100 万美元的数学突破，AI 88 小时就做出来了，但用的方法论和人类数学家刚发表的方法论高度相似。

这到底是 AI 在"创新"，还是在"重组"？

要回答这个问题，得先搞清楚一件更基本的事：SFT 和 RL 到底是怎么训练模型的？

从一个朴素的问题开始

我们知道大模型的训练分三步：预训练、SFT、RLHF。预训练学知识，SFT 学格式，RLHF 学人类偏好。

但这里有个一直没想清楚的问题：SFT 和 RLHF 到底对模型做了什么？

是在教模型新知识吗？预训练已经学了那么多数据，SFT 那点数据能教什么新东西？

是在调整权重吗？那调整的是权重的什么？大小？方向？分布？

这个问题看似简单，但直到 2026 年几篇论文用 SVD 拆解了训练前后的权重变化，答案才真正清晰起来。

SVD 拆出来的第一个意外

SVD（奇异值分解）把权重矩阵 $W$ 拆成三部分：

$$W=U\Sigma V^T$$

$U$ 和 $V$ 是奇异向量，代表"方向"。$\Sigma$ 是奇异值，代表每个方向上的"能量大小"。

arXiv 2509.12235 和 arXiv 2508.16546 对 SFT 和 RL 前后的模型做了 SVD 对比，发现了一个反直觉的事实：

$$\Delta \Sigma <0.005\text{（几乎不变）}$$

$$\Delta U,\Delta V\text{ 显著}\text{（方向大幅旋转）}$$

训练过程中，权重的大小几乎不变，变的是方向。

这太意外了。我们通常以为训练就是在调权重的数值——调大调小，让输出更准。但 SVD 告诉我们，训练本质上是在旋转高维空间中的方向向量，而每个方向上的"能量预算"几乎不动。

打个比方：这就像一个人换了身衣服（方向变了），但体重没变（大小没变）。模型在做的事情是"转身"，而不是"长大"。

第二个意外：不同层变化不一样

论文还发现了层间差异：

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at end of input: … \to \text{变化大}

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at end of input: … \to \text{变化小}

KaTeX parse error: Unexpected end of input in a macro argument, expected '}' at end of input: … \to \text{变化大}

一个 U 形曲线。

更有意思的是，只修复前 25% 的层，就能恢复 70-80% 的 OOD 能力。这暗示后训练主要改的是"接口层"，中间的"核心推理层"几乎不动。

这就引出了第三个发现。

第三个意外：模型自动形成了分工

Transformer 的每一层结构完全一样——都是 Attention + FFN。但训练完一看，前几层和后几层的行为确实不同。

这不是设计出来的，是涌现出来的。

信息瓶颈理论（Information Bottleneck, Tishby 1999）解释了为什么：最优的信息处理策略就是先压缩（编码）、再处理（推理）、再展开（解码）。网络通过梯度下降自动收敛到了这个最优解。

所以模型自然形成了三层分工：

$$\text{前几层}\to \text{编码（理解输入）}$$

$$\text{中间层}\to \text{处理（核心推理）}$$

$$\text{后几层}\to \text{解码（生成输出）}$$

后训练改的是前后层的编解码逻辑，中间的推理核心几乎不动。

SFT 和 RL 的本质区别

理解了这些，再看 SFT 和 RL 的区别就清晰了。

SFT 做了什么？

SFT 用交叉熵损失，把模型的权重方向强制对齐到训练数据的模式上。这就像应试教育——反复做同一种题，做到条件反射。

问题是：SFT 会让模型"过度对齐"。如果一道题有三种解法但训练数据里只有一种，SFT 会把其他两种解法的方向也掰过来——错误地惩罚了正确答案。这就是 OOD Forgetting（分布外遗忘）的来源。

RL 做了什么？

RL 的奖励信号不看"标准答案长什么样"，只看"最终结果对不对"。更关键的是，RL 的 KL 惩罚项约束了方向旋转的幅度——不允许转太多。

论文的核心发现是：

“RL primarily counteracts SFT-induced directional drift rather than finding new solutions.”

RL 不是在教模型新东西，而是在抵消 SFT 造成的方向偏移。 它把 SFT 错误掰离的方向重新掰回来，恢复了模型的泛化能力。

用之前的比方：SFT 像应试教育，RL 像素质教育——不是教更多东西，而是让思维方式更灵活。

一个更深的发现：RL 是在"唤醒"而非"教授"

如果仔细想，会发现一个更惊人的事实。

假设一道数学题有 A、B、C 三种解法。SFT 只见过 A，把概率全压在 A 上。RL 通过奖励信号发现 B、C 也对，于是调整方向让 B、C 的概率也上来。

但问题是：如果 B、C 在隐空间里离 A 很远，RL 只靠微转方向是够不到的。

论文观察到 $\Delta U$ 其实不大——只是"微转"。这反过来证实：A、B、C 在隐空间里大概率是近邻。预训练已经把它们编码到了相近的位置。

所以 RL 不是"教新东西"，甚至不是"修复"，而是唤醒——把预训练学过但被 SFT 压制的能力重新激活。

这和 SVD 的发现完美吻合：

$$\text{奇异值不变}\to \text{预训练的"能量预算"还在}$$

$$\text{奇异向量微转}\to \text{只需要稍微调整方向就能唤醒沉睡的能力}$$

拿一个真实例子来看。Qwen2.5-0.5B 的 Base 模型和 Instruct 模型处理同一个 prompt 时的输出概率分布：

Base 模型高度自信——“to"这个词概率高达 67.7%，其他选项几乎被压到零。Instruct 模型把"to"降到了 64.0%，把"through”、“not”、"from"这些备选项的概率提了上来。

这就是"唤醒"——Base 模型其实知道这些词是合理续写，但被"to"压死了。Instruct 模型通过微调奇异向量方向，重新激活了那些被压制的选项。

现在可以回答最初的问题了

回到 OpenAI 的 NS 方程。

AI 做了什么？它把 Córdoba 的 forcing 策略 + Buckmaster 的方法 + Lean 验证组合起来，用 10000 个 agent 的并行能力在 88 小时内完成了形式化证明。

这是什么类型的创新？

认知科学把创造力分成三类（arXiv 2304.00008）：

• 组合式创造：重新组合已有概念
• 探索式创造：在已有概念空间内探索新组合
• 变革式创造：突破概念空间边界，发明全新框架

OpenAI 的 NS 方程证明属于组合式创造——工具都是人类发明的，AI 做的是把它们拼起来。

为什么 AI 做不到变革式创新

现在可以用我们发现的 SVD 规律来解释了：

$$\text{后训练}\in \text{预训练知识空间的凸包}$$

SFT 和 RL 只能在预训练学到的概念空间内做插值、组合、重新加权。它无法突破这个空间的边界。

奇异值不变 = 预训练的"能量预算"被锁定。后训练只能在这个预算内做重新分配（旋转方向），不能增加总预算（改变大小）。

2026 年的另一篇论文（arXiv 2509.21043）发现了一个数学约束：

$$\text{Creativity}=\text{Novelty}\times \text{Utility}$$

$$\text{Novelty}\uparrow ⟹\text{Utility}\downarrow$$

越新颖的方案，越不可行。模型越往概念空间边界探索，生成的方案就越偏离已知可行区域。训练目标不允许它接受低实用性的方案，所以它永远不会真正"越界"。

爱因斯坦式的创新为什么不一样

回头看爱因斯坦。他发明广义相对论，不是在牛顿力学和麦克斯韦方程之间做组合。他发明了弯曲时空——这个概念在他之前的物理学里根本不存在。

黎曼发明非欧几何，不是在已有几何工具里做调整。他定义了一种全新的空间概念。

这些是变革式创造——跳出已有的概念空间，发明全新的语言和框架。

目前的 AI 做不到，不是因为算力不够，而是因为它的训练目标把它限制在了预训练定义的知识空间内。

但 AI 的贡献是真实的

说了这么多"做不到"，不想让人觉得 AI 的成就被低估了。

OpenAI 解出 NS 方程是真实的重大数学成果。10000 个 agent 的并行能力、88 小时的工程效率——这些是人类做不到的。AI 擅长在已知概念空间内做大规模组合优化，人类数学家可能需要几年试错，AI 几天内就能穷举大量可能。

这本身就是一种强大的能力。只是它和"发明新数学"不是同一件事。

最理想的组合

未来的科学发现，可能是这样的分工：

人类负责变革式创新——发明新概念、新框架、新数学语言。

AI 负责组合式创新——在人类发明的概念空间内，大规模探索最优组合。

人类提供方向，AI 提供速度。人类突破边界，AI 填充空间。

回到最初的问题

AI 到底是在"创新"还是在"重组"？

从我们一路探索得到的答案：它在做组合式创新——一种真实但有限的创新。

SVD 拆解告诉我们，后训练只改方向不改大小，只能在预训练的知识空间内操作。信息瓶颈理论告诉我们，模型自然形成了编码-处理-解码的分工，后训练改的是接口不是核心。OOD Forgetting 的研究告诉我们，RL 是在"唤醒"被 SFT 压制的能力，不是在"教授"新能力。

这些发现合在一起，揭示了 AI 创新能力的边界：它能用人类发明的工具解出人类解不出的难题，但它发明不了全新的工具。它能探索已知空间的每个角落，但它跳不出这个空间。

真正的创新瓶颈在预训练——预训练定义了模型"能想到什么"的上限。这也是为什么 scaling law 还没见顶：更大的模型有更大的知识空间，"相邻可能"的边界更远。

理解这个边界，才能更好地理解 AI 和人类各自擅长什么。

---

参考资料：

• On the Creativity of Large Language Models
• RL Fine-Tuning Heals OOD Forgetting in SFT
• Understanding Supervised vs. Reinforcement Learning Fine-Tuning
• Combinatorial Creativity: A New Frontier
• OpenAI: Navier-Stokes Millennium Prize Problem
• Quanta Magazine: AI Solves Millennium Prize Problem

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/tian_wang/article/details/164867006