论文：OmniBrain-0: A Unified Agentic Model for Embodied Intelligence，来自小米具身智能团队、澳门大学和清华大学，2026年10月。
OmniBrain-0 把 GPT-5.6-Sol 这类闭源大模型的工具调用决策能力迁移到 Qwen3.5-4B/9B 上,底层的操作和导航策略保持不变。它在成本上的优势明显,方法上最值得借鉴的是数据管线。但"统一"和"递归自改进"两点的实验支撑偏弱,而且论文没有说清训练数据和测试任务是否隔离。
其概览如下图所示：
1. 架构:统一的是决策层,不是控制策略
每一步,高层策略根据指令、观测和历史选一个工具并给出参数:
u_t = (k_t, ξ_t) ~ π_θ(· | g, o_t, H_t)
- 闭环方式: 每轮只调用一个工具,收到反馈后再做下一步决策。
- 工具集(三类):
- 通用:
observe_state、localize_pixels、segment、navigate_base、move_base、finish - 操作:
move_arm、orient_wrist、grasp、release、vla_skill - 导航:
look_around、follow_instruction、vln_ground、nav_act、follow_to_point、backtrack
- 通用:
- 底层模型: 操作用 π0.5(3.6B)、LingBot-VLA(4.2B)、RLDX-1(6.9B),导航用 SmartWay。
系统框架沿用 Harness VLA。主要差别是把"反复调用大模型推理"换成了"一个小模型的权重"。
如图所示智能体执行框架和任务执行例子：
2. 训练:三个阶段
| 阶段 | 输入 | 方法 | 产出 |
|---|---|---|---|
| ① 具身预训练 | 约 82 万条 VQA + 少量交互数据 | 监督训练 | OmniBrain-Base |
| ② 领域蒸馏 | 3,846 条专家轨迹 | 硬标签 SFT(只监督决策文本和工具调用) | 操作、导航两个专家 |
| ③ 多专家整合 | 冻结的专家 + 学生生成的前缀 | MOPD,token 级 reverse KL | OmniBrain-0 |
如图所示：
MOPD 的目标函数(Eq. 7–8):
L = Σ ρ_k · E[ (1/M) Σ m_j · D_KL(p_θ,j ‖ q_k,j) ]
其中 ρVLA = ρVLN = 0.5,支撑集取 top-64,rollout 温度为 1.0,前缀不回传梯度。
有三点论文没有明说,但对理解方法很重要:
- 压缩发生在 SFT,不在 MOPD。 学生和老师架构相同,所以 MOPD 只是合并能力。从 GPT-5.6-Sol 到 9B 的能力损失主要来自阶段②。
- “on-policy”很可能只在 token 层面成立。 学生生成的是给定上下文 x 下的决策前缀,并没有在环境里 rollout。论文也没有定义 x 的分布 μ_k。如果 x 来自专家数据,环境层面的状态分布偏移仍未解决,要靠 RSI 补上。
- 领域冲突其实不大。 工具集 P_e 随环境变化,本身就暴露了领域,而且每个样本只由一个老师监督。多老师分布互相矛盾的难点在这里并不突出。
3. 数据管线:最值得借鉴的部分
数据交互构建如图所示：
管线分四步:交互规范化 → 轨迹质量控制 → 推理重建 → 一致性校验。
- 轨迹分类: 保留标准成功轨迹和"失败后恢复成功"的轨迹,丢弃盲目重试的噪声轨迹。
- 推理重建: 把专家的自由文本改写成
Phase / State / Evidence / Decision四个字段,只用当前步可得的信息。
LIBERO-Pro 上的消融结果(Fig. 10)显示了各部分的贡献:
| 配置 | 总体成功率 |
|---|---|
| 完整管线 | 65.5% |
| 去掉恢复轨迹 | 56.5% |
| 去掉推理重建 | 37.0% |
推理重建贡献了 28.5 个点,是全文最大的单项效应。这说明小模型模仿大模型时,主要瓶颈可能是监督目标的形式,而不是模型容量。不过这组结果只在一个基准上测过,而且"去掉恢复轨迹"同时还把成功轨迹限制为单条,不是纯粹的单因素消融。
4. RSI:一个外循环,两条改进路径
如图所示RSI数据飞轮：
Meta-Agent(GPT-6.1-Sol)分析成败轨迹,更新评分规则(rubric),再生成按状态触发的提醒。
- 运行时路径:
r_t = R(U, x_t),只有检测到问题才插入提醒,权重不变。 - 权重路径: 验证过的成功轨迹并入专家语料(Eq. 11),重训专家后再做 MOPD。本轮新增 1,142 条轨迹。
如图所示基于评分标准的策略更新与提醒——策略验证：
两条路径的收益对比如下,从 Fig. 9 和主表整理:
| 基准 | 提醒(权重不变) | RSI 重训权重 |
|---|---|---|
| LIBERO-Pro | +6.1 | +3.8 |
| LIBERO-Plus | +1.3 | +0.7 |
| RoboCasa365 | +7.0 | +3.6 |
| RoboTwin 2.0 | +1.0 | +1.2 |
| R2R-CE | +2.0 | +1.0 |
五个基准里有四个是提醒的收益更高,说明权重只吸收了指导效果的一部分。
5. 实验结果
以下为 9B 模型,括号内是 RSI 版本。OmniBrain-0 评测时不用经验库,GPT-5.6-Sol 的成绩则是用经验库的 few-shot 结果。
| 基准 | 底层基线 | OmniBrain-0 | GPT-5.6-Sol | 提速 | Token 节省 |
|---|---|---|---|---|---|
| LIBERO-Pro | 43.8(π0.5) | 65.5(69.3) | 78.3 | 8.6× | 4.5× |
| LIBERO-Plus | 83.4(π0.5) | 83.8(84.5) | 86.2 | 4.8× | 2.6× |
| RoboCasa365 | 36.0(RLDX-1) | 39.6(43.2) | 52.4 | 1.1× | 3.5× |
| RoboTwin 2.0 | 84.8(LingBot) | 88.2(89.4) | 91.2 | 2.8× | 12.7× |
| R2R-CE(SR) | 64.3(DualVLN) | 65.0(66.0) | 71.0 | 7.0× | 3.7× |
从这些数据可以读出三点:
- 知识确实进了权重。 不带经验库时,GPT-5.6-Sol 在 LIBERO-Pro、RoboTwin、RoboCasa 上只有 50.6、84.4、26.0,都低于 OmniBrain-0。不过这个结论要先排除下文的数据隔离问题。
- 规划层的价值集中在底层策略失效的场景。 LIBERO-Pro 提升了 21.7 个点,而 LIBERO-Plus 只提升 0.4 个点。
- 差距集中在目标理解和长序列任务。 在 LIBERO-Pro 上,Goal-S 差老师 31 个点,L10-S 差 15 个点,Obj-S 只差 1 个点。RoboCasa 的 Composite-Unseen 只有 11.3%,老师是 27.5%。
6. 主要问题
可能影响结论的问题
- 训练和测试的隔离不清楚。 专家轨迹和 RSI 数据就来自这些评测基准。论文只说明 RoboCasa 用 held-out 种子和模板,R2R 用 Val-Unseen,但没说明 LIBERO-Pro 和 RoboTwin 的任务是否重叠,也没说明 RSI 的难例来自哪些任务。正文承诺的 split 信息,附录 C 只给了数量。经验库也是从这些任务总结的。
- 规划器可能拿到了环境的成功信号。 观测里包含"环境暴露的任务状态 p_t"。Fig. D.1 的最终决策依据还写着环境已成功终止。这和附录 B"评测标签不提供给规划器"有张力,而真机上也没有这个信号。
- "统一"没有被直接验证。 没有在同一 episode 内连续导航和操作的跨域任务,实际只验证了同一套权重能分别完成两类任务。
- "递归"也没有被展示。 只报告了一个 RSI 结果,没有逐轮曲线,轮数也没写。
统计上的问题(置信区间是我用 Wilson 区间估算的,p 值用 Fisher 精确检验,均按未配对计算)
- 论文没有报告置信区间或显著性。
- R2R-CE 只有 100 个 episode: 65% 的 95% 区间约为 55–74,RSI 的 +1 个点就是 1 个 episode。基线 DualVLN 用的还是完整 split,两者不能直接比。
- 真机每个任务 20 次: 叠方块 75% 对 50%,p≈0.19;放苹果 60% 对 40%,p≈0.34。两个差异单独看都不显著。
- LIBERO-Pro 的 RSI 提升: 65.5 对 69.3 的区间有重叠。论文说种子相同,配对检验可能更有力,但没有提供逐 episode 数据。
成本口径的问题
- "轻量"只算了规划器: 9B 再加底层 3.6–6.9B 和分割模型,整套参数量并不小。
localize_pixels还需要深度和相机标定。 - 提醒的成本没有计入: 主表不含提醒,而运行时触发判断用什么实现、花多少 token 和延迟,论文都没说。
- 时间不完全可比: 云端 API 的网络和排队延迟可能混入对比,推理硬件也未说明。
论文内部的不一致
- 附录 B 与正文任务描述不符: 附录写红块放到蓝块上、苹果放进蓝碗。Fig. 16 和同一段的任务定义是黄块放到红块上、苹果放进紫碗。
- 轨迹文本有错: Fig. D.1 的任务是拿沙拉酱,Evidence 却写着 “moving cream cheese to basket”,还把
move_arm记成move_to。说明结构化推理未必忠实于实际决策,也说明一致性校验有漏网。 - 空间定位出现退步: Location 从 Qwen 9B 的 65% 降到 52%,RefSpatial 总分也略低于基座。而这个系统很依赖模型自己给出的像素坐标。
- Fig. C.1 图例命名有疑点: 图例写的是 EmbSpatial-Bench 和 RefSpatial-Bench,正文写的是训练集。按规模看应该只是命名问题(3.1% 约 2.5 万条,而 Bench 只有 3,640 题),但最好向作者确认。
7. 如果要复现或借鉴
优先级如下:
- 先做结构化推理重建。 这部分投入小,而且消融效应最大。
- 保留恢复轨迹,过滤盲目重试。
- 先用提醒机制,再考虑重训。 权重不变就能拿到收益,还能顺带产生更好的训练数据。
- MOPD 放到最后,并先设对照。 建议先和"合并数据直接 SFT"比较。论文没有做这个消融,所以 MOPD 相对简单方案的增益其实未知,这也是我认为最该补的实验。
另外,用闭源模型的输出训练其他模型可能受服务条款限制,商用前需要确认。
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/yorkhunter/article/details/170188322
