RISE: Self-Improving Robot Policy with Compositional World Model
RISE: Self-Improving Robot Policy with Compositional World Model
Jiazhi Yang · Kunyang Lin · Jinwei Li · Wencong Zhang · Tianwei Lin · Longyan Wu · Zhizhong Su · Hao Zhao 等
一句话结论
RISE 把真实机器人在线 RL 的瓶颈从物理世界移到想象空间：它不让机器人反复试错，而是用一个动作条件化的多视角视频 dynamics model 合成未来状态，再用进度回归与 TD learning 联合训练的 value model 为动作块计算 advantage，最后用这个 advantage 条件化并更新 π0.5 VLA。三项真机任务上，RISE 分别把动态砖块分拣、背包整理和纸箱关闭成功率提升到 85%、85% 和 95%，显著超过 PPO、DSRL、DAgger 和 RECAP。核心代价也很明确：视觉世界模型预训练和微调需要大量 H100 计算，而且结果仍受世界模型覆盖与物理一致性的上限约束。
关键词
摘要
中文摘要
尽管模型容量和数据采集持续扩张，VLA 在接触密集、动态变化的操作任务中仍然脆弱，微小执行偏差可能复合成失败。强化学习为鲁棒性提供了原则性路径，但物理世界 on-policy RL 受到安全风险、硬件成本和环境复位约束。RISE 为此提出通过想象进行机器人强化学习的可扩展框架：核心是 Compositional World Model，它一方面用可控 dynamics model 预测多视角未来，另一方面用 progress value model 评估想象结果并生成有利于策略改进的 advantage。组合式设计让状态预测和价值估计可以分别采用最适合的架构与目标。两者构成闭环自提升管线，持续生成想象 rollout、估计 advantage 并在想象空间中更新策略，而不需要昂贵的物理交互。在三个困难真机任务上，RISE 相对先前方法取得超过 35% 的绝对成功率提升，动态砖块分拣、背包整理和纸箱关闭分别提升 +35%、+45% 和 +35%。
英文摘要
Despite the sustained scaling on model capacity and data acquisition, Vision-Language-Action (VLA) models remain brittle in contact-rich and dynamic manipulation tasks, where minor execution deviations can compound into failures. While reinforcement learning (RL) offers a principled path to robustness, on-policy RL in the physical world is constrained by safety risk, hardware cost, and environment reset. To bridge this gap, we present RISE, a scalable framework of robotic reinforcement learning via imagination. At its core is a Compositional World Model that (i) predicts multi-view future via a controllable dynamics model, and (ii) evaluates imagined outcomes with a progress value model, producing informative advantages for the policy improvement. Such compositional design allows state and value to be tailored by best-suited yet distinct architectures and objectives. These components are integrated into a closed-loop self-improving pipeline that continuously generates imaginary rollouts, estimates advantages, and updates the policy in imaginary space without costly physical interaction. Across three challenging real-world tasks, RISE yields significant improvement over prior art, with more than +35% absolute performance increase in dynamic brick sorting, +45% for backpack packing, and +35% for box closing, respectively.
直观理解
可以把 RISE 看成给 VLA 配了一个“训练期想象器”和“裁判”。VLA 先在离线数据上学会听 advantage 指令；训练时，它提出一个动作块，想象器生成后续多视角画面，裁判评估这些画面相对初始状态的任务进展。若想象结果更好，这个动作块会被标成高 advantage；若它导致错箱、拉链过冲或纸箱盖卡住，则得到低分。策略随后学习“在这个状态、这个评价下，应该复现什么动作”。部署时想象器和裁判都不运行，因此没有额外世界模型推理开销。
背景与问题
为什么做
VLA 预训练能带来语义理解、语言指令跟随和跨任务先验，但模仿学习难以覆盖真实操作中的微小偏差。抓取运动中的物体、整理可变形衣物或双手合盖时，一旦末端位姿、释放时机或接触状态稍有偏差，错误会沿时间步复合；而专家示范只展示“好路径”，并没有告诉策略从偏差状态如何恢复。真实世界 on-policy RL 虽然能学习成败后果，却受到安全风险、设备成本、人工复位和串行执行速度的硬限制。
问题缺口
仿真 RL 可以并行采样并提供奖励，但接触密集操作的精细动力学与真机存在差距；高保真生成式世界模型虽然能产生视觉上可信的未来，却常缺乏细粒度动作可控性，而且生成太慢无法承担 RL 数据吞吐。另一个关键缺口是中间动作的密集学习信号：如果只依赖终局成败，模型必须可靠想象完整长任务，这会放大长时程生成误差。RISE 要同时解决状态转移、动作一致性、长时程 value 估计和策略稳定更新四个问题。
方法
方法概述
RISE 的完整流程是：先在真机离线数据上 warm-up π0.5，使它学会根据离散 advantage bin 生成动作；随后把 Compositional World Model 当成交互环境，从离线初始状态出发，由 EMA rollout policy 提出动作块，dynamics model 合成 25 帧多视角未来，value model 计算 chunk 内进展差值的均值 advantage；最后把 (状态, 动作块, 评估 advantage) 与离线数据混合，用 flow-matching 目标训练 behavior policy。世界模型和价值模型在自提升循环中冻结，只在训练阶段使用。
核心机制
关键在于把“未来是什么”和“未来有多好”解耦成两个专用模块。dynamics model 继承 Genie Envisioner / LTX-Video 的快速视频生成能力，并通过动作编码器、上下文帧噪声和 task-centric batching 学会服从机器人动作；value model 则复用 π0.5 的多视角机器人先验，用进度回归提供密集结构、用 TD learning 识别失败，二者联合产生比单一致光滑分数或终端奖励更可靠的 chunk advantage。这个设计避免了让一个生成模型同时承担像素级预测、奖励估计和长时程终局判断。
方法拆解
- 可控 dynamics model：从 GE-base 初始化，输入 4 帧三视角 192×256 图像和 50 步动作块，预测 25 帧未来。它在 Agibot World 与 Galaxea 上加入轻量 action encoder 预训练，并对 context frame 加更强噪声以抗运动模糊和合成伪影。作者报告 GE-base 合成 25 个多视角观测不到 2 秒，而 Cosmos 超过 10 分钟，约 300 倍速度差是想象 RL 可行的前提。
- Task-centric batching：每个训练 batch 只覆盖少量任务，但包含同一任务、同一场景下不同动作相关样本。这样牺牲 batch 内场景多样性，优先让模型比较同一初始条件下的动作后果，从而提高动作可控性和微调效率。
- 进度/TD value model：从 π0.5 参数化，接收三视角观测与语言指令，先以专家时间进度
t/T回归建立单调任务结构，再用成功 +1、失败 −1 的终局信号做 TD learning。进度项平滑稳定，TD 项对拉链过冲、lifting 失败等细微错误更敏感；两项在前 10k 步和后 40k 步按计划组合训练。 - chunk advantage：对预测的每个未来状态
o_hat_{t+k}计算V(o_hat_{t+k}) - V(o_t)，再对 H=50 的动作块取均值，并离散为 10 个 bin。这样学习信号绑定在动作块及其直接可见后果上，不要求生成完整任务终局。 - 策略 warm-up：在专家示范、成败 rollout 和人类纠正数据上微调 π0.5。与 RECAP 不同，RISE 只给 rollout 数据用学习到的 advantage 标签，专家和人类纠正直接标为最高 advantage；10 bin 离散化比二值 bin 更适合没有预训练 advantage conditioning 的 π0.5。
- 想象自提升循环：rollout policy 被 prompt 为最高 advantage 并提出动作，世界模型合成下一状态；为扩大状态覆盖，生成状态可作为后续 rollout 输入，但每个离线初始状态最多连续交互两次以限制生成误差累积。训练时把离线数据混入在线 batch，防止 catastrophic forgetting。
关键要点
- RISE 的“on-policy”发生在学到的想象环境中：动作由当前 EMA rollout policy 产生，状态由 dynamics model 扩展，但不需要真实机器人持续复位和监测。
- 组合式世界模型不是架构层面的共享参数，而是把视觉生成与价值评估分开优化，使视频先验和 VLA 机器人先验各自发挥用途。
- advantage conditioning 是策略可操控的关键接口：附录中从 advantage bin 10 降到 bin 1 时成功率明显下降，说明策略确实学到了不同质量行为的条件分布。
- 部署时只有 π0.5 策略运行，dynamics 和 value 模型不增加在线延迟。
结果
结果速览表
| 维度 | 关键结果 |
|---|---|
| 动态分拣 | 85% 成功、9.78 分，较 RECAP +35 pp |
| 背包整理 | 85% 成功、9.50 分，较 DAgger +35 pp |
| 纸箱关闭 | 95% 成功、9.88 分，较 RECAP +35 pp |
| 在线信号 | 同时使用在线动作和状态，成功率 35% → 70% |
| 最佳数据比 | offline ratio 0.6，完整成功率 50% |
| 生成质量 | EPE 0.54，PSNR 23.90，LPIPS 0.07 |
洞察
风险与判断
局限
- RISE 的效果受世界模型覆盖和物理一致性约束；论文承认在罕见或欠 represented 场景中仍可能生成物理不合理转移，未来需要 uncertainty-aware imagination 和几何约束。
- 训练成本仍然很高：dynamics 预训练 16 张 H100、约 7 天、batch 512；任务微调 8 张 H100、约 3 天；value 训练约 1 天。它把物理成本转移成计算成本，而不是消除训练成本。
- 三个任务虽然覆盖动态、可变形和双手操作，但仍是实验室设置，不能证明开放世界泛化或安全关键场景可靠性。
- 长时程生成误差没有消失，只是通过最多两次连续想象交互和 chunk 级 advantage 缓解；更复杂的接触和遮挡可能暴露更大的 model bias。
- value model 依赖人工定义的任务进度、成功/失败标注和语言指令；跨任务、跨相机、跨具身时这些信号是否稳定仍需验证。
- 主结果没有报告置信区间或统计显著性检验，尽管 20 trials 下的差距很大，但小样本波动仍可能影响较接近的比较。
适用场景
- 已有基础 VLA 和较多离线真机数据，希望在动态、接触密集、长时程任务上离线继续做 on-policy 强化精修。
- 可承担世界模型预训练与推理算力，并且能容忍训练期大量生成视频，但难以承受真实机器人反复复位和安全风险。
- 需要利用失败经验训练恢复策略，同时希望部署时保持原 VLA 控制频率和延迟。
- 适合作为研究高保真机器人世界模型、model-based RL、advantage conditioning 和真实操作自提升的参考系统。
最终判断
- RISE 是一篇工程完成度很高的 world-model-based VLA post-training 工作：它没有停留在“生成视频看起来像”的层面，而是系统解决了速度、动作一致性、密集 advantage、策略条件化和离线/在线混合这些进入 RL 循环的实际问题。
- 三项真机任务的 35–55 个百分点提升说明，当世界模型足够动作可控时，想象经验确实能改善接触密集操作；消融也支持每个主要模块的必要性。
- 它还不是通用自主进化的机器人学习系统。当前更准确的定位是：用昂贵但可并行化的想象环境，把特定任务族的 foundation policy 精修到高成功率。若未来能降低世界模型训练成本并加入不确定性、物理约束和安全机制，这条路线的影响力会显著扩大。
相关主题
继续阅读
上一篇
DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos
DexImit 的价值在于把大量单目人类操作视频转成可训练的双手灵巧机器人数据，而不是直接把 human embodiment 当成 policy 输入。它通过重建、调度、动作生成和增强四阶段，把 Internet 或生成模型产生的人类视频变成物理可行的机器人轨迹，并在零真实机器人数据下支持 sim-to-real 部署。
下一篇
MEM: Multi-Scale Embodied Memory for Vision Language Action Models
这篇工作的重点，是把机器人策略里的“记忆”从单一历史帧堆叠，升级成多尺度、多模态的长期记忆结构。MEM 用视频短期记忆处理最近视觉细节，用文本长期记忆保留高层语义进度，从而把 VLA 推到更长时间跨度的任务上。