TenStep

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

views | comments

返回材料库
论文 2026-10-13 Robot Self-Improvement

LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts

Wenxuan Guo · Yingping Liang · Zhaoguo Wang · Zhenyu Wu · Chengkun Wang · Xiuwei Xu · Meng Zhang · Bingyao Yu 等

首要单位：Tsinghua University Tsinghua University DexmalLoopeva

一句话结论

LoopWAM 回答的问题是：通用机器人策略部署之后，能不能直接吃自己（以及别人）跑出来的全部 rollout——包括成功、次优和失败——而不用先过滤再模仿。它的答案是三个机制装进一个双流世界-动作模型：source-dependent noise sampling 让低噪声的记录动作充当后果预测的条件，把 ACWM 折进同一训练阶段；quality steering 把轨迹质量写成指令后缀 `Quality: q`，部署时只用专家分 q⋆ 采样；quality-weighted supervision 给动作损失乘权重 λ(q)，失败轨迹 λ=0 但保留视频监督。 效果是真闭环：RoboChallenge Table30-V2 四种本体 30 个任务上三轮“部署-重训”把总成功率从 23.67% 拉到 43.33%（+19.7 个点），总分 56.80 登顶榜单；不做额外具身预训练就在 RoboTwin 2.0 拿到 94.5% 平均成功率、RoboCasa365 拿到 49.5%；叠衣服单任务后训练两轮从 13.20% 到 55.56%。消融显示 quality steering 是最大单项增益来源（无 steering 时平均仅 72.3%），而且粗粒度标注（每个 checkpoint 一个分）就已足够。

关键词

world-action-modelself-improvement

摘要

中文摘要

仅靠扩展专家演示无法让通用机器人策略从部署中改进。真实世界 rollout 包含成功、次优行为和失败：模仿每一个记录动作会强化不良行为，而过滤掉失败则丢弃了物理交互及其后果的证据。我们提出 LoopWAM，一个闭环世界-动作模型，直接从这一完整质量谱中学习，可使用自身及其他已部署策略的 rollout。源相关噪声采样将行为学习与动作条件世界建模统一起来；质量 steering 与质量加权监督在保留全质量视频监督的同时调节动作模仿。视频与动作 token 在并行去噪全程交互，使学到的后果直接参与动作生成。在 RoboChallenge Table30-V2 上，三轮部署与训练将成功率从 23.67% 提升到 43.33%（+19.7 个百分点），最终得分 56.80。LoopWAM 还在无额外具身预训练的情况下取得 RoboTwin 2.0 平均 94.5% 与 RoboCasa365 总体 49.5% 的成功率，在三个基准上均为对比方法中的最佳总体结果。在困难的叠衣服任务上，单任务后训练后的两轮部署驱动改进将成功率从 13.20% 提升到 55.56%。这些结果证明，无论多任务学习还是单任务后训练，都能从混合质量经验中实现闭环改进。

英文摘要

Scaling expert demonstrations alone does not enable generalist robot policies to improve from deployment. Real-world rollouts contain successes, suboptimal behavior, and failures: imitating every recorded action can reinforce poor behavior, while filtering out failures discards evidence of physical interactions and their consequences. We introduce LoopWAM, a closed-loop world-action model that learns directly from this full quality spectrum, using rollouts from both itself and other deployed policies. Source-dependent noise sampling unifies behavior learning and action-conditioned world modeling, while quality steering and quality-weighted supervision retain full video supervision across qualities and regulate action imitation. Video and action tokens interact throughout parallel denoising, allowing learned consequences to inform action generation directly. On RoboChallenge Table30-V2, three deployment-and-training rounds raise success from 23.67% to 43.33%, a 19.7-percentage-point gain, with a final score of 56.80. LoopWAM also achieves 94.5% average success on RoboTwin 2.0 and 49.5% overall success on RoboCasa365 without additional embodied pretraining, obtaining the best overall results among the compared methods across all three benchmarks. On challenging shirt folding task, two rounds of deployment-driven improvement after single-task post-training raise success from 13.20% to 55.56%. These results demonstrate closed-loop improvement from mixed-quality experience under both multi-task learning and single-task post-training.

直观理解

传统做法像学生只抄标准答案：失败作业直接扔掉，怕被带坏。LoopWAM 更像让学生同时研究错题——错题的解法不值得模仿，但“那样做会导致什么后果”本身是宝贵知识。实现上它让一个模型同时做两件事：想象未来画面（视频流）和决定怎么动（动作流），两者每层互看；训练时喂给它带质量标签的混合经验，动作越差模仿权重越低、失败的干脆不模仿，但所有轨迹都参与“预测接下来会发生什么”的监督。部署时把质量条件调到“专家档”，跑出来的新数据再回流训练，形成部署-学习闭环。

LoopWAM 总览

LoopWAM 的部署-采集-改进闭环：混合质量 rollout 经质量 steering、源相关噪声采样和质量加权监督回流训练；Table30-V2 三轮后成功率 23.67%→43.33%。

LoopWAM 总览
LoopWAM 总览

背景与问题

为什么做

只靠扩展专家演示无法让通用策略从部署中继续变强。真实部署 rollout 覆盖成功、次优和失败的完整质量谱，蕴含专家路径之外的状态、交互和失败模式，是具身数据飞轮最自然的燃料；问题是从演示扩张切换到“从部署学习”缺一个既不过滤掉信息、又不吸收坏行为的训练范式。

问题缺口

直接模仿所有记录动作会强化不良行为，只保留高质量轨迹又丢弃了物理交互及其后果的证据。π0.6/π0.7 这类 VLA 用 advantage 或质量元数据吸收混合质量数据，但没有显式的动作-视频依赖目标，次优/失败 rollout 不提供后果监督；τ0-WM、FACT 这类后果感知 WAM 则只能通过独立的 ACWM 接口（动作选择器或后续后果预测阶段）间接利用 rollout。空缺是：单个 WAM 能否直接从混合质量部署数据学习，让所有质量都监督模型，且学到的后果直接参与动作生成。

方法

方法概述

LoopWAM 是一个双流 Mixture-of-Transformer 扩散模型：视频流从 Wan2.2-TI2V-5B 初始化，动作流是 hidden 1024 的 ActionDiT，两流有各自 token 投影与预测头，每层 joint attention 双向交互，flow matching 下对 64 步动作块与 9 帧未来视频 latent 联合去噪。训练语料混合专家演示与任意质量 rollout，用三个机制分配监督：源相关噪声采样决定腐蚀方式，质量 steering 决定行为条件，质量加权监督决定动作模仿强度；部署时以专家分 q⋆ 条件化并联合去噪采样动作边缘分布，新 rollout 打分后与历史全部数据合并重训，形成闭环。

核心机制

关键在把 ACWM（动作条件世界模型）折叠进统一模型的同一训练阶段。rollout 段的动作噪声按 Beta(1,7) 采得很低，近乎干净的记录动作通过双向 attention 成为预测其观测后果的条件，模型由此学会“这个动作会导致这个画面”；专家段则视频噪声按 Beta(7,1) 拉高，强调从强腐蚀恢复专家未来。质量分 q 作为指令后缀文本条件，让同一任务下不同质量的行为模式共存于一个模型，部署时选 q⋆ 即锁定专家行为模式；λ(q) 把失败轨迹的动作损失置零，但视频梯度仍经共享注意力训练动作流使用的特征，于是后果知识直接进入动作生成而无需独立的后果评估阶段。

方法拆解

  • 联合世界-动作建模：建模 pθ(At, Zt | ot, st, ℓ, q)，视频 VAE 把观测与未来帧映到 latent；block mask 中观测 token 只在首帧内自注意力，视频与动作 token 都可看观测/视频/动作，两流均 cross-attend 质量条件指令，机器人状态 token 额外条件动作流。
  • 源相关噪声采样：每段轨迹带源指示 d∈{E,R}；专家段 σv∼Beta(7,1)、σa∼P0（基础采样 φ₅(u)=5u/(1+4u)），rollout 段反过来 σv∼P0、σa∼Beta(1,7)；段内视频与动作噪声独立采样。
  • 质量 steering：每轨迹一个数值分 q 并传给所有训练切片；episode 级标注用 1-12 量表（人工或 VLM 打分，专家 q⋆=12），粗标注用 1-5 量表（按 checkpoint 整体成功率加约 0.7% 人工抽检平滑度打一个共享分，失败恒为 1）；指令变为 [ℓ; Quality: q]。
  • 质量加权监督：视频损失对所有质量保留；动作损失乘非减权重 λ(q)∈[0,1]，专家 λ=1、失败 λ=0，归一化按 batch 内 λ 总和；λ=0 时世界模型梯度仍通过联合注意力回流。
  • 闭环流程：部署当前策略（条件 q⋆）→ 每任务收集约 100 条 rollout → 质量标注 → 在专家演示与累积全部 rollout 上重训 → 再部署；也支持吸收其他策略（X-VLA、π0.5、RLDX-1）的 rollout。
LoopWAM 架构与训练
LoopWAM 架构与训练

关键要点

  • 单个模型、单个训练阶段同时完成 WAM 行为学习与 ACWM 后果学习，靠的是按数据来源切换噪声分布，而不是拆成两个模型或两个阶段。
  • 消融证明 quality steering 是从混合质量数据学习的最大关键（无 steering 平均 72.3%，extra-coarse 标注即恢复到 92.8%），细粒度标注不是必需的。
  • 失败轨迹的正确用法是“保留世界监督、屏蔽动作模仿”，而不是整条丢弃；这与 π0.7 的元数据吸收和 τ0-WM 的 ACWM 选择器都构成明确对照。

结果

  • RoboChallenge Table30-V2（真机，ALOHA/DOS-W1/ARX5/UR5 四本体 30 任务）：三轮闭环后总分 56.80、总成功率 43.33%，超过第二名 VLA-DM0.5（54.42 / 40.67%），在对比条目中双指标第一；分本体看 UR5 提升最大（26.67%→76.67%）。
  • 闭环曲线：总成功率 23.67%→28.00%→37.67%→43.33%，总分 36.10→42.63→51.65→56.80，每轮均单调提升。
  • RoboTwin 2.0（50 双臂任务，干净+域随机化）：94.58% / 94.42% / 平均 94.50%，无具身预训练即超过 LingBot-VA 2.0 的 93.6%、AHA-WAM 的 92.8% 与 FACT 的 87.5%。
  • RoboCasa365（50 任务）：Atomic-Seen 79.7%、Composite-Seen 50.3%、Composite-Unseen（零样本）14.9%，总体 49.5%，超过 ABot-M0.6 的 46.6%。
  • 叠衣服单任务后训练（DOS-W1 初始化）：两轮部署改进把成功率 13.20%→32.54%→55.56%，分数 14.44→38.89→67.78。
  • 消融（RoboTwin 2.0）：无 steering 72.3%；extra-coarse 标注 92.8%，加质量加权动作监督 93.6%；coarse 标注不加权 92.7%，完整方案 94.5%。
闭环改进曲线
闭环改进曲线

结果速览表

评测或消融LoopWAM 结果对照与含义
Table30-V2 总分 / 总成功率56.80 / 43.33%榜单第一；第二名 VLA-DM0.5 为 54.42 / 40.67%
Table30-V2 三轮闭环曲线23.67→28.00→37.67→43.33%+19.7pp；分数 36.10→56.80
RoboTwin 2.0 Clean / Rand / Avg94.6 / 94.4 / 94.5%无具身预训练超 LingBot-VA 2.0（93.6%）
RoboCasa365 总体49.5%ABot-M0.6 46.6%；Unseen 14.9%
叠衣服两轮闭环13.20→32.54→55.56%单任务后训练 + 部署改进成立
消融：无 steering / extra-coarse / 完整72.3 / 92.8 / 94.5%steering 是最大单项因素，加权监督再 +0.9~1.8pp

洞察

  • 这篇论文把“部署数据回流”的核心矛盾——坏动作不想学、坏轨迹又舍不得扔——拆解成两个正交旋钮：噪声分布决定这条数据扮演“行为老师”还是“后果教材”，质量权重决定动作模仿的强度。低噪声动作作为条件而不是目标，是同一个流匹配框架里很经济的 ACWM 实现。
  • quality steering 的本质是把数据质量变成可条件化的行为模式变量，部署时选 q⋆ 等价于在混合质量行为分布上做 mode selection。消融里从 72.3% 到 92.8% 的跳跃说明：混合质量数据的主要危害不是“坏梯度”，而是“行为模式混淆”。
  • 粗粒度标注就够用的发现工程价值很大：按 checkpoint 整体成功率打一个共享分 + 失败置 1，几乎追平逐条人工打分，这意味着闭环的数据标注成本可以很低，瓶颈在采集与重训而不在标注。
  • 三轮提升幅度递减（+4.3 → +9.7 → +5.7pp 的非单调但趋缓），叠加 43.33% 的绝对水平，提示“从部署学习”当前更多是补足专家数据覆盖不足，距离把策略推到接近饱和还有结构性障碍。

和已有方法的关系

可借鉴点

  • 处理混合质量数据时，把“这条数据监督什么”拆成模态级决策：视频监督全保留、动作监督按质量加权，比整条轨迹级别的接受/拒绝过滤信息利用率高。
  • 噪声调度可以作为数据源路由机制：按样本来源切换 σ 分布，能让同一去噪网络在不同样本上承担不同学习任务，不需要多模型或多阶段。
  • 行为条件化（指令后缀）是廉价的部署期行为选择机制：训练时显式建模质量谱，推理时固定在高分条件，避免了在线 RL 的分布收缩风险。
  • 闭环 benchmark 设计值得参考：RoboChallenge 每任务约 100 条 rollout、跨轮累积重训、用 leaderboard 双指标（score+SR）报告每轮曲线，可复现性强。

风险与判断

局限

  • 质量标注仍依赖人工（Table30 与叠衣服用人工逐条 1-10 打分；仿真用 checkpoint 级共享分），VLM 自动打分只在方法里提到、实验未验证，闭环的“自动标注”环节没有真正闭合。
  • Table30-V2 最终 43.33% 的绝对成功率仍不高，三轮后提升趋缓；论文没有分析失败轮次中哪些错误类型被修复、哪些顽固。
  • 与真实在线 RL（如 RL Token 路线）缺直接对比：quality steering 规避了 RL 的分布收缩，但也放弃了 reward 最大化的性能上限，两者谁更适合部署改进未被回答。
  • RoboCasa365 的 Composite-Unseen 零样本只有 14.9%，说明闭环改进主要强化已见任务分布，对未见任务组合的泛化贡献有限。
  • 每轮约 100 条/任务的真机采集与全量重训成本不低，论文未报告墙钟时间与算力开销，闭环的实际迭代效率未知。

适用场景

  • 已有真机部署队列、希望把日常运行数据变成训练资产而不是只做人无我有的演示过滤的团队。
  • 用 WAM 类架构（视频+动作双流扩散）做通用策略，需要在后训练阶段吸收混合质量 rollout 的场景。
  • 标注资源有限的闭环 pipeline：粗粒度 checkpoint 级质量分即可获得大部分收益。
  • 不适合缺少质量信号来源、或任务本身需要在线探索以突破演示分布上限的场景；此时真实 RL 或人机混合标注仍不可替代。

最终判断

  • LoopWAM 是“部署驱动自我改进”方向目前机制最干净的工作之一：它给出的不是一个新架构，而是一套把全质量 rollout 接进现有 WAM 训练的最小侵入式协议（噪声路由 + 质量条件 + 加权监督），三个消融支撑的核心结论（steering 必要、粗标注够用、失败留视频监督）都可直接复用。真机四本体三轮闭环 +19.7pp 和三个 benchmark 的全面领先使证据强度明显高于只做仿真的同类工作。后续值得跟踪的是：VLM 自动质量标注能否闭合、多轮改进的饱和点在哪里、以及与在线 RL 混合（steering 负责吸收部署数据，RL 负责突破上限）的组合形态。

相关主题

Robot Self-Improvement

关注机器人如何根据自身 rollout 失败改进数据采集、技能代码和长期能力库，并检验这种递归改进能否跨场景、跨轮次、跨调用者稳定延续。

打开主题

继续阅读

上一篇

Delta Flow Matching for Robot Foundation Models

这篇论文的核心改动不是换掉 VLA 或 WAM 骨干，而是换掉 flow matching 的起点：不再从纯 Gaussian 噪声生成未来动作和未来视觉潜变量，而是把最近执行过的动作、当前或近期视觉潜变量加上有控制的噪声作为源分布。于是模型学习的 transport 从“任意噪声到未来”缩短为“过去到未来的残差变化”。作者把这个策略接入 `π0.5`、ImageWAM 和 Fast-WAM：ImageWAM 一个 epoch 达到 91.30% LIBERO 成功率，比原模型提前约 6 倍跨过 90%；Fast-WAM 提前 4 倍达到 95% 以上；`π0.5` LoRA 一个 epoch 的 92.20% 已超过 Gaussian 十步基线五个 epoch 的 91.30%。单步推理在三个模型上分别带来 1.54×、2.49× 和 4.45× 加速，同时把单步 Gaussian 采样的动作 jerk 降低 4.5×。 strongest evidence is LIBERO-Plus：ImageWAM 从 82.49% 提到 88.55%，`π0.5` 从 80.70% 提到 84.53%。

打开阅读

下一篇

FACT：面向人类到机器人灵巧迁移的力—动作—轨迹基础模型

FACT 值得记住的是：人类示范能传递的不只是运动轨迹，还有接触如何随动作变化的经验。它在每任务仅 10 条机器人示范、配合 90 条人类示范的条件下，显著优于 T-Rex，但七项二元任务平均成功率仍只有 41.4%。这是带力人类预训练和接触预测的有力实验，不是通用灵巧操作已经解决的证据。

打开阅读