Long-WAM: Scaling the Context of World-Action Models
Long-WAM: Scaling the Context of World-Action Models
Wei Huang · Bohan Zhang · Chenzhi Liu · Isabella Liu · Shuai Yang · Weian Mao · Luozhou Wang · Yicheng Xiao 等
一句话结论
这篇论文的核心不是简单把 WAM 的观察窗口拉长，而是证明“能访问历史”和“会用历史”不是一回事。Long-WAM 先用约 10,000 个窗口等价小时的无动作机器人/自我中心视频做自回归预测预训练，让视觉骨干学会从过去帧预测未来交互；再在动作适配时保留同样的因果顺序，让动作专家以观察历史和部分去噪的未来潜变量为条件。结果是，GR-1 上 0 到 19.2 秒历史把成功率从 63.3% 提到 78.7%，而双向预训练初始化没有净收益。与此同时，流式 VAE、异步动作块执行、NVFP4 量化、KV 复用和设备特定调优让 RTX 5090 上包含未来视频预测的完整动作块推理降到 107.4 ms。真机动态杯堆叠达到 19/20，而 `π0.5` 和 Fast-WAM 都是 0/20。
关键词
摘要
中文摘要
实时机器人控制需要足够长的视觉历史来推断运动和任务进度，但处理这些历史可能延迟动作。我们提出 Long-WAM，一个在实时控制约束下扩展因果 world-action model 上下文的模型–系统框架。核心发现是：能访问历史不等于会使用历史；当视频基础模型以自回归方式预训练时，更长历史带来的收益显著更大。我们首先从无动作标签的机器人与自我中心视频学习因果预测，再在 world-action 适配中保留这种历史到未来的结构。在 RoboCasa GR-1 上，上下文从 0.0 秒增加到 19.2 秒使成功率从 63.3% 升至 78.7%，而双向预训练初始化没有净收益；机器人域 AR 预训练进一步提高 GR-1 和 LIBERO-Long 的峰值。Long-WAM 在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 的对比方法中也取得最佳结果。流式观察编码、异步执行和硬件特定加速使其能部署在 RTX 5090、DGX Spark 与 Jetson AGX Thor 上而不放弃未来预测；在 RTX 5090 上，包含未来视频潜变量预测的每个动作块耗时 107.4 ms。Unitree G1 与 YAM 的实时部署支持动态和长时程操作，包括动态杯堆叠 95% 成功率，而 Pi0.5 与 Fast-WAM 在 20 次试验中均未成功。作为记忆驱动的执行器，Long-WAM 也能在复合任务中补充更高层规划。
英文摘要
Real-time robot control demands enough visual history to infer motion and task progress, but processing that history can delay action. We present Long-WAM, a model–system framework for scaling the context of causal world-action models under real-time control constraints. Our central finding is that access to history is not the same as using it: longer histories pay off far more when the video foundation is pretrained autoregressively (AR). We first learn causal prediction from robot and egocentric videos without action labels, then preserve this history-to-future structure during world-action adaptation. On RoboCasa GR-1, increasing context from 0.0 to 19.2 seconds raises success from 63.3% to 78.7%, whereas a bidirectionally pretrained initialization shows no net gain; robot-domain AR pretraining further raises peak success on GR-1 and LIBERO-Long. Long-WAM also achieves the best results among compared methods on LIBERO-Long, RoboTwin 2.0, and DOMINO. Streaming observation encoding, asynchronous execution, and hardware-specific acceleration enable deployment on RTX 5090, DGX Spark, and Jetson AGX Thor without dropping future prediction; on RTX 5090, each action chunk, including future-video latent prediction, takes 107.4 ms. Real-time deployment on Unitree G1 and YAM supports dynamic and long-horizon manipulation, including 95% success on dynamic cup stacking, where Pi0.5 and Fast-WAM succeed in none of 20 trials. As a memory-informed executor, Long-WAM also complements higher-level planning in composite tasks.
直观理解
可以把 Long-WAM 看成一个“先想象再执行”的记忆控制器。低层控制不需要记住小时级目标，但必须知道物体正在怎么动、交互已经推进到哪里；这些信息主要藏在最近视觉历史里。Long-WAM 的做法是让视频模型在预训练阶段反复回答“给定过去画面，未来会怎样”，而不是只用双向注意力学一个视觉表征。适配动作后，模型先在潜空间推出一段模糊的未来，再把这段未来的视觉 KV 缓存交给动作专家，所以动作不是只看当前图像，而是读到一个由历史支撑的短期物理预测。系统层面的关键则是别让这段“想象”拖慢机器人：观察编码在执行期间流式完成，动作块推理与执行重叠，未来预测不解码成像素，算子和缓存也按设备重排。
图 1：Long-WAM 的四段主线：自回归机器人视频预训练、因果到因果的 world-action 适配、上下文扩展和实时部署。
背景与问题
为什么做
快速机器人控制经常需要从连续画面推断物体速度、接触进度和任务阶段，单张图像只能给出静态位置，无法区分静止杯子和即将到达的杯子。WAM 天然可以把视频预测用于闭环控制，因此最近物理历史应成为动作生成的重要资源；但更长历史也会带来 prefill、attention、KV 和 VAE 编码成本，可能让动作迟到。
问题缺口
已有 WAM 可以给策略挂上 causal cache 或检索记忆，但这只说明输入中有历史，并不说明视频骨干学过如何从历史预测未来。DreamZero 和 LingBot-VA 等路线主要从双向视频生成器适配到因果控制，历史到未来的时序因子化是在动作阶段才引入的；同时许多加速方法会去掉未来预测或依赖动作混合、prefix guidance 来维持异步切换。论文缺口的准确表述是：如何在保留想象条件与执行连续性的前提下，验证并部署真正会利用长物理历史的 causal WAM。
方法
方法概述
Long-WAM 采用“动作无关 AR 视频预训练 -> causal-to-causal 动作适配 -> 上下文与执行系统联合扩展”的三段流程。视频分支在干净历史条件下学习未来潜变量的 flow matching 速度场；动作分支则以观察历史、语言、本体状态和被加噪的未来真实潜变量为条件学习动作块去噪。推理时先从噪声滚出到 σ* = 0.9 的部分去噪未来，不生成像素，再把未来与历史的视觉 KV 缓存交给动作专家连续去噪。
核心机制
关键在于训练顺序与注意力接口保持一致。视频查询只读自身和更早视觉块，不读动作 token；动作查询读观察历史、部分去噪未来和整个噪声动作块。由于 AR 预训练已经学习“过去决定未来”的因果因子化，适配阶段没有把这个能力重新发明一遍，额外历史才能通过预测表示影响控制。动作训练中视觉缓存被 detach，只更新 action expert 与本体适配器，避免动作监督破坏视频先验。
方法拆解
- LongLive2.0-Robot 预训练：从 LongLive-2.0 的 16 秒 AR checkpoint 继续训练，使用 2.29M 样本、约 10,004.5 个窗口等价小时；数据来自 RoVid-X、AgiBot World、EgoDex、EgoVerse 和 VITRA。因为这一阶段只有视频和语言，没有动作标签，来源不需要共享动作空间或本体维度。
- 教师强制与误差回收：最长 30 秒序列经 sequence-parallel 分片训练。每个噪声块在 ground-truth 前缀条件下并行监督，conditioning image 保持干净且不进损失；缓存扰动来自 buffered model errors，速度目标仍指向原始干净潜变量，让模型学习纠正 rollout 式误差。形式上，
x_i^σ = (1-σ)z_i + σε_i，视频分支优化v_θ(x_i^σ, σ | h_<i, c)与ε_i - z_i的差。 - 两段 world-action 训练：第一段在干净观察前缀上训练未来视频 flow matching；第二段把 ground-truth 未来 forward-noise 到
σ* = 0.9，构建 detached 视觉缓存，训练动作专家预测ε_a - a。掩码排除 padding 的未来潜变量与动作步，损失按有效元素归一。 - 上下文扫描协议：固定各基准的动作 horizon 和视觉预测范围，只改变真实观察 causal prefix 的时长；每个窗口单独训练并在训练长度评估。0 秒保留当前观察，缺失早期历史重复初始帧，因此比较的是近端控制决策能从多少过去证据中获益。
- 流式异步执行：第
k次决策预测H步动作块，只执行前R步，推理触发步长为S，重叠O=R-S。旧块已流逝前缀被丢弃，新块对齐 suffix 执行；迟到则等待。流式 VAE 在机器人执行时逐组编码已到达观察，触发后只补剩余帧，减少 full-window 编码造成的累积等待。 - 硬件加速栈：视频专家线性层和 prefill 用 W4A4 NVFP4，动作计算与 KV 保存为 BF16；组合 CUDA Graph、
torch.compile、denoising-invariant KV/RoPE 复用、Q/K/V 共享输入量化、视频/动作在线 softmax 合并，再针对 RTX 5090、DGX Spark 和 Thor 调整 Quant/GEMM tile、warps、pipeline、attention 与 VAE backend。
关键要点
- AR 预训练改变历史的价值：在 GR-1 上，LongLive2.0-Robot 相对双向初始化的优势从无历史的 3.3 点扩大到 19.2 秒历史的 17.1 点；两个 AR 初始化分别获得 12.4 和 11.0 点长上下文增益，而双向初始化从 61.7% 到 61.6% 基本没有净收益。
- 未来不需要生成像素：IDM 把未来视觉停在
σ* = 0.9的潜空间，并复用其 KV；这是控制条件，不是昂贵视频生成展示。 - 上下文是执行资源：2.4 到 19.2 秒的 8 倍历史使 RTX 5090 chunk 延迟从 107.4 ms 增至 341.0 ms，因此记忆长度、预测质量和响应时间必须联合设计。
结果
结果速览表
| 实验 | 关键对比 | Long-WAM | 基线/对照 | 结论 |
|---|---|---|---|---|
| RoboCasa GR-1 | 0 vs 19.2 s 历史 | 78.7% | 0 s 63.3%；Cosmos 67.1% | 长物理历史带来 +15.4 点 |
| RoboCasa GR-1 | AR vs 双向初始化 | 78.7% | 双向 61.6% | AR 优势在长历史下扩大到 17.1 点 |
| LIBERO / LIBERO-Long | IDM | 99.5% / 99.5% | Fast-WAM 97.6% / 95.2% | 未来潜变量预测最利于长任务 |
| RoboTwin 2.0 | Clean + Randomized 平均 | 94.4% | ABot-M0.5 94.1% | 小幅领先 |
| DOMINO | 动态数据微调 | 34.9% SR / 45.1 MS | Fast-WAM 19.9% / 33.3 | 动态拦截优势明显 |
| Unitree G1 传送带 | 7.5 cm/s 抓取 | 90% | `π0.5`、Fast-WAM 0% | 近期视觉历史支撑动态控制 |
| Unitree G1 动态堆杯 | 20 trials | 95% | `π0.5`、Fast-WAM 0% | 最强真机对比 |
| RTX 5090 延迟 | 优化 V4/A4 | 107.4 ms，93.5% SR | BF16 356.0 ms，94.4%；Fast-WAM 244.1 ms | 保留预测且更快 |
| 异步执行 | RoboTwin 2.0 | 94.2% | Fast-WAM 76.4%；LingBot-VA 46.7% | 预测条件改善动作交接 |
| RoboCasa365 | Long-WAM + GPT-6 Astra | 54.4% overall | planner 25.2%；policy 31.4% | 强执行放大规划 |
洞察
风险与判断
局限
- 每个上下文长度都是单独训练和评估的模型，还不是同一策略在推理时自适应选择窗口；这提供了干净的长度分析，但距离实用的可变上下文系统仍有距离。
- 38.4 秒下降与 80.4% padding 强相关，说明当前数据不能回答更长、更密集真实历史是否继续提升；10,000 小时也是窗口等价估计，不等同于唯一原始素材量。
- 真机上下文长度研究仍不充分，G1/YAM 结果主要展示 2.4 秒左右策略的动态与长时程执行，尚未系统验证仿真中的长窗口趋势如何迁移到物理机器人。
- 预训练动作无关提升了跨数据可用性，但论文明确指出迁移到 unseen embodiment 需要单独评估；不同机器人动作空间、频率与传感器配置仍可能限制适配效果。
- 不少基线来自论文或 leaderboard 的报告口径，硬件与部署配置不完全一致；延迟也排除了文本编码、controller 与 IPC 开销，端到端机器人系统实际可用余量会小于表格数字。
- NVFP4、CUDA Graph、设备调优和 KV 复用大幅依赖 NVIDIA 栈；跨硬件可复现性、数值稳定性和安全边界没有系统讨论。
适用场景
- 物体持续运动、遮挡后重现或需要从近期视觉历史推断速度/方向的动态抓取与拦截。
- 多阶段近端操作，任务进度不完全由当前图像和语言指令决定，需要短期交互记忆。
- 需要保留 WAM 未来预测但不能接受秒级延迟的边端部署，尤其是 NVIDIA 消费级 GPU、desktop AI 计算机和机器人机载计算机。
- 低层执行器配合高层 planner 的组合任务：planner 负责语义分解，Long-WAM 负责物理技能与近期状态。
最终判断
- Long-WAM 是一篇把模型结构、上下文 scaling 和实时执行系统放在一起讨论的强证据论文。它最有价值的贡献不是单个 benchmark 分数，而是明确区分“历史可访问”和“历史可使用”，并用 AR vs 双向初始化、上下文扫描、延迟曲线和真机动态任务共同支撑这个判断。
- 对后续 WAM/VLA 设计，值得采纳的是：先训练或选择真正具有因果预测能力的视觉表示；把未来作为潜空间控制条件而非必生成像素；把上下文长度视为与延迟、动作交接和数据密度耦合的执行资源。
- 对生产部署应保持谨慎：当前结果集中在 NVIDIA 硬件和特定仿真/真机任务，真实长窗口研究、跨本体泛化、量化误差的安全分析和非 NVIDIA 平台成本仍需补充。
相关主题
Long-Horizon Memory for Robot Policies
这条主题关注机器人策略如何处理分钟级任务。关键不是更多帧，而是多尺度记忆：哪些信息应该保留为短期视觉痕迹，哪些应该抽象成长期语义状态。
打开主题
继续阅读
上一篇
TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning
值得关注的是统一采集管线下的人类触觉数据规模，以及无动作标签数据对真实机器人策略的可测收益。500 小时数据中训练后，四项真机任务平均成功率从 22.5% 增至 57.5%。证据支持这一数据路线继续扩展，但尚不足以证明通用接触动力学或跨机器人本体泛化。
下一篇
UNITAS: A 3D-Native World Action Model for Embodied Manipulation
UNITAS 不是把深度图简单接到 VLA 上，而是把“看见什么、身体怎么动、世界如何响应”都写成同一度量 3D 坐标系里的点轨迹。机器人夹爪和人类手被表示为 action flow，环境点位移被表示为 scene flow；一个物理时间 tokenizer 让不同采样率与轨迹长度的数据共享接口。1.7B 模型在 LIBERO 达 99.8%，LIBERO-Plus 达 89.1%，RoboTwin Clean/Randomized 达 92.94%/93.04%；在动作条件场景预测中，Moving ADE 从 PointWorld 的 0.656 cm 降到 0.427 cm。