Value as Memory: Online Value-Guided Post-training for General Robot Policies
Value as Memory: Online Value-Guided Post-training for General Robot Policies
Wenye Yu · Yijin Chen · Kaiyi Xiong · Wenbo Han · Wendi Chen · Yang Jin · Han Xue · Jun Lv 等
一句话结论
VaM 把近期价值预测从训练标签变成策略可读取的任务进度记忆，同时用离线演示、历史人工干预和当前在线 rollout 持续更新价值与动作专家。三项真机长时程任务中，价值缓存相对消融在最终三个检查点上平均提高 29.4 个百分点；在线 RL 在匹配预算下经 LfE 后平均超过离线 RL 32.8 个百分点，并把每梯度步实验墙钟时间降低 57.8%。这是“critic 参与推理”与“提高部署—训练闭环频率”的双重贡献，但证据仍限于单机器人、三项实验室任务和可靠价值估计，不应外推成通用无人值守自我进化。
关键词
摘要
中文摘要
通用机器人策略的真实世界后训练面临两个挑战：部分可观测性使动作选择产生歧义，而离线后训练方法会延迟来自部署经验的反馈。我们提出 Value as Memory（VaM），通过价值缓存和在线真实世界强化学习（RL）应对这些挑战。价值缓存把近期价值预测作为任务进度记忆来条件化动作选择；在线更新则结合离线演示、离策略人工干预和当前策略 rollout，实现样本高效适配和及时的策略改进。由此，VaM 能从离线 RL 预热过渡到使用稀疏奖励的在线自主学习。在涉及可变形物体和接触富集操作的长时程任务中，价值缓存带来 29.4% 的平均绝对成功率增益，在线自主学习相较训练预算匹配的离线训练带来 32.8% 的增益。所评估的在线调度在相同梯度步预算下完成 8 倍策略迭代；在数据采集与训练并行时，记录的每梯度步耗时降低超过 2 倍。
英文摘要
Real-world post-training of generalist robot policies faces two challenges: partial observability makes action selection ambiguous, while offline post-training methods delay feedback from deployment experience. We present Value as Memory (VaM), a framework that addresses these challenges through value caching and online real-world reinforcement learning (RL). Value caching conditions actions on recent value predictions as task-progress memory, while online updates enable timely policy improvement by combining offline demonstrations, off-policy interventions, and on-policy rollouts for sample-efficient adaptation. As a result, VaM transitions from offline RL warmup to online autonomous learning with sparse rewards. Across long-horizon tasks involving deformable objects and contact-rich manipulation, VaM yields a mean absolute success-rate gain of 29.4% with value caching, while achieving a 32.8% gain with online autonomous learning over matched offline training. The evaluated online schedule performs 8× as many policy iterations under the same gradient-step budget, with more than 2× lower recorded time per gradient step with concurrent data collection and training.
直观理解
可以把 VaM 理解为给机器人增加一条“进度后视镜”：摄像头里两个画面可能几乎一样，但一个发生在刚失去接触之后，另一个发生在重新抓牢之后，所需动作完全不同。价值专家先把近期画面转成任务进度分数，动作专家不仅看图像和本体状态，还读取前几个时刻的分数是在上升、停滞还是下降，因此能区分“继续原动作”和“重新尝试”。训练侧则像一条持续运转的流水线：机器人采集新经验时，价值专家学习当前进度，动作专家吸收示范、人工纠正和当前 rollout，再把新 checkpoint 发布回机器人。
图 1：VaM 总览。在线真实世界 RL 提高部署—训练反馈频率，价值缓存用近期进度预测缓解相似观察下的动作歧义。
背景与问题
为什么做
通才 VLA 经离线示范预训练后，仍要在具体真机任务上继续吸收部署经验，才能稳定完成纸盒组装、衣物折叠和磁块拼接这类长时程操作。真实交互昂贵，纯 on-policy 更新难以复用历史经验，迭代式离线 RL 又把采集和训练串行分开，使新失败状态不能及时进入下一轮策略；同时，有限视觉历史中的相似画面可能对应不同接触状态与任务进度，直接限制策略恢复能力。
问题缺口
已有价值函数通常只用于优势标注、数据筛选或优化权重，部署策略本身看不到任务进度，因此难以解决 soft aliasing：观察表示很接近，高优势动作分布却不同。另一方面，固定或周期性刷新的 critic 会落后于当前部署分布，单纯增加在线 rollout 又不能同时解决历史数据复用、人工纠正吸收、价值—策略共同适配和真机迭代墙钟成本，论文需要把这些问题放进同一个可持续运行系统。
方法
方法概述
VaM 以四阶段离线到在线流程训练价值与动作专家：先用演示做行为克隆和进度初始化，再通过人工接管数据完成离线 RL warmup，随后进入 Online DAgger 与仅依赖稀疏终端奖励的 Learn from Experience。价值学习混合离线及历史 replay 与当前 rollout，动作学习按 1:1:1 混合演示、历史干预和当前优势标注 rollout；部署时把近期价值预测缓存为进度记忆，在线阶段同步更新并发布两个专家。
核心机制
价值专家在 [0,1] 的 256 个原子上预测类别分布，先以演示中的归一化进度 t/T 做高斯标签初始化，再用稀疏终端奖励的分布式 TD 学习目标跟踪真实任务进度；其期望既转化为优势标签，也把前 Hπ 个已计算价值组成缓存，经 GRU 编码后提供给动作专家。动作专家沿用 π0.5 的 flow matching，以当前 rollout 优势的 70% 分位数构造二元条件，推理时请求高优势动作并做 classifier-free guidance，从而让同一价值信号同时服务训练监督与部署记忆。
方法拆解
- 离线初始化：动作专家继承 π0.5 的 PaliGemma-2B 视觉语言骨干和独立 300M 动作 transformer，以行为克隆启动；价值专家复用 π0.5 的 300M action-generation transformer，借助 readout token 和线性头输出 256 原子价值分布，并以演示进度初始化。
- 离线 RL warmup：先部署初始策略并允许人工接管；把每次接管前的轨迹前缀标成零奖励失败终止，同时保留完整 rollout 的结果奖励与跨接管 bootstrap，再对时间下采样数据做价值 TD 预热，最后用预热价值标注 rollout 并训练优势条件动作专家。
- Online DAgger：每轮以当前 checkpoint 采集带人工干预的 rollout。价值批次按 1:1 混合“演示+历史 rollout”与当前下采样轨迹；动作批次按 1:1:1 混合演示、历史人工控制片段和当前优势标注 rollout，两个专家同步更新后把当前轨迹并入历史 buffer。
- Learn from Experience（LfE）：停止收集新的人工纠正，只用自主 rollout 的稀疏终端成败奖励继续训练；历史干预 buffer 固定，但仍复用既往 rollout、演示和当前数据，因此策略能在没有持续 DAgger 监督时测试价值记忆与在线闭环是否真正有效。
- 部署与缓存：每轮冻结上一轮价值快照，价值预测和动作生成异步运行；动作专家读取截至 t-1 的价值缓存而非等待当前值，并将它与图像历史、本体状态共同编码。默认动作历史与缓存长度 Hπ=4、价值图像历史为 2、观察步距 30，动作 chunk 为 100 步，兼顾进度信息与实时控制。
关键要点
- 价值缓存不是“多接一个 scalar”这么简单：它把 critic 从训练期评估器变成推理期状态输入。固定最终动作专家、仅替换成 demo 或 warmup 价值快照都会降低三任务成功率，说明收益依赖与当前策略分布匹配的价值质量。
- 理论结果只证明局部 soft-aliasing 下界可以被放松：在局部 L-Lipschitz 假设下，缓存增大两个状态的输入表示距离，使同时拟合不同高优势动作分布不再违反该约束；它不保证具体网络优化成功，也不等于解决一般 POMDP。
- 在线系统的关键收益是提高反馈频率。相同梯度步预算下纸盒任务完成 16 次在线迭代而离线仅 2 次，所谓 8× 是部署—训练迭代数，不是 8× 样本效率；57.8% 是实验墙钟时间下降，也不是单次 GPU 梯度计算加速。
结果
- 最终三个在线 RL 检查点上，VaM 在纸盒组装、衣物折叠、磁块巴士组装的成功率分别为 96.7%、88.9%、76.7%；无价值缓存为 81.7%、48.9%、43.3%，三任务平均绝对提升 29.4 个百分点。无 warmup 为 81.7%、60.6%、50.0%，RECAP 为 71.7%、64.4%、43.3%。
- 对全部可用 LfE 检查点取平均，VaM 相对无缓存的差距为纸盒 16.25、衣物 40.00、磁块 37.50 个百分点，平均 31.3 个百分点；说明主要结论并非只由最终三个检查点的选择造成。
- 盲评 LfE 恢复事件时，VaM 在三任务分别成功恢复 24/44、38/44、5/15 次，对应 54.5%、86.4%、33.3%；无缓存为 35/70、30/51、2/27，对应 50.0%、58.8%、7.4%。这些分数是事件级比例，不是 episode 成功率。
- 固定最终 LfE 动作专家并替换价值快照后，demo 初始化价值在三任务仅达 80.0%、71.1%、40.0%，warmup 价值为 85.0%、68.9%、50.0%，均低于原始 LfE 价值；固定视觉输入的衣物案例也显示，不同缓存会改变重新抓取与夹爪开合预测。
- 从同一 warmup VaM 出发、匹配梯度步和采集预算时，在线 RL 经 LfE 后在三任务平均超过离线 RL 32.8 个百分点。采集、价值训练和动作训练并行，使每梯度步实验时间平均下降 57.8%，总实验时间在三任务分别从 6.514、7.069、7.213 小时降至 2.516、3.129、3.061 小时。
结果速览表
| 维度 | VaM | 关键对照 | 判断 |
|---|---|---|---|
| 最终三检查点成功率：纸盒 / 衣物 / 磁块 | **96.7% / 88.9% / 76.7%** | 无价值缓存：81.7% / 48.9% / 43.3% | 三任务平均绝对提升 29.4 个百分点 |
| 全部 LfE 检查点平均成功率 | **96.25% / 88.89% / 75.00%** | 无价值缓存：80.00% / 48.89% / 37.50% | 平均差距 31.3 个百分点，结论不只看最终检查点 |
| LfE 恢复率：纸盒 / 衣物 / 磁块 | **54.5% / 86.4% / 33.3%** | 无价值缓存：50.0% / 58.8% / 7.4% | 盲评事件级结果，衣物与磁块差距更明显 |
| 在线 RL vs. 匹配离线 RL | **LfE 后平均 +32.8 个百分点** | 相同梯度步与采集预算 | 支持更频繁的部署—训练闭环，而非单独证明算法样本复杂度 |
| 每梯度步实验墙钟时间 | **平均降低 57.8%** | 纸盒 4.885→1.887 s；衣物 5.090→2.253 s；磁块 5.891→2.571 s | 来自采集、价值训练、动作训练并行，不等于纯算子加速 |
| 替换最终策略的价值专家 | **原始 LfE 价值最佳** | demo 价值：80.0% / 71.1% / 40.0%；warmup 价值：85.0% / 68.9% / 50.0% | 缓存机制本身不够，价值必须跟随当前部署分布 |
洞察
- 价值缓存是一种低维、任务特定的进度记忆：它不试图保存全部历史，而是把历史压缩成“正在推进、停滞还是倒退”。这与增加视觉帧数互补，也给长时程记忆提供了一条更便宜但高度依赖 critic 质量的路线。
- VaM 让价值形成训练—推理双闭环：训练时它标注动作优势，推理时它直接改变策略输入。因此价值误差不再只影响数据权重，而可能成为误导动作的记忆；价值替换消融既是收益证据，也揭示了新的故障通道。
- 在线 RL 的系统调度本身就是方法的一部分。相同数据和梯度预算下，更频繁地把新失败状态反馈到 checkpoint，可以改变后续采集分布；这比只比较 learner 更新次数更接近真实机器人后训练的实际收益。
和已有方法的关系
- 相对 RECAP，VaM 保留演示、人工干预、rollout、分布式价值和 CFGRL 优势条件这条主线，但把价值预测额外接入部署策略，并以持续在线的共同更新减少 critic 与当前策略分布脱节；RECAP 对照则从演示策略启动，并增加 Online DAgger 轮次补偿 warmup 数据。
- 相对 MEM 的视觉—语言多尺度记忆，VaM 使用其 temporal-spatial attention 编码图像历史，却把新增记忆载体换成价值标量序列：MEM 重点保留场景与语义，VaM 重点表示任务进度与恢复状态，两者可视为不同信息层而非互相替代。
- 失败前缀构造延续 GR-RL 的思路，但边界来自真实人工接管：前缀提供失败监督，完整 rollout 保留后续恢复结果；分布式价值能够表达同一观察下多种 TD 目标的混合，避免只学 uninterrupted success 的单一进度曲线。
可借鉴点
- 在真机部署中冻结上一轮价值快照、异步计算价值并只读取已完成的缓存，是控制部署延迟的实用设计；无需为了得到当前时刻价值而阻塞动作 chunk。
- 价值和动作应使用不同数据视图：价值需要失败前缀、完整恢复轨迹和时间下采样，动作需要演示、历史人工纠正与当前高优势数据；简单把所有轨迹塞进同一 buffer 会丢失这些监督语义。
- 评估恢复型长时程策略时，应同时报告原始恢复事件数、盲评口径、多个检查点聚合和墙钟调度成本；只报告单次成功率无法区分“更少卡住”和“卡住后更会恢复”。
风险与判断
局限
- 缓存内容来自价值专家自身预测，错误进度会被直接送入动作策略；论文也明确把离线 RL warmup 视为稳定在线训练的必要条件，因此它并没有免除 critic 校准，反而提高了对在线价值质量的依赖。
- 实验仅覆盖单机器人平台上的三项实验室桌面任务，并按任务配置演示量、warmup 数据、更新轮次和部分超参数；没有验证一个共享策略的多任务持续学习、跨任务迁移、开放环境泛化或多机器人 fleet 共享经验。
- 完整流程仍需要离线专家演示、warmup 与 Online DAgger 阶段的人工接管、可靠终端成败标签，以及多轮真机采集。LfE 不再新增人工纠正，并不等于从零开始或完全无人监督。
- 磁块任务的 VaM 恢复评估只有 15 个需恢复事件，衣物无缓存最终检查点标准差达 30.1 个百分点；论文未给出统计显著性检验，部分恢复率与均值差距应视为有限样本证据。
- soft-aliasing 定理是两状态、局部 Lipschitz 下的误差下界分析，只说明加入缓存后精确匹配不再被同一约束排除；它不证明价值估计正确、策略一定学到恢复行为，也不给出全局 POMDP 最优性保证。
适用场景
- 已有 π0.5 类 flow-based VLA、任务专家示范和真机后训练条件，希望提高长时程操作成功率与卡住后的恢复能力，并能提供阶段性人工接管和终端成败标注的研究团队。
- 衣物折叠、纸盒组装、接触富集装配等视觉相似状态较多、任务进度可由价值函数近似、需要反复部署—更新闭环的操作场景。
- 不适合直接外推到缺乏可靠奖励与价值校准的高风险无人值守生产、多机器人车队协同，或只有边缘计算且无法承受多轮在线训练的部署。
最终判断
- 这篇工作最值得记住的是把 critic 变成策略可消费的进度记忆，而不仅是又一个优势加权变体；缓存消融、价值快照替换、固定视觉输入下的动作差异和恢复事件盲评形成了较完整的证据链。
- 在线部分的价值同样偏工程系统：混合 replay 让新经验与历史干预共同更新，并行采集和训练提高反馈频率。解读结果时必须区分 8× 迭代数、57.8% 墙钟下降与真正的样本复杂度改进。
- 建议持续跟踪其开源实现和多机器人扩展，但当前结论应限定为“单机器人、任务级、有人类前期监督的真机后训练有效”，尚不足以证明通用机器人在开放环境中可长期自主进化。
相关主题
继续阅读
上一篇
When Do Discrete Actions Make Good Continuous Controllers?
这篇工作的价值在于重新定位动作表示的瓶颈：在所测机器人任务中，简单离散动作并不天然输在精度，反而能保留连续回归容易平滑掉的细节；真正需要解决的是跨时间、跨坐标的行为一致性。RoboCasa 上单步离散回归加入 CFG 后成功率由 27.1% 提升至 49.2%，接近离散流 53.9% 和连续流 52.7%。这是设计 VLA 动作头时值得保留的证据，但不是“离散动作在所有精密控制问题上都更优”的定理。
下一篇
No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
这篇论文回答一个很具体的问题：在完全不用视觉和物体状态估计的前提下，灵巧手仅靠本体感觉和二值触觉能做多久的双手内保定球旋转？答案是：在 Shadow Dexterous Hand Lite 上，策略零样本从仿真迁移到真机，单次连续试验完成 225 个 180° 旋转（112.5 整圈），约 0.36 rot/s，是迄今保定球操作最强的硬件结果。能迁移的关键不是更大的模型，而是三件事：把 Isaac Lab 默认资产里错误的 PIP/DIP 固定比例耦合改成硬件真实的顺序耦合；提出两种 episode 级随机化——SlewDR（动作斜率限制随机化，让策略学会硬件跟得上的平滑动作）和 STAT（随机把若干触觉通道整 episode 卡死在 0 或 1，迫使策略不过度依赖单一通道）；再加上基于空手基线的迟滞双阈值触觉标定。消融显示触觉的主要贡献不是产生动作节律（本体感觉策略自己就有节律步态），而是把名义步态修正成完成的旋转并在球位偏离时恢复：同一 checkpoint 关掉触觉后，整圈数从 34.75 掉到 5.0。