Online RL for VLA
这条主题关注 VLA 预训练之后的在线适配。核心问题不是“VLA 能不能泛化”，而是“当真实机器人需要更高精度、更高速度时，怎么以较低样本成本继续优化它”。
正文
Online RL for VLA
通才策略已经有了，接下来的问题是怎样把它快速打磨到高精度 specialist 表现。
主题概述
这条主题关注 VLA 预训练之后的在线适配。核心问题不是“VLA 能不能泛化”，而是“当真实机器人需要更高精度、更高速度时，怎么以较低样本成本继续优化它”。
当前知识库里的代表工作
来源: RISE: Self-Improving Robot Policy with Compositional World Model 把在线交互从物理世界移到想象空间：动作条件视频模型生成多视角未来，进度/TD value model 给动作块打 advantage，再用 10 个 advantage bin 条件化更新 π0.5；部署时世界模型不参与推理。
来源: RL Token: Bootstrapping Online RL with Vision-Language-Action Models 代表作。通过
RL token把预训练 VLA 与轻量 actor-critic 接起来，让 online RL 重点修正 critical phase。来源: VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models 直接在 pi0.5 action expert 的 LoRA 子空间内做任务级在线更新：用人工纠正先快速改善行为，再以 TD、同状态偏好和悲观相对优势逐步提高 critic 的作用；ACoB-Stream 同时复用冻结前缀 context 并最小化策略同步。
来源: Value as Memory: Online Value-Guided Post-training for General Robot Policies 把近期价值预测同时用作优势监督和部署时的任务进度记忆，并以演示、历史干预和当前 rollout 的混合 replay 持续更新价值与动作专家；真机结果把缓存消融、价值快照替换、恢复行为和在线调度成本连成了一条证据链。
来源: STEAM: Self-Supervised Temporal Ensemble Advantage Modeling for Real-World Robot Learning 从另一个侧面补齐 online/refinement 闭环：它不设计新 VLA 接口，而是用专家轨迹的时间结构学习 frame-level advantage，从人工纠正、失败 rollout 和专家示范中筛出真正推进任务的局部片段，再接入 CFGRL。
来源: π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities 虽然主体不是 RL 论文，但它明确展示了 generalist policy 可以蒸馏和吸收 specialist 经验，也说明 online optimization 与 foundation policy 不是对立关系。
当前判断
RLT给出的是一条很现实的 engineering 路线：不要重训整个 VLA，只给它暴露一个适合 RL 的接口RISE说明如果愿意承担世界模型训练成本，在线 RL 的数据来源可以换到可控想象环境；它在三项真机操作任务上把成功率提升到 85%–95%VLA-Precision进一步说明，若要让大 VLA 覆盖完整任务闭环，必须同时解决早期 value 不可靠和冻结前缀重复计算；人类纠正既是监督动作，也是反事实偏好和成功轨迹的来源VaM把 critic 的用途从训练期 advantage 扩展到推理期 memory，并用并行采集与训练提高反馈频率；其新依赖也很明确——错误的在线价值会直接变成误导策略的输入STEAM补的是数据质量与 credit assignment：真实机器人数据不是整条好/坏，而是需要逐帧识别哪些片段真正推进任务π0.7则从另一个角度说明，generalist policy 最终仍然需要 specialist-style refinement，只是 refinement 的位置和形式不同
值得后续关注的问题
- online RL 的接口应该放在 VLA 哪一层最合适
- 是 refinement head 更重要，还是 reward / advantage / data-quality signal 更重要
- frame-level advantage 这类数据筛选信号，能否和 RL token 这样的轻量接口稳定结合
- ACoB 的同状态纠正偏好能否在没有实时人工接管、仅有自动失败检测或 hindsight label 时成立
- 价值缓存发生系统性高估或低估时，能否用不确定性、集成或保守校准避免错误进度记忆放大策略失败
- 冻结前缀 context 复用在视觉骨干也需要在线适配时如何扩展
- 对不同 embodiment，这类轻量接口是否还能保持稳定性
- 想象环境的覆盖率、物理一致性和不确定性应如何度量，才能在部署前判断 world-model RL 是否安全
相关页面
- RL Token: Bootstrapping Online RL with Vision-Language-Action Models
- RISE: Self-Improving Robot Policy with Compositional World Model
- VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
- Value as Memory: Online Value-Guided Post-training for General Robot Policies
- STEAM: Self-Supervised Temporal Ensemble Advantage Modeling for Real-World Robot Learning
- π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
- Vision-Language-Action
相关材料
RISE: Self-Improving Robot Policy with Compositional World Model
RISE 把真实机器人在线 RL 的瓶颈从物理世界移到想象空间：它不让机器人反复试错，而是用一个动作条件化的多视角视频 dynamics model 合成未来状态，再用进度回归与 TD learning 联合训练的 value model 为动作块计算 advantage，最后用这个 advantage 条件化并更新 π0.5 VLA。三项真机任务上，RISE 分别把动态砖块分拣、背包整理和纸箱关闭成功率提升到 85%、85% 和 95%，显著超过 PPO、DSRL、DAgger 和 RECAP。核心代价也很明确：视觉世界模型预训练和微调需要大量 H100 计算，而且结果仍受世界模型覆盖与物理一致性的上限约束。
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
VLA-Precision 的核心贡献是把真实世界 VLA 在线 RL 的两个瓶颈一起处理：ACoB 用“先快速吸收人类纠正、再逐步信任 critic”的非对称学习节奏抑制策略漂移，ACoB-Stream 则缓存冻结前缀的 KV context，只按需读取上下文并同步 LoRA 状态。九项高精度化学操作共 180 次测试成功 177 次，平均每任务在线训练 45.8 分钟后达到 98.3% 成功率；但这是任务级精修、持续有人类接管且使用 4 张 A800 的受控实验室证据，不等同于开放世界通用可靠性。
STEAM: Self-Supervised Temporal Ensemble Advantage Modeling for Real-World Robot Learning
STEAM 值得记住的点，是它把真实机器人数据清洗问题改写成“逐帧 advantage 建模”：不用人工奖励、不用 VLM 打分，也不假设整条轨迹好坏一致，而是从专家轨迹内部的时间顺序中学习哪些 frame pair 代表推进、停滞或倒退。它尤其适合 VLA/机器人策略在真实 rollout、人工纠正和混合质量数据上继续提升：先找出真正推进任务的局部片段，再把这些片段作为 CFGRL 的高质量训练信号。
Value as Memory: Online Value-Guided Post-training for General Robot Policies
VaM 把近期价值预测从训练标签变成策略可读取的任务进度记忆，同时用离线演示、历史人工干预和当前在线 rollout 持续更新价值与动作专家。三项真机长时程任务中，价值缓存相对消融在最终三个检查点上平均提高 29.4 个百分点；在线 RL 在匹配预算下经 LfE 后平均超过离线 RL 32.8 个百分点，并把每梯度步实验墙钟时间降低 57.8%。这是“critic 参与推理”与“提高部署—训练闭环频率”的双重贡献，但证据仍限于单机器人、三项实验室任务和可靠价值估计，不应外推成通用无人值守自我进化。
相关综述
当前 VLA 路线图：基座、可控性、在线精修、记忆与人类数据
如果只看单篇论文，很容易觉得大家都在“继续做更强的 VLA”。但把 OpenVLA、π0.7、RLT、MEM、Human-to-Robot Transfer、DexImit 放在一起，会看到这条路线其实已经分化成六个相互关联的问题： 1. VLA 基座如何开放、可训、可部署 2. heterogeneous data 如何变成可控能力 3. 通才策略如何继续被打磨到 specialist 级精度 4. 分钟级任务如何通过 memory 真正支撑起来 5. 人类数据何时开始能真正被机器人利用 6. 人类视频如何被显式编译成机器人可训练数据 这说明当前 VLA 研究已经不再只是单点模型设计，而是在演化成一套完整系统栈。