Long-Horizon Memory for Robot Policies
这条主题关注机器人策略如何处理分钟级任务。关键不是更多帧，而是多尺度记忆：哪些信息应该保留为短期视觉痕迹，哪些应该抽象成长期语义状态。
正文
Long-Horizon Memory for Robot Policies
长时程机器人控制不是只把上下文窗口拉长，而是要决定不同时间尺度的信息如何表示。
主题概述
这条主题关注机器人策略如何处理分钟级任务。关键不是更多帧，而是多尺度记忆：哪些信息应该保留为短期视觉痕迹，哪些应该抽象成长期语义状态。
当前知识库里的代表工作
来源: Causal Confusion in Imitation Learning 提供历史输入的反捷径诊断：过去动作的代理因素可能让离线预测更准而闭环回报更差。该工作在合成控制基准上通过图条件策略和定向干预识别输入因素，是本主题的风险边界，不代表任务所需的历史记忆无用。
来源: Long-WAM: Scaling the Context of World-Action Models 用自回归机器人视频预训练保留历史到未来的因果预测结构，把 2.4–19.2 秒视觉历史接入低层动作生成，并用流式 VAE、异步执行和硬件加速证明长记忆可以实时部署。
来源: MEM: Multi-Scale Embodied Memory for Vision Language Action Models 明确把 memory 分解成视频短期记忆和语言长期记忆，是这条主题的主工作。
来源: π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities 通过 subgoal image、subtask instruction、episode metadata 给策略提供 richer context，本质上也是在补 memory 和 progress control。
来源: FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation 把整个 episode 的腕部 wrench 历史压缩成 8 个事件记忆 token，并用短时关节状态稳定接触前运动，证明视觉或语言之外的物理信号也可以成为低成本长时记忆。
来源: Value as Memory: Online Value-Guided Post-training for General Robot Policies 将最近四步价值预测作为低维进度缓存，与视觉和本体历史一起输入动作专家；它不靠保存更多画面区分任务阶段，而是让 critic 直接告诉策略进度正在推进、停滞还是倒退。
当前判断
Long-WAM代表近期视觉物理记忆路线：直接消费最近观察历史，并通过潜空间未来预测服务低层控制MEM是显式 memory 架构路线π0.7更偏通过 richer prompt 和 context 让模型具备更强的阶段性控制FM-VLA补出第三类路线：按事件可观测性选择记忆模态，用 wrench 记录视觉上含混的接触进度VaM增加价值进度记忆路线：表示紧凑且能直接服务恢复决策，但记忆质量与在线 critic 的校准误差绑定- 后续更可能出现多模态、分时间尺度的记忆：视觉/语言保存场景与计划，force/state 保存接触事件与近期运动
值得后续关注的问题
增加历史后的收益是否通过闭环回报与反捷径干预验证，如何区分必要的隐状态信息和专家动作代理变量
语言长期记忆如何更新、压缩和纠错
视频短期记忆如何在保证实时性的同时保留关键信息
如何在视觉、语言、force/tactile 与 proprioception 之间动态选择记忆内容和时间尺度
价值进度记忆如何估计不确定性并自我纠错，避免把 critic 偏差当作真实任务状态
high-level memory 与 low-level control 的接口应如何设计
相关页面
- Long-WAM: Scaling the Context of World-Action Models
- MEM: Multi-Scale Embodied Memory for Vision Language Action Models
- π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
- FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
- Value as Memory: Online Value-Guided Post-training for General Robot Policies
- 机器人策略中的力觉与触觉：从信号语义到闭环控制
- Vision-Language-Action
相关材料
Long-WAM: Scaling the Context of World-Action Models
这篇论文的核心不是简单把 WAM 的观察窗口拉长，而是证明“能访问历史”和“会用历史”不是一回事。Long-WAM 先用约 10,000 个窗口等价小时的无动作机器人/自我中心视频做自回归预测预训练，让视觉骨干学会从过去帧预测未来交互；再在动作适配时保留同样的因果顺序，让动作专家以观察历史和部分去噪的未来潜变量为条件。结果是，GR-1 上 0 到 19.2 秒历史把成功率从 63.3% 提到 78.7%，而双向预训练初始化没有净收益。与此同时，流式 VAE、异步动作块执行、NVFP4 量化、KV 复用和设备特定调优让 RTX 5090 上包含未来视频预测的完整动作块推理降到 107.4 ms。真机动态杯堆叠达到 19/20，而 `π0.5` 和 Fast-WAM 都是 0/20。
FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
FM-VLA 的关键不是给 VLA 再塞一种当前时刻传感器，而是把整段腕部力/力矩历史压缩成可供动作专家读取的长期事件记忆。它在找隐藏积木、精确计数按钮按压与碗内擦拭三项非马尔可夫任务上达到 83.3% 平均成功率，显著超过视觉记忆 π-MEM 的 53.7%，推理延迟仅比无记忆 π0.5 增加 3.3 ms。最值得记住的是“长时 force + 短时 state”的职责分工，但证据目前仍限于单一双臂平台和小规模任务。
Value as Memory: Online Value-Guided Post-training for General Robot Policies
VaM 把近期价值预测从训练标签变成策略可读取的任务进度记忆，同时用离线演示、历史人工干预和当前在线 rollout 持续更新价值与动作专家。三项真机长时程任务中，价值缓存相对消融在最终三个检查点上平均提高 29.4 个百分点；在线 RL 在匹配预算下经 LfE 后平均超过离线 RL 32.8 个百分点，并把每梯度步实验墙钟时间降低 57.8%。这是“critic 参与推理”与“提高部署—训练闭环频率”的双重贡献，但证据仍限于单机器人、三项实验室任务和可靠价值估计，不应外推成通用无人值守自我进化。
相关综述
当前 VLA 路线图：基座、可控性、在线精修、记忆与人类数据
如果只看单篇论文，很容易觉得大家都在“继续做更强的 VLA”。但把 OpenVLA、π0.7、RLT、MEM、Human-to-Robot Transfer、DexImit 放在一起，会看到这条路线其实已经分化成六个相互关联的问题： 1. VLA 基座如何开放、可训、可部署 2. heterogeneous data 如何变成可控能力 3. 通才策略如何继续被打磨到 specialist 级精度 4. 分钟级任务如何通过 memory 真正支撑起来 5. 人类数据何时开始能真正被机器人利用 6. 人类视频如何被显式编译成机器人可训练数据 这说明当前 VLA 研究已经不再只是单点模型设计，而是在演化成一套完整系统栈。
机器人策略中的力觉与触觉：从信号语义到闭环控制
综合十八篇材料，按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线：传感与采集、表示与适配、执行期反馈、事件记忆与后果预测，以及由低层控制器落实的力位与柔顺接口。