ForceDelta-VLA: Distilling Force-Conditioned Action Corrections for Contact-Rich Manipulation
ForceDelta-VLA: Distilling Force-Conditioned Action Corrections for Contact-Rich Manipulation
Ju Dong · Yu Fu · Jian Chen · Yimeng Liu · Haocheng Zhao · Lei Zhang · Kaixin Bai · Liding Zhang 等
一句话结论
ForceDelta-VLA 的关键不是再训练一个更大的 force-aware VLA，而是把慢速生成式动作块拆成“可复用参考动作 + 快速位姿修正”。冻结教师通过同一状态、同一视觉语言前缀和同一流噪声下的力条件/力无关成对预测，为无标注示范合成显式力修正标签；另一个延迟头学习参考块陈旧和参考状态变化带来的补偿。学生在 2.43ms 内输出五步位姿修正，九个单臂/双臂实机任务平均成功率 82.2%，高于 ForceVLA 的 54.4% 和时序教师的 70.6%，并在两个平台均降低约 26% 的成功试验平均峰值接触力。
关键词
摘要
中文摘要
力感知视觉—语言—动作策略可以改善接触密集操作，但通常把任务级运动和依赖接触的调整合并在一次动作预测中。示范数据没有显式标签说明预测应如何分解成可复用参考动作和修正量。ForceDelta-VLA 利用冻结教师的力条件模式与学习得到的力无关模式的成对预测，构造显式力修正目标；另一个延迟修正目标处理参考动作不匹配和参考状态变化。训练采用异步调度回放，并使用执行阶段可获得的缓存任务上下文。得到的轻量策略用近期力历史和机器人状态调整参考动作，在参考动作更新之间响应接触变化，而不重新生成完整动作块。在九个单臂和双臂接触任务上，ForceDelta-VLA 平均成功率为 82.2%，原始 ForceVLA 为 54.4%，直接执行第一阶段时序教师为 70.6%；相对 ForceVLA，完整系统在两个平台上均将成功试验的平均峰值接触力降低约 26%。
英文摘要
Force-aware Vision-Language-Action (VLA) policies improve contact-rich manipulation, but typically combine task-level motion and contact-dependent adjustment in a single action prediction. Demonstrations provide no explicit labels for decomposing that prediction into a reusable reference action and a correction. We present ForceDelta-VLA, a correction-distillation framework that constructs an explicit force-correction target using paired predictions from a frozen teacher’s force-conditioned and learned force-agnostic modes. A separate delay-correction target accounts for reference-action mismatch and the change in reference state. Training uses asynchronous schedule replay with the cached task context available during execution. The resulting lightweight policy adjusts the reference actions using recent force history and robot state, responding to contact changes between reference-action updates without regenerating complete action chunks. Across nine single-arm and bimanual contact-rich tasks, ForceDelta-VLA achieves an 82.2% mean success rate, compared with 54.4% for the original ForceVLA baseline. Direct execution of our Stage-1 Temporal Teacher achieves 70.6%. Relative to ForceVLA, the complete system reduces mean peak contact force over successful trials by approximately 26% on both platforms.
直观理解
可以把系统看成“导航员 + 触觉手”。慢速 VLA 教师先给出不带力输入的参考动作块，决定大致往哪里走；快速学生不断读取最近的 wrench 历史、机器人状态、缓存视觉语言上下文和参考动作段，只回答“当前接触要求参考位姿偏移多少”。因为学生不重新生成完整动作块，也不重新编码当前图像，它能在 100Hz 控制命令的 10ms 间隔内完成前向，并在两次参考动作更新之间响应接触变化。第二个延迟头则处理一个容易被忽略的问题：执行时复用的参考动作往往由旧状态生成，需要把参考状态差异也换算到当前动作坐标系。
图 1：慢速教师负责构造监督，快速学生在执行中复用缓存任务上下文和参考动作，只更新力与延迟修正。
背景与问题
为什么做
接触密集操作中的误差不是静态几何误差。USB 插入时，几毫米的偏心或姿态误差在接触发生后会变成完全不同的约束方向；按钮按压、抽屉打开和沿面擦拭也要求策略在接触建立、峰值力和释放阶段改变柔顺程度。慢速 VLA 能利用视觉和语言形成任务级动作，但完整生成式动作块更新通常超过 10ms；如果每次新接触都等待完整重推理，反馈闭环会滞后。论文因此想把任务级结构和接触级反馈拆到合适的时间尺度上。
问题缺口
直接学习一个快速残差策略缺少监督标签。示范只记录最终合成动作，无法说明哪一部分来自可复用的任务运动，哪一部分来自当时接触引起的修正；同一个最终动作可以由不同参考和修正组合得到。已有 residual policy 常依赖奖励、在线人类纠正或额外交互，而普通蒸馏只让学生复现教师完整动作，不能解释为什么要在参考动作上叠加修正。此外，异步部署中的参考动作由旧状态生成，仅学习“当前理想动作”仍不能保证与缓存参考的坐标系和时间戳一致。
方法
方法概述
训练分为三个阶段。第一阶段在 ForceVLA 上把瞬时力嵌入替换为 FAVLA 式因果 TCN，用 100ms wrench 历史训练时序力条件教师并冻结。第二阶段用 learned null-force token 和低秩 adapter 学习力无关参考模式，只修改 action expert 的位姿通道。第三阶段在固定视觉语言前缀、固定当前状态和固定初始流噪声下让冻结教师分别输出力条件和力无关动作块，两者位姿差成为力修正目标；当前力无关预测与旧参考的差加上参考状态对齐项成为延迟修正目标。轻量学生用共享注意力主干和两个头学习这两类修正。
核心机制
方法有效的原因在于监督是受控反事实：成对预测共享图像、语言、机器人状态、缓存前缀和流噪声，唯一主要差别是是否接收近期 wrench，因此位姿差更接近“力历史引起的修正”，而不是教师随机性或场景差异。延迟目标进一步把旧参考、当前参考和两个查询状态的差异映射到同一动作坐标系，使学生在真实异步执行时学到应如何补旧块，而不是假设参考永远代表当前状态。
图 2：force head 使用全部条件，delay head 掩蔽力 token；两个头共享主干但分别输出 K 步修正，避免把两类物理原因混在一个目标里。
方法拆解
- 时序力条件教师：教师 (T_\theta(V_t,L,S_t,F_t;\epsilon)) 使用因果 TCN 编码最近 wrench 历史，预测相对当前 TCP 状态的 50 步动作块。动作差使用归一化位姿坐标表示。
- 力无关参考策略：冻结教师参数后，将力历史输入替换为 learned token (z_\emptyset^F)，并用低秩 adapter (v^p \leftarrow v^p+W_{out}\sigma(W_{in}h)) 修改位姿通道。这个模式负责生成慢速参考动作，不把物理零 wrench 等价于“力输入缺失”。
- 成对力修正目标：在修正时间 (t) 和旧参考查询 (k) 下，复用 (E_k) 与噪声 (\epsilon_k)，分别输出 (A_T^{cond}) 和 (A_T^{ref})；对每个未来样本 (j)，力目标为 (P(A^{cond})-P(A^{ref}))。
- 延迟修正目标：(\Delta A_T^{delay}=P(A_{T,t}^{ref})-P(A_k^{ref})+\Gamma(S_t,S_k))。其中 (\Gamma) 把参考查询状态差异转换到归一化动作坐标，使输出补偿参考内容变化和坐标基准变化。
- 双头学生：输入包含池化视觉语言上下文 token、因果力编码 token、当前 TCP 状态、展平的参考动作段、cache age 与插值相位。共享注意力模块以 learned query 读取条件；force head 保留力 token，delay head 掩蔽力 token。
- 异步调度回放：训练时采样参考查询周期和推理延迟，在每个修正时刻选择最近已完成的参考查询，并用其缓存上下文、参考动作和时间特征构造输入与目标，使学生看到部署时的陈旧参考分布。
- 执行组合：最终位姿命令为参考位姿加两个裁剪后的修正，旋转在连续 6D 表示中相加后经 Gram–Schmidt 投影回有效旋转；夹持命令来自参考动作。执行器按时间戳选择最近完成且未过期的学生输出，并把归一化结果换回所选参考的绝对坐标。
关键要点
- 显式分解比让小模型直接蒸馏完整动作更有效：在四任务消融中，fast full-action distillation 单臂/双臂成功率为 67.5%/52.5%，完整 ForceDelta-VLA 为 85%/75%。
- 延迟是学习问题而非只靠工程调度解决：去掉 learned delay correction 双平台各降 7.5 个百分点，去掉 schedule replay 分别降 7.5/12.5 个百分点。
- 单独合并两个修正头会让双平台成功率各降 10 个百分点，说明力反馈修正和参考陈旧修正虽在同一动作空间，但需要不同监督和输入屏蔽。
结果
结果速览表
| 研究问题 | ForceDelta-VLA | 关键对照 | 解读 |
|---|---|---|---|
| 九任务平均成功率 | 82.2% | ForceVLA 54.4%；Temporal Teacher 70.6% | 比 ForceVLA 高 27.8 个百分点，比教师高 11.6 个百分点 |
| 单臂峰值力 / 完成时间 | 11.8±3.4N；23.9±5.4s | ForceVLA 16.0±4.7N；29.1±6.5s | 峰值力低约 26%，完成少 5.2s |
| 双臂峰值力 / 完成时间 | 12.5±2.9N；25.8±7.6s | ForceVLA 16.8±6.2N；31.7±9.4s | 峰值力低约 26%，完成少 5.9s |
| 前向延迟 | 修正 2.43±0.12ms | 参考 189.7±6.8ms；教师 176.4±5.9ms | 修正低于 10ms 命令间隔，参考需复用 |
| 去掉力修正 | 70.0%/57.5% | 完整 85.0%/75.0% | 双平台分别降 15/17.5 个百分点，峰值力上升 |
| 去掉学习延迟修正 | 77.5%/67.5% | 完整 85.0%/75.0% | 双平台各降 7.5 个百分点 |
| 去掉异步调度回放 | 77.5%/62.5% | 完整 85.0%/75.0% | 分别降 7.5/12.5 个百分点 |
| 未见物体 | 66.7%；13.6N | Teacher 40.0%；21.8N；ImplicitRDP 16.7%；45.9N | 高 26.7 个百分点且力更低，但样本较小 |
洞察
- 教师是标签合成器，不只是性能上限。论文最重要的思想是把冻结模型在不同输入条件下运行两次，用受控差分构造示范中不存在的残差标签。这比普通“教师输出完整动作、学生模仿”更接近因果分解，也解释了为什么 student 学小修正比学全动作更稳。
- 异步延迟应进入训练分布。许多慢快系统只在部署时做调度，ForceDelta 则显式采样查询周期和推理延迟，并把旧参考、当前参考和查询状态差写入目标。消融证明这不是实现细节。
- 力反馈的价值同时体现在成功与接触质量。去掉力修正不仅降低成功率，还提高成功试验峰值力；说明模型学到的不是更激进地完成任务，而是在接触中调整位姿。
- 高频声明需要按路径拆解。2.43ms 是修正器前向延迟，参考动作仍约 190ms；系统的高频能力依赖参考复用、时间戳选择和修正插值，不应理解成完整 VLA 以 100Hz 重新推理。
和已有方法的关系
- 与 FD-VLA：FD-VLA 把力表示蒸馏进模型但推理时不读取实测 wrench；ForceDelta 在执行时用近期 wrench 输出动作修正。与 FAVLA/DAM-VLA 相比，它不只解耦模块频率，还显式定义 force/delay 两个监督目标。
可借鉴点
- 低频生成模型维护任务结构和长上下文，高频小模型只在受限动作空间输出短时程修正。这对接触控制、移动操作和长时程任务中的局部反馈都有借鉴价值，但前提是参考模型能提供稳定上下文和坐标基准。
风险与判断
局限
- 每任务仍需 200 条遥操作示范并分别训练；论文没有证明跨任务、开放语言指令、少量示范或任务级基础模型迁移。
- wrench 来自机器人关节力矩估计而非腕部六轴力传感器。关节摩擦、负载、标定和漂移会影响训练标签与执行反馈，跨机器人迁移时这个接口并不完全等价。
- 主实验每任务 20 次、未见物体每任务 10 次，虽然覆盖九个实机任务，但成功率分辨率有限；四任务消融也无法代表所有接触模式。
- 修正只作用于位姿，夹持命令继承参考动作；插入卡住、把手接触不稳或擦拭方向错误时，系统缺少显式重试、卸力、回退和安全约束机制。
- 峰值力和完成时间只在成功试验上汇总。这降低了失败阶段异质性，但可能低估真实部署中的失败碰撞和安全风险，不能作为完整安全指标。
- 未提供独立复现、跨机器人结果或真实动态扰动测试；论文中的“高频”是修正计算低于 10ms，不等于每个 100Hz 控制周期都执行一次完整学生查询。
适用场景
- 已有可靠 VLA 参考动作，且机器人可提供较稳定的关节力矩估计或末端 wrench，用于插入、按钮、插拔、抽屉、沿面擦拭等接触变化快于完整动作块生成的任务。
- 单臂和双臂平台上的任务级技能，尤其是参考方向大体正确、但需要在动作块间隔内修正几毫米位姿或姿态误差的局部接触。
- 希望把大模型算力留给任务规划与上下文理解，同时用轻量模型承担高频局部反馈的系统设计。
最终判断
- 这是一篇值得纳入接触策略设计路线的强实机论文。它把残差监督、异步延迟和计算预算放进同一个目标函数，并用主结果、力质量、延迟敏感性和组件/监督消融形成较完整证据链。
- 最值得记住的是“用同一冻结教师在力条件与力无关模式间的成对差分定义修正标签”；最不应过度外推的是“通用高频安全力控”。每任务 200 条示范、关节力矩估计、成功试验力统计和单平台训练仍是硬边界。
- 后续最关键验证是与执行期触觉精修、显式柔顺控制器和安全反应层在等传感、等控制频率、等失败处理条件下直接比较，并同时报告失败试验接触力、重试率和跨机器人迁移。
相关主题
Contact-Rich Manipulation and Adaptive Compliance
接触密集操作中的运动—力联合学习路线：如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示，并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。
打开主题
继续阅读
上一篇
WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
值得记住：论文把世界模型从“想象轨迹优化器”改造成可部署的递归状态编码器，并用干净深度监督解决真实腕部深度噪声；在20个真实物体200次试验中成功175次。
下一篇
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
值得记住的不是“机器人记住动作”，而是重复工位任务能提供可复用的内部计算模式。rMuscle 在强推理引擎之上进一步降低延迟，RoboTwin 平均成功率及两项真机成功率持平；收益依赖参考覆盖、硬件瓶颈和重建时间，不能直接外推到开放世界。