ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching
ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching
Shuoheng Zhang · Yifu Yuan · Hongyao Tang · Yan Zheng · Qiaojun Yu · Pengyi Li · Guowei Huang · Helong Huang 等
一句话结论
ForceFlow 的关键不是简单给模仿策略多拼一组力信号，而是让十步力历史通过 AdaLN 在每个生成层持续调制动作，同时让视觉只通过 cross-attention 提供按需空间参考，再用“动作 + 下一步六维力”联合预测形成隐式柔顺正则。六项真机任务平均成功率为 81.67%，较输入模态相同的 ForceVLA 45% 高 36.67 个百分点；但它仍依赖高质量六轴力矩传感器、手工标注的 VLM 接触点数据与单一 xArm6 平台，不能直接外推成低成本通用接触策略。
关键词
摘要
中文摘要
现有模仿学习方法已经能让机器人自主与物理环境交互，但接触密集操作仍然很困难，因为复杂的接触动力学要求高精度力反馈和控制。尽管近期工作开始把力/力矩感知加入策略，怎样在多模态观测下构建简单而有效、又具有稳健泛化能力的框架，仍是开放问题。本文提出 ForceFlow：一种基于 flow matching 的力感知反应式框架。在接触阶段，作者研究力信号融合方式，采用非对称多模态架构，把力视为全局调节信号，并联合预测动作与力，以增强策略对瞬时力和历史信息的理解，形成运动与力的深层耦合。在任务层级上，操作被分成视觉主导的接近阶段和触觉主导的交互阶段，通过 Vision-to-Force（V2F）交接机制显式分离空间泛化与接触调节。六项真实接触任务表明，ForceFlow 相比 ForceVLA 的平均成功率提高约 37 个百分点，同时保持更低的力偏差，并在力预测、自我调节与零样本 OOD 泛化上表现更好。
英文摘要
Existing imitation learning methods enable robots to interact autonomously with the physical environment. However, contact-rich manipulation tasks remain a significant challenge due to complex contact dynamics that demand high-precision force feedback and control. Although recent efforts have attempted to integrate force/torque sensing into policies, how to build a simple yet effective framework that achieves robust generalization under multimodal observations remains an open question. In this paper, we propose ForceFlow, a force-aware reactive framework built upon flow matching. For contact-stage policy design, we investigate force signal fusion mechanisms and adopt an asymmetric multimodal fusion architecture that treats force as a global regulatory signal, combined with a joint prediction paradigm that enhances the policy's understanding of instantaneous force and historical information, thereby achieving deep coupling between force and motion. For task-level hierarchical decomposition, we divide manipulation into a vision-dominant approach stage (VLM-based pointing for target localization) and a touch-dominant interaction stage (force-driven contact execution), with a Vision-to-Force (V2F) handover mechanism that explicitly decouples spatial generalization from contact regulation. Experimental results across six real-world contact-rich tasks demonstrate that ForceFlow achieves a 37% success rate improvement over the strong baseline ForceVLA while maintaining significantly lower cost. Moreover, ForceFlow exhibits accurate force signal prediction and demonstrates superior performance in contact force self-regulation and zero-shot out-of-distribution (OOD) generalization.
直观理解
可以把 ForceFlow 看成两名接力选手。第一名 VLM 负责“看懂目标在哪里”，把机械臂送到目标附近；进入局部交互窗口后，第二名 ForceFlow 接管，主要依据最近十步腕部力矩变化判断是否已经碰到、是否因摩擦卡住、是否沿曲面失去压力。模型还会预测下一步应该感受到什么力来约束动作表示，但真正发给控制器的仍是位姿增量，预测力并不直接闭环控制执行器。
图 1：VLM 负责 approach stage 的目标定位，ForceFlow 负责 contact stage 的局部接触执行；论文分别评测物理属性变化和空间位置变化。
背景与问题
为什么做
视觉适合做宏观定位，却很难独立判断纸堆厚度、按钮弹簧阈值、插口中的摩擦卡滞以及曲面法向变化。接触发生后，遮挡、有限分辨率和物体外观相似会让相机继续“看见目标”，但机器人真正需要知道的是阻力是否开始、反作用力矩指向哪里、法向力是否稳定。因而接触操作不是单纯的几何轨迹生成问题，而是一个需要低维、高频、强时序反馈持续校正的动力学问题。
问题缺口
现有 force-aware 策略仍有两类结构性缺口。其一，高维视觉 token 容易在端到端优化中淹没低维 wrench，使模型表面上接入了力，实际上依旧主要跟随视觉。其二，大范围空间泛化依赖语义定位，局部接触泛化依赖快速物理反馈，把二者压进同一策略会产生职责冲突。ForceFlow 要回答的是：怎样让力信号在生成网络中成为无法忽略的全局约束，同时把空间 OOD 和未知刚度、摩擦、几何下的物理 OOD 分开处理。
方法
方法概述
ForceFlow 把任务拆成 approach stage 和 interaction stage。前者由微调后的 Embodied-R1 根据全局 RGB 与语言指令预测目标接触像素，经深度和相机内参反投影到三维 waypoint，再由运动规划器完成接近；位置条件满足后，V2F 把控制权交给局部策略。后者以 DiT-1D 为骨干，在双视角 RGB、7D 本体状态和十步 6D force-torque history 条件下，用 continuous rectified flow 生成 64 步混合动作块，执行前 32 步后重新观测和规划。
核心机制
关键是非对称条件化。力历史与本体状态经 MLP 得到全局向量条件 c_vec，在每个 Transformer block 中通过 AdaLN 改变特征的缩放与偏置，所以力不是偶尔被注意力读取的附加 token，而是贯穿整个生成过程的调节约束；双视角视觉则保留为序列条件 c_seq，由动作 token 通过 cross-attention 选择性读取。Flow Matching 在专家混合动作与高斯噪声之间学习确定性速度场，混合动作同时包含位姿/夹爪命令与下一步六维接触力；执行时只下发运动分量，预测力仅作为训练期辅助目标，迫使共享表示学习“动作会怎样改变接触”。
方法拆解
- VLM 指点与三维反投影：在示范初始帧人工标注目标接触点，把图像、语言和二维坐标构造成 VQA 数据微调 VLM；推理时用深度与内参把预测像素变成机械臂基座坐标系中的 approach waypoint。
- 位置触发的 V2F 接棒：运动规划器先完成大尺度移动，到达局部交互区后严格按位置条件切换。VLM 不负责后续接触，ForceFlow 也不承担全工作空间语义搜索。
- 两条不对称观测通路：双视角、两帧 RGB 经预训练 ResNet-18 得到视觉序列；7D 本体状态与十步、每步六维的 wrench 历史形成向量条件。前者进入 cross-attention，后者进入所有 DiT block 的 AdaLN。
- 混合动作空间：动作维度为 13，包括 6D 末端位姿增量、1D 夹爪以及 6D 下一步力预测。作者在专家动作
a₀与高斯噪声a₁之间使用线性概率路径aₖ=(1-k)a₀+ka₁，学习常数目标漂移a₁-a₀。 - 确定性 ODE 采样：推理从噪声侧
k=1向数据侧k=0用 Euler solver 积分。模型生成 64 步动作块，但仅执行 32 步，随后刷新视觉、状态与力历史。 - 未来力辅助监督：预测的
f̂(t+1)不直接进入低层力控制器。它的作用更接近物理一致性正则：如果动作表示无法解释接下来会出现的力，联合 flow-matching loss 就会惩罚它。
关键要点
- 十步力历史主要决定“能不能做对”：Stamp 上缩成单步后成功率从 85% 降到 55%，说明瞬时力无法稳定区分传感器噪声、碰撞尖峰和真实接触状态。
- 未来力预测主要决定“做得是否平顺”：移除预测分量后成功率只从 85% 降到 80%，但 Force Cost 从 10.61 N 增到 12.52 N。
- V2F 解决空间定位，ForceFlow 解决局部接触；二者是职责分离而非一个端到端大模型。给所有基线配同一 V2F 后，ForceFlow+V2F 平均仍为 33.33%，高于 ForceVLA+V2F 的 13.33%。
- 视觉在接触阶段仍不可省：屏蔽交互阶段视觉后，Stamp 和 Clean Whiteboard 仍有 80%/90%，但 Plug、Insert、Clean Vase 全部降到 0%，表明力负责顺应性，视觉仍负责持续空间锚定。
结果
- 六项主任务：每项 20 次测试，ForceFlow 在 Stamp、Plug、Press、Insert、Clean Whiteboard、Clean Vase 上分别为 85%、90%、90%、60%、100%、65%，平均 81.67%。ForceVLA 平均 45%，Diffusion Policy 30.83%，π0.5 为 24.17%，ACT 为 8.33%。
- 力一致性：ForceFlow 的平均 Force Fidelity MAE 为 8.23 N，显著低于 Diffusion Policy 21.42 N、无力输入变体 22.67 N、ForceVLA 23.31 N。六项任务上它都是最低值。
- 视觉歧义：纸堆厚度从 1 张到约 5 cm、按钮对象具有不同弹簧阈值时，ForceFlow 分别达到 85% 和 90%；作者将其归因于力历史能把“碰到并达到阈值”作为状态切换依据。
- 几何卡滞：Plug 为 90%，亚毫米公差的 USB Insert 为 60%。模型利用错位产生的反作用力矩形成小幅横移与摆动，但这一行为证据主要来自定性观察，并非显式规划出的搜索策略。
- 连续接触：平面白板为 100%，曲面花瓶为 65%；ForceVLA 在白板同样 100%，但在花瓶为 0%，说明曲率变化比平面恒定法向更能区分调节能力。
- 物理 OOD：更换不同刚度、厚度的擦具和不同高度、弹簧阈值的瓶子，不微调时 ForceFlow 在 Press、Clean Whiteboard、Clean Vase 上为 80%、100%、60%，平均 80%；ForceVLA 平均约 43.3%。
- 空间 OOD：目标测试区与训练区不重叠。单独的 ForceFlow 与所有独立低层策略均为 0%；配 V2F 后 ForceFlow 在 Press、Plug、Clean Whiteboard 上为 40%、10%、50%，平均 33.33%。
- 效率：ForceFlow 单次下层推理约 83.3 ms，与 ForceVLA 的 84.1 ms 接近；每次执行 32/64 步，论文给出的重新规划周期约 1.15 s。VLM 上层约 1.805 s，但只运行一次。
结果速览表
| 研究问题 | ForceFlow | 关键对照 | 如何解读 |
|---|---|---|---|
| 六任务平均成功率 | 81.67% | ForceVLA 45% | 高 36.67 个百分点；不是相对提高 37% |
| 平均 Force Fidelity MAE | 8.23 N | Diffusion Policy 21.42 N；ForceVLA 23.31 N | 更接近专家力分布，六项均最低 |
| Stamp：十步 → 单步力历史 | 85% → 55% | Force Cost 10.61 → 15.50 N | 时间上下文同时影响成功与稳定 |
| Stamp：移除未来力预测 | 85% → 80% | Force Cost 10.61 → 12.52 N | 辅助预测更像执行品质正则 |
| Stamp：两项同时移除 | 85% → 40% | Force Cost 10.61 → 18.21 N | 力历史与预测具有协同作用 |
| 物理 OOD 平均 | 80% | ForceVLA 43.3% | 对未知刚度、厚度和工具有优势 |
| 空间 OOD + V2F 平均 | 33.33% | ForceVLA+V2F 13.33% | 上层定位不能替代下层接触能力 |
| 接触阶段屏蔽视觉 | 30.8% | 完整模型 81.6% | 纯力仅适合单轴/平面任务，复杂几何仍需视觉 |
| 下层推理 / 重规划 | 83.3 ms / 约 1.15 s | ForceVLA 84.1 ms / 约 0.917 s | 生成延迟接近，但闭环刷新更慢 |
洞察
- 这篇论文真正针对的是 modal masking 与 职责冲突，而不只是“flow matching 比 diffusion 好”。把低维但控制关键的力信号放进归一化调制，把高维视觉降为按需读取的空间证据，是一种明确的模态权力分配。
- 联合预测力不等于显式力控制。ForceFlow 没有把预测力送进阻抗或混合力位控制器，更准确的表述是：它用未来 wrench 监督学习隐式顺应性，使动作表示包含接触后果。
- 作者把 force 的角色拆成三种：视觉不可辨时是主模态，精密插入卡滞时是辅助模态，沿面操作时是调节模态。同一个传感器是否有价值，取决于任务阶段和信息缺口，而非是否被简单拼进输入。
- 成功率和力质量必须分别报告。无力输入变体在 Clean Whiteboard 也达到 100%，但整体 Force Cost 更高，说明“几何上完成任务”不能替代安全性、平顺性和接近专家接触分布的度量。
- V2F 是一个务实的模块化设计：让通用模型只做一次语义定位，让较小策略专注局部动力学。代价是系统需要深度标定、运动规划、交接阈值与两套训练数据，集成复杂度从模型内部转移到了系统边界。
和已有方法的关系
- 对 ForceVLA：二者使用相同的多视角 RGB、EEF pose 与 6D EEF wrench，因而比较比跨触觉硬件的横向排名更可控；主要差异在融合机制、力历史以及生成目标。
- 对 Diffusion Policy：Continuous Rectified Flow 用确定性 ODE 路径追求平滑和少步采样，但实测推理延迟 83.3 ms 并未显著优于 ForceVLA 的 84.1 ms，不能仅凭生成范式宣称数量级加速。
- 对 RDP / T-Rex / TacForcing：这些路线强调在动作块执行期间用最新触觉快速修订未来动作；ForceFlow 执行 32 步、约 1.15 秒才重新规划，属于滚动闭环，但不等同于每个 30 Hz 控制 tick 都重新推理的高频反应层。
- 对 Facet-0：两者都联合提出运动与未来 wrench；ForceFlow 把未来力当训练期辅助目标，而 Facet-0 还在部署期让 critic 比较动作—wrench 后果。前者结构更简单，后者显式承担候选价值判断。
- 对 FD-VLA：FD-VLA 尝试用训练期真实力蒸馏出部署期无需力传感器的 token；ForceFlow 则保留实时六轴传感器，因而更能处理视觉、本体状态无法辨识的突发卡滞，但硬件门槛更高。
可借鉴点
- 对统计性质极不对称的模态，不要默认 concat；可以让低维控制信号调制 LayerNorm，让高维空间信号走 cross-attention。
- 辅助预测应选择动作的物理后果，例如未来 wrench，而不只是重建当前输入；这样能直接约束动作—接触耦合。
- 若上层语义泛化与下层物理泛化需要不同频率、数据和模型容量，显式交接通常比强迫一个模型同时解决更容易诊断。
- 接触策略评测至少应并列任务成功、峰值/有效力分布、跨 trial 方差、预测—实测一致性、物理 OOD、空间 OOD 和端到端重规划频率。
风险与判断
局限
- 六项主任务都来自同一 xArm6、同一腕部六轴力矩传感器和同一实验室控制栈；每任务 50–100 条示范、20 次主测试，尚无跨机器人、跨传感器或多机构复现。
- V2F 需要人工标注示范初始帧的二维接触关键点并微调 VLM，还依赖深度相机、相机内参、运动规划与位置阈值切换；它不是从语言到接触执行的端到端通用策略。
- “主动力预测”不直接参与低层力控制，论文也没有为预测误差、错误接触判断或传感器漂移提供控制稳定性与安全保证。
- 摘要中的“37% success rate improvement”实际对应
81.67%-45%=36.67个百分点；若按相对提升计算则约为 81.5%，因此应理解为绝对百分点，而不是相对百分比。 - Force Cost 以专家峰值力或接触期平均力的 MAE 为参照，不直接等价于损伤率、安全余量或任务最优接触力，而且短接触与连续接触使用不同统计量。
- 下层重规划周期约 1.15 秒，所以“高频力反馈”更准确地描述传感信号和底层执行频率，而非策略在每个 30 Hz 控制周期都完成一次新推理。
- 六项主任务主要比较单任务训练策略。论文展示了物体属性与位置 OOD，但没有证明跨任务、跨语言指令或开放场景中的通用接触迁移。
适用场景
- 适合腕部六轴力矩可用、接触阶段局部且需要处理高度、刚度、摩擦或曲面变化的压、插、擦、削等操作。
- 适合把已有视觉定位/VLM 与一个小型局部接触专家组合，尤其是在全工作空间端到端策略容易被空间变化和接触变化同时拖累时。
- 不适合直接承担安全关键高速碰撞控制，也不适合没有可靠力传感、深度标定或局部运动规划能力的低成本平台。
最终判断
- 这是一篇值得纳入接触策略设计路线的强系统论文：架构动机、同模态受控基线、六项主任务、力质量、两类 OOD 与组件消融基本形成闭环证据。
- 最应该记住的是“力历史决定是否做对，未来力预测改善是否做得平顺”；最不应过度外推的是“通用、低成本、高频”，因为高质量六轴传感、人工关键点数据、约 1.15 秒重规划周期和单平台实验仍是硬约束。
- 后续最关键的验证是：在等控制频率与等传感器条件下，与真正 execution-time tactile refinement 方法直接对比，并把任务成功、力峰值、损伤、延迟和扰动恢复放进统一评测。
相关主题
Contact-Rich Manipulation and Adaptive Compliance
接触密集操作中的运动—力联合学习路线：如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示，并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。
打开主题
继续阅读
上一篇
RL Token: Bootstrapping Online RL with Vision-Language-Action Models
这篇工作最重要的点，是给 VLA 和在线 RL 之间找到了一个足够轻量的接口。作者没有直接对整套大模型做昂贵 RL，而是让预训练 VLA 暴露一个紧凑的 `RL token`，再在这个表示上训练小型 actor-critic，从而把 VLA 的泛化能力和 real-world online RL 的样本效率拼接起来。
下一篇
AttenA+: Rectifying Action Inequality in Robotic Foundation Models
AttenA+ 的核心价值是指出 VLA/WAM 训练里一个很朴素但长期被忽略的问题：机器人动作时间步并不等价，慢速精细动作往往比快速过渡动作更决定任务成败。它用速度场给低速关键动作更高 loss 权重，不改模型结构、不加参数，却能在 Libero、RoboTwin 2.0 和真实 Franka 任务上稳定抬高强基线的上限。值得记住的不是某个复杂网络，而是“动作序列的物理结构可以直接进入训练目标”。