TenStep

机器人策略中的力觉与触觉:从信号语义到闭环控制

材料 18 主题 4 更新 2026-10-11

综述结论

综合十八篇材料,按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线:传感与采集、表示与适配、执行期反馈、事件记忆与后果预测,以及由低层控制器落实的力位与柔顺接口。

正文

机器人策略中的力觉与触觉:从信号语义到闭环控制

综合 17 篇材料 | 更新日期:2026-10-11

当前判断

这批工作共同推翻了一个过于简单的叙事:给视觉策略多加一条 force/tactile 输入,并不会自然得到可靠的接触能力。接触信号是否有价值,取决于三个问题是否被同时回答:它代表什么物理语义、覆盖哪个时间尺度、最终由哪个执行接口把它变成动作。

更准确的系统图景是:力/触觉先解决“感什么、怎样采集和跨硬件表示”,再解决“怎样接入已有策略且不遗忘”;进入执行阶段后,又分成动作块内即时反馈、跨 episode 的事件记忆、候选动作的接触后果预测,以及由策略直接输出期望力或柔顺参数。它们使用相近的传感器,却不是同一个学习问题。

现阶段最稳健的工程路线不是让一个低频大模型包办所有闭环,而是分层:学习策略负责语义理解、任务阶段、动作与物理目标;高频触觉模块、反应式规则或导纳/阻抗控制器负责接触瞬态。FD-VLA 证明真实力可以在训练期充当教师,但它也划清了边界:预测出的力先验不是安全传感器,无法可靠观测视觉与本体状态中不存在的突发接触。新增的 TA-VLA 进一步说明,即使是真实关节力矩,接入预训练 VLA 的位置和 token 结构也决定它会成为有效动作条件还是被语义编码器弱化;TacDiffusion 则展示了另一端点——直接生成可执行前馈 wrench 时,模型精度必须和控制刷新率、滤波器及阻抗反馈共同设计。

先区分四种“力”

信号角色 它回答什么 代表材料 能做什么 不能据此声称什么
实测观测 机器人现在接触了什么、接触历史怎样变化? MuSe、RDP、FoAR、ForceFlow、FM-VLA、TA-VLA 发现视觉不可辨的接触、滑移、卡滞与事件进度 原始读数越多越好,或静态拼接就足够
蒸馏先验 仅凭视觉与状态,当前大概处于何种受力语境? FD-VLA 降低部署传感器成本,为动作模型提供任务相关接触提示 替代突发碰撞检测或得到可校准的六维力估计
预测后果 候选动作将引发什么接触结果? ForceFlow、Facet-0、TA-VLA 用辅助预测塑造动作表示,或让 critic 按接触质量选择动作 预测 wrench/torque 已被控制器直接执行,或预测一定物理准确
控制目标 机器人希望施加多大力、在哪个方向让步? ACP、ForceMimic、CR-VLA-Force、TacDiffusion 把期望力、虚拟目标、刚度或生成 wrench 交给成熟低层控制器 学习策略自身已经具备高频稳定性或形式化安全保证

这四类变量可以同时出现在一个系统中,但训练目标、误差含义与安全责任不同。综述和基准若只按“用了力/没用力”分组,会把真正决定效果的接口差异抹掉。

从传感到执行的六层路线

层 核心问题 代表材料 已有证据 主要缺口
传感设计 感知位置、覆盖、分辨率和物理量怎样选择? Tactile Genesis 受控仿真表明覆盖面积常比局部高分辨率更重要,per-taxel 力/力矩是有竞争力的默认项 大规模真机、耐久、漂移与成本数据
数据与表示 怎样自然采集力位示范,并跨异构硬件复用表示? ForceMimic、ManipForce、HTT 手持 ForceCapture 降低采集门槛;ManipForce 用 200Hz F/T、频率/模态嵌入和双向注意力保留异步接触事件,齿轮任务从 30Hz 的 40% 提升到 200Hz 的 95%;HTT 用 1.6M 同步帧对齐四类传感器并测试未见触觉指尖 采集到部署的动力学偏移;表示迁移尚未贯通控制层
策略适配 旧数据没有力标签时怎样吸收新模态且保留旧能力? MuSe、FD-VLA、TA-VLA replay、缺失模态 mask 和未来预测能缓解遗忘;训练期真实力可监督部署期潜在力先验;decoder-side 单 token 历史保持预训练接口 多模态连续到来时的成本;无传感器方案的不可观测接触;跨机器人力矩标定
执行期反馈 最新接触怎样在动作执行前改写仍可修订的动作? RDP、T-Rex、TacForcing、FoAR 快速解码、快慢专家、流式动作块和阶段门控均优于若干静态融合基线 缺等算力延迟比较、跨传感器复现和统一安全指标
记忆与后果 接触历史怎样表示任务进度,未来接触怎样约束动作选择? FM-VLA、Facet-0、ForceFlow、TA-VLA force memory 可记录视觉难辨的事件;未来 wrench/torque 可作为辅助目标或 critic 的评价对象 长 episode 的容量、预测校准和 critic 的跨任务泛化
力位与柔顺执行 学习策略怎样把物理目标交给稳定控制回路? ACP、ForceMimic、CR-VLA-Force、TacDiffusion 虚拟目标/刚度、预测 wrench、期望力动作块或力域扩散前馈均可由高频控制器落实 控制接口跨机器人迁移、错误目标检测与安全边界

五条策略路线怎样取舍

1. 用最新接触直接修订动作

RDP 把慢速动作生成和快速触觉条件解码分开;T-Rex 让约 5 Hz 的视觉语言专家与约 20 Hz 的触觉专家沿同一 flow 轨迹协作;TacForcing 在单一专家内部保留远期动作中间态,每执行一块就用新触觉修订下一块;FoAR 则先预测接触阶段,再用 100 Hz wrench 门控特征和触发固定小步修正。

共同结论是:反馈必须在动作仍可更改时进入。差异在于修改发生在 decoder、另一个专家、同一生成轨迹还是外部反应式规则中。现有实验协议不同,尚不能判定哪一种结构普遍更优。

2. 让力主导局部动作生成

ForceFlow 让短窗 wrench 与本体状态通过 AdaLN 调制每个 flow-matching block,视觉只通过 cross-attention 提供空间锚点,并联合预测动作与下一步力。它强调低维物理信号不能被高维视觉淹没,但约 1.15 秒的重规划周期意味着它仍需要执行器侧安全回路处理更快的碰撞。

TA-VLA 把同一问题移到预训练 VLA:关节力矩接在 action decoder 比接在视觉语言 encoder 更有效,整段历史聚合成一个 token 又显著优于逐帧扩张 decoder token。完整方案令 π0 的五项接触任务总成功率从 23% 提升到 86%。这说明“让力主导”不仅取决于融合权重,也取决于物理模态离动作生成有多近、是否破坏预训练接口。

3. 由策略给物理目标、控制器负责稳定

ACP 输出参考位姿、虚拟目标与刚度幅值,ForceMimic 输出位姿—wrench 后由正交混合力位控制器执行,CR-VLA-Force 则让约 1 Hz 的 VLA 输出位姿与前馈力、由 500 Hz 自适应柔顺控制器持续跟踪。TacDiffusion 走得更直接:DDPM 生成六维前馈 wrench,动态系统滤波升频到 1 kHz,再与阻抗反馈叠加。这条路线把任务条件化交给学习,把稳定性与带宽交给控制器,是目前对持续接触最清晰的责任划分;TacDiffusion 中 DF4 离线损失最低却因只有 51.2 Hz 而退化,更说明模型精度不能脱离闭环频率评价。

4. 把真实力降为训练期教师

FD-VLA 用真实力潜变量监督视觉—状态条件化的单个预测 token,推理时移除传感器。它适合成本敏感且接触大多可由常见模态推断的任务,但不适合把这个 token 当作过载保护、卡滞检测或可解释力估计。

5. 用力记录过去、评价未来

FM-VLA 把完整 episode 的 wrench 历史压成 8 个事件记忆 token,解决按钮计数和重复擦拭等视觉历史含混的问题。Facet-0 则把候选动作与未来 wrench 联合生成,再由 Action-Wrench Critic 评价接触后果。TA-VLA 也联合预测未来 torque,但只把它作为生成辅助目标,没有部署期 critic。前者回答“已经发生了什么”,后两者回答“这样做可能发生什么”,三者都把 force/torque 从即时输入提升为决策状态。

关键证据锚点

材料 结果锚点 应怎样解读
MuSe 去掉 replay 后旧 wiping/peg 任务分别降到 0.5/15、2/15;完整方法为 12.5/15、10/15 新模态接入首先是知识连续性问题
RDP Force 版在 peeling、wiping、bimanual lifting 的任务得分为 0.95、0.87、0.70 高频接触条件解码能产生细粒度位姿修正,但指标只适用于其协议
T-Rex 12 项真机任务平均成功率 65%,同协议最强基线 35% 异步快慢专家具有实质收益,尚未验证跨手型与跨传感器
TacForcing 六项 UniVTAC 平均 65%;真机消融中静态触觉 31%,执行期更新加 EATA 为 69% 触觉采集时刻与动作生效时刻的对齐比静态拼接更关键
ACP 翻转 96%、花瓶擦拭 93.75%,明显高于固定柔顺基线 策略化柔顺有效,但依赖慢速、轻物体和非夹持等假设
FM-VLA 三任务平均 83.3%,视觉记忆基线 53.7%;延迟仅比无记忆策略增加 3.3 ms wrench 可成为高效事件记忆,但证据来自单平台三任务
FD-VLA 三任务平均 61.1%,真实力 token 版本 51.1%,无 FDM 为 38.9% 任务相关潜在力可优于原始读数,不等于视觉替代真实传感器
Facet-0 五项亚毫米装配完整系统平均 82%,最强通用基线 15%;本地适配前为 38% 接触后果评价有价值,但高结果强依赖受约束任务适配
ForceMimic 单一削皮任务动作正确 100%、连续削皮超过 10 cm 为 85% 自然力位示范与控制接口可行,泛化结论仍很窄
FoAR 三项接触任务得分 0.875/0.850/0.756,扰动下接触 ASR 保持 100% 阶段门控和简单反应修正有效,阈值与步长需跨任务重标定
ForceFlow 六任务平均 81.67%、Force Fidelity MAE 8.23 N;ForceVLA 为 45%、23.31 N 成功与力质量应同时评估,空间 OOD 仍依赖上层定位模块
CR-VLA-Force 六条件平均成功率 89.2%;40 N 擦板力误差 5.52%(base)/8.78%(OOD) 慢 VLA 与 500 Hz 柔顺回路互补,但不构成跨平台安全证明
TacDiffusion DF3 在四种未见插入几何上平均 95.7%,专家行为树为 83.3%;动态系统滤波平均 +9.15 个百分点 力域生成可行,但系统表现取决于推理频率、滤波与阻抗控制的共同设计
TA-VLA π0 五项接触任务从 23% 提升到 86%;RDT 的 Button/Charger 从 4/20、1/20 提升到 16/20、15/20 decoder-side 单 token 历史和未来 torque 目标有效,但 joint torque 不是已标定末端力
ADEPT 同一 Flexiv-Sharpa square/round 插入任务中,视觉学生 3/10,RGB+五指 TacMap 学生 8/10;触觉版 grasp/lift 均为 10/10 指尖触觉直接确认接触状态,显著减少抓后 reopen 与级联失败,但跨手型/传感器仍待验证

这些数字只能作为各自实验内部的证据锚点,不能据此做跨论文排行榜。

跨材料结论

  1. 先定义语义,再设计融合。 ForceFlow 的历史与未来力、Facet-0 的候选后果、CR-VLA-Force 的期望力和 FD-VLA 的蒸馏 token 名字都含 force,但训练目标和部署责任完全不同。
  2. 时间尺度决定结构。 动作块内修订适合 RDP/T-Rex/TacForcing/FoAR,episode 进度适合 FM-VLA,持续力跟踪则需要 CR-VLA-Force/ACP 一类高频控制接口。
  3. 低频学习策略不能自动成为安全回路。 即使 ForceFlow 或 VLA 能预测接触结果,执行器仍要在模型下一次重规划前处理冲击、饱和和不稳定。
  4. 数据—控制一致性是硬门槛。 ForceMimic 中直接加入力的基线因示范约 10 N、部署约 20 N 且局部超过 40 N 的分布失配而退化,说明校准和控制映射不能留给网络自行吸收。
  5. 成功率不足以评价力策略。 至少还要报告峰值力、力跟踪误差、接触保持、损伤、延迟与扰动恢复;ForceFlow 和 CR-VLA-Force 已部分补上这类指标,但尚无统一协议。
  6. 坐标语义限制可迁移性。 TA-VLA 的电流关节力矩、腕部六维 wrench 和局部触觉阵列分别混入不同的构型、动力学与接触位置信息;融合成 token 前仍需回答补偿、归一化和跨硬件对齐。
  7. 预训练接口也是物理建模的一部分。 TA-VLA 中多历史 token 比单 token 聚合更差,说明时间信息增多可能因破坏 decoder 输入分布而失效;新模态设计必须同时消融信息内容和接口结构。
  8. 触觉能提供视觉缺失的状态确认。 ADEPT 的视觉失败主要不是抓取动作完全不可行,而是无法确认抓取是否稳定;每个指尖的 penetration/contact map 让长程任务避免 reopen、掉落和 regrasp 的级联错误。
  9. 采样率是力觉表示的一部分。 ManipForce 的频率消融显示,同一个学习器拿到 30Hz 与 200Hz F/T 时,齿轮装配成功率差异可达 40%→95%;把力信号降采样到视觉帧率会删除短时尖峰和卡滞语义,不能只在论文归类中写“是否使用力”。

工程选择指南

需求 优先参考 采用前应确认
已有视觉策略,新加少量带力数据且不能忘旧任务 MuSe replay 成本、缺失模态策略、外部控制器能力
部署平台不装力传感器 FD-VLA 接触是否可由视觉/状态推断;另设独立安全保护
action chunk 执行期间接触快速变化 RDP、T-Rex、TacForcing 实际采样率、端到端延迟、可修订窗口与算力
自由空间与接触阶段交替明显 FoAR 接触预测可靠性、阈值和固定修正步长的校准
需要同时优化任务成功与接触质量 ForceFlow 重规划周期、力指标定义、空间定位模块
已有预训练 VLA,希望用低成本关节力矩增强接触 TA-VLA 动力学补偿、decoder token 布局、跨负载归一化与底层安全保护
任务进度由接触次数或覆盖轮次决定 FM-VLA 长序列容量、传感器漂移、跨任务记忆迁移
精密装配需要按接触后果选择候选动作 Facet-0 本地适配数据、动作安全盒和 critic 失效监控
策略必须显式给出期望力或柔顺 ACP、ForceMimic、CR-VLA-Force、TacDiffusion 机器人控制接口、策略/控制频率、滤波相位、稳定性约束与错误目标拒绝机制
先决定触觉硬件和共享表示 Tactile Genesis、HTT 仿真到真机差距、异构传感器信息不对称

分歧与限制

  • 部署期是否必须有传感器。 FD-VLA 说明部分任务可用蒸馏先验降低成本,其他闭环路线则依赖实时触觉或 wrist wrench。二者面向的风险边界不同,不构成谁替代谁。
  • 端到端学习还是显式控制。 RDP、T-Rex、TacForcing 更深入地修改生成过程;ACP、ForceMimic、CR-VLA-Force 把稳定接触交给经典控制器。当前没有统一实验同时比较泛化、延迟与安全。
  • “高频”口径不统一。 传感采样、策略推理、动作输出和低层控制频率常被混合描述。100 Hz 传感器不等于 100 Hz 模型闭环,1 Hz VLA 也不等于系统只能 1 Hz 反应。
  • 证据集中在固定平台。 多数结果来自单一机械臂或手型、少量任务与 10-30 次级别评测;跨机器人、跨材料、传感器故障和开放环境证据很弱。
  • 触觉和腕部力矩不可互换。 指尖光学/阵列触觉擅长局部滑移与形变,腕部六轴 wrench 擅长整体接触方向和载荷;把二者统一为一个 token 会隐藏可观测性差异。
  • 关节力矩也不等于末端 wrench。 TA-VLA 的电流力矩含重力、惯性、摩擦、构型和热漂移;TacDiffusion 的外部/内部 wrench 更靠近控制坐标,但同样依赖机器人估计器。两者成功率不能据此直接比较传感优劣。
  • “零样本”范围不同。 TacDiffusion 只在同一插入技能与控制器下更换几何;TA-VLA 的第二机器人结果重新采集 200 条示范并训练,且只做定性展示。二者都不证明开放任务或跨 embodiment 零样本迁移。

什么会改变这个判断

  • 一个统一系统在训练时未见的机器人和传感器上,同时验证 HTT 式表示迁移、MuSe 式无遗忘适配、TacForcing/RDP 式动作块内更新、FM-VLA 式事件记忆与 CR-VLA-Force 式高频柔顺。
  • 在相同机器人、数据、算力、传感频率和控制器下,直接比较快速 decoder、快慢专家、单专家流式生成、阶段门控与经典高频力控。
  • 建立以任务成功、峰值力、力跟踪、损伤、延迟、恢复、标定漂移和硬件成本为共同维度的公开真机基准,并报告统计置信区间。
  • 对错误期望力、传感器饱和/掉线、未知材料、隐藏卡阻和突发碰撞进行系统压力测试,证明学习模型与低层安全约束能协同失效保护。
  • 在同一机器人上同时记录电机电流、补偿后关节外力矩、腕部六维 wrench 和局部触觉,比较它们对接触状态、未来后果和控制目标的可辨识性,并测试跨负载与热漂移。

关联主题

关联材料

相关材料

Tactile Genesis: Exploring Tactile Sensors at Scale for Learning Dexterous Tasks

Tactile Genesis 的主要贡献不是再造一种触觉传感器,而是建立一个足够快、接口统一的虚拟实验台,让研究者第一次能在同一只手、同一任务、同一训练协议下比较触觉的类型、覆盖、分辨率与噪声。论文最值得记住的结论是:在这三项灵巧操作任务中,**覆盖手掌和近端指节通常比升级指尖传感器更重要,约 200 个整手 taxels 已经够用,而 per-taxel 六维力/力矩是最稳健的默认表示**。这是一条有价值的硬件设计先验,但证据主要来自仿真蒸馏实验;真机只验证了 XHand1 上一次策略转移,因此不能直接解读为通用硬件排行榜。

Heterogeneous Tactile Transformer

HTT 值得作为异构触觉预训练的参照:共享表征确实改善了部分感知任务,也能支持未见光学指尖上的操作策略。最有说服力的结果是无外部相机的拧玩具螺丝成功率 90%、抓豆腐 55%。但它没有证明任意新传感器即插即用,对齐也不是每个传感器、每项任务都有效。

ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation

ForceMimic 解决的不是“给机器人加一颗力传感器”,而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互,再把示范转成伪机器人数据;HybridIL 用扩散策略同时预测位姿和 wrench,并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中,它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%,优于 Raw DP 的 80%/55%。

ManipForce: Force-Guided Policy Learning with Frequency-Aware Representation for Contact-Rich Manipulation

ManipForce 的价值在于把“接触示教怎么采”和“高频力觉怎么进策略”合成了一条闭环:手持系统用双目手眼 RGB、外部 3D ArUco 跟踪和腕部 AIDIN AFT200 六维 F/T 传感器记录自然人手示教,F/T 达 200Hz、RGB 和位姿为 30Hz;策略侧的 FMT 不把力信号降采样成图像帧的附属输入,而是用频率感知时间嵌入、模态嵌入和双向交叉注意力,把异步视觉 token 与力 token 融入 Transformer Diffusion Policy。六个真机任务上,FMT 平均成功率 83%,DINOv2-B 版 RGB-only Transformer DP 为 22%;最难的电池拆装/插入仍只有 65%/60%,说明力觉没有消除接触任务的全部不确定性。齿轮装配的 F/T 采样从 30Hz 提到 200Hz 时成功率 40%→95%,是论文最直接的频率证据。

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

这篇论文最值得记住的不是“给 VLA 加一条触觉输入”,而是它把新模态接入表述成 continual learning:在少量新 contact-rich 数据上学会用 force,同时尽量不破坏旧的视觉动作能力。MuSe 的价值在于,它用 multisensory future prediction 和 replay 证明,旧任务上即使没有力标注,也能把力学结构以可迁移的方式对齐进预训练策略;真正的短板则是仍依赖离线适配和专门的 compliance 控制接口,而不是端到端解决全闭环接触控制。

FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation

FD-VLA 用真实力信号做训练期教师,让一个由视觉与机器人本体状态条件化的可学习 query 预测潜在力 token;部署时不再需要力传感器,却在三项真实接触操作上达到 61.1% 平均成功率。真正值得记住的不是“无传感器也能估力”,而是把含噪物理模态蒸馏为任务相关中间表示,并用定向注意力保护冻结 VLM 的视觉—语言语义。证据仍局限于单台 UR5e、三项任务和 50 条示范/任务,尚不能视为通用触觉替代方案。

Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation

RDP 的关键不是“把力塞进 Diffusion Policy”,而是把力放到正确的时间尺度和网络位置:低频 latent diffusion policy 负责生成约 0.67 秒的高层动作块,快速 asymmetric tokenizer 则以 24 FPS 读取最新触觉或六维 wrench,把潜在动作解码成末端相对位姿。模型不输出目标力、阻抗或力矩,学到的是“看到这种受力与任务阶段时,位置应该再压入、退出还是沿曲面移动一点”。 这正面回应“小位移很难学、策略浮在表面”的问题。论文观察到有效修正确实只有亚毫米级:削皮器受力突增时向上卸力,接近黄瓜末端时向下压入以继续贴面,双臂夹杯接触后向外修正以免压瘪。真正决定能否学到的不是位移绝对值,而是示范中是否有稳定的“力变化—微位移—接触结果”相关性,以及训练、推理和机器人执行是否在时间上对齐。

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex 的关键贡献不是把触觉当作又一种静态输入,而是让现有 VLA 的低频视觉动作规划与高频触觉修正协同工作。它用 22889 小时人类第一视角视频预训练、100 小时触觉同步机器人数据中训练和约 100 条任务示范后训练,在 12 个真实双手灵巧任务上达到 65% 平均成功率,相比最强基线 EgoScale 的 35% 高出 30 个百分点。结果很强,但目前仍是单一硬件平台上的研究级验证。

TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback

TacForcing 解决的不是“VLA 能否看到触觉”,而是“动作块执行到一半时,最新触觉能否继续改写尚未执行的动作”。它把一个动作 chunk 拆成顺序完成的块,保留未来块的 flow-matching 中间态,并用执行后新采集的触觉继续细化;EATA 只让最新触觉影响下一块,避免它提前污染更远期动作。六个 UniVTAC 仿真任务平均成功率 65%,三个真机任务平均 69%,但 v1 的真机评测每任务仅 16 次,尚不足以证明跨硬件泛化或实时成本优势。

FoAR: Force-Aware Reactive Policy for Contact-Rich Robotic Manipulation

FoAR 的关键不是把力/扭矩简单拼到视觉策略上,而是先预测未来是否会接触,再用这个概率门控力觉特征,并在部署时用力觉触发小步反应式修正。仅用 50 条示范,它在擦除、削皮和切菜等接触丰富任务上显著超过 RISE 与多种融合基线,并在白板被移动或重写后保持 100% 基本动作成功率。

ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching

ForceFlow 的关键不是简单给模仿策略多拼一组力信号,而是让十步力历史通过 AdaLN 在每个生成层持续调制动作,同时让视觉只通过 cross-attention 提供按需空间参考,再用“动作 + 下一步六维力”联合预测形成隐式柔顺正则。六项真机任务平均成功率为 81.67%,较输入模态相同的 ForceVLA 45% 高 36.67 个百分点;但它仍依赖高质量六轴力矩传感器、手工标注的 VLM 接触点数据与单一 xArm6 平台,不能直接外推成低成本通用接触策略。

FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation

FM-VLA 的关键不是给 VLA 再塞一种当前时刻传感器,而是把整段腕部力/力矩历史压缩成可供动作专家读取的长期事件记忆。它在找隐藏积木、精确计数按钮按压与碗内擦拭三项非马尔可夫任务上达到 83.3% 平均成功率,显著超过视觉记忆 π-MEM 的 53.7%,推理延迟仅比无记忆 π0.5 增加 3.3 ms。最值得记住的是“长时 force + 短时 state”的职责分工,但证据目前仍限于单一双臂平台和小规模任务。

Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation

Facet-0 的关键不是把力觉当作又一个输入通道,而是让策略同时提出动作和该动作将引发的腕部力矩后果,再用接触结果训练分布式价值模型、按接触阶段分配强化学习信用,最后用受安全边界约束的小型 actor 做任务级适配;在五项亚毫米电脑装配任务上达到 82% 平均成功率,而最强基线为 15%。

Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control

ACP 把柔顺性从低层控制器里的固定超参数提升为策略需要预测的动作变量:它从单条人体示范近似标注空间与时间变化的刚度方向和幅值,再由扩散策略结合视觉、位姿和力反馈生成。真实机器人翻转与花瓶擦拭分别达到 96% 和 93.75% 总成功率,显著超过固定柔顺和刚性位置策略。最值得记住的是它把接触约束转成可学习标签,但结论依赖慢速、轻物体、非夹持接触等明确假设。

CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation

CR-VLA-Force 的真正贡献不是再给 VLA 增加一个力觉输入,而是把 1 Hz 的慢速 VLA 与 500 Hz 的自适应柔顺控制器组成分层闭环:模型联合预测位姿和前馈力,控制器用实时力误差连续调刚度。六个力觉/接触条件平均成功率达到 89.2%,高于 ForceVLA 的 73.2%;擦板 40 N 跟踪误差降到 5.52%(base)和 8.78%(OOD)。但它的泛化证据仅覆盖单台 UR5e、四类任务与有限位姿偏移,“安全”主要来自工程控制约束而非整个学习系统的形式化保证。

TacDiffusion: Force-domain Diffusion Policy for Precise Tactile Manipulation

TacDiffusion 把扩散策略从常见的位姿/关节动作域移到六维力域:模型根据外部 wrench、内部 wrench 和末端速度生成前馈 wrench,动态系统滤波器再把 50–500 Hz 的模型输出平滑升频到 1 kHz,交给阻抗控制器执行。最佳的 DF3 在四种未见几何上的平均成功率为 95.7%,高于行为树专家基线的 83.3%;但更大的 DF4 虽然离线损失最低,却因只有 51.2 Hz 的推理频率而显著退化。这篇论文最强的结论不是“模型越大越好”,而是力策略的预测质量必须与控制带宽一起优化。

TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models

TA-VLA 不是只提出一种新网络,而是系统回答力矩应该怎样进入预训练 VLA:关节力矩应接到动作解码器而非视觉语言编码器;一段力矩历史应先聚合成一个 token,而不是逐帧占用多个 token;训练时还应让模型联合预测未来动作与未来力矩。三项设计叠加后,π0 在五项接触密集任务上的总成功率从 23/100 提升到 86/100,在五项普通操作上仍从 85% 小幅升到 89%。证据说明廉价电机电流推算的关节力矩确实能补足视觉,但它不是经标定的末端接触力,跨机器人证据也仍很有限。

ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning

ADEPT 把高自由度灵巧操作学习拆成“通用预训练 + 稳定后训练 + 感知蒸馏”三层:先用 8B 环境步在 16 类几何 primitive 上训练 reposing 教师,学到 reach、grasp、lift、in-hand reorient、transport 等可复用技能;再把教师迁移到 FMB peg insertion 与 dish-rack placement,用 actor 蒸馏、critic warm-up 和低学习率 PPO 避免灾难性遗忘;最后蒸馏成只看 RGB 或 RGB+五指触觉的学生策略,零样本部署到 23 DoF Kuka-Allegro 和 29 DoF Flexiv-Sharpa。关键实验结论是:直接 PPO 微调会迅速把预训练能力打到 0%,而 ADEPT 后训练在 3B 步内得到稳定教师;真机长程任务中,视觉学生取得 3/10–6/10 成功率,加入指尖触觉后同一 Flexiv-Sharpa 方形/圆头插入任务提升到 8/10。这个结果同时说明,预训练不必覆盖全部下游技能,但必须把策略放到一个 downstream RL 能继续发现解的初始区域。

相关主题

Tactile Representation

触觉与力觉如何从传感设计、跨硬件共享表示,进入预训练策略的持续适配、快慢控制与执行期流式闭环。

Contact-Rich Manipulation and Adaptive Compliance

接触密集操作中的运动—力联合学习路线:如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示,并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。

Vision-Language-Action

VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆,继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。

Long-Horizon Memory for Robot Policies

这条主题关注机器人策略如何处理分钟级任务。关键不是更多帧,而是多尺度记忆:哪些信息应该保留为短期视觉痕迹,哪些应该抽象成长期语义状态。