FACT：面向人类到机器人灵巧迁移的力—动作—轨迹基础模型
FACT：面向人类到机器人灵巧迁移的力—动作—轨迹基础模型
Zhi Cao · Yining Hong · Jiaolong Yang · Yejin Choi · Li Fei-Fei · Jiajun Wu · Huang Huang
一句话结论
FACT 值得记住的是：人类示范能传递的不只是运动轨迹，还有接触如何随动作变化的经验。它在每任务仅 10 条机器人示范、配合 90 条人类示范的条件下，显著优于 T-Rex，但七项二元任务平均成功率仍只有 41.4%。这是带力人类预训练和接触预测的有力实验，不是通用灵巧操作已经解决的证据。
关键词
摘要
中文摘要
人类示范为昂贵的机器人数据采集提供了可扩展的替代方案，但多数人类数据集缺少力测量。灵巧操作不仅需要视觉和本体感觉理解，还要求预判与调节交互力。为扩展具备力感知能力的人机联合训练，作者引入大规模人类触觉数据集 EgoForce，并与机器人示范共同预训练。FACT 从前瞻视觉规划逐级过渡到面向力的动作细化：轨迹引导的粗规划器联合预测动作、未来视频和视觉轨迹，后两者提供跨形态共享的任务表示；力—动作联合细化器在粗计划基础上共同预测未来力和细化动作，让两者相互影响。作者在工具使用、乐器和精密实验室操作等十项任务上评估，每任务仅用 10 条机器人轨迹与 90 条人类轨迹微调，相对 T-Rex 的成功率增益最高达 60 个百分点。消融显示人类预训练数据中的力监督十分关键，视觉轨迹预测与未来力预测有助于灵巧执行；改变微调人机配比的实验进一步提示，模型利用人类示范的效果接近机器人示范。
英文摘要
Human demonstrations offer a scalable alternative to costly robot data collection for dexterous manipulation, but most human datasets lack force measurements. Dexterous manipulation requires not only visual and proprioceptive understanding but also the ability to anticipate and regulate interaction forces. To scale force-aware human–robot co-training, we introduce EgoForce, a large-scale human tactile dataset capturing force-rich manipulation experience, and combine it with robot demonstrations for pretraining. We present FACT, a robot foundation model that cascades from prospective visual planning to force-aware refinement for dexterous manipulation. FACT comprises two jointly trained components. A Track-Guided Coarse Planner jointly predicts actions, future video, and visual tracks. Future video and visual tracks also provide a shared task representation that facilitates cross-embodiment knowledge transfer and coarse action generation. Building on this coarse plan, a Force–Action Joint Refiner jointly predicts future force and refines the coarse action, allowing anticipated force and action to shape each other during refinement. We evaluate the model on ten tasks requiring fine-grained coordination and force feedback, including tool use, musical instruments, and precision laboratory procedures. Using as few as 10 robot trajectories with 90 human trajectories for fine-tuning, FACT outperforms both baselines, with success-rate gains of up to 60 percentage points over T-Rex. Ablations show that force supervision in human pretraining data is crucial for downstream robot performance after fine-tuning, while visual track prediction and training with future-force prediction improve dexterous execution. Experiments varying the human–robot data ratio during fine-tuning further suggest that FACT learns from human demonstrations nearly as effectively as from robot demonstrations.
直观理解
想象用移液器调旋钮：先看清手应怎样靠近、另一只手怎样固定管身，再根据接触情况微调指尖。FACT 的大模型先构思未来画面、点轨迹和粗动作；小模型同时猜“这样动会产生什么力”和“接下来应该怎样动”，每 0.2 秒根据实际触觉修正尚未执行的动作。
图 1：大规模带触觉的人类数据与机器人数据共同预训练，随后针对各项任务微调。
背景与问题
为什么做
系鞋带、拨弦、旋转移液器旋钮等操作即使视觉状态相似，也可能需要完全不同的接触力。机器人遥操作很难低成本覆盖这类双手、多指、柔性物体交互，因此需要把人类自然操作中的接触经验随视觉和动作一起采集，让预训练真正学习“怎样接触”，而不只是“手去哪里”。
问题缺口
大量人类视频缺少力测量；仅加入触觉观测又不必然让策略理解动作的未来接触后果。T-Rex 已用量化触觉历史细化动作，但没有把连续未来力作为共同预测目标。FACT 同时补上带标定力的人类数据、跨形态的视觉运动表示，以及动作与未来力双向影响的生成机制。
方法
方法概述
输入包含三路视觉、任务文字、机器人状态、过去的点轨迹和触觉历史。以 Wan2.2-TI2V-5B 为基础的粗规划器联合生成未来视频、轨迹与尚未完全去噪的动作，将观察及动作隐状态缓存；65M 细化器读取该缓存和真实触觉，联合去噪动作后缀及未来指尖力，输出 16 步、20 Hz、62 维动作块，并以 5 Hz 触觉刷新修正未执行部分。
核心机制
FACT 把动作生成分在两个噪声区间内完成。粗阶段对视频、动作和轨迹做六步 Euler 去噪，从 τ=1 到 0.4，再额外前向一次读出视觉预测和缓存；细阶段令动作 τa 从 0.4 到 0，未来力 τf 从 1 到 0，共同做四步更新。动作与未来力 token 在双向自注意力中相互影响，因此动作可以根据预期接触后果改变，力预测也随候选动作改变。每次触觉刷新时固定已执行动作与已观测力，仅重新细化未来部分；大模型的粗计划与 KV 缓存保持不变。
方法拆解
- 1. 将人类压力与动作变成可共享监督。 EgoForce 用头戴双目、双腕相机和双手触觉手套同步采集。气囊标定将 A/D 读数映射到力 Fi=PiAi；ViTPose、HaMeR、双目深度与手套弯曲/姿态信号估计手运动，再重定向到 Sharpa Wave 的 22 关节。每指 12 个 taxel 的合力与压力中心给出法向力和两个力矩，无法观测的切向力与扭转力矩置零。它统一的是模型输入接口，并没有把人手传感器变成真实六轴力传感器。
- 2. 用轨迹提供可显式监督的几何通路。 SAM2 初始化手部分割，CoTracker 离线跟踪每块 250 个点，包含头视角双手点、腕视角手点与背景网格。每个点将 16 帧的坐标、可见性和位移编码为 token；未来 16 步轨迹被预测，损失用可见性掩码及运动长度加权。粗模型中轨迹 token 只关注轨迹，观察/动作 token 则读取轨迹、视觉与动作，保留独立几何路径又使其能影响动作。
- 3. 用逐 token 流匹配联合学视觉和动作。 文本经 umT5、锚帧经 CLIP 作交叉注意力条件；视频经冻结 VAE 编码。干净状态和历史轨迹的 τ=0，未来目标由 xτ=(1−τ)c+τε 加噪，监督速度 ε−c。粗损失为视频动力学损失加动作损失，再加 20 倍的轨迹组合损失（流匹配、5 倍位置、2 倍平滑项）；位置和平滑项作用于一步重建 x̂0=xτ−τv̂。训练用四个 teacher-forced 时间块，推理每次自回归生成一个 0.8 秒块。
- 4. 联合细化连续未来力与动作，而非只读取历史。 最近 16 个 5 Hz 触觉样本经过卷积和 64 项码本，得到每指一个 256 维历史码；当前力保持连续。细化器含 16 个动作、10 个当前力、10 个历史码及 40 个未来力 token，总计 76 个 token；6 层双向 Transformer 同时预测动作和六轴力的流速度。损失仅计算未执行动作与尚未观测力，未来力权重 0.5，另含 VQ 损失。FACT 仍量化历史，新增的是连续未来力预测，不能概括成“完全取消 VQ”。
- 5. 匹配训练与部署的粗细交接。 训练时以相同后缀噪声在 τ=0.4 额外运行粗模型，无梯度产生观察和动作缓存，避免细化器训练时看见推理时拿不到的理想计划。Wan 主干全参数微调，轨迹编码器、细化器和新增投影从头训练，VAE/文本/CLIP 编码器冻结；人机预训练数据按小时比例采样，触觉以 0.1 概率 dropout。每任务再用 10 条机器人与 90 条当任务人类示范训练，后者由 Wuji 手套和腕部追踪器另采，不能与 EgoForce 预训练样本混为一谈。
- 6. 执行中只刷新剩余动作。 每块为双臂末端相对块起点的位姿与双手绝对关节，共 62 维；20 Hz 下执行 16 步。在偏移 4、8、12 时刻读取新触觉并重跑小模型，使用缓存避免重算大模型。未来力输出是辅助预测并记录用于分析，不作为控制器的目标力；论文给出的刷新频率也不等于已经证明端到端实时延迟满足所有硬件预算。
关键要点
- 未来视频与轨迹约束“准备怎样动”，未来力则约束“这样动会形成什么接触”；两种预测分别帮助几何规划与接触执行。
- 力监督从人类预训练第一步就参与，而不是把触觉最后接到已有视觉策略上；去除人类力标签与去除未来力预测是两种不同消融。
- 触觉历史压缩、连续当前力和连续未来力分别承担记忆、当前状态和后果预测，不能把三者视为一个“触觉输入”。
结果
结果速览表
| 任务/指标 | π0.5 | T-Rex | FACT 无未来力 | FACT 无轨迹 | FACT 完整 |
|---|---|---|---|---|---|
| 实验室移液成功率 | 0 | 0 | 30 | 20 | 40 |
| 开试管盖成功率 | 10 | 20 | 40 | 80 | 80 |
| 开微量离心管翻盖成功率 | 0 | 20 | 20 | 40 | 50 |
| 系鞋带成功率 | 0 | 0 | 0 | 20 | 20 |
| 洗牌成功率 | 0 | 10 | 0 | 20 | 30 |
| 多物体抓取成功率 | 0 | 0 | 10 | 40 | 40 |
| 螺丝刀任务成功率 | 0 | 10 | 0 | 30 | 30 |
| 七项二元任务均值 | 1.4 | 8.6 | 14.3 | 35.7 | 41.4 |
| 竖琴干净音符数 /10 | 0.5 | 2.1 | 0 | 6.5 | 6.7 |
| 木琴干净音符数 /10 | 0 | 3.2 | 1.9 | 3.9 | 5.4 |
| 移液器旋钮啮合次数 /10 | 1 | 2 | 2 | 4 | 5 |
| 已啮合试验平均绝对误差 μL ↓ | 17.0 | 14.0 | 11.0 | 12.8 | 6.4 |
洞察
- 和已有方法的关系： 与 T-Rex 同样采用粗细分工与触觉历史压缩，FACT 的关键增加是视觉点轨迹和连续未来力共同预测。它并非传统阻抗/导纳控制器，也不提供显式接触安全约束。
- 可借鉴点： 先在含接触标签的人类数据上学联合预测，再用少量机器人数据对齐动作语义；以冻结粗计划缓存限制高成本计算，把新触觉集中用于剩余动作修正。实施时必须同时记录传感器可观测分量、时间同步和重定向误差。
- 我对证据的判断： “人类数据的物理信息密度”可能比单纯增加视频时长更重要；这里的支持来自有/无力标签对照。对高精度灵巧任务，视觉轨迹和触觉预测分别解决不同误差来源，后续应联合报告轨迹误差、力预测误差和任务完成率。
和已有方法的关系
- 可借鉴点： 先在含接触标签的人类数据上学联合预测，再用少量机器人数据对齐动作语义；以冻结粗计划缓存限制高成本计算，把新触觉集中用于剩余动作修正。实施时必须同时记录传感器可观测分量、时间同步和重定向误差。
- 我对证据的判断： “人类数据的物理信息密度”可能比单纯增加视频时长更重要；这里的支持来自有/无力标签对照。对高精度灵巧任务，视觉轨迹和触觉预测分别解决不同误差来源，后续应联合报告轨迹误差、力预测误差和任务完成率。
可借鉴点
- 我对证据的判断： “人类数据的物理信息密度”可能比单纯增加视频时长更重要；这里的支持来自有/无力标签对照。对高精度灵巧任务，视觉轨迹和触觉预测分别解决不同误差来源，后续应联合报告轨迹误差、力预测误差和任务完成率。
风险与判断
局限
- 每项二元任务仅 10 次 rollout，10 个百分点就是一次成功差异；论文没有给出跨随机种子置信区间。三个配比任务的小幅波动不能支撑广义“人类和机器人示范等价”。
- 人类预训练力来自压力阵列，部分 wrench 分量置零；人类手姿也是视觉估计和重定向结果。统一张量维度不代表观测噪声、力方向或物理意义已经完全对齐。
- π0.5 不接触觉，并将每手 22 关节压缩为 10 维 PCA 以适配固定 32 维动作头；这不是严格控制传感器与动作表示的架构对照。T-Rex 的形变图像分支也因硬件不可用而关闭。
- 每项任务单独微调，评估没有证明新物体、新场景或新手型的零样本泛化。2,000 小时规模曲线报告的是验证 MSE，不能直接改写为随数据量增长的真实成功率曲线。
- 未充分报告端到端推理时延、训练总时长与成本，未建立未来力预测的安全保证。七项二元任务平均 41.4% 仍距离可靠自动化较远。
适用场景
- 有同步多视角、人手触觉和机器人少量示范资源的研究团队，研究多指抓持、柔性物体、精密旋转/按压、拨弦等对接触敏感的动作。
- 可用其粗计划缓存和后缀细化设计减少触觉更新的重复大模型计算；复现优先选一个有可量化接触指标的任务，再比较未来力预测与仅触觉条件输入。
最终判断
- 值得作为“带力人类预训练 + 未来力/动作联合建模”的代表工作纳入长期跟踪。其证据最强的是有限真实任务上力标签与力预测的贡献；对通用性、示范等价性和闭环安全性应保持独立验证。
相关主题
Human-to-Robot Transfer
这条主题关注 human video、human embodiment data 与 robot policy 之间的迁移。核心问题不是“人类数据多不多”，而是“模型什么时候开始有能力利用这些数据”。
打开主题
继续阅读
上一篇
LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts
LoopWAM 回答的问题是：通用机器人策略部署之后，能不能直接吃自己（以及别人）跑出来的全部 rollout——包括成功、次优和失败——而不用先过滤再模仿。它的答案是三个机制装进一个双流世界-动作模型：source-dependent noise sampling 让低噪声的记录动作充当后果预测的条件，把 ACWM 折进同一训练阶段；quality steering 把轨迹质量写成指令后缀 `Quality: q`，部署时只用专家分 q⋆ 采样；quality-weighted supervision 给动作损失乘权重 λ(q)，失败轨迹 λ=0 但保留视频监督。 效果是真闭环：RoboChallenge Table30-V2 四种本体 30 个任务上三轮“部署-重训”把总成功率从 23.67% 拉到 43.33%（+19.7 个点），总分 56.80 登顶榜单；不做额外具身预训练就在 RoboTwin 2.0 拿到 94.5% 平均成功率、RoboCasa365 拿到 49.5%；叠衣服单任务后训练两轮从 13.20% 到 55.56%。消融显示 quality steering 是最大单项增益来源（无 steering 时平均仅 72.3%），而且粗粒度标注（每个 checkpoint 一个分）就已足够。
下一篇
When Do Discrete Actions Make Good Continuous Controllers?
这篇工作的价值在于重新定位动作表示的瓶颈：在所测机器人任务中，简单离散动作并不天然输在精度，反而能保留连续回归容易平滑掉的细节；真正需要解决的是跨时间、跨坐标的行为一致性。RoboCasa 上单步离散回归加入 CFG 后成功率由 27.1% 提升至 49.2%，接近离散流 53.9% 和连续流 52.7%。这是设计 VLA 动作头时值得保留的证据，但不是“离散动作在所有精密控制问题上都更优”的定理。