Human-to-Robot Transfer

接触结构迁移与人形移动

• Humanoid Mobility via Attention-based Contacts 从人类动作重定向中提取九部位接触结构，以地图注意力选点和成功轨迹自举 RL 适应新地形。八个复合课程仿真成功率 92.5%，MGMT 为 58.8%；提供机载 G1 演示，但未验证跨机器人共享策略或通用三维操作。

人类视频什么时候能真正变成机器人能力，不只是数据源问题，也是表示能力和预训练多样性问题。

主题概述

这条主题关注 human video、human embodiment data 与 robot policy 之间的迁移。核心问题不是“人类数据多不多”，而是“模型什么时候开始有能力利用这些数据”。

当前知识库里的代表工作

• 来源: Emergence of Human to Robot Transfer in Vision-Language-Action Models 这条主题的主工作。它提出：human-to-robot transfer 不是固定技巧，而是会随着 VLA 预训练多样性增长而涌现。

• 来源: π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities 虽然不是专门研究 human transfer，但它展示了 non-robot data、egocentric human data 与 robot data 可以被统一吸纳到 foundation model 训练中。

• 来源: DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos 这篇补上了另一条路线：不直接让模型从 human video 中学表示，而是把单目人类操作视频重建、调度、规划并增强成双手灵巧机器人训练数据。

• 来源: DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo 这篇不是 human-video 数据生成工作，但它提供了功能型灵巧手任务、低成本手套遥操作采集和统一评测场，可以检验 human-to-robot / VLA 路线是否真的解决双手、接触密集和长时程操作。

• 来源: TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning 这篇把人类数据的作用拆成两层：分布式触觉用于学习跨压阻/电容传感器的接触语义，动作监督仍由少量 Revo2 机器人执行示范锚定；人手重定向只作为置信度加权伪标签。

• 来源: World Action Learning via Interaction-Centric Spectral Latent Guidance WING 给 human video 到 robot policy 的迁移提供了一个更受控的接口：先用点轨迹和全局相机补偿剔除观察者运动，再把交互 latent 的 DCT 低频结构作为动作生成 guidance，而不是把人类视觉变化直接映射为机器人动作。

当前判断

• Human-to-Robot Transfer 这篇更强调“能力何时出现”
• π0.7 更强调“多源数据如何被统一利用”
• DexImit 更强调“人类视频如何被编译成物理可行的机器人数据”
• TACROSS 更强调“人类触觉如何先翻译成接触事件语义，再由机器人动作锚定”
• WING 更强调“人类视频应先去掉观察者偏差，并只迁移慢时间结构”
• 放在一起看，可以把问题理解成：
  • 预训练多样性负责让 shared representation 成熟
  • richer context / prompt 负责让这些能力在控制中被真正调用出来
  • 显式数据生成 pipeline 负责把一部分 human video 转成更接近机器人动作空间的 supervision
  • benchmark / teleoperation 工具负责把这些迁移能力放到功能型灵巧任务里做压力测试

值得后续关注的问题

• human data 在 pretraining 阶段和 finetuning 阶段的作用是否不同
• human-to-robot transfer 与 cross-embodiment transfer 是否本质同源
• 显式 data generation 与 VLA co-training 是替代关系，还是更适合组合使用
• 这种能力的出现，更依赖模型规模还是数据多样性
• 仿射相机补偿和低频谱选择在强视差、高速接触和非桌面操作中会不会失效

相关页面

• Emergence of Human to Robot Transfer in Vision-Language-Action Models
• π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos
• DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
• TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning
• World Action Learning via Interaction-Centric Spectral Latent Guidance
• Human Video Robot Data Generation
• Vision-Language-Action

OM-1：统一采集接口与跨本体执行

• OM-1 将可穿戴人类示教、多模态策略与仿真 RL 控制串联。其贡献是接口与执行的系统方向；博客未披露总数据规模和统一任务成功率，暂不据此调整既有性能排序。
• 待验证：固定策略跨本体时，需要多少控制器训练、标定和观察/动作适配？