Humanoid Mobility via Attention-based Contacts
Humanoid Mobility via Attention-based Contacts
一句话结论
值得记住的是“保留示范中的接触结构，释放连接接触的全身运动”这一接口设计。它让单个 G1 策略在部署时摆脱参考轨迹，同时支持手、肘、膝等多部位协同。八个复合课程的仿真平均成功率达到 92.5%，但本文还没有证明开放三维场景中的通用移动或可认证的实机可靠性。
摘要
中文摘要
摘要内容概述：无参考轨迹的强化学习具有地形适应能力，但复杂全身协同难以通过奖励和探索自然产生；参考动作方法则容易受训练轨迹覆盖范围限制。作者将动作数据用作训练先验，以注意力规划未来身体与环境的接触，再交由接触条件控制器执行。接触表示保留了协调运动的交互结构，同时为 RL 在不同环境中寻找具体动作留下自由度。后续微调从已学会的规划和控制能力出发，在示范未覆盖的地形变化中自举；部署时仅依赖机载观测，不再输入参考动作。
英文摘要
Humanoid mobility over complex terrain requires accurate foot placement and coordinated whole-body motion capable of robust adaptation.
以上为摘要开头节选；完整英文摘要见论文原文摘要。
直观理解
爬梯子时，重要的是下一只脚和手落在哪根横档，而不必逐帧复制示范者的每个关节角。本文让规划器根据地图、身体状态和目标选出这些接触位置，让控制器自己决定如何把身体送过去；成功走出来的接触又成为规划器的新训练样本。示范负责教会复杂协同的起点，RL 负责适应新地形。
背景与问题
为什么做
人形机器人跨越稀疏踏点、攀爬高台或梯子时，必须联合决定哪个部位接触、接触在哪里以及怎样协调身体。仅靠目标奖励探索，这个组合空间很大；完整人类动作示范可以提供协同先验，却不可能覆盖每种横档间距、障碍高度和技能切换。需要一种既能继承示范结构，又能随地形变化重新组织动作的学习接口。
问题缺口
参考轨迹跟踪把环境适应的难题转给在线运动生成器，而全身轨迹看起来合理，并不保证手脚落在真正可支撑的表面。稀疏地形尤其无法容忍这类几何偏差。此前隐式地图注意力能选择相关地形特征，但没有直接输出可监督的多部位接触目标；本文将注意力转化成地图上的显式接触选择，并用成功执行反馈扩展示范分布。
方法
方法概述
输入是五步本体状态历史、局部地形高度扫描和目标方向及朝向；注意力接触规划器为九个身体部位预测未来 1.5 秒内的下一次接触位置及是否会发生接触。全身控制器结合这些目标和较小范围的地图，在 50 Hz 下输出 23 维关节位置偏移，交给 200 Hz PD 控制执行。训练依次完成参考接触引导的控制器预训练、规划器与控制器协同训练、无对应示范地形上的目标到达 RL 微调，部署时不需要检索或生成全身参考轨迹。
核心机制
规划器不在自由三维空间回归落点，而是为每个部位对实际观测的地形点计算可接触权重，定量评测中取最高权重点作为接触目标。这样把“落点在表面上”的约束写进解码器，但仍不能保证选出的点具有动力学可达性或真实支撑能力。控制器保留实现同一接触的多种运动解，而成功轨迹经过事后接触标注重新监督规划器，使接触候选逐渐与控制器实际执行能力对齐。这里的自监督来自成功 rollout 的接触反馈，不意味着完全不使用人类数据、参考运动奖励或特权训练信息。
方法拆解
- 1. 从人类动作抽取可用的交互结构。 重定向先将不同人体数据转换成浮动基座与笛卡尔关键点，再做空间缩放和时间归一化。逐帧非线性 IK 同时拟合身体关键点与肢段方向，加入关节限制、脚不穿地、身体与环境最小距离约束及相邻帧正则；随后从仿真几何记录双脚、双膝、双手、双肘和骨盆的接触开关与世界坐标。有些数据已经适配 G1，只需补充接触标签，因此流程不是把原始人类关节角直接复制给机器人。
- 2. 先教控制器执行接触。 Stage 1 给定参考接触和目标，用 PPO 训练隐藏层为 512/256/128、ELU 激活的 MLP 控制器。Actor 输入五步本体历史、9×7 高度扫描、九组接触位置与目标，不输入完整参考运动学；但奖励仍使用基座、关节、速度及接触跟踪，因此“仅接触条件”只描述 Actor 的参考输入。CSI 从动作约 90% 处开始训练完成动作，再逐步把初始化时刻向前移动，降低一开始就执行复杂长动作的探索难度。
- 3. 用身体专属注意力在地形上选点。 规划器读取 17×11 个、间距 0.1 米的地形点，覆盖 1.6×1.0 米。点坐标投影为 16 维，双层 5×5 CNN 提取 48 维高度特征，两者融合构成注意力键和值；状态、目标和池化地形形成共享 96 维上下文，九个部位嵌入经 FiLM 生成各自查询。单层 32 头交叉注意力产生每个部位的地形权重，接触存在性分类头判断未来窗口内是否出现新接触，概率不超过 0.5 的目标置零。目标位于随基座平移、绕重力轴随 yaw 旋转的坐标系，每个控制步重新计算；这不是一次输出精确接触时刻表或完整长程序列。
- 4. 事后标注与渐进接管，减少训练分布突变。 Stage 2 扫描成功轨迹，按大于 1 N 的竖直接触力识别接触片段，并滤除少于 10 步即 0.2 秒的短接触；为每帧寻找未来 75 步内的下一次接触，变换回当时的身体坐标并裁掉地图外目标。接触位置通过带宽 0.1 米的三维高斯变成地形点上的软标签，规划器最小化有效接触上的交叉熵与全部部位上的二元存在性损失。每个环境每步随机选择整组参考或预测接触，逐渐提高预测输入比例；接触奖励的切换另用延后开始的时间表，而不是对两组坐标插值。
- 5. 在新地形上闭环自举。 Stage 3 保留原数据参考跟踪环境，同时加入无对应动作轨迹的程序化地形，后者以朝目标进展、到达目标和预测接触跟踪奖励训练控制器。成功 rollout 进入按地形类型和 tile 分区的回放池，均衡采样并偏好单位初始目标距离正机械功更低的轨迹；每轮 PPO 进行十次规划器更新，每次抽取 4096 条回放记录。两类环境使用独立价值网络并分别归一化优势，目标到达 Critic 前 500 轮预热时不让其样本更新 Actor，避免新任务价值尺度与早期估计误差破坏已有策略。
- 6. 用可保留细结构的机载地图闭环部署。 头部 Livox MID-360 点云经 DLIO 去畸变并估计状态，再投影到 3 厘米网格。CNN 对每格选择保留实测高度、邻域平均或留空，同时估计不确定性；融合时用防止低处地板覆盖已观测梯档的启发式规则保留悬空结构。地图更新在 Orin NX CPU 上每帧不超过 30 ms，对应 10 Hz、约 2 万点扫描；策略采样的 10 厘米网格与建图网格不同，不能把地图分辨率当作动作落点精度保证。
关键要点
- 接触接口保留部位和几何关系，同时放松全身轨迹约束；无参考部署来自逐阶段转移监督，并非训练时彻底放弃动作先验。
- 地形点选择与成功轨迹回放分别约束“选在哪里”和“能否被当前控制器实现”；两者配合比只增加模型容量更接近本文的实际贡献。
- 对每个部位只预测窗口内下一次接触，时间信息主要由有限窗口、接触存在性与连续重规划表达；不能等同于显式多步接触时序优化器。
- Isaac Lab 中，Stage 1 约需 3 张 RTX 4090 训练 1 天；Stage 2 用 2 张训练 1 天 21 小时；Stage 3 用 4 张训练 2 天 6 小时。这是作者环境报告，不是独立复现耗时保证。
- 规划器 786,993 参数，MLP 对照 833,322 参数；对照共享接触接口、监督和地形点解码器，不能把优势简单归为参数更多。
- PPO 每环境 rollout 24 步、5 个优化 epoch、8 个 minibatch，折扣 0.99、GAE 0.95。第三阶段总并行环境 8400；双 Critic 和规划器回放更新属于复现主干，不宜仅复制网络结构。
- 摩擦、恢复系数、质量与质心、PD 增益、默认关节位置和观测噪声在训练中随机化；定量地形评测关闭传感噪声、物理随机化和动作延迟，解释结果时需保持这一条件。
结果
结果速览表
| 证据 | 方法结果 | 对照或条件 | 解读 |
|---|---|---|---|
| Stage 1 参考地形四类成功率 | 每类至少 98.5% | Actor 不接收完整参考运动学 | 训练仍有运动跟踪奖励 |
| 稀疏全身类微调增益 | +54.8 个百分点 | Stage 3 相对 Stage 2 | 不是绝对成功率 |
| 八个复合课程平均成功率 | 92.5% | MGMT 58.8% | 仿真，+33.7 个百分点 |
| 地形类别对比 | 十一类均领先 MGMT | 参考、目标到达和未见三组 | 不等于真机成功率 |
| 规划器参数量 | 786,993 | MLP 833,322 | 规模接近，接口与监督相同 |
| 实机闭环频率 | 策略 50 Hz，PD 200 Hz | 23 关节、机载 Jetson Orin | 不使用部署参考动作 |
| 神经地图更新 | 每帧不超过 30 ms | 10 Hz LiDAR、约 2 万点 | 3 cm 建图，10 cm 策略采样 |
洞察
- 示范最值得迁移的可能是交互约束，而非完整运动路径。接触位置在空间上很硬，关节路径在实现上可以很软；这种结构正好适合把模仿的协同先验与 RL 的适应能力接在一起。
- 注意力在这里是可监督的候选表面选择器。它的价值来自明确的几何输出与回放标签，不能仅凭注意力图把系统理解成获得了通用物理推理能力。
- 成功轨迹回放把可执行性引入监督闭环，但也限制了探索边界：规划器主要学已经成功过的接触，初始示范覆盖及控制器能力仍决定自举能从哪里起步。
和已有方法的关系
- 相对完整轨迹模仿，它减少部署期参考生成需求；相对纯 RL，它用接触与运动跟踪训练降低复杂协同的探索难度。
- 论文对 PHP、LLP 只做能力表比较，N/A 表示原材料未展示或未评测，不表示对应方法必然做不到。
- 在人类到机器人迁移路线中，本文属于经几何重定向提取交互结构，再用仿真 RL 实现执行的路线；它没有验证不同机器人之间共享同一策略，也不是无标定人类视频直接训练 VLA。
可借鉴点
- 为稀疏支撑任务设计中间接口时，优先把候选限制在感知表面，再用成功执行生成标签；同时保留接触存在性，避免给所有部位强行安排落点。
- 将输入切换与奖励切换分开调度，以及为旧任务和新任务分别估值、归一化优势，是防止自举微调破坏旧技能的具体工程手段。
- 复现应同时验证建图、坐标变换、接触标签、回放采样和目标判据。只替换成 Transformer 而跳过这些接口约束，不是在检验本文主张。
风险与判断
局限
- 2.5D 高度图把环境简化为每格一个高度；虽然通过融合先验保留梯档，却不能一般化表达同一水平位置的多层表面、头顶接触、悬挂或任意三维操作。针对梯子的地图启发式也是系统假设的一部分。
- 仅有接触不足以区分后空翻与垂直跳跃这类接触序列相近、空中动作却不同的行为；需要额外动作语义或运动状态条件。
- 目标是局部到达，尚未解决全局路径规划、语义目标选择和开放环境导航；观测表面选点也不保证摩擦、结构承重或动力学可行。
- 定量结果来自去噪、无物理随机化与延迟的仿真地形评测；真机有感知失败导致跌倒的实例，未提供可据以宣称部署可靠性的统一实机统计。
- 示范依然需要重定向、环境对齐与接触标注，训练需要多 GPU 多阶段计算。成功数据自举的覆盖偏差、独立训练方差及跨本体泛化尚需进一步验证。
适用场景
- 适合有少量多接触动作先验、可用仿真环境和精确局部地图的人形移动研究，尤其是梯档、窄梁、离散踏点与高台等落点几何约束强的场景。
- 适合研究人类示范如何压缩成交互结构，以及旧技能如何通过目标到达 RL 组合与适应；不宜直接用作任意三维操作、腾空特技或无人监管安全运行的方案保证。
最终判断
- 这是一篇值得重点保存的接触接口与训练系统论文。最有说服力的证据来自接触条件充分性、相近规模规划器消融、微调收益和独立复合课程比较的组合；真机展示补足了感知与执行闭环的可行性。下一步应重点看带真实噪声的定量评测、重复训练方差、系统实机试验和更丰富 3D 接触表示，而非仅扩大行为视频数量。
相关主题
Human-to-Robot Transfer
这条主题关注 human video、human embodiment data 与 robot policy 之间的迁移。核心问题不是“人类数据多不多”，而是“模型什么时候开始有能力利用这些数据”。
打开主题
继续阅读
上一篇
Phoenix（MWA™-Phoenix）: Scaling Robotic Manipulation through Visual and Interaction Representations
无界动力开源的 MWA™-Phoenix 是目前综合榜单表现最强的开源机器人世界动作模型（WAM）基座：约 6B 联合视频—动作骨干，仅 RGB 输入、不用深度真值，在 LIBERO-Plus、LIBERO-Pro、RoboCasa-GR1、RoboTwin 2.0 C2R、Bench2Dex、RoboDojo 真机六项各有侧重的评测上同时登顶或最优。真正值得记住的不是单点分数，而是它把“几何+时序双教师蒸馏的视觉表征”“运动与触觉共同编码的交互潜变量（ILA）”“视触觉世界模型里的 GRPO 强化学习（PhysCanvas）”连成了一条从大规模预训练到真机精细操作的完整链路，且预训练数据全部来自开源数据集、代码与权重开放。对关注 WAM 预训练配方、接触操作和“世界模型内 RL”的读者，这是当前最完整的开源参照系。