TenStep

OM-1

OM-1

Reward AI Team

首要单位:Reward AI Reward AI Reward AI

一句话结论

OM-1 最值得研究的是“怎样把人类操作保真地记录下来,并让不同机器人实时执行”这条完整链路。它用 Omnibody Hand 采集人类示教,由多模态策略产生动作,再由仿真强化学习得到的控制层执行。“策略只学人类数据”与“控制器使用仿真 RL”属于不同层次。 现有材料支持把它视为一个有吸引力的系统方向;尚不足以复现网络,或证明在标准基准上超过其他通用策略。

关键词

human-to-robot-transfercontact-rich-manipulation

摘要

内容摘要

直观理解

可以把这套方案理解为“统一工作语言 + 因机器而异的执行能力”:上层希望表达一次操作要怎样移动、何时接触、施加多大作用;下层负责让具体机器跟上。这个解释是对公开功能分工的分析,不是作者公开的张量定义。

从工程角度看,真正难的接口不只在模型内部:人的手、采集装置、部署端传感器和执行器必须对同一接触事件给出相容的描述。统一接口可以减少每换一台机器人就重做数据的压力,但不会自动消除负载、工作空间、可达性和手部能力的差异。

背景与问题

为什么做

面向高速接触操作,模型即使在离线数据上预测准确,也可能因感知迟到、示教轨迹失真或控制器未及时执行而失败。因而需要同时讨论采集质量、策略反应时间和实际执行误差。本页关注 OM-1 是否给这些环节提供了一套一致的设计,以及现有证据能支持多强的能力判断。

问题缺口

只给出跨机器演示,仍无法解释观察空间怎样对齐、动作怎样映射、延迟怎样补偿;只说增加人类数据,也无法判断新增数据究竟提高了任务覆盖还是重复已有行为。OM-1 对系统分工给出了方向,但缺少让外部研究者量化这些取舍的接口定义、训练配方与受控对照实验。

方法

方法概述

系统可以按公开职责拆为采集接口、OM-1 策略和执行控制层。人佩戴 Omnibody Hand 提供示教;策略处理多模态历史,产生跨本体动作表达;高频控制层把预测落实到机器,并平滑衔接相邻预测。需要把这张图当作功能架构图:它未展开编码器、主干网络、动作头或损失函数,不能据此认定 OM-1 是某一种 VLA、Transformer 或 diffusion 模型。原文模型与控制章节

核心机制

公开接口的关键是让接触前、接触中与动作历史共同参与决策,并让策略推理与连续执行分开计时。分析上,这意味着系统试图同时解决“此刻发生了什么”和“来不来得及纠正”两个问题;但它是否采用时间戳 token、异步注意力、缓存或动作块,并没有公开。下表把可确认的输入输出语义与不可确认的实现分开,避免把一个功能名误当作已经定义好的模型张量。

接口 原文披露的语义 理解与核查重点
视觉输入 图像;手内全局快门相机 有助于解释高速视觉采集,但分辨率、视角数、曝光和部署视角变换未知。
接触输入 触觉、手指间接近信号 接近与已接触提供不同事件线索;触觉是否包含剪切、滑移等维度未说明。
运动输入 手部位姿轨迹及历史 位姿坐标系、关节表示、历史窗口长度与跨本体归一化未说明。
多速率时序 各模态按传感器原生采样率处理 不应理解为全部降到相机帧率;具体 Hz、同步误差与内部融合方式未知。
策略输出 方向、速度、力,以及抓取/移动等事件时机 是动作语义描述,不是公开的 action schema;维度、单位、预测步数和动作分布未知。
控制输出 面向具体机器的执行,包括移动机器人的导航动作 关节位置、速度、力矩如何分配,以及本体适配所需训练/标定步骤未说明。
尚不能确认的通道 原文还说采集沿轨迹的作用力 不能自动将其等同于策略的独立六维腕力输入,也不能据此推断力传感器构造。
任务条件 未明确列出语言、目标图像或任务 ID 不能因为“通用策略”就称其已实现语言条件控制。

对部署而言,最需要补的一份材料是从人体记录到机器人观测/动作的接口规格:给定同一段手势,两台机器人究竟接收相同的动作向量,还是相同语义、不同参数化的向量?这会直接决定“同一个模型”究竟节约了哪一部分适配成本。

方法拆解

  • 系统架构与实时性:原文让控制层独立于策略推理运行,并在线优化新旧预测的衔接。工程上应关注动作晚到时旧计划是否仍安全、状态估计是否已过期、接触力是否超限。异步执行能避免等待推理造成停顿,但不等于消除了延迟影响;没有公布的策略延迟、控制频率和尾延迟不能由“人类速度”倒推。
  • 灵巧手设计:Omnibody Hand 是七自由度、以抓取功能为目标的设计,涉及拇指—食指精细操作,以及中指、无名指、小指的 MCP 联动;还考虑手型适配与末端屈曲补偿。分析上,这是一种将可采集性、可迁移性与机械复杂度共同约束的选择。七自由度不能直接解读为“七台独立电机”,也不能证明其指内操作能力等同于高自由度五指手。扭矩、带宽、触觉阵列、材料、成本和耐久数据仍缺失。手部设计说明
  • 策略训练:作者宣称 OM-1 策略不使用遥操作或真实机器人经验,并以统一的人类示教接口在单一训练阶段学习。这里的“单阶段”应理解为作者不再按数据来源划分传统预训练/后训练流程;它没有说明优化轮数,也不证明任务到来后无需梯度更新。损失、动作监督构造、预训练权重来源、参数量、算力和混采比例未披露。策略训练说明
  • 控制器训练:执行层明确使用仿真强化学习,处理动态效应、扰动和时延。因此准确说法是“人类示教策略 + 仿真 RL 控制层”。“不用真实机器人训练数据”不代表没有仿真、不需要机器人模型,或换本体时完全没有训练成本。奖励函数、仿真器、机器人资产、随机化范围和 sim-to-real 校准尚待公开。控制层说明
  • 数据采集管线:公开部分是自然人类操作 → 可穿戴多模态记录 → 视觉惯性与电磁辅助追踪、扰动补偿 → 统一示教接口 → 策略学习。电磁辅助用于提高高速运动轨迹保真度。部署之后,机器人观测 → 策略 → 本体控制 → 执行构成另一条链路,不应把两条链路画成“人在实时遥操作机器人”。数据接口说明
  • 数据工程与规模缺口:博客没有给出总小时数、轨迹数、采集人数、任务/场景覆盖和增长曲线,也未交代时间同步、标定、质检、失败段筛除、任务标注与训练集划分。分析上,统一硬件接口只是数据可合并的起点。可学习性仍取决于有效接触事件覆盖、动作可执行性和标注/同步误差;这里列的是应核查的工程环节,不是宣称作者已经实现的后处理管线。
OM-1 官方高层模型示意图:人类采集的多模态流进入策略,动作面向不同机器人本体
OM-1 官方高层模型示意图:人类采集的多模态流进入策略,动作面向不同机器人本体
Omnibody Hand 官方演示海报:展示佩戴和机器人端使用形态
Omnibody Hand 官方演示海报:展示佩戴和机器人端使用形态

关键要点

  • 把接口当作学习系统的一部分:比较路线时不应只比较模型参数;还应同时比较采集设备、动作表示和部署控制要求。一个网络能迁移,不等于整套系统能零成本迁移。
  • 训练声明要按层解释:人类示教用于策略,仿真 RL 用于执行层。未来评测应分别测策略泛化、本体适配成本和控制跟踪效果,才能定位能力来源。
  • 保留时间信息值得独立验证:原生多速率输入与异步控制是两个不同机制。需要分别消融,才能知道收益来自高频信息、模型设计还是执行平滑,而不是将系统效果全部归给策略网络。

结果

  • 最有实验设置支撑的数字来自追踪误差对照;它测量的是采集子系统,不是任务成功率。
  • “少于 30 分钟”是作者对学习新任务所需数据量的描述,未说明完整训练预算、前置训练规模和评测分母。
  • 跨本体与长程能力主要由演示支撑。当前可以记录“展示了哪些行为”,不能据此排序整个领域的模型能力。

结果速览表

项目公开证据能支持的判断不能推出的结论
[高速追踪](https://www.rewardai.com/blog/OM-1/#one-data-interface)8 档速度、每档 10 次;最高速平均过冲 24.9 → 9.5 mm,约下降 61.8%,原文概括约 60%在该往返机械限位实验中,追踪误差更小全工作空间绝对定位误差为 9.5 mm;机器人任务成功率提高 60%
[新任务数据](https://www.rewardai.com/blog/OM-1/#conclusion)作者称少于 30 分钟数据可学新任务提出了低新增采集量的适配能力主张总训练数据不足 30 分钟;训练耗时 30 分钟;任意任务都满足
跨本体页面展示工业机械臂及人形机器人的执行有跨形态部署的演示任意机器人零适配;任意末端执行器都可用
接触与动态操作页面说明涵盖分拣投掷、插接件分离、冰箱开门、折叠等示例覆盖不同接触与动态情境统一成功率、吞吐量、人类效率比或可靠的 OOD 泛化指标

洞察

  • 最强启发是共同设计的评估方式:OM-1 提醒我们,机器人数据不只是“视频 + 动作”文件;装置对人的动作造成的改变,会进入监督信号本身。我的判断是,下一步应比较同一操作者在不同采集接口下的策略质量,控制任务覆盖和训练预算,才能量化自然示教究竟带来多少收益。
  • 跨本体承诺要拆成三项成本:新增本体的数据重采集、策略再训练、底层适配是三种不同成本。即使第一项降为零,后两项仍可能存在。购买或复现类似方案前,需要分别问清这三项,而不是只接受“同一个模型”的笼统回答。
  • 规模问题应从总量转向有效量:建议未来报告每小时成功解析的轨迹、接触事件分布、跨人/跨场景覆盖,以及经过质检的数据保留率。没有这些统计,“随数据增长而变好”只能视为方向性主张,无法检验 scaling law。

和已有方法的关系

  • DexCap 官方方案明确采用点云观测、IK 重定向和 Diffusion Policy,还允许人类修正回流。OM-1 的博客没有公开同等粒度的训练细节,且对策略数据来源做了更强限定。合理的关系是“可穿戴人类采集路线的延续”,不是“已证明沿用上一代算法”。DexCap 原始方法
  • 与 Wiki 中的 Human-to-Robot Transfer 主题相连:它把迁移问题推进到传感与动作接口层。与 Contact-Rich Manipulation and Adaptive Compliance 相连:它要求学习策略与实时执行共同处理接触。两条关联属于问题线归纳,不构成与其他论文的数值对比。

可借鉴点

  • 做复现实验时,先固定一个任务、一套输入和一个控制器,再比较时间历史、接近信号及多速率处理;否则模型、传感器和控制器同时变化,无法归因。
  • 做跨本体测试时,固定策略权重,公开每台机器的额外训练数据、标定时间与控制器配置,并加入不同质量/摩擦、遮挡和时延扰动。
  • 测“半小时学新任务”时,必须公开基础模型先前见过的任务、微调算力、随机种子、失败案例和测试场景隔离方式,避免把近邻任务复用误当作全新技能学习。

风险与判断

局限

  • 网络结构、动作参数化、损失和训练规模未披露,公开材料不足以进行忠实复现;“新架构”不能替代这些规格。
  • 缺少系统性的成功率、基线、消融与误差分布。演示可以说明可行性,无法给出长期运行可靠性。
  • Any Body 的适用边界尚不清楚:不同手部机械能力、视角、动力学和传感配置下需要哪些适配,仍须测试。
  • “自然采集不需监督”没有说明离线清洗和标注的人力开销;不应写成整条训练数据管线零人工。

适用场景

  • 适合研究可穿戴示教、人类数据迁移、多模态接触策略与异步控制的团队,用于拆解系统问题、设计消融和制定接口需求。
  • 适合评估减少每本体遥操作采集成本的方向;当前更适合作为技术路线参考,尚不能仅凭博客形成性能、成本或交付能力的采购结论。

最终判断

  • 系统方向值得跟踪,模型领先性和数据规模尚无法判断。 最有价值的公开内容是采集—策略—控制的职责分工,以及高速追踪的局部对照;最应等待的证据是动作/网络规格、总数据规模、受控任务评测和跨本体适配成本。原文

Human-to-Robot Transfer

这条主题关注 human video、human embodiment data 与 robot policy 之间的迁移。核心问题不是“人类数据多不多”,而是“模型什么时候开始有能力利用这些数据”。

打开主题

Contact-Rich Manipulation and Adaptive Compliance

接触密集操作中的运动—力联合学习路线:如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示,并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。

打开主题

继续阅读

上一篇

Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation

Facet-0 的关键不是把力觉当作又一个输入通道,而是让策略同时提出动作和该动作将引发的腕部力矩后果,再用接触结果训练分布式价值模型、按接触阶段分配强化学习信用,最后用受安全边界约束的小型 actor 做任务级适配;在五项亚毫米电脑装配任务上达到 82% 平均成功率,而最强基线为 15%。

下一篇

FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation

FWBC-VLA 值得记住的贡献是把“操作任务需要的接触”与“同一接触给移动机身造成的负担”放进同一闭环。它在轮足四足机器人上实现擦白板 64%、开门 52% 的完整任务成功率,均比 ForceVLA 高 40 个百分点。证据支持低成本接触反馈与机身补偿协同的工程价值,但尚不足以证明精确六维测力、跨机器人泛化或通用的任务力/外部扰动辨识;论文 v2 还有数处正文—表格冲突,下面逐项标注。