Grounded Action Model: 3D Grounding as a Foundation for Robotics
Grounded Action Model: 3D Grounding as a Foundation for Robotics
Gehao Zhang · Weikai Huang · Shailesh Shailesh · Yiyan Peng · Jiafei Duan · Ranjay Krishna
一句话结论
Grounded Action Model（GAM）提出“3D grounding 是机器人基础模型预训练基础”的路线：不用语言生成或视频生成为主骨干，而是用冻结的 promptable 3D 检测器 WildDet3D 把语言、点击或框统一解析为任务对象的 2D 框、3D 框、深度图和视觉特征。动作头只学习如何作用于这些已定位对象，并用目标图像 token、点云检测 token、机器人状态历史和语言语义预测关节位置动作块。在只见过 clean scene 示范的条件下，GAM 于 RoboTwin 2.0 randomized 达 47.62%，平均 55.29%；LIBERO-PRO 16 项扰动平均 0.61；真机 YAM 视觉扰动下保留 17/20 成功，Franka 长程/记忆任务 OOD step completion 49.8%。
关键词
摘要
中文摘要
操作策略必须知道哪些物体重要以及它们在哪里，但当前机器人基础模型使用的预训练骨干——无论是 VLA 中的语言，还是 WAM 中的视频生成——都不直接要求这种度量 grounding，而把它留给机器人示范隐式学习。论文提出 Grounded Action Model（GAM），一种以 3D grounding 为基础构建的机器人基础模型新范式。GAM 可由语言、点或框提示条件化，这些提示先被转换成所选对象的共享对象中心表示。该表示捕获聚焦目标的视觉特征和度量物体几何，再与机器人状态历史一起通过多流 transformer 混合，用于预测动作块。GAM 可以自主运行，也可以作为低层控制器，由高层规划器通过多种输入模态控制，从而支持长程和依赖记忆的操作。在 RoboTwin 2.0 上，GAM 在 50 个任务上的平均成功率为 55.3%，高于 Spatial Forcing 的 52.0%；其动作策略只用 clean-scene 示范训练，但在场景随机化下达到 47.6%，高于 Abot-M0 的 30.4%。在 LIBERO-PRO 上，GAM 在 16 个扰动设置中达到 61% 的平均成功率，高于 π0.5 的 53%，最大提升出现在目标被移动或重新指定时。在两台真机上，双臂 YAM 视觉扰动下 GAM 保留 17/20 成功，而 π0.5 为 4/20；在 Franka 上与 Molmo2 规划器组合后，GAM 在长程和依赖记忆任务中达到 64.7% 的 ID 和 49.8% 的 OOD step completion。
英文摘要
Manipulation policies must know which objects matter and where they are, yet the pretrained backbones that current robot foundation models build on, from language in vision-language-action models (VLAs) to video generation in world-action models (WAMs), do not directly require this metric grounding, leaving it to be learned implicitly from robot demonstrations. We propose Grounded Action Models (GAMs), a new paradigm of robot foundation models built with 3D grounding. GAM can be conditioned using language, points, or box prompts, which are first transformed into a shared object-centric representation of the selected objects. This representation captures target-focused visual features and metric object geometry, which is mixed with robot state history through a multi-stream transformer to predict action chunks. Although GAMs can be run autonomously, they can also serve as a low-level controller that a high-level planner controls using its various input modalities, allowing for long-horizon and memory-dependent manipulation. On RoboTwin 2.0, GAM achieves an average success rate of 55.3% across 50 tasks (vs. 52.0% for Spatial Forcing), including 47.6% under scene randomization (vs. 30.4% for Abot-M0), with its action policy trained only on clean-scene demonstrations. On LIBERO-PRO, it achieves a state-of-the-art average success rate of 61% (vs. 53% for π0.5) across 16 perturbation settings, with the largest gains when targets are relocated or newly designated. On two real robots, GAM retains 17/20 successes under visual shift on a bimanual YAM versus 4/20 for π0.5, while its composition with a Molmo2 planner on a Franka achieves 64.7% ID and 49.8% OOD step completion on long-horizon and memory-dependent tasks.
直观理解
常见 VLA 像“看整张图、读一句话，然后凭示范经验输出动作”；WAM 像“先想象未来视频，再关联动作”。两者都能带来先验，但训练目标不强制回答两个操作中最基础的问题：这次到底哪个物体重要？它在机器人坐标系里具体在哪里、占多大空间？GAM 的做法是先把这些信息显式解析出来。语言、点击或框都能指定目标；冻结的 3D grounding 骨干负责给出目标框、点云和深度；动作头只看到被选中的对象、机器人手臂轮廓和少量状态历史。背景、无关物体和外观扰动被排除在观测之外，目标移动或更换时，输入给策略的空间表示也随之改变。
GAM 将语言、点击和框输入统一解析为对象级视觉特征与度量几何，再用于动作预测。
背景与问题
为什么做
机器人操作必须知道哪些物体与任务相关，以及这些物体在机器人基座坐标系中的位置、尺度和姿态。语言预训练能带来语义识别能力，视频预训练能带来时空与外观先验，但它们的目标都不直接要求输出可用于控制的度量空间定位。
问题缺口
现有 VLA/WAM 通常把空间 grounding 留给示范数据隐式学习；当示范覆盖有限布局时，策略容易记住固定轨迹和背景相关性，在目标移动、更换目标、背景变化或出现无关物体时失败。论文缺少的是一种把 promptable metric grounding 作为预训练基础、并把语言/点/框统一成动作策略观测接口的方案。
方法
方法概述
GAM 先把语言、点击或 2D 框统一转换为 3D grounding 查询。冻结的 WildDet3D 输出每个任务对象的 2D 框、oriented 3D 框、稠密度量深度图和骨干视觉特征；系统再从中构造目标过滤后的图像 token、对象点云检测 token 和机器人状态历史 token。12 层 MM-DiT 将这三类条件流与噪声动作 token 联合注意力，并通过语言条件化的 adaptive layer normalization 预测关节位置动作块。
核心机制
论文的核心不是简单把深度图拼进 VLA，而是让 grounding 决定策略“能看见什么”。图像特征只在任务对象和机器人 URDF 投影区域内保留，点云只在预测 3D 框内裁剪，其他背景和无关物体被置零或排除。目标移动或重新指定时，2D/3D 检测与点云 token 直接更新，动作头因此面对的是当前目标的空间状态，而不是训练布局的视觉记忆。
语言、点或框先由冻结 3D grounding 模型解析，再构造图像 token、检测 token 与状态历史 token，最后由 MM-DiT 通过 flow matching 输出动作块。
方法拆解
- 统一任务接口与对象解析：语言输入先用 Flan-T5 span-tagging head 抽出对象短语；点击和框则直接指定对象。每种模态都成为 WildDet3D 的 grounding query，并输出共同的 2D 框、3D 框、深度图和视觉特征。
- 目标过滤的图像 token：骨干特征先池化到 16×16 网格；若网格与任务对象 2D 框重叠超过 30%，或与由 URDF 正向运动学和相机标定投影出的机器人轮廓重叠超过 10%，则保留特征，否则置零。这样保留对象外观、纹理和对象—夹爪相对视觉关系，同时抑制无关场景。
- 点云检测 token：用相机内参将深度反投影并变换到机器人基座坐标，从略微膨胀的 oriented 3D 框中裁剪对象点云，采样 512 点。点云编码器使用逐点 MLP 与全局 max/mean/八象限 max pooling 得到 512 维形状特征，再与 2D 框、3D 中心、Fourier 位置特征、尺度和 6D 旋转组成对象描述符。每个对象映射为 8 个检测 token，未检测槽使用 learned null token。
- 状态历史与条件融合：当前帧和前一帧关节位置拼接成一个状态 token。图像 token、检测 token 和状态 token 添加模态嵌入后经过共享 self-attention 层，但保留各自位置和流边界，供动作 transformer 分流处理。
- 多流动作生成：MM-DiT 有图像、检测、状态历史和噪声动作四个流；各流拥有独立 QKV、输出投影、FFN 和 AdaLN 参数，并在联合注意力中交换信息。语言句子嵌入投影后加入 flow timestep embedding，通过 AdaLN 注入操作语义。训练采用 flow matching，噪声与示范动作线性插值，模型预测从噪声到示范动作的速度场；推理用 Euler 步积分得到动作块。
- 部署与规划器组合：初始检测框中的点由 CoTracker3 跨帧跟踪，作为后续 grounding prompt 保持对象关联。长程任务中 Molmo2 根据当前图像和 episode memory 在子任务切换时输出新 2D 点，GAM 保持动作策略不变，只更新 grounding 目标。
关键要点
- 3D grounding 是预训练接口，不只是辅助感知模块：WildDet3D 在策略训练中冻结，把对象定位、点云几何和视觉特征作为动作学习的先验，语言/点/框三种输入最终共享同一对象中心观测。
- 对象过滤是泛化来源之一：实验显示去掉图像 masking 或点云裁剪会大幅降低成功率；完整对象中心观测比全场景图像或全场景点云更抗随机化。
结果
结果速览表
| 设置 | 指标 | GAM | 最强对照 |
|---|---|---|---|
| RoboTwin 2.0 Easy | 成功率 | 62.96% | Spatial Forcing 77.20% |
| RoboTwin 2.0 Hard | 成功率 | 47.62% | Abot-M0 30.40% |
| RoboTwin 2.0 平均 | 成功率 | 55.29% | Spatial Forcing 52.00% |
| LIBERO-PRO 16 项 | 平均成功率 | 0.61 | π0.5 0.53 |
| YAM 视觉偏移 | 成功/保留率 | 17/20；89% | π0.5 4/20；21% |
| Franka OOD 长程/记忆 | step completion | 49.8% | π0.5 24.0% |
| 10 任务消融 | 平均成功率 | full 46.8% | 无过滤 10.3% |
洞察
- GAM 把 grounding 放到预训练和动作接口之间，使动作学习从“从全场景像素/视频推断哪个对象重要”变成“在已定位对象上学习如何操作”。这解释了为什么它在目标位置移动、目标替换和背景扰动上的提升最大。
- 语言、点和框不是三个平行策略，而是同一个 grounding query 接口。人可以直接指定目标，高层 VLM 也可以输出点；语言负责操作语义，视觉 prompt 负责消除同名对象歧义。
- 观测过滤有代价：未选中的障碍物和上下文可能被排除。显式 grounding 带来鲁棒性，也可能让策略在需要全局避障或理解支撑关系的任务中缺少信息。
风险与判断
局限
- GAM 依赖 grounding 质量：错误或漏检会直接传播到动作，论文没有提出 grounding 失败后的恢复机制。
- 对象中心过滤可能排除未选中但相关的障碍物、支撑面或容器边界；复杂接触、全局避障和多对象物理关系场景仍可能需要更宽上下文。
- 3D 框和单目深度是较粗的几何表示，接触面、可抓取部位和形状细节可能不足；论文也承认 dense 3D instance segmentation 可能是更细粒度方向。
- RoboTwin 2.0 中 grounding 骨干先用仿真器导出的真值 2D/3D 框和深度适配；该便利在真实开放环境中不一定存在，域迁移和标注成本需另行验证。
- GAM 在 LIBERO-PRO 的对象大小/外观变化下并非最强，说明几何信息能定位对象，却不保证动作策略能泛化到未见的抓取尺度。
- 真机任务数量有限，YAM 每组合 25 条示范、20 次测试，Franka 四类任务；结果支持方向但不能证明跨硬件、跨任务和动态环境的普遍鲁棒性。
适用场景
- 适合目标对象可被 2D 点/框明确指定、背景和无关物体扰动强、且需要目标移动或更换后仍跟随执行的操作。
- 适合与高层规划器组合的长程、多步和依赖 episode memory 的任务：规划器负责目标选择和历史推理，GAM 作为低层 grounded controller。
- 适合已有可靠 RGB 相机标定和机器人 URDF、可用单目深度估计得到对象级点云的系统。
最终判断
- GAM 是一篇证据扎实的“3D grounding 作为机器人基础模型底座”论文。它不是在 VLA 上简单加深度，而是把任务指定、对象选择、度量几何和动作条件统一起来；randomized scene、位置/目标扰动、真机视觉偏移和观察消融都支持这一设计。
- 与其把它视为新 SOTA 泛型模型，不如把它视为一个清晰的架构假设：显式、可提示、对象中心的 metric grounding 能减少动作策略对布局记忆和背景相关性的依赖。后续应重点验证开放环境 grounding 错误、全局上下文取舍、接触几何粒度和低延迟部署。
相关主题
3D-Native Embodied Model
收集把具身模型的观测、动作、世界状态和异构数据统一到显式 3D 空间的路线，比较 BEV、点流、体素、SE(3) 动作空间与世界预测接口的取舍。
打开主题
继续阅读
上一篇
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
值得记住的不是“机器人记住动作”，而是重复工位任务能提供可复用的内部计算模式。rMuscle 在强推理引擎之上进一步降低延迟，RoboTwin 平均成功率及两项真机成功率持平；收益依赖参考覆盖、硬件瓶颈和重建时间，不能直接外推到开放世界。
下一篇
HarnessPAI: An Evolving Harness for Physical AI
HarnessPAI 的核心主张是：Physical AI 的瓶颈不只藏在 VLA/WAM 权重里，也在把感知、语言 grounding、几何推理、动作调用和验证组织起来的执行系统中。它把任务写成可执行程序；单次 rollout 内程序固定、逐步检查、没有在线高层 LLM deliberation；跨 rollout 则由代码轨迹、 rollout 视频和成功契约驱动程序演化，并把失败修复沉淀为按任务图节点检索的技能库。包装冻结的 π0.5 后，LIBERO-PRO 从 34.9% 升至 96.5%；包装 WorldDreamer 后，RoboCasa Atomic-Seen 从 65.0% 升至 92.2%。成功轨迹还能作为无人工标签的扰动场景专家数据，把 π0.5-LIBERO 的 LIBERO-PRO 成功率从 34.9% 微调到 73.7%。