从观测到动作：操作空间的完整构想与最小子集

上一篇《把动作放回世界：具身操作的期待与问题空间》提出了空间构建、闪念决策与接触控制三个核心问题。这一篇聚焦空间构建：在观测与动作之间，能否学到一个支持多类操作的共同表示？

我考虑这个中间层，首先是出于数据的原因。带有机器人动作标签的数据获取成本较高，而人类操作视频、图像、语义和三维数据的来源更广。如果这些数据能用于学习操作空间，再由仿真提供“空间到动作”的训练数据，就可能减少对真机示范的依赖。

这个操作空间需要回答两个核心问题：

1. 信息是否足够？ 压缩后保留的信息，能否支持不同任务中的操作？
2. 数据是否更容易获得？ “观测到空间”和“空间到动作”两端的数据，是否更容易获取与标注？

相关文档：草稿 · 控制交互 · 闪念决策。

一、完整构想：通过多任务学习形成操作空间#

1. 压缩观测，保留操作所需的信息#

我希望操作空间能用紧凑的表示，描述世界与身体的当前状态，以及它们在交互中的变化。它需要有空间和时间上的对应关系，使模型既能理解整体场景，也能读取局部几何、外观与接触信息。

如何学到这种表示？一个方向是借鉴 BEV，用空间结构组织特征；另一个方向是借鉴 CLIP，用不同输入、叠加不同任务的对比学习，共同约束表示。这两种思路可以结合：人工约定坐标、尺度与时间对应，具体保留哪些特征则交给模型学习。BEVFormer ↗ 提供了“空间组织＋学习特征”的参考。

关键在于，不要求先构造一个信息完备的数据集。 不同任务所需的信息量不同，各类数据也只能提供部分监督。图像与文本可以约束语义，多目或深度数据可以约束空间，操作片段可以约束变化。希望这些信号共同塑造一个可用于操作的表示，并通过当前感知重建、给定动作后的状态预测，检验压缩是否保留了必要信息。

感知侧仍应通过标定、去畸变和坐标统一，尽量减少观测器带来的差异。至于表示的具体载体，可以探索带位置的多尺度特征、对象与部件特征或局部表面特征，目前不限定为某一种网格或一个全局向量。

2. 用操作任务界定信息范围#

这里的“完整”指希望覆盖的表达能力，并不要求每条样本都有全部标签。需要考虑的信息可以归纳为五类：

任务 query 则说明希望发生什么变化。它可以包含文字、参考图、数值与过程要求，也可以包含上层组织的相关记忆。同一份状态，面对“拿起苹果”和“轻触苹果”，应当产生不同动作。

下面用六类操作检查这些信息的必要性。摆手主要依赖身体与周围空间；拉抽屉还需要部件与运动约束；叠衣服需要局部形变和层叠；擦拭、绘画则要求保留足够细的外观。

世界重建可以相对粗略，精细接触定位主要依靠末端触觉、力觉反馈逐步校正。 但这不意味着所有信息都能被粗化：例如绘画可以不要求精细重建整间房间，却仍然需要看清目标表面的笔迹。

3. 把空间接入操作闭环#

操作模型读取当前空间和任务 query，给出下一步或短片段动作；执行后，再用新观测与身体反馈更新空间。

决策输出可以采用低频更新的关键末端执行器（EEF）位置、姿态与轨迹，减少对具体关节结构的依赖，便于利用人类和 UMI 数据中的操作经验。下层则结合高频反馈，完成当前身体上的实际交互。

在这个闭环中，操作空间需要支持状态更新、按 query 读取信息，以及短时动作效果预测。长期记忆与信息组织可以由上层完成，末端保留近期感知—动作反馈，以支持快速响应。这样的分工服务于前文的三个期待：能力可迁移、失败可纠正、决策足够快。

4. 数据从哪里来#

学习空间与学习动作，可以使用不同来源的数据。前者尽量利用图像、语义、三维结构和人类操作片段；后者可以使用仿真中的状态、动作与结果。不同数据只需监督它能可靠提供的部分。

这也是多任务学习的意义：不必为了使用一段人类视频，就先补齐其中不存在的机器人关节指令或准确力标签。但动作与接触能力仍需要相应的数据支撑，不能仅由视觉语义对齐推出。

GS、体素、点云、UV、CAD 等，可以提供几何或外观的载体；Blender、USD 可以帮助组织资产与生成数据。它们各自覆盖一部分问题，尚不能单独充当完整操作空间。

判断这个中间层是否值得引入，需要比较总成本：视觉采集、标注纠错、资产制作、有效动作生成和真实迁移。标签能够自动导出，不等于整套操作数据已经容易获得。

二、最小子集：图像与 bbox 对齐，再学习动作#

1. 先保留最简单的状态描述#

完整构想需要容纳多种信息。我的一个简化设想是：先对齐“图像＋操作 prompt”和“多目 bbox＋描述”，再用大量合成状态—动作数据训练策略。 部署时，由真实图像提供表示，调用在合成状态上学到的动作能力。

这个子集保留了“观测—状态—动作”的连接方式，缩减的是状态内容：用框与描述表达对象的粗位置、范围和简单属性。它首先适合讨论形状、抓取方式和目标较受限的任务。

它能检验共同表示是否有助于复用合成动作数据。即使这一机制成立，局部几何、外观、接触与历史如何进入表示，仍属于完整构想要回答的问题。

2. 对齐、动作学习与部署如何衔接#

第一步：图像与状态对齐，不需要 action 标签。

同一场景与任务，一侧输入图像＋操作 prompt，另一侧输入多目 bbox＋描述＋任务。两个编码器分别得到 Zᵢ 与 Zₛ，通过对比学习建立对应关系。这一步只使用图像—状态配对，不训练动作模型。

借鉴 CLIP ↗，一个 batch 内的 N 组配对形成 N × N 的相似度矩阵：同一组的图像与状态是正样本，其余错配组合提供负样本。不需要额外人工制作负样本，正负配对可以在 batch 内构造。 若不同样本实际上描述同一个状态，应合并为多正样本或屏蔽对应错配，避免误当负样本。

第二步：从合成状态学习动作，不需要真实图像。

大量仿真状态经过第一步的状态编码器，得到 Zₛ；动作模型结合当前本体状态，利用仿真中的动作与结果学习执行。这个阶段可以完全在状态侧进行，动作轨迹不必逐条渲染成图像。

最直接的衔接方式是先固定已对齐的编码器，训练动作模型；若继续更新编码器，则需要保留对齐约束，维持两侧表示的一致性。

第三步：真实图像到动作，也就是 img → action。

部署时，真实图像＋任务经过第一步的图像编码器，得到 Zᵢ，替换第二步动作模型的 Zₛ 输入。动作模型结合实时本体状态输出 action，执行后重新观测，形成闭环。此时不需要输入多目 bbox 或调用状态编码器。

三步的连接点是共同表示：第一步学图像与状态的对应，第二步学状态表示到动作，第三步将视觉接口与动作模型接起来。核心假设仍是 Zᵢ 与 Zₛ 能被同一个动作模型互换使用；对比学习得到的相似性，是否足以支持一致的动作判断，需要在部署中验证。

3. 两类数据，连接两段学习#

第一类是图像—状态配对，用来建立视觉接口。 在仿真中，可以从同一个场景渲染图像并导出状态；真实端也可用检测、跟踪与人工抽检制作，不需要同时录制机器人动作。

图像：相机 A、B 的同步画面
相机：内参、外参
对象 7：A 视角 bbox；B 视角 bbox
描述：红色方块，在托盘左侧
任务：将红色方块放到托盘中央
对应：对象 ID、时间戳

第二类是状态—动作—结果轨迹，用来学习操作。 由控制器、规划器、学习到的策略或示范在仿真中执行，并记录实际发生的结果。

当前状态：bbox＋描述 Sₜ
任务：操作 prompt
身体：关节／末端当前状态 bₜ
动作：实际下发的控制指令 aₜ
结果：下一状态 Sₜ₊₁
反馈：接触、成功／失败等

这里的“合成”应当来自一致的三维场景：先投影出多目框，再执行有依据的动作。分别随机造框和动作，无法保证多目一致、身体可达或操作有效。动作还需要明确坐标系、单位和控制周期。

4. 可行性取决于三个条件#

第一，状态信息要足够。 如果相同的框和描述可能要求不同动作，策略就缺少必要依据。下面两只抽屉的整体框相同，把手位置却不同。补入局部框或部件描述可以消除这一差异，只增加同类整体框的数据量则不能。

第二，对齐要对操作有效。 两侧都输入同一个 prompt，可能让模型仅靠文字完成匹配；全局特征接近，也可能掩盖会改变抓取点的位置差异。可以在同一 batch 中放入任务相同、状态不同的配对，检验模型是否利用空间信息；必要时再加入局部空间监督或动作效果一致性约束。这不要求额外人工制作负样本集。

第三，合成经验要能迁移。 真实图像能否进入正确的表示，与真实动作能否产生预期效果，是两个问题。前者涉及视觉差异，后者涉及摩擦、延迟、柔性等执行差异。训练输入需要匹配真实可获得的信息，执行仍要依靠闭环反馈。

因此，规则刚体的简单搬运与摆放，是这个子集较有希望覆盖的范围；叠衣服、灵巧工具操作和细致描画，需要更多信息。位置、尺寸、外观、指令与本体也是不同的泛化维度，不能由其中一种成功推出其余能力。

5. 如何理解“零真机数据”#

这个设想最直接指向的是：不使用真实机器人动作示范，能否得到一定的操作泛化？ 这与“完全不用真实数据”不同。真实图像、人类视频和视觉预训练仍可能参与表示学习；若连这些也排除，视觉迁移的要求会更高。

最小子集的价值，是检验易获得的图像—状态配对，能否把合成状态上的操作能力接到真实观测上。对完整构想而言，还需要继续回答：新增的几何、外观、接触和历史信息，怎样被学到，并真正用于动作。

相关工作：按需要的能力查找#

语言对齐、局部几何保留、动作效果预测是不同能力。下面先按需求列出阅读入口，再保留两组论文的完整对照。它们提供的是不同环节的证据，不能仅凭支持深度输入，就认定表示适合精细控制。