把动作放回世界：具身操作的期待与问题空间

具身模型的历史使命，是让身体拥有本能。

上一篇《既装得下，也学得会：问题空间如何决定 Scaling》讨论了一个一般问题：什么样的问题定义，既保留足够高的能力上限，又提供可持续的学习信号。这一篇沿着同一条思路追问具身操作：我们究竟期待一个有身体的模型学会什么？

先把较长程的目标理解、知识组织和任务规划交给 GPT。具身模型要做的，是让一个智能体在物理世界中真正把事情做成。于是，问题的起点就不再是“模型能不能生成动作”，而是“它需要怎样理解世界，才能选择并完成一个动作”。

我的直觉是：具身模型更像一个会使用工具的动物。它不必先进行很长的语言化思考，却必须感知环境，理解自己的身体和物体的关系，知道哪些动作可能带来什么结果，并在行动中趋利避害。它要有空间感知和短时推演，能选择动作、感受反馈，在发现不对时修正、撤回或停止。

“会使用工具的动物”并不意味着具身模型只负责低级控制。会用工具本身就包含了对物体可供性的理解、对短程因果的判断、对动作经验的记忆，以及对自身、环境和他人安全的保护。

下面先整理场景和期待，再据此定义操作的核心问题。这些仍是设计直觉，具体实现需要逐步验证。

先复现场景：世界、本体、其他本体#

世界：客观存在与主观认识#

客观世界包含各类物品、物品的空间关系和光照等环境条件。物品具有物理、化学属性；对当前的操作问题，我更关注位置、形状、软硬、摩擦和重量等。世界中的一部分物品可能不可观测，也可能与当下操作无关。

主观世界是本体通过观测形成的当前认识。对于某次操作，它首先需要关注与任务强相关的物品，以及会影响操作和安全的周围条件。

观测器相当于本体的“五官”。不同传感器的成像方式、畸变和观测视角，会让同一个客观世界呈现出不同的样子。模型需要克服这些差异，通过去畸变、统一观测空间等方式，尽可能消除观测器的影响，形成对物品及其空间关系的一致认识。

本体：身体、意图与行为#

本体可以从三个方面描述：

• 身体，相对静态：构形、尺寸、自由度、传感器和执行器，以及这个身体的特点与限制。
• 意图：我要做什么，希望得到什么结果。这一层接近决策，也决定了当前应关注哪些信息。
• 行为，动态：身体如何行动，行动产生了怎样的物理反馈，以及如何响应交互。

同一个意图，在不同身体上可能需要不同动作；同一个动作，也可能因为接触和受力状态不同而产生不同结果。

其他本体：交互与指令#

其他本体包括人和其他机器人。对当前系统，首先关心它们如何给出指令、调整操作和介入执行。同时，它们的动作也可能改变当前场景。

复现一次操作，需要把这些要素放在一起：当时的世界与身体状态、收到的指令、执行的动作，以及动作后的反馈和结果。

具身操作的三项期待#

一、操作泛化#

换一个场景、物品或身体，系统仍然能够完成相同目标。我希望这种泛化同时发生在世界和本体两个方面。

指令、上下文等操作请求的泛化，则放在第三部分“闪念决策”中讨论。

对于世界：

• 感知偏差自适应：适应光照、视角、遮挡和传感器偏差。
• 空间与物品泛化：适应位置、姿态、形状和尺寸变化。
• 物理属性泛化：适应软硬、摩擦、重量等变化，并据此调整动作。

这里需要区分两类变化：光照变化可能只需要消除其对判断的干扰，重量变化却需要实际改变施力。感知应当屏蔽无关干扰，同时保留会改变操作结果的信息。

对于本体：

• 本体泛化：适应身体构形、工具和能力的变化。
• 反馈响应泛化：面对不同阻力、滑动或外界扰动，能够根据反馈调整行为。
• 技能泛化：已有操作技能可以迁移到新物品、新场景，也可以组合成新的操作。

关于本体泛化，我的想法发生过变化。以前我倾向于让模型专注于一个固定本体；后来想到，人进入虚拟现实、使用一个并非自己的身体时，也可能较快适应。结合我对 GPT-6 跨本体泛化表现的观察，我开始重新考虑这一点：如果具身模型能够适应不同的身体，同一套操作能力就能在更多本体上复制和传播，从而扩大能力的覆盖范围，放大模型的实际价值。这种跨越单一本体限制、让学到的能力被更广泛复用的可能性，本身也是我对具身模型的一项期待。

二、操作安全#

安全是我在梳理这些期待时，才意识到需要单独强调的问题。此前我更多关注模型能否泛化，没有充分考虑这种模型在真实世界中的试错成本。

我希望得到的模型，有点像早期的 GPT：初期的准确性可以差一些，但已经具备泛化能力，能够尝试不同的任务，并在反馈中逐步改善。对应到具身操作，我可以接受它一开始成功率不高，需要多次调整才能完成任务。

但这有一个前提：试错成本必须足够低。操作可以失败，却不能以损坏自身、破坏物品或伤害他人为代价。 如果每次失败都可能造成损失，这种初期不够准确的泛化模型就很难被实际使用，也难以通过持续尝试积累能力。

因此，安全是允许模型尝试、犯错并逐步学会稳定操作的前提。模型需要在发现异常时停止继续推进，判断应该修正、恢复还是求助；系统也需要限制执行的速度和力度，让失败尽可能停留在可以纠正、可以重试的范围内。

三、闪念决策#

借用罗永浩当年“闪念”的说法，我把第三项期待称为“闪念决策”。这里的重心是：泛化的 query，瞬时的决策。

我希望具身模型能够接受丰富的操作请求，也就是 query。它可以包含文本、图像、数值，以及与当前操作相关的长短期记忆。借用“大脑”和“小脑”的比喻，这些都是大脑向小脑提出操作要求时可以提供的内容：目标是什么，参考什么经验，关注哪个物品，以及怎样执行。

上层大模型可以负责组织这些信息，用图文并茂的描述说明目标和动作要求，也可以通过数值指定位置、速度、力度等细节。我期待它能够以这种方式细粒度地调度下游模型，并在操作中不断补充或调整 query。对于末端模型，同一个目标的不同表达、不同形式的信息组合，以及临时变化的要求，都应该能够被理解并用于当前操作。这是我希望它具备的 query 泛化能力。

同时，决策必须是“闪念”的。信息整理、记忆提取和较长程的思考可以由上层大模型完成；末端则应该是一个瞬时决策的模型，在给定 query 和当前感知、反馈的基础上，即时决定下一步动作。我期待它既能接住丰富的上下文，又能像小脑一样迅速作出操作响应。

从期待走向核心问题定义#

梳理完操作泛化、操作安全和闪念决策，接下来需要回答：这些期待应该被定义成什么学习问题？沿着前两篇博客的思路，先把实际要完成的操作列出来，再确定模型需要描述什么、决定什么、控制什么。

先界定核心操作问题#

我先考虑三类操作：

操作类型	代表任务	核心操作问题
裸手动作，不接触物品	摆手、伸手、调整手势	如何让身体到达需要的位置和姿态，完成预期的运动？
手与物品交互	拿苹果、拉开抽屉、叠衣服	如何通过接触改变物品的状态，分别适应抓持、受约束运动和形变？
使用工具	用锤子敲击、用板擦擦黑板	如何把工具纳入操作，通过工具与目标的接触传递动作和力？

这三类问题把操作范围从身体运动，逐步扩展到手物交互和工具介导的交互。空间描述、动作决策和物理控制，都需要能够支撑这些任务。

借鉴自动驾驶，拆出三个核心问题#

借鉴自动驾驶的模块划分 ↗，我想沿着感知、行为决策、规划控制这三个功能层次，重新定义具身操作的问题：

自动驾驶中的对应环节	具身操作的问题空间	最核心的待解问题
感知与场景理解	支持操作的空间构建	仅为完成操作，最少需要描述世界中的哪些空间关系与变化？
行为决策	复杂而快速的交互决策空间	如何依据 query 和短时交互片段，即时选择、组合或切换下一段动作？
规划控制	接触物理控制空间（contact control space）	如何让身体形成根据物理反馈稳定操作、同时避免破坏的本能？

一、从感知到支持操作的空间构建#

我希望感知最终提供一个可以用于操作的空间描述：身体、物品和工具在哪里，彼此是什么关系，这些关系又如何随动作发生变化。它可能由一个包含三维空间与时间变化的 4D world model 承载。

这里的核心问题是：仅仅对于操作而言，空间描述的最小集是什么？ 哪些位置、姿态、表面和运动信息必须保留，才能支持接近、抓取、拉动或使用工具？

我目前的直觉是，对世界的重建与理解可以相对粗糙，只需保留与操作直接相关的空间结构，支持判断物品关系和接近目标。操作中精细的定位与调整，则应依赖触觉、力觉等末端传感器，在接触和物理反馈中逐步完成。空间描述需要细到什么程度，应以它能否支持后续的接触与操作为标准。

二、从元动作选择到复杂快速的交互决策#

对应自动驾驶中的行为决策，这里需要根据当前 query 和短时交互片段，决定下一段元动作。以跟车、让行、变道等常见驾驶行为为参照，机器人还需要面对抓取、推拉、折叠、敲击、擦拭等不同的操作方式，以及它们的组合与切换。

这里的核心问题是：怎样定义一个足够丰富、又能被瞬时决策的交互空间？ 模型需要根据目标、空间关系和刚刚发生的反馈，决定在哪里接触、采用什么动作、继续还是切换，以及下一段动作应达到什么局部结果。

我认为这一层最能体现具身模型的操作智慧。同样是物品没有移动，接下来可能需要重新抓握、改变施力方向，也可能需要停止。模型能否结合上下文作出恰当选择，决定了它能否灵活地把已有动作组织成新的操作。

三、从规划控制到接触物理控制#

对应自动驾驶中的规划控制，这一层要把选定的动作变成身体与物理世界的实际交互。我把它称为接触物理控制空间，也就是 contact control space。

这里的核心问题是：如何让身体拥有操作本能，把动作意图转化为稳定、安全的物理交互？ 这种本能同时包含控制与安全：能够根据接触、阻力、滑动和形变调整动作，也能在异常时停止或恢复。

拿苹果时，需要抓稳而不压坏；拉抽屉时，需要顺着允许的方向运动并响应阻力；擦黑板时，需要通过工具保持合适的接触。对这些操作，轨迹之外还要考虑施力、接触状态及其变化。我期待身体能在这些反馈中即时调节，让一次不准确的决策仍有被纠正的机会，守住低成本试错的边界。

问题解空间的初步构思#

沿着这三个核心问题，我想进一步构思它们可能的解法。当前的直觉是：通过压缩形成支持操作的空间，在丰富上下文中快速决定动作，再由高频交互形成身体本能。下面是三个环节的初步设想，具体表示和训练方式仍需验证。

一、空间构建：面向操作的多传感器压缩器#

这一层可以看作面向操作的多传感器压缩器：可能借助类似 BEV 的空间结构进行压缩，也可能借鉴 CLIP，通过对比学习形成共同表示。重心是压缩，同时保留操作所需的信息。

我更想探索的是：用不同类型的输入，叠加不同任务的对比学习，逐步学出这个空间。 很难构造一个覆盖所有操作、信息完备的数据集，不同任务所需的信息量也不同。简单任务的数据可能只有图像、bbox 和任务描述；画画等复杂任务则可能包含参考图、过程图像和力的反馈。希望利用这些各自只覆盖部分信息的数据，共同约束操作表示，而不要求每份数据都具备完整的观测与标注。

这个压缩空间还应支持当前感知的重建，以及给定动作后的状态预测，让学到的表示能够描述当前状态及其变化。

二、闪念决策：长上下文中的快速动作选择#

闪念决策对应的是决策空间。我认为这一环节会与 LLM 强相关：它需要接住较长的上下文，理解图像、文本、数值和相关记忆，并结合当前操作空间，快速决定接下来要做什么。上下文可以丰富，当前这一步的决策仍然需要迅速。

这一层的输出，我倾向于定义为低频更新的短段轨迹，或某个时刻的目标轨迹点。我考虑用关键末端执行器（EEF）的位置、姿态与轨迹来表达，主要是希望减少对具体关节结构的依赖，便于跨本体迁移操作经验，尤其是利用人类数据和 UMI 数据。不同身体可以围绕相近的末端目标，学习各自的执行方式。

这里的“低频”是相对于下层的接触控制而言，不意味着需要长时间思考。决策层给出局部运动意图，下层根据实时反馈完成细致交互。末端轨迹能否充分表达握持、施力和工具操作，还需要回到具体任务中检验。

三、接触控制：通过高频交互学出身体本能#

对于安全，我希望核心能力能够沉到身体这一层，形成类似本能反射弧的响应：在接触、阻力或滑动发生变化时，身体就能及时调整，而不必每次都等待上层重新理解和规划。这种本能既负责把动作做稳，也负责让不准确的决策仍有被纠正的机会。

我的直觉是，这部分能力可能主要依靠大量交互数据积累，例如 UMI 一类操作采集数据与仿真数据；技术路线则可能借鉴 locomotion 中学习身体控制的思路。不同数据能提供哪些动作与接触反馈、是否足以支持这种本能，需要具体区分。

这一层主要聚焦本体空间与高频交互：根据身体状态、末端传感器和局部目标，不断调整实际动作，并在异常时减力、停止或恢复。数据规模可能是关键，但是否形成了稳定、安全的响应，最终仍要通过实际交互来检验。

这三个环节可以先串成一条闭环：观测与任务 → 压缩后的操作空间 → 低频轨迹或末端目标 → 高频身体控制 → 新的观测与反馈。 空间构建保留操作所需的信息，闪念决策决定局部目标，身体本能则在真实接触中把它落实。

四、数据来源#

状态压缩的数据来源应该最广，也更像 CV 领域的问题。 操作数据（包括人类操作）、语义数据、空间表征数据等，都可以提供学习信号。不同来源各自覆盖一部分信息，通过多任务学习共同支撑状态压缩。

决策数据，我倾向于以人类操作数据为主，例如 UMI，机器人数据作为较小部分的补充。 大模型辅助构造数据也可能是重点。为了学到泛化，还可能需要把多轮操作记忆合入，让决策能够利用此前的操作过程与反馈。

密集操纵数据，我仍倾向于 UMI 这类采集方式，但要求信息完整、精度高。 除了视觉与运动轨迹，还希望包含力觉、触觉等高频数据，甚至更多末端传感器的信息，保留细致的交互过程。这是对采集系统的要求，无论二指夹爪还是灵巧手，都是如此。

关于空间构建的进一步展开，见《从观测到动作：操作空间的完整构想与最小子集》：先构思完整操作空间，再分析一个最小子集及相关工作。

另外两个环节分别展开在《闪念决策：长上下文中的快速具身判断》和《让身体形成操作本能：高频控制、触觉与交互数据》中。