闪念决策：长上下文中的快速具身判断

在《把动作放回世界：具身操作的期待与问题空间》中，我把操作系统拆成空间构建、闪念决策和接触控制。空间构建讨论如何压缩观测，这一篇接着讨论：模型如何利用丰富的上下文，迅速决定下一步动作，同时保留一定的认知能力？

我用“闪念决策”描述这样的期待：长程目标理解、知识组织和复杂规划可以交给上层大模型；端侧仍然需要理解调度、利用记忆、判断短程因果，并在现场及时改变行动。上下文可以很长，当前这一步的输出需要很快。

最初构思这一层时，我还没有参考 Jev。现在，TypeSafe 的 System One 模型提供了一个值得借鉴的方向：把模型的理解能力用于快速、结构化的判断。它尚不是机器人方案，但让“有认知能力的瞬时决策”有了更具体的参考。Jev 官方介绍 ↗

一、输入：统一为 token，接住丰富而不定长的上下文#

1. 统一输入，容纳丰富上下文#

我倾向于以 token 序列作为统一的输入形式，让文本、图像、空间描述和本体状态共同构成模型的上下文。

模型需要支持灵活的任务表达：既能接收简短指令，也能接收参考图、数值目标和详细的操作说明，并结合记忆与当前观测作出判断。

我期待的上下文，至少能容纳以下内容：

这些内容不必每次齐全，也不应被固定成“一句话加几帧图像”的唯一模板。简单任务可以只有目标和当前状态，复杂任务可以带参考图、多轮历史与详细约束。输入长度和信息组合，应当随任务变化。

2. 多轮记忆作为输入上下文#

多轮操作记忆由上层 agent 组织，作为 query 的一部分传给下游决策模型。每一轮可以包含：

操作前：世界描述 + 本体状态
执行：采取的 action
操作后：下一时刻的世界描述 + 本体状态
补充：上层提供的分析、评价或纠正（如果有）
反馈：reward、成功或失败、人工纠正（如果有）

上层将多组记录与当前任务、最新观测一起传入。下游决策模型读取这些已有信息，直接快速给出下一步动作。分析与记忆整理属于上层的信息组织，闪念决策的重心是利用上下文即时选择动作。

例如拉抽屉，上层可以把此前“拉动后没有位移”“调整姿态后开始移动”等记录一起传入，下游据此选择接下来的动作。这些历史记录与图像、数值要求一样，都是大脑为小脑组织的输入。

3. 接受大模型的细致调度#

上层大模型给下游的 query，可以远比“拿起苹果”细致。例如，它可以指定从哪一侧接近、避开哪个区域、先轻触还是直接抓握，也可以用图像标出接触点，用数值限定移动范围。

画画更能说明输入为什么需要丰富：调度可能同时包含参考图、当前画面、这一笔的局部目标，以及笔触方向和接触要求。端侧需要把这些信息用于下一段操作；参考图中的外观细节，也不能都被压成一句文字描述。

π0.7 ↗提供了相关参考：它把任务与子步骤语言、速度和质量等元信息、控制方式以及视觉子目标纳入条件输入。对我而言，这说明操作模型的 prompt 可以描述“怎样做”，并通过不同形式的条件接入多样的数据。

在这个构想里，长短期记忆、图像、数值和详细动作要求，都属于大脑为小脑组织的 query。端侧要保留足够的理解能力，才能接住这些调度；上层则负责检索、整理和必要的长程思考。

二、输出：快速给出动作，同时保留模型的认知能力#

1. Jev 的启发在哪里#

Jev 的公开接口接受状态与问题，返回选择、评分或真假判断等带类型的结果。它把输出直接交给软件使用，并将同一请求中的多个判断并行处理。官方接口说明 ↗

对闪念决策的启发是：理解复杂输入与生成很长的输出，可以分开设计。 模型可以读取丰富背景，最后只给出当前需要执行的少量结果。这可能减少逐 token 生成的开销，同时保留上下文对判断的作用。

但 Jev 与 VLA 解决的任务不同。官方展示的 Doom 示例使用结构化文本状态，并非直接读取游戏图像；软件任务上的速度与判断能力，也不能直接推导成真实机器人中的控制效果。Jev 发布说明 ↗

2. 输出围绕末端目标组织#

我仍倾向于用关键末端执行器（EEF）的位置、姿态与时间来描述下一段动作，也可以只给某个时刻的目标点。这样做主要是为了跨本体经验迁移，尤其是复用人类操作与 UMI 数据：不同身体可以围绕相近的末端目标，学习各自的实现方式。

具体输出可以包含三类内容：

• meta action：继续、改变接近方式、重新抓握、停止或恢复。
• 局部运动目标：手、指尖或工具作用点应当到哪里，以怎样的姿态运动。
• 必要的交互要求：保持接触、轻握、沿约束方向运动，以及任务相关的施力目标或限制。

例如擦黑板，局部目标可以是让板擦沿指定区域移动并保持接触。决策层选择擦哪里、向哪边走，身体控制层则根据接触反馈实时调整。对灵巧手，单个手腕位姿可能不够，还需要指尖、握持形态或接触要求；这也是末端接口需要继续验证的部分。

紧凑输出不意味着把所有任务硬塞进几个固定动作类别。离散选择可以采用短输出，连续轨迹可以由动作头生成；关键是让输出承载执行所需的信息，同时避免在实时路径上生成无用的长文本。

3. 操作训练不能只留下动作惯性#

模型在某个下游任务上训练得越来越熟练，却越来越听不懂新的要求：遇到熟悉画面就重复动作，忽略临时指令，也不会利用之前的失败。

希望保留的“智慧”：能理解新的调度，结合历史解释当前状态，选择合适的局部动作，并在事情没有按预期发生时改变策略。它不必每次进行深度推理，但应具备这种有限、及时的 agent 能力。

三、速度：守住约 10 Hz 的响应，再争取更大的模型#

1. 10–30 Hz 指什么#

我对闪念决策的初步期待是 10–30 Hz，其中更倾向于以 10 Hz 作为基本目标，即大约每 100 毫秒更新一次局部动作决策。

选择 10 Hz 的直觉是，这样的频率可能已经足够指导一般的肢体运动。决策负责选择下一段动作，可以保持相对低频；身体控制则根据更高频的接触和力觉反馈，持续完成动作中的细微调整。

这里要测的是从新观测进入系统，到新的可执行决策产生的延迟，包括输入编码、上下文处理和动作输出。

2. 长上下文与低延迟的取舍#

长上下文与低延迟之间存在 trade-off：模型需要利用丰富的上下文，也要及时给出决策。对于多轮输入中保持相同的前缀（prefix），可以复用 KV cache，减少重复计算、降低推理延迟。

测速度时，我尤其关心复杂上下文和临时改口后的延迟。仅用短 prompt 测到很快，不能说明系统在真实操作历史下仍然足够及时。

3. 参数量的选择与 base model“智慧”的权衡#

我的经验判断是，8B 大致是基础模型具备 agent 能力的参数量下限。在满足约 10 Hz 决策频率的基础上，我倾向于根据推理平台的能力，尽可能选择更大的参数量，以获得更强的基础模型能力。

下一篇：《让身体形成操作本能：高频控制、触觉与交互数据》。

研究设计续篇：《具身 Sys1：从 Jev 式判断到零样本末端控制》，进一步整理任务与输入输出案例、模型结构、混合分类与 EEF 训练，以及仿真和真机验证协议。