具身 Sys1：从 Jev 式判断到零样本末端控制

《闪念决策》讨论了我对快速具身判断的期待。这一篇把构想展开为完整的研究方案：先说明 Sys1 要承担什么，再讨论 Jev 提供的参考、模型与数值接口，最后收敛到可检验的最小方法、数据和实验。

以 Jev 的类型化判断范式为参考，研究一个连接 Sys2 与 Sys0 的通用局部决策模型：输入丰富、可变的多模态上下文，输出紧凑的判断与末端轨迹，并在真实执行后持续纠错。

本文先定义 Sys1 应承担的认知与控制职责，再梳理 Jev、开放决策模型和具身策略的相关研究，提出“共享多模态骨干＋问题条件化解码器＋类型化读出”的完整设计。在资源有限的第一阶段，将任务收敛为低频 EEF 轨迹与跨场景分类判断的联合学习，以语义抓取作为闭环载体。最小实验需要证明的不是接口能输出数字，而是分类中保留的知识能够改变动作，并从训练域迁移到未见的真机物体和场景。目标平台为非夕机械臂、夹爪与多目 RealSense RGB；部署不使用深度通道。

01 · Sys1 的期待：把理解落实为眼前的行动#

设想上层说：“拿起左边的杯子，避开旁边的碗；刚才没有抓稳，这次换一侧接近。”执行这一要求不只需要识别“杯子”，也要判断“左边”相对于什么、之前哪里失败、当前是否仍有操作空间，以及下一段末端运动应如何改变。这些判断比长期任务规划更局部，却比跟踪一个固定轨迹更有认知含量。

我们把这层能力称为 Sys1。它接住 Sys2 整理的意图与背景，在当前观测和交互记忆下形成局部计划，再把计划交给 Sys0 执行。它可以输入语言、图像、结构化数值和反馈，但不需要通过语言解释自己；输出是程序可直接使用的索引、状态、参数和短段 EEF 轨迹。这与《闪念决策》提出的丰富上下文、紧凑输出和及时调整方向一致。[1]

预期保留的能力#

第一是听得懂新要求：同一画面换目标、接近方向或禁区，动作应正确改变。第二是会使用已有证据：参考图、历史失败和当前状态能共同决定下一步。第三是知道何时不能继续：观测不足、目标已变、执行未到位时，能观察、恢复或交回 Sys2。第四是跨场景迁移：换物体、布局和相机后，仍尽量复用语义与局部控制知识。

这些能力不要求 Sys1 承担所有长程推理，也不要求输出越多越好。理想的 Sys1 是“有足够理解能力的短程决策者”。其低频是相对于身体控制而言；约 10 Hz 是后续响应目标，最初应先验证正确性与闭环泛化。

02 · Jev 是 Sys1 的参考方案，而不是现成的机器人模型#

Jev 的重要启发是将“理解输入”和“生成文字”分开：请求给出状态与有类型的问题，模型返回选择、评分或真假判断，程序据此行动。官方接口强调直接返回类型化结果，以及多个问题的并行求值。这使“读很多背景、只回答少量关键问题”成为明确的模型接口。[2] ↗

前两类很接近 Jev 的原语，第三类则是我们要补上的连续空间接口。这里的“Jev 式”指问题条件化、非语言、类型化读出，不限定必须采用 Jev 服务、离散分箱或某一种训练算法。训练一个有类似接口的开放模型，也不等于复现了 TypeSafe 的私有架构与 RLCD 配方。

**需要主动偏离 Jev 的一点：**官方独立问题求值适合独立判断，而一条轨迹的位置、姿态、夹爪和时间彼此相关。因此本文让同一计划中的槽位联合交互；不能把许多独立坐标判断拼起来，就称为一条联合可行的轨迹。公开图像／Box 能力说明输入与输出原语可以扩展，但没有证明从像素到三维抓取的能力。[3] ↗[4] ↗

03 · Related work：已有研究解决了哪些部分#

相关工作按研究问题组织，而不是按项目出现的顺序堆叠。以下区分原始论文或公开实现、厂商接口描述与有限演示；本文没有复现这些模型。过去收集的完整来源仍可查阅，但不会把同一结果的转载算作新增证据。

3.1 类型化判断：从已有 LLM 读出决策，还是重新训练？#

这些工作共同支持一个起点：预训练模型已有的知识可能通过小型读出变成决策。但它们没有证明“只训练一个 head 就能保留所有认知”，也没有证明分类知识自然变成机器人动作。本文将这个缺口放到混合训练与受控动作实验中检验。

3.2 数值输出：能读出一个数，与能形成一条路径不同#

NumericJev／JevNext 把数值范围递归细分为离散选择，避免依赖自由文本数字格式；它可以控制读出分辨率，但需要顺序决策轮次，其数值任务结果不能外推到整段运动。[19] ↗[20] ↗阈值 CDF、分箱与连续回归也都是可行的编码工具。对于机器人，必须进一步解决单位、范围、旋转、时间、多个合法解和路径联合一致性。

因此本文将“数值表示”和“共享决策范式”分开：连续 head 是最小实验的工程选择；离散 head 是有价值的同条件对照。最终要比较的是几何有效性、闭环成功和时延，而非仅比较格式合法率。

3.3 具身模型：认知、空间目标与动作执行如何连接#

3.4 Jev 与机器人：哪些是选择，哪些真的生成动作？#

独立评测还提示需要检查选项顺序、问题改写、缺信息、概率一致性与校准，而不能把“输出为合法类型”当作可靠性证明。[43] ↗[44] ↗[45] ↗[46] ↗

3.5 Astra 提供的是目标参照，而不是可直接抄用的训练配方#

第三方 Astranomy 研究区分直接策略与带上下文／工具的 agent，并比较是否给出相机和夹爪几何；不同配置都存在可行结果，但显式几何对直接策略的影响较大。[47] ↗另一个 RoboDojo pilot 明确使用 RGB、本体与静态标定，没有输入深度。[48] ↗这些说明应比较多种几何条件，不能假设 Astra 一律有标定或一律无标定。

OpenAI 发布资料没有披露足以重建本项目所需的抓取训练／标定配方；第三方使用 OpenAI 模型的机器人系统，应按作者的 harness 解读。[49] ↗我们真正借鉴的是“读取丰富上下文—给出局部动作—根据结果纠正”的工作方式。非语言学生能保留多少这种能力，需要在相同观测和执行条件下测量。

04 · 终局设计：容纳哪些任务，输入输出是什么#

终局 Sys1 不应被“抓取”或“2D 框”定义。它是一组可组合的局部判断与规划能力；任务数量不等于输出类别数量。下面列出 12 个任务族作为覆盖清单，而不是 12 个固定动作，也不是第一轮必须同时实现的范围。

表中数值、索引与状态是接口示例，不是已运行结果或可直接下发的机器人指令。字段名与枚举名由程序映射；模型实际读出候选索引／分布或数值张量。yaw[8,2] 表示每个时刻的 cos/sin。

新的物体、任务描述和候选集合可以通过上下文组合接入；新的物理能力则仍需数据和执行器支持。比如已有“位姿＋夹爪”接口可以服务许多抓放任务，但不能只修改 schema 就获得灵巧手指尖控制或力觉。

输入契约：内容灵活，语义可追溯#

每次请求由 ContextPack＋QuestionSet＋OutputSchema 组成。ContextPack 按块容纳任务与约束、当前图像、参考图、身体状态、过去的状态—动作—结果、长期经验和 Sys2 分析。QuestionSet 说明本次要解决哪些判断；OutputSchema 限定输出类型、坐标系、单位、时间范围与可用末端。

每个块至少有 type、role、timestamp、source；图像另有 view_id，空间量另有 frame 与单位。历史动作区分“请求执行”和“实际执行”。上层分析被标记为假设，不能覆盖传感器事实。缺少图像时可以处理纯文本或状态分类，但缺少关键空间证据时不应被强迫输出唯一轨迹。

输出契约：共享原语，组合任务#

输出中的 JSON 字段名由程序序列化，不是模型逐 token 写 JSON。plan_id、request_version、观测与启动时间由框架传递。引用对象仅在请求里有相应候选表时返回；没有检测器或对象列表时，模型仍可从 RGB 直接输出 EEF，不能暗中依赖不存在的对象 ID。

05 · 数值如何表示：先把物理语义定清，再选择编码#

“输出 float”只是程序类型；机器人需要的是“哪一个工具点，在什么坐标系，什么时候，到什么位置和姿态”。我们统一输出末端任务空间，减少对关节数量和连杆长度的直接依赖，同时保留本体描述和可达性约束。

Y = {status, phase, target_ref?, π[K], trajectory[K,E,H], valid_mask}
trajectory[k,e,h] = {p_xyz [m], R [rotation], gripper, time_s}
网络预测数值与选择；框架补充 request_version、TCP、frame、observed_at、plan_start。

位置、旋转、时间和夹爪#

TCP 与法兰转换由确定性代码完成：T_base_flange = T_base_tcp · inverse(T_flange_tcp)。这个身体接口即使在不输入相机标定的条件下也必须定义。位置相对化同样不能消除未知相机轴与动作轴的关系。

连续回归、分箱和数值树如何选择#

抓取可以有多个合法姿态，绕障可以有多条路径。第一轮在限定俯抓场景使用 K=1；出现多解平均问题后，扩展 K=3 个整段轨迹 mode。训练按整条路径匹配，推理选择一条完整 mode，禁止逐点选最优或对左右绕行取均值。best-of-K 回归加模式分类不是已校准的联合概率密度；若需要密度意义，再定义相应似然。

连续 head 是数值实现，Jev 式接口是组织原则，两者不冲突。没有必要为了“像 Jev”把所有坐标都变成分类，也不能因为选择回归就放弃分类与动作共享上下文。

06 · 模型如何设计：共享理解层，区分必要的输出语义#

终局结构采用可访问隐藏状态的预训练 VLM，沿用原图像处理器与 tokenizer。文本、图像和历史先进入统一上下文；精确本体／几何数值可以经小型数值适配器追加到记忆中。问题、schema 与候选描述也在本次骨干输入中编码；其表征再结合类型、末端与时间索引生成查询槽，从这份记忆读取所需判断或轨迹。数值适配器保留单位和坐标语义，不承担从未知相机到机器人坐标的隐式确定性变换。

**“统一 head”不必理解为所有量使用同一条线性层。**合理的共享发生在上下文表征和问题解码器；末端位姿与动态候选具有不同输出空间，使用小型类型专用读出是必要的。若用一套互不相关的模型分别做分类和控制，就无法检验共享认知是否迁移到动作；若把所有东西硬塞进相同固定类别，又会限制任务扩展。

具体读出#

Choice 查询得到向量 z_q，与当前候选描述的表征 c_i 进行条件化打分：p(i|C,q)=softmax_i f(z_q,c_i)，padding 候选被屏蔽。候选可以是文字、图像区域或对象记录，语义由输入提供，不靠固定标签 ID。轨迹查询由末端索引、时间索引和字段类型构成；一次前向并行产生 H 个目标，相关槽位在解码器中交互，不需要把先前真实动作当未来输入进行 teacher forcing。

完整模型可以在一个请求里回答多个问题，但不相关分类题之间不必允许任意信息串流。第一版每条样本只问一个任务，或者输出一组相关的抓取状态与轨迹；终局扩展到多问题时，显式设置 query 分组 mask，避免一个问题的答案成为另一个问题的隐式泄漏。

长上下文与推理预算#

上下文策略优先保存最近完整状态转移、关键失败、当前有效目标和必要参考。旧记录可由 Sys2 摘要，但摘要不是新增观测。先验收 4–8k，再扩展 32k／64k；长序列容量不等于能使用遥远证据。可复用不变前缀，但修改旧目标／历史时应使相关缓存失效。

单次前向 head 可能无法继承 Astra 的多轮推理与工具使用。若后续需要，允许固定次数的 latent refinement 或明确升级 Sys2，但应分别报告推理预算和独立成功率；不能在线让 Astra 算完最终轨迹，再把学生复用的成绩记为独立 Sys1 能力。

07 · 最小验证单元：EEF 轨迹＋混合分类任务是否足够？#

**可以用这两类输出启动研究，而且这是推荐的第一步。**它们分别承载“应该怎样动”和“根据上下文作什么判断”，足以构建一个小而完整的 Sys1 原型。但这只是输出类型的最小化；如果数据只有无语义的轨迹回归和彼此无关的分类，模型可能把两件事各自学会，却没有学会用理解指导行动。

两类输出，三类数据#

T 及所有动作基线都保留执行所必需的阶段、终止和观察状态监督；B 是额外的目标指代、约束、证据与恢复判断配对。不能通过删掉 T 的基础闭环能力，制造混合分类的优势。分类不必额外引入很多输出头。抓取的 execute／observe／complete／escalate、阶段和失败类型均可通过同一个 Choice 接口表达。因此最小模型仍是“分类＋EEF”两类读出；它已经可以形成完整闭环，而不是只能离线拟合未来坐标。

保留什么，暂不做什么#

载体限定为单臂、平行夹爪、桌面不透明刚体的俯抓。输入保留多目 RGB、文本要求、本体与少量交互历史；姿态保留俯抓 yaw，输出包含夹爪与阶段。首先验证目标选择、临时改口和一次失败后的恢复。复杂力控、双臂、灵巧手、长任务、任意姿态与超长上下文后置。

第一轮仍以真机零样本为最终检验：仅在仿真跑通不算完成最小研究。缩小的是技能和物理复杂度，而不是取消语义、视觉或跨域迁移。单纯“给定三维目标点→EEF 插值”可以作为工程检查，但没有回答本研究问题。

三个可以被实验否定的假设#

1. **H1 · 接口假设：**给同一基座增加非语言读出后，仍能正确使用目标、约束和操作历史。若原生接口会、head 不会，说明接口学习不足。
2. **H2 · 混合假设：**T＋B＋G 比仅 T 更能响应未见要求，并保持通用分类能力。若仅分类分数提高、动作不变，说明知识没有跨到轨迹。
3. **H3 · 迁移假设：**上述模型经仿真／公开数据训练后，在冻结模型与提示的条件下能完成未见真机抓取。若仿真好、真机差，应定位到视觉、空间映射或执行，而不是宣布范式成立。

08 · Method：怎样把这个最小单元训练成局部策略#

8.1 模型实例与推理流程#

主候选沿用具有原生图文入口的 Qwen3.5-9B，4B 用于成本对照；确切 checkpoint 与依赖在正式实现时固定。选它是因为可访问和训练隐藏状态，不意味着它已有 Astra 级能力。[51] ↗query decoder 起点为 2 层、256 维、8 个 attention heads，K=1、H=8，Choice 与数值读出共享 decoder。

每次局部决策

1. 读取最新有效目标、2–3 目 RGB、实测 TCP／夹爪及最近 2–4 轮状态转移。
2. 按角色、视角、时刻构造 context；根据请求产生阶段／状态与 EEF 查询。
3. 骨干前向一次，decoder 并行读出判断和 0.8 s 的末端目标序列。
4. 若需要观察或升级，返回类型化状态；若可执行，检查版本、时效、范围、连续性、IK 和碰撞。
5. Sys0 执行已接受计划的短前缀，返回真实运动与夹爪状态，重新观察。

Sys2 首轮可以由固定任务包替代；先测清楚 Sys1，再接入在线上层。目标变更使旧计划失效。Sys0 固定，不参与本研究的联合训练；它可以插值和追踪，但不代替模型选择正确物体或重新理解指令。

8.2 如何让分类真的帮助动作#

关键不在于把两种 loss 相加，而在于同一证据的跨任务配对。对同一组图像和历史，分别构造“选目标”“判断是否到位”“预测下一段 EEF”的问题；答案在语义上必须一致。再改变目标或有效约束，重新求解正确轨迹，得到反事实配对。训练问题和答案分离，不能把正确分类标签直接作为轨迹样本的输入。

历史训练也采用可辨别的成对条件：当前观测相近，但先前已执行动作、物体响应或失败类型不同，下一步可能不同。无关旧文字不应改变动作；缺少关键证据时允许 observe。这样可防止模型仅把“失败”这个词当作固定恢复动作触发器。

8.3 损失与共享梯度#

L = λT · L_action + λB · L_bridge-choice + λG · L_general-choice + λK · L_anchor
L_action = L_EEF + λcontrol · CE(phase / lifecycle)
L_EEF = masked mean [Huber(p) + λR · rotation_error + λg · gripper_error]
L_Choice = CE；多个合法答案时为 −log Σ_{i∈A_valid} p(i)
L_anchor = KL(冻结参照分布 || 当前分布)，两者使用相同问题与候选支持集。

各项损失先按有效样本和字段归一化，再按开发集与梯度量级设权重；不让 H×3 个坐标天然压过一个分类标签。位置按训练域尺度归一化，yaw 用周期损失；可对称夹爪的合法等价姿态按对称集合求最小误差。标签 mask 来源于记录与验真器，不来源于模型自己预测的 validity。

锚定是可选项，起步可设 λK=0。启用时，用已完成能力画像的冻结原生选项分布，或第一阶段已学会接口的冻结模型作参照；对齐候选顺序和支持集，不能把随机初始化 head 的分布当知识教师。无同义候选映射的样本不计算该项。

第一阶段冻结 VLM，训练 decoder／readout；第二阶段若确有证据表明表征不足，开放 rank 16 LoRA 与 head 联合训练。位姿与分类损失都可通过共享表征发挥作用；隔离连续梯度作为后续消融，不提前假设哪种更好。最小训练不必生成语言，原 LM 接口仅用于冻结能力画像与能力保持评估；需要时再加入原生回放锚定。

8.4 有限资源下的训练安排#

默认资源上限仍为 16 × A100 80GB，先用 1–2 卡量测实际显存与吞吐；不为填满卡数预设训练量。先训练一条种子排错，主方法与关键对照再补 3 个训练 seed。比例、学习率和步数是可执行的起点，不是已验证最佳配置。64k、128k 与 10 Hz 均在核心迁移假设之后逐项验证。

8.5 几何信息与频率是实验条件#

G0 输入多目 RGB、本体、身体描述与交互历史，不给相机内外参；G1 在此基础上加入静态标定；G2 再加入由 RGB 推断的空间 token。最小实验先比较 G0 与 G1，G2 后置。所有条件运行时都不读 RealSense 深度。G0 不能偷偷使用通过标定投影的坐标网格；G1 的静态标定属于设备配置，不是物体任务示范。

**G0 的难点是可观测性，而不只是模型规模。**任意未知相机下，单幅目标图像一般不能唯一确定机器人坐标中的米制位置。多目也需要跨视角与尺度线索；可见机械臂／已知工具尺寸、带实测位移的历史和训练中的相机变化可以提供这些线索，但不保证总能消除歧义。因此 G0 需单列“首帧、可见机器人”“有运动历史”“未见 rig”等条件；无法确定时允许补观察。G1 是判断失败是否来自空间映射的对照，而不是预先认定所有模型都必须标定。

训练和部署要对齐观测到启动的延迟：在仿真采集中随机化该延迟，并按计划实际启动后的时间网格取未来标签；延迟或状态偏移超出训练范围时废弃旧包并重新观察。离线记录若无法恢复执行时序，只用于不依赖精确延迟的辅助监督。

轨迹点间隔 0.1 s、模型重规划频率和 Sys0 控制频率是三个量。首先量测能稳定完成的 1–2 Hz 局部循环，按延迟选择执行前缀；之后再争取 10 Hz。若推理超过剩余路径时域，则保持已验证目标或暂停，不盲目延伸路径。真机始终记录墙钟时延和 t_obs、t_start，不能复制“推理时暂停仿真”的时间口径。

09 · 数据如何获取：从可控转移到可迁移监督#

第一批数据推荐以可重置的桌面仿真为主：它能生成多视角 RGB、EEF 与夹爪轨迹，并验证语义变化后动作是否仍有效。公开机器人数据用于补充真实外观与运动经验，但不是把不同 action 数组直接拼起来。无论来源如何，学生输入与教师真值严格分开。

9.1 仿真采集：一条 episode 同时提供 T 与 B#

1. **定义场景族并先划分。**例如训练／开发／测试分别采用 40／10／20 个不重叠资产家族；将同一 mesh 的缩放、纹理和改名视为同源。相机 rig、布局和指令组合另做留出。数量是先导预算，实际以可获得且合法使用的资产为准。
2. **采集有几何依据的教师行为。**在 LIBERO／robosuite 类环境上选择或构建抓取子任务，使用脚本、运动规划器或示范生成接近—对齐—闭合—提起—验证片段。教师可以读取仿真真值；学生只读按 G0/G1 声明的 RGB 与状态。[52] ↗
3. **保存完整时序。**记录 RGB、view_id、时间戳、TCP／夹爪实测状态、请求控制、实际执行、相机与工具配置、任务条件和结果。保留控制延迟与跟踪误差，不能把请求动作直接当实际状态。
4. **构造 EEF 标签。**从验证有效的教师行为中取未来实测 TCP 状态，在目标时间网格重采样；旋转按合法旋转插值，夹爪开合事件单独保留。未来数据仅在 targets 域。发生失败后，从纠正行为重新取监督片段，不让失败轨迹伪装成成功轨迹。
5. **构造桥接判断。**用当前可见证据回答目标、空间约束、阶段和状态；成功／失败标签由未来结果验真，但提问必须区分“目前是否抓稳”和“继续会成功吗”。学生无法观测的当前事实标未知，不强制拟合特权状态。
6. **加入成对条件与恢复。**同场景换目标、换接近侧、加入禁区，再重规划／重执行得到标签。主动制造夹空、位置偏差、物体移动和视角缺失；保留原始失败及后续恢复。
7. **运行质量检查。**确认时间截止、单位、TCP、相机同步、轨迹可达性、事件顺序和分组隔离；抽查视频及 replay。原始失败率、标签来源和过滤比例一起记录。

起步采 1,000–3,000 条独立 episode，每条选取 10–30 个决策时刻；先验证覆盖再扩规模。同一条轨迹的 100 个窗口不等于 100 个独立环境。材质、背景、光照、相机、物体尺寸、夹爪几何、摩擦和控制延迟需要随机化，但随机化不能保证现实域被覆盖。

9.2 开源数据：按用途选择，而不是一次混入所有数据#

明确区分 S-sim（只用仿真具身数据＋通用数据）和 S-mix（再加入其他机器人的公开真实数据）。两者都可以对目标非夕平台零样本，但只有前者能回答纯 sim-to-real 的问题。资源有限时先跑 S-sim；若视觉域差成为明确瓶颈，再引入经过筛选的 S-mix，而不是改变数据后继续沿用同一实验名称。

为了让第一轮数据可落地，B 从每个被选中的操作时刻生成 2–4 个可验真的问题，并按源 episode 与 T 一起划分；G 先整理约 2,000 条训练、500 条开发和 500 条留出问题，覆盖文本证据、图像指代、空间关系和约束组合。G 的源图像／文档必须先分组，再生成问法与候选，不能把同一源内容的不同改写分到训练和测试。这个规模只用于接口与混合训练 pilot，后续按覆盖缺口扩充。每条记录都带来源、许可、标签生成方式与验真状态；先选可追溯的小集合，比无法审计的大混合更容易解释结果。

9.3 三种输入路径如何进入数据#

9.4 一个统一记录格式#

<code>{
  "group": {"source_episode": "…", "asset_family": "…", "camera_rig": "…"},
  "inputs": {
    "observed_until": 12.0,
    "context_blocks": ["task", "rgb_views", "body", "past_transitions"],
    "question": "下一段怎样运动？",
    "output_schema": "eef_topdown_v1"
  },
  "targets": {"trajectory": "future EEF labels", "field_mask": "…"},
  "provenance": {"teacher": "…", "verified_by": "…", "split": "train"}
}</code>

这是格式示意，不是有效训练样本。分类题使用相同 inputs 结构，将问题和 targets 换成当前候选及分类标签。source_episode、路径名和教师注释不能泄漏测试身份或未来答案。

10 · 仿真测试：先证明动作真的受理解支配#

仿真分两层。第一层是离线受控问题：分类、同场景改口和数值接口是否正确。第二层是闭环 rollout：模型是否能在自身动作造成的新状态中继续完成抓取。离线轨迹误差下降不替代闭环成功。

10.1 主要对照组#

主比较保持相同机器人 episode 曝光量、骨干、动作表示与执行器，并报告混合数据增加的计算；再做固定总 token／训练算力的补充对照。两种口径不能混用，也不能在增加数据后把收益全归于新 head。第一轮只跑 T、T＋G、T＋B＋G 和 O；N 与 Astra 可先在固定小子集评估，资源允许再扩大。

10.2 留出条件#

先导可按 5 类条件 × 20 个独立场景 × 4 个指令／扰动条件组织约 400 次 rollout／模型；同场景四条不是独立样本，统计按场景聚类。测试清单提前固定，全部失败与拒绝计入。主方法和关键基线至少 3 个训练 seed；评估随机 seed 不能替代训练 seed。

10.3 判定知识进入动作，而非只保留分类#

必须同时看三项：G 的未见分类成绩是否保持；B 在未见操作条件下是否正确；对应轨迹是否满足同一条件并完成任务。对“抓杯子／抓碗”的成对测试，两条都正确才算通过，不以轨迹变化幅度代替正确性。无关措辞改写则应保持任务结果，不要求输出逐点完全相同。

如果 T＋G 保住分类却不改善动作，而 T＋B＋G 改善，则支持桥接数据的作用；如果三者相同，就没有证据说明 mixed classification 对轨迹有帮助。如果只在提供真值 3D 的条件下改善，则结论局限于空间读出，尚未证明视觉策略。

仿真通过后仍不能推定真机成功。还要用固定模型在未见相机、材质和执行条件上压力测试，并把已知域差带入真实测试设计。建议将“ID 基本抓取达到约 80%、关键语义／历史对照出现正向结果”作为进入真机的开发门槛起点；阈值在开发集锁定，并非普适成功标准。

11 · 真机测试：在非夕＋多目 RGB 上检验零样本#

目标平台是非夕机械臂、夹爪与多个 RealSense 的 RGB 图像，不使用深度通道。第一轮按平行夹爪俯抓设计，具体机械臂型号、夹爪行程、TCP 与 RDK 版本在接入时核对。设备初始化需要控制模式、坐标约定和实际反馈接口，不能仅凭品牌名推断。

11.1 零样本究竟指什么#

第一轮训练过“抓取”技能，所以主要结论是未见真实实例／场景与条件组合上的 zero-shot transfer，不是“从未学习抓取却突然会抓”。如仿真包含非夕 URDF 或能力描述，则可说没有目标真机任务数据，不能说完全未知本体。基础模型预训练可能见过类似物体，应如实记录这一限制。

11.2 先固定执行器，再冻结整套测试条件#

用规则控制和已知空中目标检查 TCP、轴方向、时间、夹爪开合与回执，不通过这些测试学习目标抓取策略。Sys0 对所有比较组保持相同版本，执行相同插值、限幅与拒绝规则；不得只替某个模型修正目标。复杂重规划器若加入，应作为单独辅助条件。非夕 RDK 提供实时与非实时接口，具体调用与频率依实际设备核对。[55] ↗

冻结模型权重、prompt、上下文打包、相机处理、归一化、阈值、schema、Sys0 及预算。正式开始后遇到问题只记录，不调整后继续沿用同一 zero-shot 分数；修复后应以新版本重新评测预登记清单。

11.3 测试清单与成功定义#

先导测试采用 30 个未进入训练／开发的真实物体 × 3 个布局 × 2 个指令条件，共 180 个条件／系统。包括简单属性指代、关系指代和一项接近约束；选能由当前夹爪俯抓的刚体，并公开纳入／排除规则。透明、软物、复杂把手、密集遮挡另列挑战集，不混进第一轮技能定义。

• 意图正确：选对物体，满足有效指令和禁区要求。
• 真正抓起：正确物体离桌 ≥5 cm，保持 ≥2 s；放置成功另计。
• 可恢复：分别报告首次尝试与最多一次重试的成功率。
• 代价明确：超时、拒绝、碰撞、观察次数、总耗时与端到端延迟。

5 cm／2 s、重试与时限是预登记起点，需在测试前固定。成功由独立视频判定／人工盲评及可用实测信号核验，不能由 Sys1 自报完成来评分。每次 reset，随机模型执行顺序；按物体／布局聚类计算置信区间，而不是把每帧当独立样本。

11.4 与 GPT‑6 Astra 怎么公平比较#

Astra 是最终外部参照，必须在同一台非夕和同一测试清单上实测，不能移植网络演示的成功率。给它与 Sys1 相同的 RGB、本体、几何条件、有效指令、历史额度、动作接口与执行器；记录确切模型快照、reasoning 设置、工具和调用预算。Astra 可以通过原生工具／文本接口输出数字，学生直接通过 head 输出，格式错误与拒绝都计入端到端结果。

分开两条比较：能力赛道给相同动作／观察预算并放宽统一墙钟上限；部署赛道给相同墙钟时限，计入推理等待。Direct 与 Agentic Astra 分组报告；若增加工具、更多观察或在线 Sys2 帮助，就不能仍叫同条件的独立策略对照。

受预算限制，真机核心组先保留 T＋B＋G、T 和 Astra，其他消融在仿真完成；如预算仍不足，先做 60 条条件 pilot，不宣称“达到 Astra”。若要正式声称接近 Astra，可预先约定配对成功率差的置信下界高于 −5 个百分点，并根据 pilot 方差估计样本量。180 条未必足够证明非劣；“没有显著差异”不等于等效。

G0 还要报告第一次动作、积累交互后和新相机 rig 的结果。如果系统先靠一轮探测摸清视觉—动作关系，应单列在线系统辨识的成本，不把它隐藏为无成本零样本。

12 · 实施顺序、已有基础与最终判断#

研究按证据推进。当前最应投入的是统一多目 RGB 记录、可回放的 EEF 教师数据和混合任务训练入口；不是继续扩充任务清单，也不是先投入长上下文或复杂概率解码。

已有代码应放在什么位置#

已有 数值 head 原型包含 PyTorch 并行 EEF 读出、masked loss、变长上下文与基础数值检查；它在合成 oracle token 上训练过。另有早期框历史诊断。二者属于工程单元，不是多目 RGB 策略，也不是本文完整 method 的实现。

不同结果对应不同下一步#

研究附录：配置与任务状态 · EEF 契约。

参考文献与证据范围#

正文按首次出现编号，保留与论证直接相关的原始来源。已有调研库共 111 条记录；其中部分沿用先前固定版本的核查，此次调研重新核对核心 Jev 接口、数值／冻结读出与关键具身训练路线。没有将所有历史条目宣称为此次调研重新复现。

完整调研来源目录保留全部项目及原核查备注，供延伸阅读。

1. TenStep — 闪念决策：长上下文中的快速具身判断 ↗。2026-10-06发布，10-09更新；作为设计期待而非效果证据；正文已获取并保存本地。
2. TypeSafe — Introduction ↗。核查：2026-10-24。typed questions 与同状态独立并行问答；不是内部架构公开。
3. TypeSafe — Images ↗。1.13/1.14接受实验图像；需 TypeSafe-Danger-Zone-Images。
4. TypeSafe — Box ↗。归一化四边坐标；1.14及实验图像header。没有公开内部坐标估计实现。
5. Introducing System One Models & Jev ↗。2026-09-15 发布。速度、成本与 RLCD 等陈述按厂商归属；不当作机器人评测。
6. TypeSafe — AI primer ↗。RLCD的目标性介绍；不是可复现的完整优化算法、数据或网络结构。
7. AnyJev Technical Report ↗。2026-09-30。标签先验、位置偏差及旋转读出；不是原版Jev架构解释。
8. Kev — pinned architecture and usage ↗。独立Qwen+pointer模型；代码Apache-2.0。API容量和已验证有效上下文不同。
9. LLM-as-Jev: LLMs Are Already Jev-Style Decision Models—When and How to Fine-Tune Them ↗。冻结读出与KL-anchor微调；其决策结果不证明zero-shot机器人轨迹。
10. OmniJev/OneJev — pinned repository ↗。Qwen基础，多模态typed决策；公开训练与数据子集；不生成连续轨迹。
11. Laya — pinned README and honest limits ↗。作者披露zero-shot与任务微调的差距；不以typed接口推断通用能力。
12. Chinese-Jev — current resources and training pipeline ↗。2026-10-24已发布code、Medical权重和数据；公开直接Laya微调例不复现论文两阶段分数。
13. CLM — frozen-encoder contrastive decision model ↗。作者训练/重放消融；候选排序而非连续轨迹；未运行模型。
14. Strands Decider — code and research ↗。Apache-2.0；pointer、LoRA、KL、校准与seed soup；部分数据builder未公开于main。
15. Cloudflare Clef — model card ↗。Apache-2.0；joint schema head；按作者专用inference使用，非普通generate。
16. Perplexity pplx-decider-v1.1-27b ↗。非因果全注意设置与独立readout；8K总输入；下载访问未测试。
17. Mapika decider-4b v3 — model card ↗。模型声明Apache-2.0；默认Noul温度牺牲校准换特定评分规则；训练来源另有条款。
18. OpenJev-RLCD: A Working RLCD Implementation ↗。采样推理后proper scoring，calibrate→reinforce；不声称复现TypeSafe内部算法。
19. NumericJev: Jev-like LLM Numerical Decoding with Multiway Decision Trees ↗。2026-09-23。JevNext关联论文；小规模数值实验，不是通用机器人轨迹实证。
20. Bring-AI/JevNext — pinned README ↗。固定提交a83d87e。原名NumericJev；精选开发控制演示的视频省略API等待。
21. RT-2 official research project ↗。2026-10-25 此次调研核查。多模态与动作共同训练的研究参照；其动作文本接口与本项目非语言 head 不同。
22. OpenVLA-OFT — Optimizing Speed and Success ↗。并行连续输出的工程依据，其微调成绩不是zero-shot轨迹证据。
23. Physical Intelligence — Knowledge Insulation ↗。连续action expert梯度隔离与混合训练；其方法不是完全冻结VLM。
24. HAMSTER: Hierarchical Action Models for Open-World Robot Manipulation ↗。粗2D路径指导下层策略；上层有路径训练，不是原始VLM自动获得轨迹能力。
25. VoxPoser — composable 3D value maps ↗。2026-10-25扩展核查。语言 / 视觉条件转为空间目标与约束，经规划器求轨迹；不能把规划器能力当成直接学习头。
26. ReKep — relational keypoint constraints ↗。2026-10-25扩展核查。阶段、时空关系与闭环重规划的依据；约束优化系统，不是本文已训练的网络。
27. SayCan — grounding language in robotic affordances ↗。2026-10-25扩展核查。技能可执行性与任务相关性联合选择的依据；非本文System 1直接轨迹模型。
28. Inner Monologue — environment feedback for planning ↗。2026-10-25扩展核查。闭环反馈、进展与主动信息查询的研究依据；不是统一System 1训练配方。
29. KnowNo — robots that ask for help ↗。2026-10-25扩展核查。求助与不确定性校准的依据；统计保证依赖校准与方法假设，不转移为本文保证。
30. Universal Manipulation Interface ↗。2026-10-25 此次调研核查。参考相对轨迹和延迟匹配；其特定相机／硬件结果不是本项目迁移证据。
31. Google DeepMind — Open X-Embodiment ↗。跨机器人数据集合。每个子集需单独核对动作、状态、标定与许可。
32. DROID dataset ↗。真实机器人操作数据来源之一；不是完整通用决策数据。
33. EmbodiedJev — v1 complete outcomes and retry accounting ↗。实际返回GPT-6 Astra与Jev1.13；四局纯GPT2/2、混合1/2；含失败/重测。
34. EmbodiedJev — vision waypoints and discrete local motor choices ↗。Jev7通道离散选择；本地按误差计算幅度，非轨迹回归。
35. RoboICL — Jev-gated action reuse, §4.5 and Appendix C ↗。两项仿真开发任务有实际门控对比；不代表实机Jev成绩。
36. Mosi-AI/RoboICL — pinned release ↗。公开标准GPT runner；本次未找到Jev gate与固定服务配置。
37. RobotKitAI/piper-astra-jev — eight single real runs ↗。GPT与Jev在不同运行中替代，不能称双模型共同控制。
38. shapsider/OmniJev — pinned workbench ↗。与OmniJev/OneJev不是同一仓库；技能回放含privileged state及程序IK。
39. MOSS × Jev — pinned recorded physics replay ↗。3个Jev实API仿真任务，页面仅回放；无GPT。
40. quackd — Jev client status ↗。作者明确未运行真实Jev API和硬件；模型pin1.13。
41. Reflex Lab — asynchronous one-use System2 advice ↗。无相机；结构化几何；物理继续，建议仅下一次Jev消费。
42. JEV-Star: Fast, Low-Cost StarCraft II Control with Language-Model Planning ↗。GPT持续规划+Jev动作选择；不是真实机器人。harness同步改进，缺完全隔离的规划消融。
43. Evaluating and Benchmarking the System One Model Jev ↗。37数据集、346009请求。作者评测Jev1.13；污染无法完全排除，不能外推连续控制。
44. Beyond Calibration: Do a Typed-Decision Model’s Probabilities Obey the Probability Axioms? ↗。逻辑相关问题的概率一致性审计；校准与coherence需要分别评测。
45. TypedBench: Calibration, Framing Sensitivity, and Cost ↗。程序policy标签；措辞、先验漂移、概率质量与实际决策成本分开评测。
46. JevAdvBench — typed robustness evaluation ↗。812问/66场景；许多标签模型产生，主指标相对clean decision和rerun。
47. NVIDIA — Astranomy: native robot policy study ↗。2026-10-25 此次调研核查。第三方原始仿真研究。重点核查 §3.1.2 相机／夹爪几何消融与 Agentic/Direct 接口；不同 harness 不作单变量比较。
48. GPT-6 Astra × RoboDojo — RGB and calibration protocol ↗。2026-10-25 此次调研核查。第三方 pilot 明确使用静态标定、RGB 与本体，不使用深度；不能泛指所有 Astra 系统。
49. OpenAI — GPT-6 Astra release ↗。2026-10-25 此次调研核查。官方发布页，未披露本文所需的机器人抓取标定／训练配方；不把第三方机器人演示归为 OpenAI 实现。
50. On the Continuity of Rotation Representations in Neural Networks ↗。可参考6D旋转表达；本文姿态mask、重建退化和控制契约需另验证。
51. Qwen3.5-9B official model card ↗。2026-10-25 此次调研核查。核查图文基座与可用实现；未下载权重或验证本项目 head 接入。
52. LIBERO — pinned official repository ↗。默认预训练/终身学习划分不自动等价于本研究严格zero-shot协议；未运行仿真。
53. robomimic datasets overview ↗。2026-10-25 此次调研核查。数据与转换入口；此次调研没有清洗或下载轨迹。
54. GraspNet official project ↗。2026-10-25 此次调研核查。抓取位姿／RGB-D 数据，不是完整时间轨迹；运行时深度依赖不能混入本项目 RGB-only。
55. Flexiv official RDK repository ↗。2026-10-25 此次调研核查。官方实时／非实时控制接口。目标设备型号、RDK 版本与夹爪参数未核对，此次调研不连接机器人。