WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation

WM-Craftnet 将多模态世界模型作为灵巧手策略的时序上下文，通过噪声深度到干净深度重建、触觉接触线索与动作条件递归状态，提升多物体、未见物体、扰动恢复及仿真到现实的在手旋转控制。

WSM 与 PPO 通过两条路径连接：前向时，世界模型提供经过预测任务训练的递归状态；训练时，PPO 与模拟器交互产生的数据反过来训练世界模型。WSM 的参数由自己的重建、预测与 KL 损失更新，PPO 梯度在 WSM 输出处被截断。因而整个训练过程是交替更新、数据耦合，而不是永久冻结 WSM，也不是一个 PPO 损失端到端更新所有模块。

下面对应论文 Figure 1、正文 §3.1–3.5、附录 A.1–A.2 与 Table 7–8，展开三个具体问题。原文与附录

1. WSM 本身如何训练：输入、递归状态与监督输出。

每个控制时刻，WSM 接收单步本体感觉 p_t、二值触觉 c_t、带噪深度 I_t、上一动作 u_(t−1)，以及 episode-start 标志 m_t。上一时刻的随机状态 z_(t−1) 和确定性状态 h_(t−1) 是内部递归输入。Actor 使用短窗口堆叠的本体感觉和触觉；WSM 使用单步向量，通过内部状态积累历史。

信号	进入 WSM 的位置	是否为部署输入
本体感觉 p_t、二值触觉 c_t	各自经 MLP 编码	是
带噪腕部深度 I_t	经 CNN 编码，与低维模态融合为 e_t	是
上一动作 u_(t−1)	进入 RSSM 动力学更新，表达动作对状态的影响	是
episode-start 标志 m_t	标识新回合，使递归状态按回合重置	是
干净深度 I_t_clean、奖励 r_t	训练时的重建与预测标签，不是观测编码输入	否
物体位姿、形状等模拟器标签	训练时的辅助监督；特权状态也用于 critic 和奖励	否

融合编码与递归接口可写为：

e_t = Encoder(p_t, c_t, I_t)
(z_t, h_t) = RSSM(z_(t−1), h_(t−1), u_(t−1), e_t, m_t)

这里的 h_t 是 512 维确定性记忆，z_t 是随机潜状态。Table 7 的 stochastic/discrete 配置为 32/32，即 Dreamer 风格的 32 组、每组 32 类离散随机变量。两类状态属于同一个 RSSM，不是两套独立的世界模型。

从标准 RSSM 的角度理解，prior 根据历史和动作预测潜状态分布，posterior 加入当前观测对状态估计进行校正；KL 项约束二者。这是对 Dreamer 式结构的机制解释，论文没有逐层列出 prior/posterior 的全部实现。尤其要区分：干净深度等重建目标是当前时刻 t 的标签，不能把所有预测头笼统说成下一帧预测器。

WSM 的训练输出包括干净深度、本体感觉、触觉/接触、奖励，以及完整配置中的物体位姿、value、形状辅助预测。形状监督采用 basis-point-set 到物体 mesh 的位移向量。干净深度监督始终使用裁剪后的无增强模拟器图像，而输入深度施加时序相关 dropout、高斯噪声和小幅旋转，因此模型需从受损观测恢复几何。

L_WSM = L_clean_depth + L_proprioception
      + λ_contact L_contact + λ_reward L_reward
      + λ_dyn KL_dynamics + λ_rep KL_representation
      + L_auxiliary(pose, value, shape)

这些头通过各自的监督把几何、接触和任务信息保留在共享潜状态中。奖励只作为标签，不作为真实机器人每步必需的输入。论文给出了 value 辅助头，但没有完整说明其标签构造和与 PPO critic 的参数共享关系，不能直接把它等同于 PPO critic。

训练数据来自 PPO 在模拟器中的 rollout，而不是 WSM 自己想象出来的轨迹。环形 replay buffer 存储本体感觉、触觉、带噪深度、干净深度、上一动作、奖励和新回合标志；完整模型还需要相应辅助标签。Table 7 给出的 warmup 是 10,000 transitions，batch size 为 16、连续序列长度为 32，每个 PPO epoch 对 WSM 更新 10 次，优化器为 Adam、学习率为 1e−4。连续片段让训练能够学习跨时间依赖，不能把这个 replay buffer 理解为 PPO 在历史数据上做 off-policy 更新。

2. WSM 给 PPO 什么：一个经过预测监督的记忆特征，以及与原始观测并行的输入通路。

Actor 侧使用 WSM 的确定性分量 h_t，经过停止梯度与小 MLP 投影得到 16 维上下文：

512 维 h_t → stop-gradient → 投影 MLP 512 → 64 → 32 → 16
Actor 输入 = 可部署观测 o_t + 指定旋转轴 a + 16 维 WSM 上下文
Actor 输出 = 22 维相对关节目标增量 u_t

因此，按接口看 WSM 提供的确实是一个压缩向量，没有把预测图像、奖励或想象轨迹直接交给主方法的 PPO。按训练含义看，这个向量不只是通用历史记忆：它被多模态重建、动力学、奖励和辅助物理监督共同塑造。几何、接触阶段与运动信息是它可能编码的内容，不能把每个维度当成已知物理量，也不能声称它输出了显式的滑移概率。

Actor 同时接收堆叠本体感觉、堆叠触觉、当前带噪深度和上一动作，所以 16 维向量是额外上下文，不是策略全部的感知输入。主方法也不要求先把 WSM 解码出的干净深度喂回 actor；论文中 “IHR + WSM-denoised depth” 是另外的对照设置。

“只是记忆”的解释还可用附录 Table 9 检验：没有多模态预测目标的 LSTM、GRU 基线回报分别为 621.0、497.8，完整 WSM 为 753.3。该结果支持预测式表征训练在这些配置下有额外收益，但不足以证明潜状态已经完整理解全部物理规律。

3. WSM 是 freeze 还是 co-train：区分参数更新、隐状态更新和梯度边界。

阶段	WSM 参数	WSM 内部 h_t / z_t	Actor / critic
收集 PPO rollout	交互阶段执行前向推理	每个控制步用新观测、上一动作更新	Actor 与模拟器交互，收集 PPO 数据
PPO 优化步骤	PPO 梯度不穿过 detached 的 WSM 特征	状态不是此处要优化的模型权重	用 PPO 数据更新策略与价值函数
WSM 优化步骤	用 replay 连续片段和 L_WSM 更新	沿序列展开递归计算	提供此前收集的交互数据
49 物体下游适配	迁移的 encoder、RSSM、深度/本体解码器、reward predictor 继续学习	随新物体轨迹变化	面向目标分布学习 actor–critic 和任务相关头
真实机器人评估/部署	按训练好的模型推理，论文未报告在线权重学习	仍每步更新；权重固定不代表记忆固定	执行 actor，critic 不参与动作决策

训练闭环的概念顺序是：收集 rollout → PPO 优化 → 从 replay 更新 WSM → 下一轮使用更新后的 WSM。正文明确写到每个 PPO epoch 后更新 RSSM；附录给出每 epoch 10 次 WSM 更新。这里的 co-train 指两个模块在同一训练流程中持续学习，不表示它们共享同一个损失或一次反向传播。

模拟器 ──观测──> WSM ──detached h_t──> 投影 + Actor ──动作──> 模拟器
   │
   ├──本轮 rollout──> PPO 损失 ──> 更新 Actor / Critic
   └──交互序列──────> Replay ──> WSM 损失 ──> 更新 WSM

PPO 梯度在 WSM 特征接口处停止；WSM 仍通过自己的损失更新。

附录 A.1 明确指出，9 物体预训练先验用于 49 物体训练时会继续适配，因此“先预训练、下游永久冻结”不符合该实验。将梯度解耦理解为保护预测表征、减少优化目标相互干扰是合理的设计解读；论文没有提供足够的对照来证明不 detach 必然不稳定。

4. RL policy 的网络架构，以及系统中应如何计数模型。

功能模块	文中明确给出的结构/接口	作用与部署需求
WSM 编码与动力学	本体/触觉 MLP、深度 CNN、Dreamer 式 RSSM；hidden size 512、recurrent depth 1	在线递归状态估计；动作路径需要
WSM 解码/预测头	深度、本体、触觉、reward，以及 pose/value/shape 辅助头	训练监督；主策略动作路径不依赖这些头的解码输出
Actor 侧投影	512 → 64 → 32 → 16	将 detached h_t 转为策略上下文
PPO policy 主干	MLP 隐层 [512, 256, 256]，ELU 激活	从观测、目标和上下文产生 22 维动作
PPO critic	非对称 actor–critic，训练时可额外使用模拟器特权状态	学习价值函数、支持 advantage 估计；无需用于部署决策
低层控制器	相对目标累加、平滑、限位；控制频率 10 Hz	执行关节目标，不计作本文新增的学习模型

Actor 的计算接口可理解为“可部署观测的处理/编码 + 目标轴 + 16 维 WSM 特征 → policy MLP → 22 维动作”。由于观测含深度图，不能把 Table 7 的三层 MLP 当成完整像素处理链路。论文没有完整交代 actor 深度分支的逐层配置、是否与 WSM 共享编码器，以及 critic 的完整层宽和所有共享参数安排，复现时仍需实现或代码依据。

关节目标按 q_target(t) = q_target(t−1) + α · u_t 更新，再做平滑和硬件限位。因此策略输出的是相对关节目标更新，不是直接的关节力矩。

按功能可数成 WSM、actor、critic 三部分；按系统可说是“一个世界模型 + 一套 PPO actor–critic”。WSM 的多个预测头是内部模块，不应每个都算一套完整世界模型；也不能仅凭论文就断言 actor 和 critic 在代码中完全不共享参数。WSM 的 value 辅助头与 PPO critic 需要按作用区分。

x、y、z 轴实验使用分别训练的轴向策略和 WSM，虽然策略形式允许输入目标轴，也不能据此声称论文已经训练了一个覆盖所有轴的统一模型。49 物体实验复用的是 z 轴先验，并在新分布上继续训练。

• 1. 多模态编码与噪声注入：本体感觉、触觉用MLP，裁剪后的腕部深度用CNN；输入深度施加时序相关丢失、高斯噪声和小旋转，目标始终是仿真的干净深度裁剪图。
• 2. Dreamer式RSSM状态：根据(z_t-1,h_t-1,u_t-1,e_t,m_t)递归更新随机状态z_t与确定性状态h_t；h_t承载跨帧接触演化、物体漂移和滑移信息，演员接口停止梯度，避免PPO反向改变世界模型。
• 3. 多任务预测损失：图像重建、本体感觉重建、触觉重建、奖励预测、动力学/表示KL以及姿态、价值、形状辅助头共同约束潜状态，使其保留与控制相关的几何和接触信息。
• 4. 世界模型条件策略：策略输入(o_t, 目标轴a, ψ(h_t))，输出相对关节目标增量；评论家训练时可看模拟器特权状态，演员只看真实可部署传感器和WSM特征。
• 5. 可复用先验：先在9个z轴物体的接触丰富数据上预训练WSM，再初始化49物体下游PPO并继续适配，把跨物体共享的物理规律迁移给新策略。