Heterogeneous Tactile Transformer
Heterogeneous Tactile Transformer
一句话结论
HTT 值得作为异构触觉预训练的参照：共享表征确实改善了部分感知任务，也能支持未见光学指尖上的操作策略。最有说服力的结果是无外部相机的拧玩具螺丝成功率 90%、抓豆腐 55%。但它没有证明任意新传感器即插即用，对齐也不是每个传感器、每项任务都有效。
摘要
中文摘要
触觉传感器天然异构：一种传感器上训练的模型无法直接用于另一种，从而限制了利用多样触觉数据规模化学习接触密集操作策略。本文提出异构触觉 Transformer（HTT），以传感器专属编码器和共享 Transformer 主干学习跨硬件表征，通过各模态掩码重建和成对传感器间的跨模态对齐进行预训练。作者构建的 HPT 数据集包含四种光学式与阵列式传感器约 160 万同步配对触觉帧。感知与真实操作实验表明，表征能适配新任务及预训练未见传感器。作者提供了数据、代码和检查点的发布入口。
英文摘要
Tactile sensors are inherently heterogeneous: a model trained on one sensor cannot be directly used on another, which limits learning contact-rich manipulation policies from diverse tactile data at scale. To bridge this gap, we propose the Heterogeneous Tactile Transformer (HTT), a framework that learns shared tactile representations across heterogeneous sensors. HTT consists of sensor-specific encoders and a shared transformer trunk, and is pretrained with per-modality masked reconstruction together with cross-modal alignment between paired sensors. Pretraining uses our novel Heterogeneous Paired Tactile (HPT) dataset, containing 1.6M synchronized paired frames across four vision- and array-based tactile sensors. Across distinct tactile perception and real-world manipulation tasks, HTT is shown to learn transferable representations that adapt to new tasks and previously unseen sensors. Dataset, code, and model checkpoints are released at this link.
直观理解
让两种“触觉语言”互相补全：一边看到接触面的图像，一边读到阵列力信号。每种硬件先用自己的编码器翻译成 token，共享主干再学习可复用接触特征。训练时既补全本路缺失信号，也利用另一种传感器预测本路缺失表征；部署时只保留单路编码器与主干，不需要两种传感器同时在场。
背景与问题
为什么做
光学触觉能描述接触几何和纹理，阵列触觉提供高频力学时序；二者在空间分辨率、采样频率和换能机制上互补。机器人换硬件后，原始输入可能从图像变成多通道时序，已有编码器无法直接复用，因此触觉数据难像视觉数据那样累积成统一预训练资产。
问题缺口
T3、SITR、AnyTouch 等主要服务光学触觉；单独训练各个传感器又无法利用同步接触形成的跨硬件监督。HTT 要解决的是在保留图像和阵列各自结构的同时，让共享主干获得可迁移接触特征，并检验这种特征能否超出预训练的采集装置、任务和传感器。
方法
方法概述
输入是 0.2 秒同步接触窗：光学传感器生成空间图像 token，阵列传感器生成时间 token；专属编码器映射到 192 维后进入九层共享 Transformer。预训练联合本模态掩码重建和双向跨传感器隐变量预测，下游移除解码器与预测器，用编码器、共享主干和任务头或 ACT 策略共同微调。
核心机制
仅做 MAE 能保留各路信号结构，却不保证不同硬件的表征存在可复用对应。HTT 用完整源 token 和少量可见目标 token 预测目标被遮蔽位置的隐变量，并对目标停止梯度。更关键的是，对齐损失在专属编码器输出处也被阻断，只更新共享主干与预测器；编码器由重建损失更新，以免粗粒度跨传感器约束破坏硬件细节。这里的对应来自夹爪对侧、近似对称物体上的同步抓握，不是逐像素与逐 taxel 的几何配准。
方法拆解
- 配对数据与监督边界。 UMI 夹爪两侧安装 Xela↔9DTact 或 TAC-02↔GelSight Mini，采集按压、扭转、滑动。预训练覆盖 30 个物体，分类用另外 20 类；力与滑移评测另用四种探针和外部六维力/力矩传感器采集。同步只保证接触事件层面的关联，左右接触点不能视作相同物理位置。
- 传感器专属 token 化。 各路先减无接触参考，光学输入缩放至 224×224，按空间 patch 与时间 tubelet 组织；附录给出每 tubelet 196 token。Xela/TAC-02 的 20/40 帧时间窗以长度 4 切成 5/10 token。不同长度不必强行插值成同一种图像，而由各自编码器投影到统一维度。
- 共享计算与重建。 全模块宽度 192、三注意力头；光学编码器三层、阵列编码器两层、共享主干九层、解码器三层，不使用 CLS token。MAE 只编码可见 token，解码被遮蔽输入，目标做逐 patch 标准化，以平方误差约束；光学/阵列重建遮蔽率分别为 75%/60%。
- 双向隐变量预测。 每个有数据的有向配对使用三层 cross-attention 预测器，以源端完整表征及目标可见表征为条件，预测目标缺失表征。目标阵列遮蔽 80%、光学遮蔽 90%，预测目标 stop-gradient；这不是用一种传感器直接重建另一种传感器的原始像素，也没有覆盖任意四传感器两两配对。
- 训练调度与梯度路径。 总损失为 MAE + α(t)·对齐损失；编码器仅受 MAE 更新，共享主干同时接受两项约束。AdamW 学习率 3e-4、batch 256 paired samples、共 50,000 步，学习率预热 2,000 步后余弦下降。正文描述先 MAE warmup 再增加对齐权重，附录描述前 20,000 步从零线性增至 0.1；两处未完全统一，不据此断言明确的纯 MAE 阶段长度。
- 下游适配与推理。 感知任务微调编码器、主干和任务头。真机 Sharpa 光学指尖直接复用 9DTact 编码器，补边、缩放、减背景，无专属传感器预训练，但仍用任务示教训练策略；仿真 RGB 复用 GSMini 编码器，而新的力场 TacFF 需新建编码器/解码器并用 MAE 适配共享主干，不能一概称为零样本迁移。
关键要点
- 两条梯度隔离是理解模型的重点：预测目标停止梯度，且对齐梯度不进入专属编码器；共享主干才是跨传感器约束的主要承载层。
- 配对监督来自事件同步与粗接触相似性，省去精密标定，同时也限制了能够学到的细粒度空间对应。
- 预训练需要成对硬件，下游单路推理不需要；新光学硬件直接复用与新力场编码器 MAE 适配是两种不同证据。
结果
结果速览表
| 任务/指标 | MAE 或主要基线 | HTT | 解释边界 |
|---|---|---|---|
| 9DTact 分类，% | MAE 90.08 | 94.84 | +4.76 个百分点 |
| GSMini 分类，% | MAE 88.59 | 91.35 | +2.76 个百分点 |
| Xela 分类，% | MAE 56.68 | 52.41 | 对齐负迁移 |
| 四硬件平均 3D 力 MAE，N | MAE 0.664 | 0.636 | 9DTact 单路退化 |
| 四硬件平均滑移宏 F1，% | MAE 51.62 | 56.35 | 不保证初始滑移改善 |
| TAC-02 初始滑移 F1，% | MAE 7.63 | 3.8 | 稀有类仍薄弱 |
| 真机螺丝成功率 | wrench 45% | 90% | 40 rollout/条件 |
| 真机豆腐成功率 | wrench 35% | 55% | 40 rollout/条件 |
| 跨传感器检索 R@1 | MAE 20% | 41% | 需正交映射拟合 |
| ManiFeel 插销成功率 | SITR 0.35±0.01 | FF 0.48±0.12 | FF 新前端需 MAE 适配 |
洞察
风险与判断
局限
- 预训练只含两组光学↔阵列配对；没有逐接触面标定，也没有同家族配对消融，不能据此推广到所有触觉换能机制。
- TAC-02 初始滑移 F1 仅 3.8%，Xela 为 6.2%；标签由力比值与双侧 Page CUSUM 事后推导，既存在类别失衡，也不等于独立高精度滑移真值。
- 真机展示的是预训练未见光学硬件上的任务学习，未证明未经任务训练的策略迁移。两任务、40 rollout/条件也不足以说明多指复杂接触或长期稳定性。
- 正文/附录对齐调度和豆腐失败计数口径有差异，应在复现时查代码确认；总体数据量口径也需避免混淆原始帧、时间窗和独立 episode。
适用场景
- 已有同步光学与阵列数据、希望共享触觉主干，且能逐硬件逐任务检验收益的研究平台。
- 无外部相机、依赖接触状态的模仿学习；新光学指尖可先试复用现有编码器，新输入结构则预留自监督适配数据和前端模块。
- 不宜仅据平均宏 F1 将其当成安全关键的初始滑移检测器，也不宜声称可以直接替换任何传感器。
最终判断
- 核心贡献是成对数据、异构输入接口与受控梯度的联合预训练方案。MAE 已贡献多数分类提升，对齐额外贡献应以同架构对照衡量。
- 值得跟踪的下一步是更广硬件配对、空间对应监督，以及不牺牲阵列信息的损失设计；当前最强结论是“有条件可复用的触觉 backbone”，尚不是普适硬件无关物理表征。
相关主题
Tactile Representation
触觉与力觉如何从传感设计、跨硬件共享表示，进入预训练策略的持续适配、快慢控制与执行期流式闭环。
打开主题
继续阅读
上一篇
Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models
Qwen-RobotManip 的核心不是“再堆更多机器人数据”，而是先把不同机器人在**表示、运动和行为**三个层面拉到同一坐标系，再讨论规模化。论文最有价值的证据是：统一动作表示后，跨具身数据在 OOD 验证误差和下游成功率上才出现清晰的规模趋势；但“只用公开数据”的说法只适用于 manipulation corpus，完整训练还混入了含 proprietary data 的 VL 数据。
下一篇
Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
这篇论文最值得记住的不是“给 VLA 加一条触觉输入”，而是它把新模态接入表述成 continual learning：在少量新 contact-rich 数据上学会用 force，同时尽量不破坏旧的视觉动作能力。MuSe 的价值在于，它用 multisensory future prediction 和 replay 证明，旧任务上即使没有力标注，也能把力学结构以可迁移的方式对齐进预训练策略；真正的短板则是仍依赖离线适配和专门的 compliance 控制接口，而不是端到端解决全闭环接触控制。