No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
Ayush Deshmukh · Nalin Agarwal · Elle Miller · Sethu Vijayakumar
一句话结论
这篇论文回答一个很具体的问题：在完全不用视觉和物体状态估计的前提下，灵巧手仅靠本体感觉和二值触觉能做多久的双手内保定球旋转？答案是：在 Shadow Dexterous Hand Lite 上，策略零样本从仿真迁移到真机，单次连续试验完成 225 个 180° 旋转（112.5 整圈），约 0.36 rot/s，是迄今保定球操作最强的硬件结果。能迁移的关键不是更大的模型，而是三件事：把 Isaac Lab 默认资产里错误的 PIP/DIP 固定比例耦合改成硬件真实的顺序耦合；提出两种 episode 级随机化——SlewDR（动作斜率限制随机化，让策略学会硬件跟得上的平滑动作）和 STAT（随机把若干触觉通道整 episode 卡死在 0 或 1，迫使策略不过度依赖单一通道）；再加上基于空手基线的迟滞双阈值触觉标定。消融显示触觉的主要贡献不是产生动作节律（本体感觉策略自己就有节律步态），而是把名义步态修正成完成的旋转并在球位偏离时恢复：同一 checkpoint 关掉触觉后，整圈数从 34.75 掉到 5.0。
关键词
摘要
中文摘要
人类仅凭触觉就能轻松地在手内操控物体，但对机器人而言，在无视觉条件下实现持续的真实世界操控仍是一个开放挑战。尽管强化学习（RL）能在仿真中生成复杂的盲操作策略，将其迁移到真实灵巧手却受制于持续变化的接触、运动引起的触觉信息漂移以及仿真与物理动力学之间的差距。我们通过在 Shadow Dexterous Hand Lite 上进行保定球旋转来研究这一问题，仅使用本体感觉和二值触觉反馈作为观测。通过传感器对齐、耦合感知的仿真实体、触觉标定，以及两种新的 episode 级域随机化——斜率动作限制和 STuck-AT Taxels——我们实现了成功的零样本迁移。在物理手上，策略实现了持续的盲保定球旋转，在单次连续试验中完成 225 个连续 180° 旋转（112.5 整圈），速度约 0.36 rot/s，全程没有任何视觉或物体状态信息。此外，我们评估了触觉传感相对仅本体感觉的贡献，并识别出触觉信息最重要的手部区域。无论使用何种传感模态，这都是保定球操作在旋转数量和速度上已报告的最强硬件结果。通过有效弥合 sim-to-real 差距，我们的框架为物理硬件上持续的触觉驱动灵巧操作设立了新基准。
英文摘要
Humans manipulate objects within their hands through touch alone with remarkable ease, but for robots, achieving sustained real-world manipulation without vision remains an open challenge. Although reinforcement learning (RL) can generate sophisticated blind manipulation policies in simulation, transferring them to a real dexterous hand remains hindered by continuously changing contacts, motion-induced tactile information drift, and the gap between simulated and physical dynamics. We study this problem through Baoding ball rotation on the Shadow Dexterous Hand Lite, using only proprioception and binary tactile feedback as observations. We achieve successful zero-shot transfer through a combination of a sensor-aligned, coupling-aware embodiment in simulation, tactile calibration, and two novel episodic domain randomisations: slew-rate action limits and STuck-AT Taxels. On the physical hand, the policy achieves sustained blind Baoding rotation, completing 225 consecutive 180° rotations (112.5 full rotations) at ∼0.36 rot/s in a single continuous trial without any vision or object-state information. Furthermore, we evaluate the contribution of tactile sensing relative to proprioception alone and identify the hand regions where tactile information is most important. This is the strongest reported hardware result for Baoding ball manipulation in both rotation count and speed, irrespective of the sensing modality used. By effectively bridging the sim-to-real gap, our framework sets a new benchmark for sustained tactile-driven dexterous manipulation on physical hardware.
直观理解
可以把这个系统理解成"闭着眼睛盘核桃"：策略手里有两颗光滑的保定球，既不能看也没有动捕，只能靠关节编码器知道手指在哪、靠 16 个开关式的接触信号知道哪里碰到了球。难点在于手既是执行器又是传感器——每次纠偏动作本身都会改变接触状态，接触不断形成、断开、重建。论文的做法是先在仿真里把手"造对"：真实 Shadow 手的 PIP 和 DIP 关节是顺序耦合的（屈曲时 PIP 先动到约 100° 后 DIP 才动），而 Isaac Lab 默认资产让两者按固定比例同步动，这个不对齐就足以毁掉迁移。然后让策略在训练时习惯"硬件跟不上"和"触觉不可全信"：前者用随机的动作斜率限制逼策略输出平滑指令，后者像 dropout 一样随机弄坏部分触觉通道。部署时策略原样跑在 60 Hz 的真机上，只做触觉标定和固定的动作限速。值得记住的分工结论是：本体感觉已经足以驱动一个有节律的旋转步态（即使手里没球动作也几乎不变），触觉的作用是在球偏离理想构型时把步态"掰回来"，让交换真正完成。
图 1：零样本迁移的盲手内操作。上为仿真、下为真实 Shadow Dexterous Hand Lite 的 1.2 秒 180° 保定球旋转序列；策略只接收关节编码器和 16 路二值接触信号，无视觉、无深度、无动捕、无物体状态估计，单次连续试验完成 225 个 180° 旋转不掉球。
背景与问题
为什么做
人类可以不看手就把物体在掌中重新定向，完全依赖接触反馈；但机器人的持续真实世界无视觉手内操作仍是开放难题。RL 在仿真中能生成复杂的盲操作策略，迁移到真实灵巧手却被持续变化的接触、运动引起的触觉信号漂移以及仿真与物理动力学差距阻碍。保定球（双球）旋转把问题推向更难的一侧：需要同时协调球—手和球—球接触，远难于单物体操作。
问题缺口
已有的真实保定球硬件结果几乎都依赖外部物体信息：Nagabandi 等用立体视觉加模型预测控制，Yuan 等融合深度点云与二值 FSR；盲操作的硬件证据非常有限——TacGNN 用 653 taxel 阵列只演示了一次定性半圈，RoTO 与 RoTO 2.0 使用二值触觉但停留在仿真。并且没有硬件工作展示过持续数分钟的快速旋转。缺口的准确表述是：能否让只接收本体感觉和二值接触的盲策略零样本迁移到真实灵巧手，并维持长时间、可量化的双球旋转，同时弄清触觉相对本体感觉到底贡献了什么。
方法
方法概述
整体流程是"仿真训练 → 零样本部署"两段式。先在 Isaac Lab 中用 PPO 训练一个盲策略：观测为 4 帧堆叠的 272 维向量（每帧 52 维本体感觉——13 个驱动器的关节位置、速度、位置误差和上一动作——加 16 维二值触觉），输出 13 维关节位置指令，奖励沿用 RoTO 的稠密防掉球项加稀疏交换完成项。训练时叠加四层处理：硬件对齐的顺序肌腱耦合与传感器位点建模、物理参数随机化（球质量 45–100 g、按手部区域分档的摩擦）、本文提出的 SlewDR 与 STAT 两种 episode 级随机化。部署时策略不经任何修改跑在 60 Hz 真机上，只做空手基线的迟滞双阈值触觉标定，并施加一个固定的动作斜率限制。
核心机制
这套方法成立的原因是它分别打击了 sim-to-real 差距的三个具体来源，而不是笼统地"加随机化"。第一，embodiment 对齐消除了系统性误差：默认资产让 DIP 角度固定为 PIP 的倍数，而真实硬件是顺序耦合（屈曲先 PIP 到约 100° 再 DIP，伸展顺序相反），论文在每个环境步显式实现该耦合，并在仿真中按真实 FSR 位置添加小碰撞体。第二，SlewDR 针对动力学差距：即使增益已调软，策略指令的关节运动仍快过硬件能执行的速度（肌腱摩擦与电机反射惯量所致），于是对相邻步指令位置变化施加随机缩放 s∼U(0.3,1.0) 的限速，逼策略学会硬件可跟踪的平滑动作。第三，STAT 针对传感可靠性差距：每个 episode 随机选 k∼U{0,...,6} 个 FSR 通道整段卡死在 0 或 1，类似 dropout，让任何单一通道都不可信，从而把执行负担从连续触觉反馈转移到学到的步态本身。
方法拆解
- 仿真实体对齐：修正 PIP/DIP 顺序耦合（100° 耦合阈值，屈曲与伸展顺序相反）；按仿真接触频率统计选定 FSR 位点（MCP 区域频率最高，其次 PIP 与掌面），并在仿真中加入对应碰撞体。
- 物理参数随机化：每 episode 重采样球质量（45–100 g）与分区域摩擦系数——远端指节因 BioTac 硅胶皮肤取较高摩擦，掌面取较低值。
- Slew-rate Domain Randomisation（SlewDR）：发布的关节目标 q_t^SR-des = q_t + clip(q_t^des − q_t, −s·q̇_max·Δt, s·q̇_max·Δt)，s 每个 episode 从 U(0.3,1.0) 重采样；硬件上应用同一限速但 s 固定（本体感觉策略 s=0.65，其余 s=0.53）。
- Stuck-AT Taxels（STAT）：每 episode 重置时均匀随机选 k∈{0,...,6} 个 FSR 通道，各自整段固定为随机值 v_i∈{0,1}，其余通道报告真实仿真接触状态。
- 触觉标定：空手 FSR 基线的稳健统计量导出双阈值（τ_hi = P99.5(x)+5，τ_lo 按分布宽度分段取 med(x)+2 或 τ_hi−3），按 Schmitt 触发规则做迟滞二值化，对抗姿态和走线引起的阈值漂移。
关键要点
- 零样本迁移的三个支柱缺一不可：C1（仅物理随机化）与 C2（加 SlewDR）在真机上都无法持续（≤0.5 整圈），只有叠加 STAT 的 C3 达到 34.75 整圈——embodiment 对齐、动作带宽限制、触觉通道 dropout 分别消除系统性、动力学与传感可靠性三类差距。
- 触觉的价值定位是修正而非驱动：无球时仅本体感觉策略的关节轨迹几乎不变，说明节律步态由本体感觉先验承载；关掉触觉后转速只从 0.36 掉到 0.256，但整圈数从 34.75 崩到 5.0——触觉决定交换是否完成、能否从坏构型中恢复。
- 仿真与硬件的触觉激活空间分布并不逐点吻合（仿真集中在中/无名指中节与指根，硬件偏向近端），迁移依然成功：稀疏二值触觉不需要逐传感器精确对齐，降低了这类系统的硬件门槛。
结果
结果速览表
| 配置 | 训练随机化 | 反馈 | 整圈数 (mean±std) | Time-to-drop (s) | 转速 HW (rot/s) | η |
|---|---|---|---|---|---|---|
| 开环回放 | – | 无 | 1.7±1.99 | 6.1±4.7 | 0.168±0.179 | – |
| 仅本体感觉 | 物理交互 | 仅本体 | 4.4±2.44 | 21.4±12.2 | 0.226±0.098 | 0.31±0.13 |
| C3-TacOff | C3 checkpoint | 部署时去触觉 | 5.0±4.1 | 19.0±11.2 | 0.256±0.112 | 0.58±0.26 |
| C1 | 物理交互 | 本体+触觉 | 0.35±0.63 | 5.9±4.3 | 0.054±0.079 | – |
| C2 | 物理+SlewDR | 本体+触觉 | 0.5±0.53 | 4.1±1.5 | 0.101±0.094 | – |
| **C3（本文）** | 物理+SlewDR+STAT | 本体+触觉 | **34.75±26.06** | **94.8±68.0** | **0.36±0.061** | **0.9±0.16** |
| 长时演示（C3） | 同上 | 本体+触觉 | 112.5（单次 310 s） | – | – | – |
| Yuan 等 [9] | – | 深度点云+FSR | ~3.00 | – | ~0.30 | – |
| Nagabandi 等 [8] | – | 立体视觉+MPC | ~0.50 | – | – | – |
洞察
风险与判断
局限
- 结果方差很大：C3 整圈数范围 2–74、time-to-drop 8–201 s，均值 34.75 被少数超长试验拉高，中位数表现远没有那么夸张；112.5 整圈的长时演示是单次试验且未计入统计。
- 只在一种球（1.58 in、55 g 光滑保定球）、一种手（Shadow Lite）、一种初始构型（对角放置）上验证；作者明确把不同尺寸/质量、非球形体留作未来工作。
- 触觉标定的双阈值参数（+5/+2/−3）是针对该传感器布局凭经验选取的；运动相关标定试过但未稳定改善而被放弃，标定流程的可迁移性未经验证。
- 二值触觉丢弃了接触力大小与方向信息，对需要精细力控的任务这套路可能不够；SlewDR 的固定 s 也是按策略手工选定的。
适用场景
- 使用低带宽、低保真触觉（FSR/开关式接触传感器）做 RL 零样本迁移的灵巧操作任务；尤其适合接触信号稀疏、传感可靠性差的平台。
- 希望避免视觉/动捕/物体状态估计管线的盲操作场景，如手内重定向、遮挡严重的操作。
- 作为"如何对齐仿真 embodiment（耦合、传感位点）"和"如何设计 episode 级传感随机化"的参考实现。
最终判断
- 这是一篇方法朴实但结论扎实的系统论文：没有新模型、新算法，靠的是把 embodiment 对齐、动作带宽限制和触觉 dropout 三件"工程正确"的事做透，拿到远超前人的硬件结果。它最有价值的贡献其实是分析层面——用 C3-TacOff、无球轨迹等干净消融把"触觉在盲操作里到底干什么"讲清楚了（修正与恢复，而非驱动），并把 STAT/SlewDR 这对可复用的随机化组件留给了社区。对做触觉 sim-to-real 的人，这是必读的配方级参考；对期待通用触觉操作的人，它仍是单平台、单任务的定点突破。
相关主题
Tactile Representation
触觉与力觉如何从传感设计、跨硬件共享表示，进入预训练策略的持续适配、快慢控制与执行期流式闭环。
打开主题
继续阅读
上一篇
Value as Memory: Online Value-Guided Post-training for General Robot Policies
VaM 把近期价值预测从训练标签变成策略可读取的任务进度记忆，同时用离线演示、历史人工干预和当前在线 rollout 持续更新价值与动作专家。三项真机长时程任务中，价值缓存相对消融在最终三个检查点上平均提高 29.4 个百分点；在线 RL 在匹配预算下经 LfE 后平均超过离线 RL 32.8 个百分点，并把每梯度步实验墙钟时间降低 57.8%。这是“critic 参与推理”与“提高部署—训练闭环频率”的双重贡献，但证据仍限于单机器人、三项实验室任务和可靠价值估计，不应外推成通用无人值守自我进化。
下一篇
Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts
关节编码器不仅记录手臂在哪里，也记录运动怎样偏离命令。本文证明，这种间接接触通道足以支撑局部精密装配：策略只读0.6秒关节位置、速度、由正运动学得到的夹爪状态及上一步动作，不读图像、力、力矩、触觉、孔位或零件模型。纯仿真PPO学会插孔、齿轮啮合和螺母起扣；插孔在真实机器人上无需微调，八种零件237次测试成功173次，即73%。 三项设计相互配合：mjfit程序化生成保持间隙的碰撞几何；历史编码器从动作后果推断接触；训练期接触标签辅助表示学习。更耐受未见几何不代表未知零件已解决：随机凸截面盲策略36.2%、视觉3.9%。真实实验仅覆盖插孔，所有任务从零件已接触夹具的位置开始。