'T-WLA: Bridging Slow Vision and Fast Touch'
'T-WLA: Bridging Slow Vision and Fast Touch'
一句话结论
T-WLA将视觉规划与触觉修正拆成两个时钟：39.7 Hz视觉分支输出基础动作块与历史视觉记忆，119.1 Hz轻量触觉编辑器读取缓存，修正未执行动作。未来图像和压力预测只在训练时监督表示，部署时移除预测头。EgoTouch手指MPJPE由0.50降至0.35 cm，真机四任务平均成功率50%。但自身无触觉版本已达47.25%，不能把相对SmolVLA+Tactile的33个百分点全部归因于快触觉。
摘要
中文摘要
接触条件可能在视觉计划更新前改变，重新计算视觉计划带来延迟，单独触觉又缺乏任务语境。T-WLA使用共享视觉记忆连接动作生成与触觉纠正：视觉分支融合当前图像、指令及历史，生成基础动作和记忆；轻量编辑器复用缓存，结合当前动作块和触觉修正尚未执行的动作。未来图像与压力预测只在训练时监督表示。作者在人手数据EgoTouch、Tachin与四项真实灵巧操作中评估，报告手指关节预测误差相对最强基线降低约30%，真机平均成功率约50%。本段为摘要含义的中文转述。
英文摘要
In contact-rich manipulation, contact conditions can change before a visual policy updates its action plan.
此处保留摘要首句节选；完整英文摘要见论文页面。
直观理解
视觉记住“任务是什么、物体在哪里、刚才怎么接近”，触觉在接触发生后及时调整“下一小段怎么动”。相同的压力变化可能意味着捏紧、放松或继续滑动，需要结合计划解释。共享视觉记忆为快速支路提供语境，而不必每次压力更新都重跑视觉骨干。
背景与问题
为什么做
接触密集操作中，滑移、局部压力和薄边缘夹持状态可能在下一次视觉策略更新前变化。相机不易观测这些微小变化，而每次重新运行视觉语言骨干会增加延迟。作者希望在保持动作块连续性的同时，利用快速触觉持续修正接触后的细粒度运动。
问题缺口
提高压力采样频率本身不能告诉控制器如何响应。同样的压力变化，其含义依赖任务指令、先前接近过程和当前动作计划。将触觉与视觉一起低频融合会丢失响应机会，独立触觉策略又缺少任务语境。因此需要低成本、可持续读取的视觉记忆接口，并明确哪些剩余动作可以修改。
论文相对Reactive Diffusion Policy和T-Rex强调：共享历史视觉记忆、当前计划条件和动作空间残差。与在线世界模型规划不同，本文未来预测只用于训练监督，不在部署时生成未来并搜索动作。
方法
方法概述
每次视觉事件先检索有限历史记忆，视觉骨干结合当前图像、语言、视场和状态输出新视觉记忆，动作专家再采样基础动作块。缓存记忆和基础块在下一次视觉更新前保持固定；触觉事件只编码已有压力历史，经轻量Transformer与FiLM产生有效剩余动作残差。训练先学习视觉动作与未来图像，再冻结视觉分支训练触觉编辑器及辅助预测路径。
核心机制
视觉记忆传递任务和场景状态，基础动作块指明当前运动意图，经过时间定位尚未执行的位置。每次修正都相对于同一个原始缓存基础块重新计算，不在上一轮修正结果上继续累加，因此不会因残差反复积分自然漂移。动作时间、手别、传感有效性和通道掩码共同限制修改范围；无有效触觉的手获得零修正。整个设计依赖基础计划在两次视觉更新间仍然有用，触觉负责局部修正而非任意重新规划。
关键要点
- 每次触觉更新复用缓存，并重新计算相对基础块的残差；不重跑视觉，也不累计上一轮残差。
- 视觉历史主要帮助任务语境及腕部预测，触觉主要帮助局部手指运动；消融呈现了不同作用。
- 世界预测属于训练期表示监督，编辑器阶段的预测消融不能代表整个预训练目标的贡献。
结果
结果速览表
| 问题 | 证据 | 边界 |
|---|---|---|
| 细粒度预测是否改善 | EgoTouch 0.50→0.35 cm | 离线人手预测 |
| 真机触觉贡献 | 47.25%→50% | 无统计区间 |
| 全任务是否领先 | 纸杯17%，T-ReX22% | 局部反馈不能解决所有任务阶段 |
| 世界预测贡献 | 去双目标平均恶化约1% | 只消融编辑器训练阶段 |
| 推理是否预测未来 | 两预测头均移除 | 训练监督，不是在线世界模型搜索 |
洞察
风险与判断
局限
适用场景
最终判断
值得吸收的是历史视觉记忆与计划条件触觉残差的接口，以及不累积残差、只改有效剩余动作的实现细节。人手局部运动预测证据较强，真机支持强视觉先验上附加小幅触觉收益。复现优先确认触觉消融试验量、完整/筛选测试协议与实际端到端延迟，暂不将其判断为触觉主导的大幅真机突破。
相关主题
Contact-Rich Manipulation and Adaptive Compliance
接触密集操作中的运动—力联合学习路线：如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示，并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。
打开主题
继续阅读
上一篇
Learning the 4D World through Point Trajectory Forecasting
值得保留的是一条受控证据：预测同一物理点的未来三维位置，能同时改善多视角视频的一致性与动作模型的操作表现。贡献包括联合监督机制、数据集与评测，但尚不能据此认定模型掌握完整物理规律或具备可靠的零样本轨迹控制。
下一篇
Agentic World Action Models
AW-0 值得记住的贡献，是让可复用技能程序成为世界动作模型内部的规划表示：语义计划既影响未来画面，也影响运动控制。八项真机任务平均评分从最强基线 DreamZero 的 46.0% 提高到 71.1%，但视觉随机化仍明显破坏默认模型表现。它提供了连接程序技能与连续控制的可行接口，尚未实现交互中自主扩展技能或持续学习。