EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation
EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation
Haoran Lang · Haotao Lu · Shiyu Sang · Haoyang Luo · Guo Chen · Qun Li · Jingyi Yu · Ye Shi 等
一句话结论
EmbodiRSI 的价值在于把“当前策略失败在哪里”变成下一批训练数据从哪里来。它先从目标真实桌面重建一个可反复复位、诊断和采数的任务仿真；策略 rollout 时，agent 监控失败并从策略已经到达的中间状态生成纠正轨迹；跨 episode 后，再把失败归因到源物体或目标锚点的空间弱区，定向补采专家示范。两轮更新后，14 个子任务的 scene-balanced 自主仿真成功率从 50.4% 升到 83.5%；用 400 条自适应仿真轨迹加每个子任务 10 条实机人工纠正，实机成功率达到 83.1%，高于每个子任务 200 条真实示范的 75.0%。 这篇论文的“递归自我改进”不是模型自己改写权重或代码，而是外部 agentic 工作流根据当前策略的 rollout 反馈，递归改变经验获取、纠正监督和后续训练。评估限制也很清楚：三个目标桌面场景、每个策略覆盖一个场景、代码尚未发布、没有 held-out 场景和长时间持续改进验证；实机每个任务只有 10 次测试，统计证据仍是原型级而非跨场景结论。
关键词
摘要
中文摘要
将机器人操纵策略适配到新任务和新环境仍然高度依赖数据，而进一步改进所需的数据又取决于当前策略的能力和失败模式。作者提出 EmbodiRSI，一个在 real-to-sim-to-real 场景中执行递归自我改进的 agentic 系统：系统从目标部署场景构造任务专用仿真，把它作为低成本环境反复改进策略，再迁移回真实世界。EmbodiRSI 用策略执行反馈指导后续经验采集和策略更新，两个互补机制闭合该循环：Collaborative Error Correction 从策略实际到达的状态生成 agent 辅助纠正轨迹；Adaptive Data Collection 把专家示范生成导向当前策略弱点。任务专用仿真作为可复用工作区，支持策略热身、重复评估、失败诊断、定向数据生成和连续 RSI 轮次。在三个桌面环境、14 个子任务上，两轮 RSI 将 scene-balanced 自主仿真成功率从 50.4% 提升到 83.5%；每个子任务使用 400 条自适应仿真轨迹和仅 10 条真实精修轨迹后，实机 scene-balanced 成功率为 83.1%，高于每个子任务 200 条真实示范适配的 75.0%。
英文摘要
Adapting robot manipulation policies to new tasks and environments remains highly data-intensive, while the data needed for further improvement depends on the policy's current capabilities and failure modes. We introduce EmbodiRSI, an agentic system for recursive self-improvement (RSI) in a real-to-sim-to-real setting, where task-specific simulations are constructed from target deployment scenarios and used as low-cost environments for iterative policy improvement before transfer back to the physical world. EmbodiRSI uses policy execution feedback to guide subsequent experience acquisition and policy updates. Two complementary mechanisms close this loop: Collaborative Error Correction generates agent-assisted corrective trajectories from policy-reached states, while Adaptive Data Collection directs expert demonstration generation toward the current policy's weaknesses. The task-specific simulation serves as a reusable workspace for policy warm-up, repeatable evaluation, failure diagnosis, and targeted data generation across successive RSI rounds. Across three tabletop environments and 14 subtasks, EmbodiRSI increases scene-balanced autonomous simulation success from 50.4% to 83.5% over two RSI updates. With 400 adaptive simulated trajectories and only ten real-world refinement trajectories per subtask, EmbodiRSI achieves 83.1% scene-balanced autonomous real-world success, compared with 75.0% for adaptation using 200 real-world demonstrations per subtask. These results demonstrate that feedback-driven recursive improvement in deployment-specific simulations can enable data-efficient adaptation of embodied policies to physical environments.
直观理解
想象一个球员进入一间按比赛场馆复刻的训练室。教练不只在赛前给一套标准动作录像，而是在球员实际漏球、滑倒或站位偏差后，从当下姿态把他拉回正确动作；训练结束后，教练还会统计哪几个角度反复出错，下次专门在这些角度布置训练。EmbodiRSI 的两个反馈机制正对应这两层：episode 内从 policy-failed state 做 Collaborative Error Correction，episode 之间用失败归因驱动 Adaptive Data Collection。
关键区别在于“训练有教练，考试没有教练”。仿真 rollout 中的 agent、规划器和状态信息只用于生成训练数据；最终仿真和实机评测都关闭 agent takeover、规划恢复和人工纠正。论文观测到策略自己产生 reattempt，这是学到的行为，不是测试时外部接管。
背景与问题
为什么做
通用机器人操纵策略在新任务和新桌面上的可靠部署仍然依赖大量数据，而最有价值的补充数据恰恰取决于当前策略会怎样失败：早期可能抓不准，抓取解决后失败又转移到放置、任务选择或边界姿态。论文因此想把策略 rollout 的执行反馈变成后续经验采集的控制信号，而不是继续被动扩大一个固定数据集。
问题缺口
传统 DAgger 类数据聚合可以覆盖 learner-induced states，但通常缺少可自动生成、验证和重复复位的目标场景；干预式学习能产生纠正数据，却较少同时更新下一轮采集分布；Real2Sim 能降低采数成本，但常被当作生成种子数据的通道，而不是贯穿评估、诊断、恢复和定向补采的长期练习场。EmbodiRSI 要补的正是“观察到失败”与“得到有用训练经验”之间的闭环。
方法
方法概述
EmbodiRSI 先把一张目标桌面图像和可选目标图/语言目标编译成初始场景与有序目标场景，再生成经过碰撞、多视角、运动可行性和执行检查的任务配置与示范；当前策略在该仿真中 rollout，监控 agent 判断 continue/recover/complete，失败时从真实中间状态重抓取并重规划，跨轮次则把失败归因到配置弱区并混合原始分布与困难分布继续采数，最后用带优势标签的模仿学习更新策略，形成下一轮 rollout 与采数。
核心机制
系统让经验分布随策略共同演化：episode 内的纠正轨迹覆盖 nominal demonstrations 不包含的 policy-induced states，episode 间的失败率网格把后续示范采样推向当前弱点；两者都写回累积数据集，并由同一 policy-value 更新规则吸收。训练工具可以读取仿真状态，但学习策略只看到头/腕相机 RGB、14 维机器人状态和指令，评测时没有外部恢复。
方法拆解
- Agentic Real2Sim 场景编译：VLM 识别桌面与可动物体，SAM 3 输出实例 mask，SAM 3D 重建带纹理 mesh；Agent-Guided Adaptive Collision Rectification 修复互相穿透，同时保留支撑和包含关系。agent 通过渲染视角、粗任务关系与几何检查迭代细化 organized target scene，使初始/目标布局都可执行。
- 可复用轨迹与任务配置：trajectory agent 为每个子任务生成 source object、target anchor、指令、抓取和 waypoint 程序以及允许 reset 范围；GraspGen 提供抓取候选，cuRobo 规划运动，swept-object collision、多视角检查、顺序运动可行性和执行期任务检查通过才入库。复位后 waypoint 会重新绑定到当前物体 pose，并从当前关节状态重规划。
- Agentic rollout monitor：监控器融合时间图像窗口、动作历史、物体/机器人状态、gripper 状态和目标误差，输出 continue、recover 或 complete；完成必须同时满足视觉判断和几何成功。恢复受置信度、冷却时间、尝试预算和是否持物等门控，避免打断本来有效的运输。
- Collaborative Error Correction：在失败触发时刻，不把任务复位到干净初始状态，而是把 nominal grasp 变换到当前物体位姿，先确定性探测候选，再从当前关节状态规划入口运动或继续剩余程序；纠正后刷新观测、检查完成并交还策略。成功 continuation 因此包含从中间错误恢复的动作监督。
- Adaptive Data Collection：agent 将最终失败归因到源物体 reset、目标锚点 reset 或 neither；对非退化配置范围做归一化网格，只有样本量和 attributed failure 足够且失败率超过全局均值才选为弱区。下一轮采样分布是
(1-α)p0 + α phard,k，保留原分布避免过拟合，同时把训练采数推向弱配置；测试 reset 分布不变。 - Policy update 与 R2S2R：每轮累积成功 rollout 派生经验和新生成示范，value model 用 50 步状态值变化生成二值 advantage 标签，动作仍作为 BC 目标，策略以文本 advantage 条件预测动作。R0/R1/R2 的每子任务累计保留轨迹为 50/200/400；最终每个子任务加入 10 条真实 HIL 纠正，同一目标精修后自主评测。
关键要点
- EmbodiRSI 同时改变“学什么”和“下一批从哪里学”：纠正轨迹覆盖中间失败状态，定向采集覆盖跨 episode 弱配置。
- 仿真状态、agent 诊断和规划恢复是训练采数基础设施，不是部署控制器；最终评测要求策略-only 执行。
- 报告的训练预算是每子任务 retained successful trajectories，不等于总尝试数、transition 数或计算成本；失败 rollout 只用于归因和定向采数，未进入策略训练集。
结果
结果速览表
| 要回答的问题 | 最直接证据 | 应保留的边界 |
|---|---|---|
| 自主仿真策略是否逐轮变强？ | R0/R1/R2 = 50.4/70.7/83.5% | 两轮、目标仿真、14 个子任务 |
| 反馈采集是否优于静态采集？ | 400 条匹配预算：79.9% vs 59.3% | S1+S3 完整系统消融，非组件级 |
| 实机精修后是否保持优势？ | 82.1% vs 67.9%，+14.2 pp | 每边均 +10 HIL，S1+S3 |
| 是否比真实示范更省实机数据？ | R2+10 83.1% vs Real-only 200 75.0% | 真实轨迹 10 vs 200，但仿真与系统成本未计 |
| 评测是否用了外部恢复？ | 所有测试关闭 agent takeover、planner recovery 和人工纠正 | policy 自身 reattempt 仍算自主行为 |
| 能否复现？ | PDF/HTML、任务表、训练预算和公式较详细 | full code 尚未发布，项目页不是稳定 HTTPS 入口 |
洞察
风险与判断
局限
- 场景特定而非通用适配：评估只有 Office、Kitchen、Household 三个桌面和 14 个子任务；每个场景训练一个策略，未测试 held-out 场景、新 embodiment、非结构化大场景或动态/可变形物体。
- 没有长时间递归验证：论文只报告两轮 RSI，缺少继续更新后是否饱和、震荡、数据冗余或灾难遗忘的证据；“递归”能力尚未证明可长期稳定运行。
- 组件贡献未拆干净：匹配预算比较是完整系统对照，恢复、弱区归因、agent 推理和混合采样共同作用；缺少逐一关闭这些模块的细粒度 ablation。
- 真实证据有限且非独立重复：实机每个任务 10 次，共享策略的任务不是独立训练 replicate；83.1% 与 75.0% 的差异在任务级仍有交叠，不能当成熟统计显著结论。
- 依赖较重的封闭工具链：SAM 3、SAM 3D、GraspGen、cuRobo、Isaac Sim、GPT-5.5、π0.5/value head 和 OpenClaw/MCP supervisor 组成复杂系统；任何一个重建、抓取、规划或归因环节的误差都会影响后续训练数据。
- Real2Sim 误差和成本不透明：物理参数、纹理偏差、遮挡重建、光照和接触动力学差异可能造成 sim-to-real gap；论文没有完整报告计算成本、API 成本、重建失败率或人工修复量。
- 复现性暂不足：Reproducibility Statement 仅写 full code will be released soon；项目入口在论文 PDF 中是一个明文 HTTP IP 地址，公开代码、数据、配置和完整协议前难以独立复现。
- 术语可能被夸大：训练时 agent 可读 simulator state 并触发规划恢复；如果把它描述为部署时自主纠错，就混淆了训练采数工具和策略-only 测试。
适用场景
- 目标部署桌面较固定，可以拍照重建和自动生成抓取/放置配置，且允许在仿真中大量 rollout、诊断和定向采数。
- 已有 π0.5 类预训练 VLA、双臂 ALOHA 观测接口和少量人工纠正通道，希望把真实采数从“大量完整示范”压缩为“少量局部 refinement”。
- 任务失败可通过物体 pose、gripper 状态和视觉证据归因，例如抓取偏差、放置区域和 reset 位置弱区；而不是需要精细接触力、长时序规划或不可观测状态的任务。
- 适合作为机器人自我改进和 Real2Sim 数据系统的研究原型；生产环境还必须补充安全约束、失败检测可靠性、跨场景验证和成本核算。
最终判断
- 值得跟进，核心贡献是 policy-dependent experience acquisition。 20.6 个百分点的匹配预算仿真增益和 83.1% vs 75.0% 的实机结果，支持“让下一批数据瞄准当前弱点”这一系统设计。
- 证据等级是目标场景内适配，不是通用自进化机器人。 不能外推为 held-out 场景零样本、跨机器人迁移、持续无限自我改进或无需人类监督的自适应。
- 后续最应验证四件事：新场景与跨本体泛化；更多 RSI 轮次的稳定性；Collaborative Error Correction 与 Adaptive Data Collection 的独立贡献；重建质量、agent 误归因和 API/计算成本对最终性能的敏感性。
相关主题
Robot Self-Improvement
关注机器人如何根据自身 rollout 失败改进数据采集、技能代码和长期能力库，并检验这种递归改进能否跨场景、跨轮次、跨调用者稳定延续。
打开主题
继续阅读
上一篇
Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation
UVTA 的核心贡献是把“人类触觉示范”变成机器人灵巧操作的可扩展监督。它不要求人手动作直接可执行，而是把人类与机器人轨迹统一到 20 维触觉、31 维动作空间，并让共享视觉-触觉表征同时预测未来动作和未来触觉轨迹。真机五任务上，UVTA 的平均阶段化成功率为 70%，高于最强视触基线 T-Rex 的 29%；人类数据从 0 增至 1,000 条时，三任务平均从 0% 升至 84%，且曲线在 1,000 条尚未饱和。它的价值在于提出了比本体形态更稳定的“接触物理后果”作为跨本体迁移接口。
下一篇
World Action Learning via Interaction-Centric Spectral Latent Guidance
WING 把第一人称人类视频中的可迁移操作知识蒸馏成两类结构：先剔除观察者相机运动、保留手-物交互 latent action，再只取跨本体更一致的 DCT 低频成分作为动作生成 guidance。它在 LIBERO、RoboTwin 2.0、RoboCasa-GR1 和真机双臂任务上都取得强结果；消融显示去观察者偏差与低频谱引导分别有效，且组合最优。