Robot Self-Improvement
关注机器人如何根据自身 rollout 失败改进数据采集、技能代码和长期能力库，并检验这种递归改进能否跨场景、跨轮次、跨调用者稳定延续。
正文
Robot Self-Improvement
机器人策略改进的核心问题从“怎样学一个策略”扩展为“当前策略下一步应该生成什么经验”。
主题概述
这条主题收集通过策略自身执行反馈驱动后续改进的工作，覆盖四条互补机制：从失败中间状态生成纠正监督、根据失败分布改变后续采数、把代码技能 / 接口契约 / 失败归因 / 回归验证组织成长期能力库，以及把冻结模型周围的上下文、记忆、技能与绑定整体作为 system policy 演化。它与 online RL 相关，但不要求所有方法都使用 TD 学习或环境 reward。
代表工作
来源: EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation 把目标桌面重建为长期可复用仿真练习场；agent 监控 policy rollout，从 policy-reached state 生成纠正轨迹，并把最终失败归因到空间弱区以定向补采示范。匹配 400 条轨迹预算时比静态采集高 20.6 个百分点，R2+10 实机成功率达 83.1%。
来源: RISE: Self-Improving Robot Policy with Compositional World Model 用动作可控多视角 dynamics model 和进度/TD value model 组成想象练习场，为 π0.5 的动作块生成 advantage 并更新策略；三项真机任务成功率达 85%、85% 和 95%，部署时不运行世界模型。
来源: RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents 把冻结基础模型的上下文、文件记忆、技能层次、恢复树和跨本体绑定整体视为 policy；失败归因到六类能力，任务级修复通过 held-out 保留检验后提升为通用规则。GPT-5.5 在 EmbodiedBench 从 56.9% 升至 72.7%。
来源: HarnessPAI: An Evolving Harness for Physical AI 先演化外部可执行程序而不是直接更新策略；程序在 rollout 间根据诊断反馈修复，并用成功 gate 在扰动场景生成专家轨迹。π0.5-LIBERO 用这些轨迹微调后，LIBERO-PRO 从 34.9% 升至 73.7%。
来源: RoboRSI: Stable, Efficient, and Reusable Robot Self-Evolution in Complex Real-World Environments 用 Top-Down Skill Refinement、四角色分工和回归门控管理代码技能库：失败沿调用路径归因到最早失败节点，补丁限制在责任子树内，稳定流程固化为复合代码或学习策略。
来源: Phoenix（MWA™-Phoenix）: Scaling Robotic Manipulation through Visual and Interaction Representations 用动作条件的视触觉世界模型 Phoenix-PhysCanvas 作为可交互仿真器，从真实初始观测闭环采样多条 rollout，奖励模型打分后经组内相对比较做 GRPO 更新；试管插拔真机成功率 58.33%→75.00%，积木 80.00%→86.67%，是"世界模型内 RL 收益兑现到真机"的最新证据。
来源: A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control 在仿真 RL 内部用每个任务配置的滚动成功率调度后续经验，把最多约 1M 并行环境集中在当前策略可学习的边界配置上。它说明 self-improvement 可以先发生在训练时的任务抽样层，而不要求策略在真实部署后继续更新。
来源: LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts 用源相关噪声采样 + 质量 steering + 质量加权监督把全质量谱部署 rollout 直接接进单个 WAM：失败轨迹保留视频监督但屏蔽动作模仿，部署时以专家分 q⋆ 锁定行为模式。Table30-V2 三轮部署重训 23.67%→43.33%，叠衣服两轮 13.20%→55.56%，是"单模型直接从部署数据闭环改进"目前最完整的真机证据。
当前判断
- 有价值的 self-improvement 不一定是模型改写自身，而是让数据采集策略随执行弱点共同演化。
- RISE 提供参数层路线：在想象环境中扩展当前策略可达状态，用 chunk advantage 学习更好行为；其风险从真实机器人安全转为世界模型幻觉与算力成本。
- SGS 补充了一个更基础的层次：如果已有可靠成功谓词和覆盖充分的任务池，先优化“下一批 rollout 练什么”就可能显著提高大规模 RL 的有效数据量。
- HarnessPAI 补上另一条路线：把重复任务的执行经验固化为代码与节点化修复技能，再把已验证程序当作 success-filtered 数据采集器。
- RoboFoundry 提醒我们，被改进的不一定是策略权重或训练数据，也可以是模型可见上下文、记忆操作、技能组合和执行绑定；但系统级自我编辑更需要成本核算、执行级回归和安全治理。
- 技能库自我改进必须回答“补丁属于谁、会影响谁、凭什么发布”；接口、后置条件和近期回放是防止共享能力退化的最低工程约束。
- 训练时的外部恢复和测试时的 policy-only 自主行为必须分开报告，否则容易夸大系统可用性。
- 该方向仍缺少跨 held-out 场景、长时间多轮更新、组件贡献和总成本的可复现验证。
相关页面
- A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
- EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation
- RISE: Self-Improving Robot Policy with Compositional World Model
- RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
- RoboRSI: Stable, Efficient, and Reusable Robot Self-Evolution in Complex Real-World Environments
- HarnessPAI: An Evolving Harness for Physical AI
- Phoenix（MWA™-Phoenix）: Scaling Robotic Manipulation through Visual and Interaction Representations
- Online RL for VLA
- Vision-Language-Action
- 机器人 RSI：数据、想象、程序、技能与系统策略
相关材料
A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
SGS（Success-Guided Sampling）解决的不是“新的策略网络”或“新的 PPO 更新规则”，而是大规模并行 RL 里经验分配的瓶颈：uniform reset 会把大量环境浪费在策略已掌握或完全解不了的配置上。它为每个固定任务配置维护最近 100 次布尔成功记录，用 Beta 形核给中等成功率区域更高权重，再经 softmax 抽样，同时用数值下限保证困难配置仍会被偶尔重访。作者在最多约 1M 并行环境的仿真中验证：1M 环境下多地形 ANYmal-D 成功率约 73%，高于 PLR 的 54%；Franka 螺母装配约 70%，而 uniform 和 PLR 分别约 6% 和 5%。不过，操作任务是逐任务训练策略，不是单个通用策略；实机 UR5e 三个任务零样本成功率从 37.5% 到 94% 不等，sim-to-real 差距仍真实存在。
EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation
EmbodiRSI 的价值在于把“当前策略失败在哪里”变成下一批训练数据从哪里来。它先从目标真实桌面重建一个可反复复位、诊断和采数的任务仿真；策略 rollout 时，agent 监控失败并从策略已经到达的中间状态生成纠正轨迹；跨 episode 后，再把失败归因到源物体或目标锚点的空间弱区，定向补采专家示范。两轮更新后，14 个子任务的 scene-balanced 自主仿真成功率从 50.4% 升到 83.5%；用 400 条自适应仿真轨迹加每个子任务 10 条实机人工纠正，实机成功率达到 83.1%，高于每个子任务 200 条真实示范的 75.0%。 这篇论文的“递归自我改进”不是模型自己改写权重或代码，而是外部 agentic 工作流根据当前策略的 rollout 反馈，递归改变经验获取、纠正监督和后续训练。评估限制也很清楚：三个目标桌面场景、每个策略覆盖一个场景、代码尚未发布、没有 held-out 场景和长时间持续改进验证；实机每个任务只有 10 次测试，统计证据仍是原型级而非跨场景结论。
RISE: Self-Improving Robot Policy with Compositional World Model
RISE 把真实机器人在线 RL 的瓶颈从物理世界移到想象空间：它不让机器人反复试错，而是用一个动作条件化的多视角视频 dynamics model 合成未来状态，再用进度回归与 TD learning 联合训练的 value model 为动作块计算 advantage，最后用这个 advantage 条件化并更新 π0.5 VLA。三项真机任务上，RISE 分别把动态砖块分拣、背包整理和纸箱关闭成功率提升到 85%、85% 和 95%，显著超过 PPO、DSRL、DAgger 和 RECAP。核心代价也很明确：视觉世界模型预训练和微调需要大量 H100 计算，而且结果仍受世界模型覆盖与物理一致性的上限约束。
RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
RoboFoundry 的关键转向是把 “embodied policy” 从基础模型本体扩大为围绕模型运行的完整系统：进入模型的活动上下文、跨 episode 文件记忆、原子技能与复合技能、恢复树、语义/执行绑定，以及记录这些组件如何被调用的 trace，都成为可以诊断和修改的对象。基础模型权重保持冻结；所谓 self-evolving 是系统文件、规则、接口和技能库在被执行反馈验证后持久更新。 它的外循环是 Act–Reflect–Repair–Promote：先执行并记录 trace，再把失败归因到 perceive / reason / plan / save / retrieve / utilize 六类能力，随后生成任务级修订；如果同类能力的其他任务 held-out trace 没有退化，才把任务经验抽象成通用系统规则。这个设计把组件级优化提升到系统级优化，同时用显式 scope 和验证避免无约束自我改写。实验覆盖 1,128 个 EmbodiedBench 任务、RoboMemArena、LIBERO-PRO 和真实机器人；GPT-5.5 平均成功率从 56.9% 提升到 72.7%，Qwen3.7-Plus 达到 70.3%，真实机器人上也能跨任务和跨本体继续演化。
RoboRSI: Stable, Efficient, and Reusable Robot Self-Evolution in Complex Real-World Environments
RoboRSI 的核心不是一个新的端到端机器人策略，而是一套让执行经验变成可维护能力的系统机制。它把任务组织为任务族、复合技能、原子任务和基础技能，要求每个节点有明确接口、责任和后置条件；失败后由 Reviewer 沿实际调用路径定位最早失败节点，Manager 只允许在这个节点拥有的子树内修改，并通过功能测试与近期执行回放验证后才发布。这个“先定位责任、再局部修改、再门控发布”的流程，显著减少了修补漂移和全局技能库污染。 证据上有两点最值得记住：其一，在 104 轮、24 小时真机移动清理开发中，系统把失败修复转化为技能树中的局部能力和回归测试，最终两个场景 9 次指定放置全部由现场人员确认成功且无人工接管；其二，复合技能消融在 600 个匹配 episode 上将成功率从 21.5% 提升到 29.0%，同时中位 token、模型调用和墙钟时间分别下降 29.4%、27.2% 和 17.0%。但主仿真结果是在线自我改进口径，不能和固定策略 Pass@k 混读；真机曲线也是开发记录而非固定任务重复实验。
HarnessPAI: An Evolving Harness for Physical AI
HarnessPAI 的核心主张是：Physical AI 的瓶颈不只藏在 VLA/WAM 权重里，也在把感知、语言 grounding、几何推理、动作调用和验证组织起来的执行系统中。它把任务写成可执行程序；单次 rollout 内程序固定、逐步检查、没有在线高层 LLM deliberation；跨 rollout 则由代码轨迹、 rollout 视频和成功契约驱动程序演化，并把失败修复沉淀为按任务图节点检索的技能库。包装冻结的 π0.5 后，LIBERO-PRO 从 34.9% 升至 96.5%；包装 WorldDreamer 后，RoboCasa Atomic-Seen 从 65.0% 升至 92.2%。成功轨迹还能作为无人工标签的扰动场景专家数据，把 π0.5-LIBERO 的 LIBERO-PRO 成功率从 34.9% 微调到 73.7%。
LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts
LoopWAM 回答的问题是：通用机器人策略部署之后，能不能直接吃自己（以及别人）跑出来的全部 rollout——包括成功、次优和失败——而不用先过滤再模仿。它的答案是三个机制装进一个双流世界-动作模型：source-dependent noise sampling 让低噪声的记录动作充当后果预测的条件，把 ACWM 折进同一训练阶段；quality steering 把轨迹质量写成指令后缀 `Quality: q`，部署时只用专家分 q⋆ 采样；quality-weighted supervision 给动作损失乘权重 λ(q)，失败轨迹 λ=0 但保留视频监督。 效果是真闭环：RoboChallenge Table30-V2 四种本体 30 个任务上三轮“部署-重训”把总成功率从 23.67% 拉到 43.33%（+19.7 个点），总分 56.80 登顶榜单；不做额外具身预训练就在 RoboTwin 2.0 拿到 94.5% 平均成功率、RoboCasa365 拿到 49.5%；叠衣服单任务后训练两轮从 13.20% 到 55.56%。消融显示 quality steering 是最大单项增益来源（无 steering 时平均仅 72.3%），而且粗粒度标注（每个 checkpoint 一个分）就已足够。
相关综述
机器人 RSI：数据、想象、程序、技能与系统策略
综合 EmbodiRSI、RISE、HarnessPAI、RoboRSI、RoboFoundry 五篇材料，把机器人递归自我改进拆成经验生成、失败归因、候选更新、验证发布和部署复用五个环节，并比较数据、想象环境、可执行程序、技能库和系统策略五类更新对象。