作者：Jiayi Su、Yixin Zheng、Mi Yan、Li Yi、Zhizheng Zhang、He Wang
单位： Galbot
1. Motivation：语义推理如何变成可靠的动作？
通用多模态模型已经能够从图像中识别物体、理解语言目标，并通过工具反馈修正计划。把这类能力放进机器人控制回路，很自然会产生一个问题：模型能否直接根据当前画面和机器人状态，给出下一段动作，而不再依赖额外的机器人专用训练？
真正的困难在动作执行的细节里。理解“把瓶子放进垃圾桶”之后，还需要确定可达的抓取姿态、移动时的净空、接触后的稳定性与松手时机。双臂任务还要求两只手在支撑、搬运和释放时协调。一个语义上合理的计划，如果没有处理好这些连续的几何和接触条件，仍然会失败。
视觉语言动作模型（Vision-Language-Action Model，VLA）从机器人数据中学到了这类操作模式，但也可能选错目标、沿着错误方向继续执行，或者在出现异常后无法及时调整。于是，这份报告比较两种选择：让 Astra 独立生成动作，或者让 π0.5 提供候选动作，再由 Astra 判断是否需要修正。 研究重点是两类能力如何在同一个闭环里配合，以及这种配合在什么条件下有收益。
图 1. RoboDojo 所选十个任务上的平均 Score。其他模型的公开结果按相同任务子集与场景比例重新加权。图源：GPT 6 Astra as an Embodied Policy。
2. Insight：动作经验与语义判断的互补有条件
2.1 动作先验提供的是一段可执行的操作模式
π0.5 的价值在于给出具体的候选轨迹，把抓取、搬运和双臂协调中的大量细节交给已经学过这些交互的策略。Astra 可以在这条轨迹上判断：选中的物体是否符合指令？移动方向是否正确？当前操作是否仍然朝着目标推进？这让通用模型的推理有了可检查的动作对象。
报告用 System 1 / System 2 描述这种分工：π0.5 提供较快的感知运动响应，Astra 进行显式推理和异常处理。这里是功能类比，不代表两者已经构成独立并行、满足实时要求的控制系统；实际架构仍然在每次决策时等待 Astra 的判断。
2.2 小比例动作修正可以与较大的任务收益同时出现
在 RoboDojo 的混合轨迹里，85.6% 的已执行控制步来自 π0.5，14.4% 由 Astra 修正。最终成功率却从 Direct 的 26% 提升到 Hybrid 的 48%。这提示我们，改变少量与目标选择、抓取几何或任务遗漏有关的动作，可能影响后续整段执行。
但这个结果不能直接解释为“推理调用减少到 14.4%”。Astra 仍在每个决策点审查候选动作，14.4% 统计的是实际执行的控制步，不是推理次数或耗时占比。当前实验也没有隔离证明哪些修正贡献了多少成功率；它提供的是混合架构的整体结果与行为案例。
2.3 候选策略的任务适配决定了协作的起点
在 RoboLab 上，Direct 的成功率反而高于 Hybrid，顺序与 RoboDojo 相反。这个差异让报告的结论更具体：当候选策略能提供适合任务的动作时，Astra 有机会通过局部修正获益；如果候选动作本身偏离任务，模型还需要承担检查、纠错与恢复的负担。
任务适配是作者提出的解释之一，尚未被独立消融验证。因此，“混合控制何时有效”需要同时考虑任务类型、π0.5 使用的训练权重，以及直接控制原本能达到的水平。
3. Method：两种策略怎样完成一次闭环决策？
3.1 共同输入与动作接口
在双臂 RoboDojo 设置中，观察包含三个视角的图像，以及 14 维本体状态。模型还接收任务指令、执行历史和保留的笔记。本体状态用于了解机器人当前构型，历史则帮助模型判断此前做过什么、哪些尝试没有达到预期。
Direct 和 Hybrid 的 Astra 均使用 xhigh 推理设置，共享任务描述、成功条件提醒和末端执行接口。模型生成的末端目标包括位置、姿态与夹爪指令，再由逆运动学（IK）转换为关节空间目标。Python 基础设施负责验证、连接模拟器和记录，动作决策仍由模型作出。
3.2 Direct：每段末端动作都由 Astra 生成
Direct 不运行 π0.5，也不接收其候选轨迹。一次决策可以按以下顺序理解：
- 读取最新图像、本体状态、任务目标与历史。
- 由 Astra 生成双臂末端目标和夹爪命令。
- 通过 IK 执行 1–5 个控制步。
- 获得新的观察和执行反馈，继续下一轮决策。
这种设计给模型较大的规划自由度。报告展示了用手臂扫动物体、尝试单手操作双臂任务等行为，同时也暴露出抓取朝向、支撑关系、本体状态解释和动作连续性上的问题。能提出多种操作方案，与能稳定执行其中一种方案，是评估时需要分别观察的能力。
3.3 Hybrid：先提出候选，再选择接受或纠正
π0.5 根据当前图像、本体状态和指令，生成一个 50 步、每步 14 维的候选关节动作序列。Astra 看到相同观察、执行历史，以及候选动作经过正运动学（FK）转换后的双臂末端轨迹。这样，审查可以对应到机械臂将如何运动，而不只是一串关节数值。
随后，Astra 在两个分支中选择一个：接受候选序列的前 1–15 步；或者生成末端修正动作，执行 1–5 步。执行后重新获取观察，再由两种模型开始下一轮。50 步是候选序列长度，并不会一次性全部执行。 接受与修正也不会在同一个决策中同时执行。
| 决策环节 | Direct | Hybrid |
|---|---|---|
| 候选动作从哪里来 | Astra 直接生成末端目标 | π0.5 先生成关节动作序列 |
| Astra 的主要工作 | 规划并构造下一段动作 | 检查候选轨迹，接受或生成修正 |
| 每次执行长度 | 1–5 步 | 接受时 1–15 步；修正时 1–5 步 |
| 如何更新决策 | 执行后重新观察 | 执行后重新生成候选并审查 |
这是“执行一小段，再根据反馈重新规划”的闭环。执行段较长，可以减少决策轮数，但也延长了新反馈进入决策前的间隔。动作段内发生滑落或碰撞时，系统可能要到下一次观察才发现。因此，段长度同时影响调用成本与恢复能力，也是解释实验结果时不能忽略的变量。
4. Experiments：提升来自哪里，又在哪里失效？
4.1 RoboDojo：在相同场景与种子下比较
作者按官方 π0.5 成功率的 0–72% 范围划分四个等宽区间，从低到高分别选择 6、2、1、1 个任务。这个采样策略偏向有提升空间的任务，同时覆盖语义分类、序列模仿、装箱、搭建和可变形物体操作。
每个任务运行 5 次，Direct 与 Hybrid 按任务、场景和各类种子逐实例配对。数字排列、装箱、叠衣服三个带泛化场景的任务采用 2 次标准场景加 3 次随机场景；其他任务使用 5 次标准布局。Success Rate 衡量最终是否成功，Score 则保留部分完成情况。
| 方法 | 成功率 |
|---|---|
| π0.5（公开结果按任务子集重新加权） | 15.67% |
| GPT 6 Astra Direct | 26%（13/50） |
| π0.5 + GPT 6 Astra Hybrid | 48%（24/50） |
结合图 1 的 Score，可以看到收益既体现为更多最终成功，也体现为更高的任务完成程度。不过，π0.5 及其他官方模型的数字来自公开结果重新加权，并非与 Direct、Hybrid 在相同种子下重跑；最直接的配对比较是后两者。
4.2 行为案例：语义纠错怎样影响操作？
报告中的案例可以分成三个层次。第一类是目标对齐：语言分类时重新选择目标物体，数字排列时纠正放置位置，折叠衣物时调整抓取点。第二类是接触前规划：先推动或重新摆放物体，再以更合适的几何关系抓取。第三类是利用执行反馈继续检查：表面上操作已结束，但模拟器尚未判定成功，于是重新寻找遗漏物体、朝向要求或搭建条件。
这些案例使“语义推理有帮助”变得可观察：帮助可能发生在选择对象、组织接触和检查终态的不同阶段。但它们是展示性轨迹，不能用来估计某类机制出现了多少次，或某种失败占全部失败的比例。
失败也贯穿这些层次。模型可能知道该搬哪个物体，却因容器边缘净空不足而碰撞；可能完成了一次抓取，却未及时发现动作段内的滑落；也可能对困难抓取反复尝试，消耗剩余控制步预算。局部修正因此需要和接触稳定性、反馈频率一起考虑。
4.3 RoboLab：更换任务与权重后，顺序发生变化
RoboLab 使用单臂 Franka。作者选择 10 个任务，每种策略每个任务运行 5 次，共 50 次评估，只比较最终成功率。
图 2. RoboLab 单臂任务子集上的成功率，Direct 与 Hybrid 的顺序与 RoboDojo 不同。图源：GPT 6 Astra as an Embodied Policy。
作者认为，所选任务较多涉及带语义要求的抓取放置，目标识别、大小颜色判断、容器和空间关系理解可以充分发挥 Astra 的优势。
训练条件也不同：RoboDojo 使用任务微调过的 π0.5 权重，RoboLab 的 π0.5、Cosmos3-Nano-Policy 与 DreamZero 使用 DROID 训练权重进行零样本评估。在候选策略独立完成任务的能力较弱时，其动作未必能为 Astra 节省足够的规划与恢复工作。
任务组成与权重适配是合理解释，但这两者同时变化，50 次评估中的 3 次差异也需要更多重复实验确认。当前结果支持“协作收益依赖场景”，尚不足以单独确定造成顺序反转的因素。
4.4 Token 减少与实时控制是两个问题
以下统计来自 RoboDojo 的选定运行，不能直接套用到 RoboLab。
| 指标 | Hybrid | Direct |
|---|---|---|
| 已执行控制步 | 42,750 | 38,221 |
| 已执行动作段 | 3,776 | 7,729 |
| 总 token（包含缓存输入） | 624,762,828 | 1,132,343,772 |
| 平均物理时长 | 34.20 秒 | 30.58 秒 |
Hybrid 的动作段数更少，总 token 比 Direct 少约 44.8%。这与接受 π0.5 候选时可以执行更长动作段的设计相吻合，也意味着成本变化不能全部归因于“每次推理更简单”。这些 token 包含缓存输入，仅覆盖对应轨迹的选定运行，不包含全部早期重试，也不是账单金额。
物理时长由控制步数乘以 0.04 秒得到，排除了模型响应等待。仿真可以在推理时暂停，而现实环境会继续变化。Direct 的物理时长较短，也可能受到提前失败的影响，不能据此判断端到端效率更高。要讨论实际部署，仍需测量墙钟时间、响应延迟和延迟期间的状态变化。
5. Conclusion
这份报告说明，通用多模态模型已经能够根据任务语义、空间关系和执行反馈组织机器人动作。在所选 RoboDojo 任务上，π0.5 与 Astra 的混合架构取得更高的完成率，同时减少记录的 token；在 RoboLab 子集上，直接控制则达到更高成功率。两组结果共同指出，候选策略的动作质量和任务适配程度，是理解协作收益的关键条件。
不过，每个任务仅评估 5 次，RoboDojo 的采样又偏向原有低成功率区间，仍需在更广的任务分布上确认收益。两种架构还同时改变了动作先验、动作接口和执行段长度。基于这些结果，一个值得检验的方向是固定接口、执行长度与观察频率，只改变是否提供候选轨迹；再在同一任务上比较不同适配程度的 π0.5，结合接受率、纠错效果和恢复成本，判断究竟什么样的候选动作值得交给 Astra 审查。
走向真实机器人还需要解决推理与环境变化之间的时间差。当前系统每个决策点都等待 Astra，减少已执行的修正步数并不等于减少推理等待。后续可以研究由异常或不确定性触发审查，并结合异步规划和短时动作缓存；这些设想需要在推理期间持续运行的仿真与真实机器人上验证，同时测量完整墙钟时间、漏检与失败恢复，才能判断语义推理带来的收益是否足以覆盖延迟成本。