GPT-6-Astra 实现具身智能了吗?

具身能力,基本有了。
真正落地的具身智能,还没有。

我们关心的不只是 GPT-6-Astra 有多强,更是它的能力对整个领域意味着什么:我们在 12 个榜单上探明它的能力边界,拆解它背后的 Harness,在 8 款真机平台上加以验证,并给出一个原型,探讨下一代具身评测应该衡量什么。

01 · 实证研究

统一协议下的大规模实证研究

在 12 个榜单上探测 GPT-6-Astra 的能力上限

GPT-6-Astra 的评测协议允许在训练集上进行上下文学习,并把执行步数预算最多放宽到 10×。已发表的基线均为标准步数预算下的结果,统计截至 2026 年 10 月 12 日。*⁠使用 VLA 模型的结果。‡⁠零样本,未使用训练数据。

上下文学习协议

训练数据 示范数据, 或在训练场景中 自主探索 不含测试回合 学习 ICL 准备 GPT-6 查看数据, 保留它认为有用的内容, 并写下笔记和代码 模型权重保持不变 冻结 K 知识包 哈希校验,只读 复制 测试回合 GPT-6 环境 全新会话;步数上限为 1× 或 10× 动作 观测 不回写任何内容;回合之间互不迁移
ICL

从训练集中进行上下文学习

训练小型任务专用策略时,成功示范通常都可以使用,所以我们也允许 GPT-6-Astra 使用。它先研读训练数据,整理出一个冻结的知识包,内含任务指引、动作与视觉参考、可执行的辅助程序、恢复流程和元数据;测试时再针对每个场景检索、调整这些资源。

10×

大幅放宽的步数预算

我们允许使用最多 10 倍于官方上限的步数,因为标准步数上限可能会严重低估 GPT-6-Astra。它逐渐显现的失败恢复能力,能把多出来的步数转化为更高的成功率,让 SIMPLE 和 LIBERO 系列接近饱和。放宽后仍在同一回合内继续执行,不会重置。

上下文学习:GPT-6-Astra 留下了什么

ICL 知识包的组成

知识包 K由 GPT-6-Astra 在 ICL 准备阶段写成 · 测试前冻结
测试回合
GPT-6
检索 · 调整 · 检查
观测
+ 机器人状态

成功率与步数预算

成功率随步数预算的变化。步数预算以各榜单官方步数上限的倍数表示;圆点为实测成功率,粉色曲线为拟合趋势。我们最多评测到官方上限的 10×(BEHAVIOR 为 1×)。灰线表示上界:假设所有在已评测预算内耗尽步数仍未成功的回合,在步数不限时都有可能成功。

局限与失败模式

1 / 5
局限

ICL 知识包大多针对具体任务,迁移能力有限

知识包由各榜单的训练数据构建,一旦测试任务偏离训练数据,收益就会减弱。如何让知识包泛化到源任务之外,仍是一个开放方向。

RoboDojo · Open 组
成功率最低

没有任务专属的示范,只能依赖从其余四组学到的知识包。GPT-6-Astra + ICL 仍能从更多交互中获益,但成功率是所有组中最低的。

RoboLab · 无训练集
69.2%

无法构建任务级知识包(零样本,10× 步数)。GPT-6-Astra 领先已列出的最佳基线(42.9%),但绝对成功率仍属中等。

训练覆盖充分
>95%

当测试任务服从训练分布时(LIBERO 系列、SIMPLE、VLN-CE),示范中的动作或路线几乎可以直接检索复用,成功率接近饱和:10× 步数下,LIBERO 系列和 SIMPLE 超过 95%,VLN-CE 约为 90%。

SIMPLE · 零样本 → ICL
70.8 → 90.8%

四个共同任务在标准步数下的成功率;使用 ICL 后,成功回合也更短。

局限

时间和成本依然很高

即便是基本已被攻克的榜单,代价也不低:LIBERO-Long++ 每个回合约消耗 1M Token,耗时将近一小时;LIBERO-Ultra-Long 约 9M Token,将近两小时。放宽步数预算还会继续推高开销,而且主要花在那些往往仍会失败的困难回合上:在 RoboDojo 上,放宽预算后单个回合平均耗时超过三小时。

约 98% 的 Token 是缓存输入,因此 1M Token ≈ 1 美元。推理延迟不计入步数预算,所以在需要实时控制的场景中,这项成本同样制约着落地。

各榜单单任务平均成本

Token (M)

耗时 (min)

失败模式

判断物理上是否真正成功

GPT-6-Astra 能看出任务还没完成,却说不清是哪个物理条件没有满足,因此反复修正也难以收敛。看起来完成了、或者自称完成了,并不等于真正满足了任务对接触、支撑和对齐的要求。

失败模式

从动作的连锁后果中恢复

每一次尝试都会改变下一次恢复的起点,而有些改变无法撤销。一个前置步骤失败,后面的子任务就全被卡住,反复重试又会耗光步数预算。

只有当 GPT-6-Astra 换一种策略、而不是原样重复时,恢复才会奏效。例如在 DexJoCo 的 Fold Glasses 任务中,它改为从侧面接近,并先试着提起一次,最终完成了任务。

失败模式

在长程任务中保住已有进度

后续动作执行时,之前的进度必须保持完好,可后面的一个动作就可能把它破坏;抓取、放置或导航中的小误差,也会在各个阶段之间不断累积。GPT-6-Astra 必须反复检查已经做完的部分,而不能把完成的子目标当成一劳永逸。

02 · Harness 消融实验

Harness 很关键:一项消融实验

RoboDojo 上的 Token 成本与成功率

共 42 个 RoboDojo 任务;性能为各类别成功率的非加权平均。虚线交于 Agentic GPT-6-Astra 基线;越靠左上,两项指标都越好。单独使用的 VLA(π0.5,6.91%)不消耗 GPT Token,未在图中标出。将鼠标悬停在数据点上,可与基线对比。
A · System 1 – System 2 协作

监督有回报,但每次审核都要花 Token

只让 VLA 独自执行远远不够;让 GPT-6-Astra 审核它提出的动作是有效的,但要消耗 Token。每次审核四个动作,比逐个审核节省 63.5% 的 Token;再加上 ICL 效果最好,但 Token 用量约为不使用 ICL 时最佳闭环设置的 6.9 倍。

5.83%开环25.83%闭环 · L = 454.17%ICL + VLA
B · 动作表示与动作分块

接口应当契合模型的推理方式

方向指令有帮助,关节角反而有害。让模型自行决定动作块的大小,成功率高于固定动作块,但 Token 成本更高。

+2.50方向指令−5.84关节角+4.44自适应动作块
03 · 真机验证

从榜单成功到真实落地,还差什么

01 / 零样本

没有示范,也没有知识包

GPT-6-Astra 以通用模型的身份工作,不做任何针对任务或机器人的专门训练。

02 / 人类先验

由人编写的结构化上下文

工具接口定义、关节限位、相机位置、安全约束、手部预设姿态,部分平台还提供任务级指引(例如可用的抓取点);但不提供抓取、放置、插入这类高层语义技能。

03 / 真实时间

按时间计预算,由人来判定

每次试验通常限时 60 分钟。操作员全程手握急停,成功与否依据实际的物理结果判定,而不是模型的自我报告。

本体#核心问题任务
单臂
单臂 · 夹爪Franka 3, Franka Panda, PiPER + Pika gripper
3仿真中的结果能否迁移到真机,从刚性物体延伸到柔性物体和精密任务?
  • 堆叠与容器嵌套
  • 叠衣物和毛巾
  • 插插头
双臂
双臂 · 夹爪AgileX Piper
1GPT-6-Astra 能否协调双臂,完成更难的零样本任务?
  • 按顺序折叠
  • 插花
  • 双手持握
  • 分拣
灵巧手
双臂 · 灵巧手Tianji M6S
1GPT-6-Astra 能否控制高自由度的灵巧手?
  • 抓取玩具和瓶子
轮式移动操作机器人
轮式移动操作机器人Galaxea R1 Pro, AgileX Tracer + xArm7
2GPT-6-Astra 能否在房间尺度的距离和长程任务中行动?
  • 找到洗衣机并按下按钮
  • 收集花朵
  • 整理托盘
  • 导航与搜索
人形机器人
人形机器人Unitree G1
1GPT-6-Astra 能否作为 System 2,调度底层的行走与手臂控制?
  • 桌面抓取与投放
  • 转身、靠近并停下

主要发现,以及真实世界带来的变化

1 / 4
发现 1

一个模型驱动所有本体,成败取决于任务

无需针对平台训练,同一个模型就能控制全部 8 款平台。刚性物体的抓取放置稳定可靠,与仿真结果一致;而柔性物体、精密接触和长程移动任务则明显更难。第二条机械臂扩展了零样本任务的范围;场景发生变化时,GPT-6-Astra 也会根据执行反馈重新规划。

17/18
刚性物体抓取放置堆叠、嵌套、抓取玩具
2/4
柔性物体Franka 3 上的叠布
9/23
长程移动任务导航与搜索,AgileX Tracer
0/11
精密接触插插头,三款平台
发现 2

GPT-6-Astra 能做什么,取决于它能看到什么

在插花任务中,夹爪竖直夹着花茎,它自己腕部的相机看不到瓶口。单臂时,插花失败;换到双臂 Piper 上,GPT-6-Astra 会移动空闲的那只机械臂,直到这只手上的腕部相机看到瓶口,再完成插入:视角本身成了动作空间的一部分。遥操作示范里很少出现这种主动视觉。

发现 3

GPT-6-Astra 作为 System 2,驾驭现有的 System 0 运动控制

在搭载 Wuji 灵巧手的 Unitree G1 真机上,GPT-6-Astra 下发手臂关节目标和手部开合状态来完成操作(2/3),并通过厂商提供的速度接口完成转身和行走(3/3),全程没有用到经过任务训练的 System 1 策略。这说明在缓慢、依赖反馈的监督方式下是可行的,但还谈不上可靠的实时视觉运动控制。

有何不同

到了真实世界,有哪些不同

在仿真中,多走几步、多失败几次都没有代价,而且测试任务本身就有示范。到了真机上,这两点都不成立:物理约束限制了长时间执行,示范缺失也改变了上下文学习的方式。

物理约束

在真实硬件上,延长执行并不免费

在仿真中,额外的步数和重试都没有代价。到了真机上,保护性急停和硬件故障会直接终止运行;耗时越长,Token 消耗、风险、硬件损耗和人工看护也越多。

2 / 3PiPER 插插头试验因关节碰撞故障而中止62 °C手部温度保护阈值~90 %G1 的时间花在思考上
示范缺失

上下文的质量决定结果

人工编写的上下文可以替代示范,但这本质上是专家级的提示工程。如何从其他来源构建上下文,仍是开放问题。

0 / 3没有抓取原语时,Tianji 的抓取结果3 / 3使用人工编写的原语后5种上下文来源尚未测试
04 · 评测原型

迈向下一代具身评测

01 / 人的需求

任务源于人的真实需求

像人一样提出请求,例如“能给我做份早餐吗?”评判时既看请求本身是否达成(Intent),也看那些没说出口的义务是否履行(Duty)。

02 / 无示范

经验在测试时获取

不提供域内示范,智能体要靠自己的探索来熟悉场景。

03 / 世界时钟

世界不会等它想完

和在真机上一样,思考会消耗世界时间。评判会观察整条轨迹,即使智能体已经声称完成。

家居环境的构建与使用流程
可交互的样板间未加载
带家具的公寓场景剖面图
漫游:镜头穿行整个公寓,从白天一直到夜晚。
洗衣:搬起洗衣篮,把衣物放进洗衣机,加入洗衣液,然后启动。
咖啡:用胶囊咖啡机煮一杯咖啡。
早餐:用空气炸锅和烤面包机做早餐,世界时钟始终在走。

家居场景中的发现与开放挑战

1 / 4
发现 1

它只顾着手里的物体,却忘了家里的其他地方

它自己的手臂、它改变过的状态,似乎只有在挡住下一步时才会进入它的决策。只检查最终状态会漏掉这些问题,所以评判会追踪整条轨迹。

发现 2

没有示范时,它弄不清陌生设施怎么活动,也不清楚自己的身体该处在哪里

它只为夹爪和把手做规划,而不考虑整个身体,于是不断重复、微调同一个动作。在第 01 部分中,它在上下文中提炼的示范同时展示了这两点,所以那里没有暴露出这个弱点。

发现 3

它依据的观测,在它思考的同时就已经过时

它正确地判断出鸡蛋定型后应该关火,可思考本身要花世界时间:火晚了约 90 秒才关,鸡蛋已经煎焦。

世界时钟
太迟了

第 01 部分的仿真器会等模型想完,这个世界却不会,于是动作来得太迟。

开放挑战

下一代评测仍需解决的问题

衡量真实落地而非孤立任务,会在评判、仿真器和评测预算三方面带来四个开放问题。

01 / 评判

评判的依据

仿真器对关键物理事实的建模依赖启发式规则;在接触密集的装配任务上,视觉-语言成功检测器的平衡准确率最高只有 60%。

02 / 保真度

仿真保真度

建模误差看上去就像智能体自身的行为;目前只在短时桌面任务上证明过仿真能预测真机结果。

03 / 实时性

实时评测

如果世界不停运转,得分就会受到延迟、硬件和服务负载的影响。

04 / 成本

评测成本

长达数小时的部署难以反复进行;即便是短时的机器人试验,通常也因次数太少而无法可靠地区分不同策略。

具身智能的一次明显跃迁,
但还不是终点。

出色的 Harness 设计,配合上下文学习和充足的步数预算,可以把许多孤立的榜单推向饱和。剩下的挑战转向了跨任务迁移、长程推理、失败恢复,以及真实世界在时间、成本和安全上的约束。下一个前沿不只是解决更多孤立任务,而是构建能在真实部署条件下可靠、高效运行的具身系统。

引用

引用本文

如果这份报告对你有帮助,欢迎引用。论文已发布在 arXiv:2610.22471 ↗

BibTeX
@misc{sensenova2026gpt6astraachievedembodiedintelligence,
      title={Has GPT-6-Astra Achieved Embodied Intelligence?},
      author={SenseNova and Joint Research Team and Zhongang Cai and Ziang Cao and Tailai Chen and Han Chong Chua and Linjun Dai and Hanming Deng and Hokin Deng and Haiwen Diao and Chenjing Ding and Weichen Fan and Xiao Fu and Zerui Gong and Chenyang Gu and Zexin He and Zhi Hou and Bo Li and Qinyue Li and Quanzhou Li and Xiaowan Li and Zhichao Liao and Dahua Lin and Zilong Lin and Bo Liu and Chunxiao Liu and Pengfei Liu and Tianqi Liu and Ziwei Liu and Chen Change Loy and Lewei Lu and Jiapeng Luo and Yuexiao Ma and Liang Pan and Xingang Pan and Oscar Qian and Ziyi Shang and Yuyao Shao and Dawei Su and Dacheng Tao and Qingyi Tao and Quan Wang and Ruisi Wang and Xiaogang Wang and Ziyi Wang and Beichen Wen and Donghao Wu and Jiaxu Wu and Silei Wu and Xiaoming Wu and Zhonghua Wu and Hongcan Xiao and Weiye Xu and Atsushi Yamashita and Lei Yang and Zhe Yang and Baiqiao Yin and Wanqi Yin and Hanfei Zhao and Tianbo Zhong and Long Zhuo and Jing Zuo},
      year={2026},
      eprint={2610.22471},
      archivePrefix={arXiv},
      primaryClass={cs.RO},
      url={https://arxiv.org/abs/2610.22471},
}