返回行业动态
研究前沿

斯坦福与加州理工把 GPT-6 Astra 直接接进机器人:陌生厨房里的探索、建模与执行闭环

斯坦福 The Movement Lab 与加州理工发布 HomeBody 系统,让宇树 G1 人形机器人进入从未见过的厨房:先自主勘察空间,再由 GPT-6 Astra 在 Isaac Sim 中重建房间数字孪生,随后直接调用导航、抓取、开抽屉等技能完成整理任务,跳过了传统上介于模型与硬件之间的训练控制层。项目代码于 9 月 26 日公开,团队列出的局限包括模型延迟、手指舵机过热与较高算力成本。

来源:THE DECODER:斯坦福与加州理工让 GPT-6 Astra 直连机器人整理陌生厨房原标题:Researchers plug GPT-6 Astra directly into a robot and let it clean up an unfamiliar kitchen查看原文
昏暗实验室画面:地面悬浮着发光的半透明厨房三维线框模型,前景是白色人形机器人侧后剪影,顶部深色天花板上居中排布白色中文标题「机器人第一次走进陌生厨房」

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

斯坦福大学 The Movement Lab 与加州理工学院的研究团队发布了 HomeBody 系统:一台宇树 G1 人形机器人走进从未见过的厨房,自行勘察空间、在仿真环境中重建房间的三维数字孪生,然后完成整理咖啡袋、丢弃变质纸盒、从抽屉取出药品等任务。项目页面与代码于 9 月 26 日公开。

被去掉的那一层

HomeBody 最值得关注的是它删掉的东西。传统机器人技术栈会在语言模型与硬件之间插入一层经过任务数据训练的控制策略,负责把高层意图翻译成关节级指令;HomeBody 取消了这一层,由一个可替换的视觉语言模型——本次使用 GPT-6 Astra——直接调用可扩展的技能库:导航、抓取、放置、打开抽屉、从抽屉取物。这也意味着更换任务场景时不必重新训练控制层。

  • 探索:只给一句「你是一台厨房机器人,请探索这个空间」,机器人自行采集手机级视频、RealSense D435i 深度信息、激光雷达 SLAM 结果、关节位姿与路径点,并自主选择观察视角
  • 重建:Astra 充当 Real2Sim 智能体,把探索数据转换为 NVIDIA Isaac Sim 中的数字孪生;团队强调重建以机器人自身的 SLAM 几何与关节状态为锚,而不只依赖视频外观,这是孪生体精度足以支撑规划的原因
  • 执行:接到「收拾厨房」这类指令后,模型拆解子任务并通过结构化工具调用驱动技能库,技能内部自行处理 SAM 2 目标分割、Fast-FoundationStereo 深度估计、样条轨迹生成与逆运动学碰撞检查,失败时回报给模型重规划

真正的瓶颈是记忆而不是抓取

「收拾厨房」这类任务横跨整个房间,机器人的视野随移动不断变化。HomeBody 把见过的关键帧存入共享空间坐标系,用里程计定位并与重建结果对齐,因此在物体离开视野后仍然能够找回——演示中它从一条此前只路过一次的抽屉里取出了药品。对家用机器人而言,这类跨视野的空间记忆往往比单次抓取的成功率更具决定性。

不确定之处

团队列出的当前局限包括 Astra 的响应延迟、手指舵机长时间工作过热,以及较高的算力成本。此前另有独立评测指出,模型直接控制机器人硬件时存在安全问题,说明「通用模型加技能库」在物理世界中的护栏同样需要单独设计。这项演示验证的是该路线在非结构化环境中的可行性,距离可交付的产品仍有明显距离。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

HomeBody:GPT-6 Astra 直连人形机器人,独立整理陌生厨房|北京拓实科技