发生了什么
斯坦福大学 The Movement Lab 与加州理工学院的研究团队发布了 HomeBody 系统:一台宇树 G1 人形机器人走进从未见过的厨房,自行勘察空间、在仿真环境中重建房间的三维数字孪生,然后完成整理咖啡袋、丢弃变质纸盒、从抽屉取出药品等任务。项目页面与代码于 9 月 26 日公开。
被去掉的那一层
HomeBody 最值得关注的是它删掉的东西。传统机器人技术栈会在语言模型与硬件之间插入一层经过任务数据训练的控制策略,负责把高层意图翻译成关节级指令;HomeBody 取消了这一层,由一个可替换的视觉语言模型——本次使用 GPT-6 Astra——直接调用可扩展的技能库:导航、抓取、放置、打开抽屉、从抽屉取物。这也意味着更换任务场景时不必重新训练控制层。
- 探索:只给一句「你是一台厨房机器人,请探索这个空间」,机器人自行采集手机级视频、RealSense D435i 深度信息、激光雷达 SLAM 结果、关节位姿与路径点,并自主选择观察视角
- 重建:Astra 充当 Real2Sim 智能体,把探索数据转换为 NVIDIA Isaac Sim 中的数字孪生;团队强调重建以机器人自身的 SLAM 几何与关节状态为锚,而不只依赖视频外观,这是孪生体精度足以支撑规划的原因
- 执行:接到「收拾厨房」这类指令后,模型拆解子任务并通过结构化工具调用驱动技能库,技能内部自行处理 SAM 2 目标分割、Fast-FoundationStereo 深度估计、样条轨迹生成与逆运动学碰撞检查,失败时回报给模型重规划
真正的瓶颈是记忆而不是抓取
「收拾厨房」这类任务横跨整个房间,机器人的视野随移动不断变化。HomeBody 把见过的关键帧存入共享空间坐标系,用里程计定位并与重建结果对齐,因此在物体离开视野后仍然能够找回——演示中它从一条此前只路过一次的抽屉里取出了药品。对家用机器人而言,这类跨视野的空间记忆往往比单次抓取的成功率更具决定性。
不确定之处
团队列出的当前局限包括 Astra 的响应延迟、手指舵机长时间工作过热,以及较高的算力成本。此前另有独立评测指出,模型直接控制机器人硬件时存在安全问题,说明「通用模型加技能库」在物理世界中的护栏同样需要单独设计。这项演示验证的是该路线在非结构化环境中的可行性,距离可交付的产品仍有明显距离。

