北京时间1月7日,黄仁勋和14台人形机器人同时出现在2025年CES展会的舞台上。
(1月7日拉斯维加斯2025 CES大会上,黄仁勋同时与14台人形机器人登台)
这一幕似曾相识,就在2024年3月,黄仁勋曾同时与9家人形机器人亮相英伟达GTC大会的舞台。
(2024年3月,黄仁勋与9台人形机器人在英伟达GTC大会)
彼时,黄仁勋发布英伟达人形机器人通用基础模型ProjectGR00T,正式宣布进驻人形机器人服务商。ProjectGR00T就像帮助机器人变得更聪明的大脑,在GR00T的指挥之下,机器人能够理解自然语言,并通过观察人类行为模仿动作,从而适应现实环境并与之交互。
与GTC大会不同的是,黄仁勋这次在CES上重点发布的是世界基础模型开发平台Cosmos,它提供了一种简单的方法来生成大量基于物理世界的合成数据。
Cosmos可以通过文本、图像或视频的提示,生成高度仿真的虚拟世界,它基于2000万小时的视频进行训练,分为自回归模型和扩散模型两类。
与其它合成数据生成平台不同的是,Cosmos能够理解这个世界,比如它可以理解几何空间、摩擦力和重力,并且压缩“虚拟”与“现实”之间的差距。
对于具身智能而言,这是一个重要突破,因为它帮助人形机器人解决泛化道路上的最大瓶颈之一“高质量数据稀缺”问题,为人形机器人感知环境创建逼真的环境和感知物体。
与黄仁勋一起出现在CES舞台上的1X、AgileRobots、Agility、Figure、傅立叶、波士顿动力等14家人形机器人,都是英伟达Cosmos平台的种子用户。
那么,在这之前,人形机器人数据采集遇到了哪些难点?Cosmos对解决这些难点产生哪些价值?
高质量数据瓶颈,成为人形机器人泛化难题
通用人形机器人,需要拥有任务泛化能力。
但目前不论是老牌人形机器人波士顿动力Atlas,还是新兴的擎天柱、Figure等,它们在实际场景的应用还停留在单点任务处理上。比如,擎天柱学会了叠衣服,但是又要重新训练才能学会叠被子。
而阻碍人形机器人拥有泛化能力的最大因素,就是高质量数据的稀缺。即便Agility旗下的Digit机器人整天泡在亚马逊工厂里打工,拥有天然的丰富场景数据学习环境,它的首席技术官PrasVelagapudi依旧表示:“数据稀缺性和多变性是机器人从环境中成功学习的关键挑战。”
机器人需要高质量的数据,否则可能会导致目标误判或任务失败,甚至做出不恰当的行为。
为了给机器人采集到高质量数据,根据机器人是否与真实世界接触,通常会从现实世界中采集真实数据,采集方式有两种:
直接接触数据(真机数据):机器人用自己的传感器与物理世界直接交互。
间接接触数据(人工控制数据):通过人类操作让机器人与物理世界接触并记录。
对于机器人而言,最理想的数据采集方式是通过机器人本体直接触达物理世界,这种方式能让机器人准确理解真实的环境,也就是真机数据。
但采集真机数据需要付出大量时间和资金成本。
首先,必须要让机器人部署在实际环境中,但大多数人形机器人受限于运动技术水平,只能待在受限的实验室环境。
其次,机器人学习新技能的效率十分低下。
于是,研究人员试图寻求间接的办法,使用人力作为辅助,帮助机器人提高学习效率,也就是远程遥控,但这个方式的成本依旧高昂。
智元机器人姜青松曾在2024年8月份智元机器人发布会上算了一笔账,智元机器人计划建立的采样厂包含100台采样机器,对应150位工人,目标是希望每个工人每天采集1000条数据,按照0.4元/条的成本计算,150位工人则意味着采样厂日均成本高达6万元。
人形机器人变得更智能,需要在更短的时间里获得更多的高质量数据。
人形机器人数据卡点,被英伟达Cosmos攻克?
为了解决低成本获得高质量数据问题,很多人开始尝试采用合成数据。
但合成数据也存在问题,就像近亲繁殖,如果使用合成数据超过一定比例,反而会让数据质量下降。
2023年,莱斯大学和斯坦福大学的研究人员发布了一项研究,表明过度依赖合成数据进行训练可能会导致模型的质量和多样性下降。
前OpenAI创始成员Karpathy在接受采访时表示,模型在训练时可能会出现一种“静默崩溃”的情况,缺乏多样性,变得单一。
因此,如何用比较低的成本,获得接近真实世界的数据,成为包括机器人在内等行业需要突破的关键。
于是就有了数字孪生,它用虚拟模型来“复制”一个真实物体、设备或系统,但数字孪生的准确性和效果取决于所收集数据的质量。
但作为世界模型,英伟达Cosmos平台和以往的合成数据工具都不相同,在英伟达公布的Cosmos论文中,对世界模型的描述是:
“世界基础模型就是一种根据过去发生的事和当前变化,来预测未来会怎样的工具。”
简单来说,Cosmos是一种类似“预测未来”的工具。它能把真实世界的规则整理好,根据当前的情况猜测接下来会发生什么,然后告诉自动驾驶汽车或机器人该怎么做。
这套工具是目前第一款专门为训练AI、自动驾驶和机器人的世界模型。
此外,黄仁勋在会场还演示了将Cosmos与英伟达Omniverse平台联合使用的功效。
(左侧:Omniverse制作的虚拟仿真世界 右侧:叠加Cosmos生成的效果)
在这个过程中,Cosmos对于机器人数据瓶颈最大的帮助,是用最低的成本,来缩小虚拟数据与物理世界数据的误差。
但Cosmos生成的合成数据未必能完全代替真实数据的作用。合成数据与真实数据各有优势,它们是一种互补关系,这一点从黄仁勋和马斯克近期的观点中也可以看出。
根据TechCrunch报道,马斯克在2024年12月也发表了对于AI数据的看法,他赞同人工智能行业已经达到“数据峰值”的说法。
有趣的是,黄仁勋在2025年CES后的采访中表示,Cosmos生成的合成数据无法替代真实数据,并认为自动驾驶应该尽可能使用真实数据。