
训练一个机器人,到底有多难?过去,工程师们得先花大价钱搭一个虚拟世界——建3D模型、调物理参数、设计各种场景。好不容易在电脑上练好了,把机器人搬到现实世界里一试,立马“水土不服”,抓杯子抓不准、走路老摔跤。这就是行业里头疼的“Sim2Real”难题。
但现在,李飞飞团队联合英伟达GEAR实验室、佐治亚理工大学等机构,给出了一条新路子:拍一段真实世界的视频,AI就能自动生成一个可以训练机器人的“虚拟训练场”。你甚至不需要懂3D建模,不用写复杂代码,系统自己把活干了。
这个系统叫SimFoundry。它怎么做到的?简单说,就是“看视频,学物理”。系统从一段视频里提取物体长什么样、多重、能不能动、怎么动,然后自动克隆出一个高精度的“数字双胞胎”。更妙的是,它还能在这个基础上,批量生产长得不一样、摆法不一样、任务也不一样的“数字亲戚”——比如把杯子换成碗,把桌子换成柜子。这样一来,你只需录一段真实场景,就能变出成千上万种训练环境,让机器人练到手软。
实验数据很实在:用SimFoundry生成的虚拟训练结果,和机器人真实操作的表现几乎一模一样。更厉害的是,在这些虚拟环境里学会的技能,可以直接“零翻译”搬到现实世界,不用再调参数。多步骤操作、两只机械臂合作这类高难度任务,也都表现优秀。
这项研究的作者阵容相当豪华——英伟达GEAR实验室的核心成员、李飞飞团队的主力都在列。而且代码已经开源,意味着全球开发者都能拿去用。可以预见,未来机器人训练不再需要烧钱的人工建模,一段手机拍的视频,就可能催生出一个走路稳、抓得准、反应快的机器人。从实验室到你家,可能比你想的更快。
精选评论
评论加载中…