具身智能讨论的热度正在持续升温,在密集讨论技术路线、数据困局之外,当前的具身模型能否应对真实物理世界中的意外情况、能否在行动失败后自主纠错、持续学习,仍是具身智能模型必须面对的问题。

近日,复旦大学未来信息创新学院教授、博士生导师,复旦大学深度学习实验室主任陈涛在接受澎湃科技(www.thepaper.cn)专访时,把当前具身智能的困境指向了目前具身模型的学习和训练范式。他认为,主流VLA(视觉—语言—动作模型Vision-Language-Action)模型高度依赖数据,而现有训练数据大多数是成功轨迹,缺少失败的数据,这让机器人在执行动作出现偏差后,难以像人一样及时调整轨迹,把失败转化为下一次行动的经验。

陈涛长期横跨学术研究与产业实践。他目前同时担任具身智能企业眸深智能联合创始人。加入复旦前,他曾在新加坡智能机器人实验室、新加坡资讯通信研究院和华为新加坡研究中心从事研发工作。

语言模型架构是否适配具身模型,陈涛认为值得质疑,“为什么语言模型架构一定适合解决物理世界的问题?这个前提不成立。”在他看来,行业近半年持续强调数据、在VLA等方面的投入,并没有充分触及具身大脑的底层模型架构。

他直言,具身底层模型架构急需突破,两年内很难实现具身模型的“GPT”时刻。面对世界模型,陈涛认为,世界模型要把整个世界给建模进去,但它对数据和成本的要求非常高,“不是一般玩家能玩得起的”。相比让机器人“上知天文、下知地理”,更务实的路径是让它先理解具体的作业场景,形成适用于细分任务的模型能力,完成从“看得懂”到“干得好”的跨越。

当科技大厂凭借资金、数据和本体资源进入机器人大脑赛道,类似眸深智能的初创公司生存空间在哪里?

陈涛认为,大厂不愿意做的交付工作,正是初创公司的机会。而在具身智能这样一个技术快速迭代的新赛道,最前沿的人才仍然集中在高校实验室里。“赛道里最好的人才,还是学校里正在读的博士生。大厂问我要实习生,我没给。”陈涛说。

以下是澎湃科技和陈涛的专访内容:

现在的模型训练范式缺少“失败数据”

澎湃科技:近期多家具身模型公司都在发布“原生大脑”模型,什么是“原生”模型?

陈涛:相对于传统做法,我理解的“原生”走的是一条预训练加部署的路线:在云端用大量显卡把“大脑”大模型训练好,再部署到新的设备上使用,这是严格的“训练–部署”两阶段过程。

但对机器人的大脑来说,无论怎样预训练,它在端侧实际执行的成功率终究很难超过70%甚至80%。

大脑能力的进化实际上要依靠机器人执行具体的任务,能不能从失败的案例中反思、纠正自己的行为,这就是在端侧的原生进化能力,即“原生大脑”。

原生大脑伴随机器人的身体,在干活过程中,通过对失败经验的积累,以及对作业成功和失败的不断思考与总结,慢慢进化而来。通俗来理解,像人脑一样会不断自我完善和持续学习,当预练好的大脑被放进机器人身体的那一刻起,它的作业和操作还必须不停地进化和积累经验。

澎湃科技:现在机器人大脑自进化的能力到了什么样的阶段?如果具备了自主学习或决策的能力,应该算是一个质的突破吧?

陈涛:目前还没有被完全攻克。具身物理AI比语言模型复杂,它的自我进化能力也落后于语言模型。不管是语言大模型、具身大模型,现在都在想办法解决两个核心问题:自进化和持续学习的能力,比如能不能解决长程任务。

目前深度研究领域还在推进具身物理AI模型自我进化的研究,但甚至连一半问题都还没解决。我们在实验中发现,目前市场上主流的VLA模型还不能实现真正的自我学习和知识更新,缺少自主纠错和持续学习能力。比如机器人伸手抓手机时伸过了头,它可能停在那里,而不能像人一样转回来重新抓取。

澎湃科技:卡点在哪里?

陈涛:还是在当前模型的学习范式和训练范式上,太过依赖数据。数据里没有失败的案例,全是成功的案例,模型只能从成功里复制经验。但真正对机器人更重要的,恰恰是那些失败的数据,以及从失败中纠正-成功的数据。

我们现在的机器人只见过直接抓手机成功的那一条轨迹,从来没有见过失败再纠正的轨迹,所以没有自我学习能力。

但失败的数据对具身模型其实是非常宝贵的数据,很多现实环境和复杂配置,是实验室无法完全模拟的。

认识到问题所在,我们也就更关注如何在有限的数据里总结成功的经验,利用大模型对未见事件的预测能力生成候选轨迹,然后再自我评判、纠正,生成成功概率更高的轨迹。

我们没有完全摒弃数据,但并不希望大脑能力过度依赖数据。在我们的模型训练中,大概采用8:1:1的关系,80%来自开源世界的数据,另外两部分涉及真实场景素材,以及模型轨迹向真实机器人本体的映射。

我们精力都花在了模型层面的进化上,而不是去把数据清洗得更干净、采得更多、标注得更好。

真正进工厂干活的机器人比例可能不到10%

澎湃科技:这次世界人工智能大会上展示了很多具身智能落地的场景,你怎么看这些展示与真实落地之间的差距。

陈涛:具身智能整体还在发展期,技术路线也没有完全收敛,每天技术路线和算法都在迭代,最好不要给企业太多压力,让它们有比较好的成长空间和时间。

现场落地的执行效率不及预期可能有很多原因,比如通信的延迟、算力存储不足等,以及训练的语料不够导致遇到新的任务时,思考的时间会更长。我认为,随着时间的推移,时延肯定会越来越小。

澎湃科技:今年上半年,美国Figure AI以及国内头部的机器人公司给大众展示了机器人在工厂里直播“干活”的内容,你有注意到吗?

陈涛:我看过一些视频,我们了解下来,有些机器人拍完视频以后并没有真正在工厂的场景里使用起来。从视频展示来看,整体执行效率也比较慢,还不是工厂里真正的生产节奏。真正进入工厂干活的比例仍然非常低,我不太能断言具体有多少,但可能不到10%。

澎湃科技:你认为从Demo走向真实产线,最大的卡点是什么?

陈涛:还是几个问题没解决,泛化的问题、成本的管控和节拍的准确性。

泛化的能力需要更强,机器人见到突发状况或没有见过的物料,要有灵活应变能力和处置能力;“大脑”的成本要更低,客户都不希望采用昂贵的算力芯片,但反应速度也不能太慢,否则一个生产节拍已经结束,大脑还没有回过神,这样会拖累整个生产效率。

此外,目前机器人硬件也还没有那么稳定和成熟,一些传感器、电机,灵巧手等经常会坏掉。

澎湃科技:大众对具身心理预期和实际落地具体有多大的差异?

陈涛:很多自媒体视频无形拉高了大众的心理预期,大家以为机器人已经能解决各种问题,还很聪明、很智能,但其实很复杂。

机器人即便是完成取药这样一个任务,并不是只有“拿起药品”一个动作:它需要先识别、定位,再根据药品的位置生成抓取轨迹,随后完成机械动作。过程中每个环节都会产生耗时。

事实上,大众对这个技术并没有那么了解。

大厂不愿意做的交付工作是初创公司的机会

澎湃科技:眸深智能现阶段的主要目标是什么?

陈涛:我们要做的事情很简单,做机器人的“动作大脑”,我们团队在动作领域已经有六年积累。现在的机器人大脑看得明白,但不代表能干得好,我们要解决从“看得懂”过渡到“干得好”这个环节。

现在机器人会跳舞、会表演,但主要还依赖于预编程(提前编排操控),或者遥控操作。要让机器人根据自己所处的环境,根据人的指令,通过自己的思考,真正产生出属于自己的动作来。

在ChatGPT出来以后,我们实验室发布了Motion-GPT。我们想把GPT的范式用在机器人动作上。去年我们提出了世界动作模型的概念,我们希望在不同场景、任务和本体下,建立相对统一的动作理解和生成能力。


陈涛和研究团队发布的MotionGPT论文 来源:陈涛研究论文

澎湃科技:你们的核心壁垒是什么?

陈涛:对我们来说,核心壁垒有两方面,一方面是动作的自净化能力,我们应该是全球第一个在动作领域提出用空间扩散模型去编辑动作的团队,另一方面是端侧落地部署能力。现在很多大模型部署在云端,机器人本体只作为执行器,但机器人可能工作在户外、野外、网络受限甚至没有网络的环境。


陈涛和研究团队发布的MotionGPT论文

我们长期在做模型的轻量化,以及模型与端侧国产芯片和国外芯片的适配,希望在降低参数和功耗的同时,维持模型的执行效果。

澎湃科技:投资人问你们最多的问题是什么?

陈涛:他们关心怎么能存活下来。

我认为现在机器人本体厂商远没到洗牌的阶段。我们调研场景发现,各行各业的都在想机器人怎么能够走进产线,什么形态最合适干活,大部分场景方都想要自己造机器人。

澎湃科技:你觉得这是你们的机会?

陈涛:很多客户来找我们合作的一部分原因是头部机器人公司不愿意做。头部公司会连带本体一起销售,出价高。他们并不是看不到场景,而是要考虑时间成本和投入产出等,其中最大的顾虑还是时间成本。这给我们这类的初创公司留有一定空间。小团队没有包袱。我们的技术迭代并不逊于头部企业,我们有赛道里最好的人才。

澎湃科技:你们现在重点落地哪些场景?

陈涛:我们总结为两大类。一类是“大商业”,包括户外物业、环卫和表演等,安全和精度要求相对低一些,也更容易落地。另一类是“大制造”,要结合工厂里关键的工序和工位,用机器人替代其中一个或多个环节。

不管是家庭、工业还是制造业,机器人最后都必须有场景方案,才能产生真正的价值。同时,场景不只是商业交付的终点,也是研发的起点。模型到了现场,才会暴露实验室中模拟不出来的问题。

具身智能两年内很难迎来GPT时刻,底层架构急需突破

澎湃科技:你认为具身智能什么时候会迎来类似语言模型的“GPT时刻”?两年内有可能吗?

陈涛:我觉得两年内比较难,因为具身模型的迭代速度没有那么快。近半年行业一直在卷数据、卷强化学习和在分层VLA等方面做优化,但还没有充分触及具身大脑更底层的模型架构,我觉得急需一些底层架构上的突破。

现在很多范式来自语言模型,比如我们说的MOE架构等是不是具身机器人最适合的一种模型架构,我个人并不觉得,为什么语言模型架构一定适合解决物理世界的问题?这个前提不成立。

单纯增加数据和参数,可能会带来性能提升,但不可能穷尽物理世界的所有情况和突发状况。物理世界会不断出现模型没见过的新案例,具身智能需要从对世界的理解、动作执行和物理交互的角度,设计更原生的模型结构。

澎湃科技:未来会不会出现一个通用的具身大模型?

陈涛:可能会出现具备通用能力的模型,但它最多对一些通用操作建立认知。想要去解决制造业或具体的任务时,还需要和场景结合。

所以我认为,未来可能会出现细分场景的垂类通用模型,结合细分再去打造通用的具身大脑。

澎湃科技:有哪些概念你认为目前被行业内高估?

陈涛:比如世界模型概念很火,大部分人都认为世界模型要把整个世界给建模进去,但它对数据和成本的要求非常高,不是一般玩家能玩得起的。

而且也不要期待世界模型能解决非常复杂的任务,现在连较为长程的视频生成都非常困难,如何解决机器人常识性的动作技能这也很有挑战。

所以对于创业公司,有没有必要倾注很高的成本做这件事,也要打一个问号。让机器人上知天文下知地理,与它进入具体场景干活并不一定相关。对创业公司来说,更现实的做法是围绕机器人的作业场景打造相对定制化的世界模型,把特定场景理解透,再完成落地。

澎湃新闻记者 喻琰