|
以人为中心，新的具身智能研究范式
赵何娟：你觉得现在的转变或者说你们新的想法，最大的瓶颈或困难是什么？
王晓刚：我觉得首先研究范式要做出转变。
我们提出来，从以机器为中心变成以人为中心。你先不要去管机器，先去观察人是怎么完成各种任务、各种活动的。现在有各种穿戴式设备、AI眼镜、第一视角摄像头，在胸前、手上、周围可以装各种传感器。去年巴黎奥运会乒乓球和篮球比赛，我们周围安排传感器，直接能分析运动员怎么打球、球速什么样，看人是怎么学习和运动的。将来还要放人的力分析、触觉、摩擦力等信息。
这个模型需要理解物理规律，人跟物理世界、环境相结合时产生的物理规律是什么。打开冰箱门想拿一瓶水、穿衣服，接触的这些物理世界的规律是什么。在这个过程中，世界模型要经过一系列算法改变，理解物理世界，合成物理世界里各种人和机器产生的活动，甚至能预测。
今天大家也意识到VLA这套东西走不出来，但可能还没有意识到应该从以机器为中心变成以人为中心。
所以今年8、9月份，特斯拉说以前靠真机操作，现在要变成通过视觉、戴第一视角眼镜采集数据。好处是采集效率很高，真机操作效率很低，而且不能在真实生产、生活环境中做复杂活动。十几分钟甚至一小时的长程复杂活动，靠操作真机没法完成。但有了以人为中心的记录人活动，穿戴设备在家庭生活、办公室装传感器，就能长期记录人行为。
但即便这样，大家对这件事的认知还停留在视觉上，但人对物理世界的交互不止于视觉，还有力、触觉、人体工学等研究。这就是为什么特斯拉和Figure AI会想到用视觉方案，因为视觉最简单，能记录人类行为，他们在自动驾驶里取得了成功。但自动驾驶跟机器人有很大不一样，自动驾驶是避免物理接触，机器人必须进行物理接触。
光用视觉做物理接触，比如拿一瓶水放这儿，动作是先拿起来、移动、放下。但真正的人可能推一下，因为知道摩擦力，知道使多大劲能把它从位置A推到位置B。很多行为，人的行为跟机器人不一样。如果我们未来能以人为中心，新的研究范式就能让机器人大脑真正理解物理世界。这样的大脑永远不可能只靠读文章、看图片理解物理世界，这是研究范式根本的改变。
赵何娟：挺有道理的。
从研究或者说智能的来源，过去是由机器搜集数据来的，不管是人工标注也好，都是机器收集的数据。到现在可能更多要通过人自己收集数据，以及怎么去观察人。
但这里有个很大的问题：人的行为不是单一的。比如我的手去碰触话筒、握东西、拿东西，它是跟大脑连接的，行为数据里面不仅有手触碰的物理数据本身，还连通大脑神经数据的变化。如果说我们做世界模型或机器人模型分析，我只有手这部分数据，怎么分析手这部分数据的反馈机制？因为我不能分析大脑，但我们实际要做的是机器人的大脑本身。
王晓刚：所以就是要联合在一起。
赵何娟：我们怎么联合？我们怎么解决大脑的分析，就是神经分析和行为数据之间的关系？
王晓刚：这就是大脑小脑的联动。
大脑在执行任务过程中需要有记忆，有长程的复杂记忆。比如说收拾桌子，有书籍，书原来放在书架上，书架在什么位置，我就要把书放回原来书架位置。大脑得记住书在书架的什么位置、怎么摆放。
机器每天接受大量不间断信息，不可能都记下来，一定要进行挑选。要记跟任务相关的，在物理世界执行任务过程中会得到反馈，什么东西任务成功了，就知道当时应该记住什么。在不断迭代反馈过程中，大脑要进化，能够有长期记忆。
这只是其中一个例子，还有很多复杂交互都需要。
赵何娟：那怎么解决？除了长期记忆这个当然非常重要的点，怎么解决神经分析和行为数据之间的关系？
王晓刚：这就是大脑小脑的联动。
有些东西看到了就自然反应，比如让我水平移动一下，条件反射就知道该怎么移动，这就是小脑的指令完成。还有更复杂的任务，要分几个阶段，要去规划，这些东西可能就要跟我们互联网上的那些数据结合。
比如炒菜，先怎么做后怎么做，实际上是有规划的，以前积累的互联网文章、图文数据是有价值的。所以我们要把数字世界和物理世界这两个能够打破边界，最后形成强大的机器人。
赵何娟：人的大脑这种边界怎么打破？现在可能最难的就是怎么研究把这个边界打破。
王晓刚：我觉得里面肯定还有很长的路要走，大家努力方向也是希望打破边界。
但要往这个方向努力完成这项工作，首先认知和方向得是对的，要知道现在研究这件事的方向、范式已经发生变化。如果还一直在操作原来那些真机数据，你是永远不可能达到目标的。
赵何娟：你这么说是不是意味着人形机器人发展没什么前途？
王晓刚：我觉得还是有前途。因为我们的物理世界就是围绕着人打造的，核心的研究是我们通过人来研究人跟物理世界的关系，把这些智能和知识转移到人形机器人身上。
赵何娟：把它当实验品？就是人来收集这些数据是否可用？
王晓刚：一旦我们的世界模型、强大的大脑形成以后，它可以指导我们设计人形机器人，怎么设计最能有效实践大脑意志、实现工作和行为。
现在情况可能相反，我们先设计了一个机器人，实际上没有大脑，靠它采集各种数据，背后可能是不工作的，这就是以前走的、现在还在走的方式。
将来可能需要以人为中心，这种方式会打开一扇门。因为过去有很多像工程力学、人体工程学研究了很多关于人的力、人体工学，但这些成果从来没跟机器人联系在一起，原来也不是以人为中心的研究。两边没有关系，但今天产生关联，我觉得很多这方面的研究成果可以大量进入人工智能领域。
赵何娟：嗯嗯，有道理。但再往前发展，可能人的数据发展会不会先产生一个大规模可穿戴市场蓬勃发展？硬件加AI。
王晓刚：对。
这里面怎么设计？今天特斯拉说要做视觉方案，就会有一批公司做头部穿戴设备、第一视角。但我们会知道这只是一部分，第一视角看到的东西只是视觉方面，跟物理世界的交互只是单一维度，还有很多其他传感器可以加进来。
所以随着对这件事认知不断深入，这些设备也会不断丰富。不光有穿戴的，还有周围环境建立的传感器，能够观察我们的行为。
赵何娟：你刚才多次提到传感器。是不是意味着我们这么多年一直在以视觉为核心的智能发展，也走到了瓶颈？视觉不是唯一方式了，传感器本身会不会有新的突破？
王晓刚：未来人工智能发展，像OpenAI提出来的是"环境计算"。
未来人工智能像空气一样存在周围环境中。今天的人工智能要打开手机、电脑、APP才能激活，发出请求给ChatGPT，它才回答。但将来不是这样，模型一直在分析，当我需要什么时主动提供服务。所以核心第一个是计算芯片，加上各种丰富的AI传感器，再加上模型，这三个要素构成未来人工智能新体验。
赵何娟：有意思。相当于刚才说到了两个可能新兴发展的产业，一个是可穿戴，过去就有，但在新AI浪潮里可能迎来大机会；第二个是智能传感器。智能传感器这块中国发展规模和程度怎么样？
王晓刚：过去AI传感器发展速度远低于计算芯片。主要我觉得还是没有把里面的价值充分发掘出来，没有看到前景。
以前我们跟合作伙伴设计过三层AI传感器：第一层光学感知层，信号进来变成模拟信号；第二层数字计算，数字化处理；第三层把AI引擎、AI模型放到传感器里。以前AI大模型放在云端，后来放手机上，现在放在小小传感器里，铺满生活环境各个角落。如果人工智能发展是环境式计算，AI传感器会占据重要位置，这是巨大机会。
就像之前做CPU、GPU是万亿级市场，传统做传感器的也很多。将来有了各种人工智能传感器，会产生又一个巨大赛道。
赵何娟：人工智能传感器变化的核心也是芯片驱动吗？
王晓刚：对，这是要模型和芯片有非常紧密结合。
赵何娟：那这是不是意味着中国继续往前发展的很大机会？
王晓刚：这是非常巨大的机会，AI和传感器结合。我们有传感器，而且跟其他国家相比，我们的AI发展还是非常快的。有很多场景驱动，蕴藏机会，而且跟机器人密切相关。
想象机器人进入家庭，安全性非常重要。给老人递水不能是烫的，给食物必须是新鲜的。如果出问题，像自动驾驶有主动安全、有责任方。机器人到家要确保小孩靠近时不产生碰撞，皮肤要能感受距离、产生避障。所有这些离不开智能化传感器，应用空间非常大。
赵何娟：接下来发展是不是意味着刚才讲到的数据、范式改变，还有一个很核心就是算力、芯片？包括智能传感器、新机器人大脑，都要有算力驱动、芯片驱动。
中国现在又在大量国产化，推动自主知识产权和自主可控的芯片产业发展。您觉得中国现在国产芯片发展阶段，在驱动智能传感器、新机器人大脑这些方向上，现在处于什么水平？够吗？
王晓刚：发展非常快。但今天可能面临或要解决的最大问题是生态问题，软件生态。
英伟达应该超过一半是软件工程师，CUDA有生态。今天单纯看算力指标都非常好，几百T的算力，追赶比较快。但要把算力转换为实际计算结果和效率，就存在模型适配问题。现在AI发展，新模型层出不穷，大家都想领先。有了模型后，如果花几个月时间进行新模型适配，开发者是等不及的。
以前市场上比较多的是英伟达GPU，已经做了很好适配，开发出来的模型自然跟英伟达芯片适配好。但今天其他芯片要花时间适配，所以接下来开源生态会变得非常重要。开源后才有更多社区的人使用模型，模型跟哪个芯片适配得好，哪个芯片使用起来就更方便。将来开源也是推动国产AI发展自主可控非常重要的方面。
这个月我们已经开源世界模型（开悟世界模型3.0），而且是持续更新迭代，提升社区影响力。这个模型会和各种国产芯片适配。
赵何娟：模型要跟芯片适配，相当于软件上的适配。这种适配过程是你们的团队完成还是芯片团队完成？共同机制是什么？
王晓刚：因为芯片底层有很多底层软件，怎么样调度算力。我们在模型层面怎么样去优化算子实现，是我们来做。所以两边要共同努力，基本上要根据硬件不同重新设计算法，达到比较高效。
赵何娟：正好说到你们现在做的大晓机器人公司。大晓机器人做的具身智能跟其他公司，比如说在模型和芯片磨合、选择范式上有什么区别？从大晓机器人本身现在在做的产品方向来说，它跟其他具身智能产品有什么不同？
王晓刚：我觉得有两点。首先技术路线上有新的技术路线，第二点是对产品化和场景的理解。
第一点上，大家可能不知道，今年年初我们的团队（刘子纬教授）发布了叫EgoLife的数据集，记录了人在生活当中的常识行为300个小时。这个数据集，像Yann LeCun（杨立昆）他们就基于这个数据集建了具身世界模型。
这个工作实际上在今年年初数据集就发布了，那时候我们已经提出环境式采集这个概念。所以我们走在行业前面，我们的环境式采集加上世界模型，再加上具身基模型，这三部分组合在一起构成我们的研究范式，我们叫ACE，就是以人为中心的新的研究方式。
我们的世界模型有独特特点，分三部分：第一部分是多模态融合理解，有各种摄像头、3D轨迹、相机位姿、力、触觉等，框架可扩展；第二部分是生成模型，能生成各种行为。这个月发布的开悟平台里，可以选择各种机器人本体（智源、宇树、银河通用等），告诉它做什么事，就能自由合成机器人完成的视频和参数，这些可以用来训练机器人；第三部分是预测，预测机器人操作过程。这就是我们世界模型的三部分。
赵何娟：我可以总结说，开悟世界模型跟传统主流VLA这种具身智能模型最大的不同是来自于以人为中心的不同。除了这个不同，还有其他不同吗？
王晓刚：因为以人为中心就能理解物理规律。
比如像李飞飞他们做的World Labs，人生成4D世界可以在里面漫游，但没办法把目标分开、产生互动，因为使用目的不同。但现在在我们的世界里，可以把桌子换成不同类型，打开冰箱门产生不同交互行为。
我对动静态目标、物理世界理解更深刻，可以精准可控、随便编辑世界元素。这样就可以把原来一个房间采集的人体数据，生成成千上万不同类型户型、环境里产生的数据。
大家通常用生成式网络，类似Sora生成视频。核心是怎么生成，但不强调前面的世界理解、多模态融合，所以框架很难拓展。但我们前不久跟南洋理工大学合作的Puffin工作，把相机位置加进去了。给我一张图片就能倒推相机位姿，如果相机在机器人手腕上，机器人不停动时看到的视频怎么变化，根据视频变化反推机器人做什么动作。这样物理世界的概念就能在里面形成。 | 
狗仔卡
发表于 2026-1-5 06:08 PM
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡