钱程策略李瑞：通过视触觉和手眼协同平台打造真正心灵手巧的类人智能机器人

专题：2025世界机器人大会：AI大模型赋能机器人与具身智能产业新范式交流活动

　　“2025世界机器人大会”于8月8日至12日在北京经济技术开发区开幕。“AI 大模型赋能机器人与具身智能产业新范式交流活动”作为2025世界机器人大会的专题活动于8月8日同期召开。纬钛机器人创始人兼CEO李瑞出席并演讲。

　　以下为演讲实录：

　　尊敬的各位领导、各位嘉宾，大家下午好！我是上海纬钛科技有限公司的创始人兼CEO李瑞。今天给大家带来的演讲，主要是围绕着机器人的触觉和手眼协同。

　　让我们设想一下，有一天机器人能够真正进入到家庭和生产很多场景中。比如家庭场景中，机器人能帮我们完成洗衣做饭扫地等家务。又比如在工厂生产线上，机器人帮我们生产各种各样的产品，让它能够实现类人的操作。要达到这些的操作，内在核心需要的能力底层基座可以总结为四个字“心灵手巧”。心灵代表有一颗聪明的大脑，各类大模型能够赋予机器人通用泛化的能力以及聪明的大脑，也带来更多的可能性，现在是正在快速发展的阶段。手巧也是非常核心的环节，一方面需要有比较多的自由度，但是更重要的是一定要有触觉反馈的能力。触觉是人和机器人感知环境和实现操作闭环非常核心的环节，当我们说具身智能的时候，为什么说具身？因为要跟现实世界进行一个交互，通过手来交互。手上很关键的部分就是要具备触觉。

　　人手可以获得哪些触觉的信息呢？一方面可以获取物体本身的性质，比如说表面的纹理、大小、形状、软硬程度、重量等等。另外一方面是接触的状态，我们跟这个物体交互的过程中它产生的一些力的信息，比如说法向力、切向力、相对滑动、物体位姿等等这些信息。

　　人在做90%以上甚至95%以上的操作的时候，都需要手和眼同时的参与和配合，我们叫手眼协同，这里触觉和视觉之间的关系属于相辅相成，是缺一不可得关系。一方面触觉作为视觉的延伸。另外一方面可以实现更加精细化的闭环，同时可以补充视觉信息并且实现实时的反馈。触觉本身也是我国35项“卡脖子”技术之一。

　　目前触觉相关的技术路线有不同的分类，比如电阻、电容、霍尔效应以及视触觉。其中视触觉是目前学术界研究最多也是最火的一个方向，同时也是业界公认最先进的触觉实验路径。全球最顶尖的高校、研究所基本上都在做相关的研究，比如国外的MIT、斯坦福、CMU、伯克利、国内的清华、北大、上交、复旦、中科大等等都在做相关的研究。

　　2024年《科学》杂志的机器人子刊封面照片其实就是视触觉。十几年前，我在美国麻省理工学院读博士的时候，跟我导师一起开创了这样一条技术路线。同时，我也率先做出了全球第一款分辨率可以超越人类手指的视触觉传感器，当时给它命名为GelSight指尖传感器，我们也发布了一系列的奠基性的论文。

　　时光荏苒，现在这个技术路线已经成为学术界里大家研究最广泛的一条技术路线。从2009年到2024年，视触觉的发展经历了三个阶段。

　　第一个阶段，技术起步期。

　　第二个阶段，发展期。

　　第三个阶段，爆发期。

　　2024年，我正式创办了纬钛机器人，把这项技术再进一步的完成从学术界到产业化的转型阶段，实现商业化落地，让它更快的在更多场景里实现落地应用。

　　迄今为止，我们实验室在整个全球人工智能顶会发表了70多篇相关的论文，其中有超过5篇的最佳论文奖以及十几年核心的know-how。前两周的世界人工智能大会上，介绍我们在视触觉以及手眼协同相关的工作，并进行了产品展示。总理给予了宝贵指导意见，并鼓励我们尽快将产品和智慧应用到千行百业。

　　视触觉为什么这么火？其实跟它的特性和优势是密切相关的。十几年前2014年当时的视触觉能做到什么程度，可以给大家简要介绍下。这个是全球第一款分辨率超越人类手指的视触觉传感器叫GelSight指尖传感器，右边是法向力信息，这个亮度代表压力的大小，分辨率可以达到10微米甚至微米级别，以及可以呈现出多维力的信息，我的手指在上面旋转按压等等可以呈现出多维力的信息。夹鸡蛋十几年前对我们来讲比较简单了，不仅仅可以让它夹鸡蛋，还可以让它抓易拉罐、薯片、草莓甚至是树叶，并且可以横着夹树叶。更重要的是在做操作的时候，我们是没有事先告诉它应该用多大的力，而是依靠传感器自身自适应调整。这个有点像人手做很多操作的时候，比如小朋友可以抓各种各样的食物、玩具、乐高等等。

　　这项技术和其它的触觉的技术路线比较起来有多方面的优势，比如传统的阵列式电阻、电容和霍尔效应的触觉传感器。我们可以总结为以下四个方面。

　　第一方面，分辨率超级高，是第一个分辨率可以超越人类手指的触觉传感器。传统阵列式的触觉传感器一平方厘米只有几个点或者小几十个触觉信息点，而我们的视触觉传感器可以达到几万个甚至几十万个点，可以是传统触觉传感器的分辨率的上万倍。

　　第二方面，进行多维力的测量，我们在说压力和触觉的时候，其实是有挺大的不同。压力通常是指某一个方向的力，但是触觉是多维信息的力，不仅仅有法向力还有切向力以及滑动的信息等等。切向力其实在机器人和人做很多操作的时候，往往是比法向力更加重要，法向力是垂直于物体表面的，切向力是接触表面平行的力。比如像摩擦力或者叫滑动力，人拿一瓶水，并不是说事先想好应该用一牛的力还是两牛的力把这瓶水拿起来，而是在拿的过程中通过切向力或者是摩擦力的感知，实时调整判断的，因此这里面切向力显的非常重要。

　　第三方面，可以操作软的物体，像衣服、线缆、鞋子等等。

　　第四方面，不容易受环境的影响，像温湿度、电磁场等等。

　　这是一部分的研究成果，可以自适应的抓各种各样不同的东西。更进一步的话不仅可以抓起来，还可以进行精细化的闭环控制的操作。比如说USB插拔，人在做插拔的时候，如果仅仅凭视觉能力，其实是非常难的。人做这个事情的时候通常是眼睛大致看一下USB的孔位在哪里，接下来更加进一步的闭环控制是靠手，靠触觉来完成的，人手可以感知到有没有插进去，如果没有的话再进行一些调整。

　　我们当时用视触觉传感器结合外部的视觉，实现手眼协同来做这样一个插拔的操作。其实也可以应用到很多不同的领域，很多的闭环控制都需要手和眼同时的配合，眼睛在很多时候是粗定位，触觉是进行更加精细化的闭环，可以说触觉是人或者机器人操作的最后一厘米。

　　我们的视触觉不仅仅可以做前面那些操作，甚至可以做材质识别。按压到不同的物体上，不同的布料之类的，可以识别出材质。当然我们要做的事情不仅仅是视触觉，这只是一个支点，我们希望通过视触觉和手眼协同的平台打造真正心灵手巧的类人智能机器人，真的让机器人像人一样进行很多的灵巧操作和实现心灵手巧的任务。分为三个阶段。

　　第一阶段，以视触觉和带触觉的手作为一个切入点。

　　第二阶段，结合机械臂可以实现垂直场景的落地。

　　第三阶段，结合大模型实现更加通用泛化的操作。

　　这是我们两指版本的视触觉传感器，在25×25毫米的面积内可以实现将近6万个触觉信息点。我们的产品拓展有带触觉的夹爪与带触觉的灵巧手，再结合机械臂，哪怕现在的协作臂，可以让它在一些场景里率先实现落地。不需要等到双臂或者说人形通用机器人的成熟手，已经可以这些场合里实现落地。

　　我们看一下它的效果展示，两指的版本可以在上面进行旋转、按压，可以看到整个力场的分布。当我在面按压的时候，整个反应是非常实时的，而且是多维力的。这边有另外一个视频展示更为全面的功能。

　　首先展示的是我们的视触觉传感器夹着一根非常尖的针然后去戳这个气球，这是非常有挑战的任务。传感器可以感知到很轻微的力，超级灵敏的切向力，并且不把气球戳破。

　　这个是展示了它的高分辨率的特性，同时可以实现自适应的抓取。各种各样的任务，包括纸团、面包、生鹌鹑蛋等等。可以无缝自适应的进行调整。这里不需要用非常高精度的摄像头，只是借助外部低精度摄像头进行粗定位。也可以进行USB插拔，并且还可以自己调整位姿。

　　同时在夹水杯的时候，可以根据水的多少自动调整夹紧的力度。刚刚展示的是两指的版本，现在也有一个五指的版本，现在在进行内测，今天只是给大家一个演示。这个用在灵巧手上，比如说气球可以根据力进行反馈。这是一个生鸡蛋，薯片其实比鸡蛋更难。我们公司买了很多薯片，不是给自己吃的，是给机器人用的。还有树叶，这个展示了非常灵敏的力，甚至用树叶稍微轻轻的碰一下都能感知到，而且感知到的是多维的力。甚至是柔软的嫩豆腐，都可以自适应抓取。

　　这个是非常普通的一个透明的水杯，五指的版本比两指的版本小很多，和人手的大小差不多，可以跟很多厂家的灵巧手进行无缝的适配，但是整个性能各方面来讲是非常类似的。这个可以让它应用在什么样的场景里呢？我们在说灵巧操作，现在的机器人为什么做不到，工厂里看到很多机械臂其实都是在重复执行一些轨迹，一旦操作的任务或者环境发生变化的话，没办法快速适应，这个其实也是大家一直想实现柔性生产的痛点，但是现在达不到。我们结合视触觉和手眼协同的算法，可以在很多场景里实现落地，无序的自适应抓取，什么东西都可以抓，用在拣选分类、上下料的场景等等。

　　不仅可以抓起来，还可以进行精准的放置，比如像小孩子可以把乐高块抓起来，并且可以精准的放到另一个乐高块上，这就是精准放置。还比如插拔、装配、上下料等应用。与此同时，我们还完美适用于柔性物体的操作，像衣服、鞋子、线缆、食物等等很多物体的操作。

　　我们也有跟很多家头部制造业客户形成了深度的合作，同时也在建立一个数据集，我们要把触觉信息放进去。其实当大家在说VLA大模型的时候，这里面欠缺了一个非常重要的模态就是触觉，这个机器人要跟世界交互，触觉肯定是离不开的。我们现在在打造一个VTLA的大模型，把这个T（触觉）结合进去，不仅有视觉还有触觉。这样可以让机器人做更通用、更泛化、更高成功率的一些操作。

　　我们的历史股东有很多来自产业界和头部的基金，这是我们的微信公众号，大家如果感兴趣可以关注我们，我们会定期的发布一些相关的信息。谢谢大家！

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。