微信扫一扫,关注公众号

  • 科技行者

  • 算力行者

见证连接与计算的「力量」

首页 对话流形科技秦佑铭:做台“3D单反”,重启三维世界

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

2024-01-04 18:05
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-
2024-01-04 18:05 金旺

一张电子地图的精度,往往决定了你能否借此顺利导航到目的地,而在这背后,则是一个鲜为人知的测绘行业。

电子地图,只是测绘行业中众多细分应用场景之一。

实际上,包括矿山、考古、房地产等各行各业,都离不开测绘,而在产业数字化大趋势下,如何获取精准的三维空间数据,将这些现实场景精准地映射到数字世界中,就成了一个关键问题。

在过去很长一段时间里,活跃在测绘市场中的设备大都来自欧美老牌企业,这些设备主要通过复杂的定点扫描方式来获取三维空间数据。

2021年,香港大学MaRS Lab实验室对外开源了一个名为FAST-LIO的基于激光雷达+视觉快速实现三维建图的项目,“在此之前,业界也有一些基于激光雷达实现三维建图的开源项目,但由于没有很好的实时性,这些项目无法用在机器人系统,尤其是无人机系统中,”秦佑铭告诉科技行者。

更为重要的是,MaRS Lab这一开源项目,还将三维建图的鲁棒性做到了业界真正可用的程度。

2021年由此成了测绘行业一个转折点,在这一年后,国内涌现出一批手持式三维扫描建图设备集成商。

也是在这一年,还在香港大学MaRS Lab读博的秦佑铭有了自己的创业想法。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

01 初识机器人

对于理工科学生而言,能够在大学期间打几场像样的比赛,是一种比从书本上学习知识更重要的经历,这其中尤以机器人大赛最受欢迎,也最为性感。

深知大赛重要性的大疆,早在2013年就筹办了一个以“基于机器视觉的自主移动打靶”为主题的大学生夏令营,这一夏令营在2015年发展成为RoboMaster机器人大赛,这一大赛后来走向全球,成了在全球大学生中颇具影响力的机器人比赛。

秦佑铭原本是在美国读大学,当时是在弗吉尼亚理工大学攻读电子工程专业,2016年,秦佑铭拿到了到大疆实习的名额,当时他所在的实习部门正是大疆内部支撑RoboMaster大赛的部门。

由于秦佑铭闲暇时也喜欢打MOBA游戏,而RoboMaster大赛本质上是机器人版的MOBA游戏,因此,他很快就喜欢上了这一比赛。

于是,当回到弗吉尼亚理工大学后,他在校内组建了一个机器人俱乐部——RoboGrinder,为的正是组队打RoboMaster大赛。

2017年,作为队长的秦佑铭第一次带队参加RoboMaster大赛,并一直打到了决赛。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

据秦佑铭回忆,“2017年全北美一共只有两支队伍打入了决赛,一个是华盛顿大学的队伍,另一个就是我们。”

为打RoboMaster大赛筹建的RoboGrinder俱乐部是一个复杂的组织。

在这个俱乐部中,所有成员被分为机械设计、电子设计、计算机视觉、机器人操作几个小组,这几个小组中,尤以与智能感知高度相关的计算机视觉小组最为重要,它在整个团队中扮演的是研发机器人大脑的角色。

在比赛中,机器人时刻需要识别目标、进行轨迹规划,乃至全自动打击目标,因而计算机视觉小组最重要的工作就是构建这样一套系统,这套系统在内部被亲切地称为“物理外挂”。

至于“物理外挂”究竟有多重要,让秦佑铭记忆犹新的是,在一场RoboMaster比赛中,当时哈工大团队地面上所有机器人都已经被摧毁,眼看就要全军覆没时,他们通过仅存的一架装备自动瞄准系统的无人机,一举将对方满血基地打爆。

这样完全通过人工智能算法实现的逆风翻盘,让秦佑铭更加笃定了视觉智能的重要性,后来进入香港大学读博,秦佑铭进入的MaRS Lab实验室后,研究的正是机器人、尤其是无人机系统。

“有没有感知和决策系统,是区分一款机器人到底是玩具,还是真正的机器人的重要因素,”秦佑铭告诉科技行者,“现在街头几十块钱买的玩具飞机,也可以通过遥控飞起来,但这并不是机器人,真正的机器人是需要具备环境感知和自主决策能力的。”

进入香港大学MaRS Lab实验室后,秦佑铭继续在机器人领域深造,当时他的研究方向也更聚焦到了机器人领域尤为关键的一个问题——激光雷达建图上。

也是在这里,秦佑铭遇到了后来和他一起创业的伙伴。

02 三维建图新需求

在香港大学读博期间,秦佑铭一边和导师做研究,一边将这些研究成果写成论文投到了各大期刊,其中有两篇在业界引起了很大的反响。

一篇是发表在全球机器人顶刊《Science Robotics》上的《A self-rotating, single-actuated UAV with extended sensor field of view for autonomous navigation》。

在这篇论文中,秦佑铭介绍了一种搭载了一套SLAM算法、单电机驱动的无人机,这个最简配置的无人机在诸如矿洞等场景可以自动导航、自主探索。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

另一篇则是前文提到的FAST-LIO,也是秦佑铭与后来的创业伙伴徐威共同合作的一篇论文,这篇论文介绍的是一种基于激光雷达+视觉+IMU多传感器深度融合的感知系统。

当时这些文章一经发表,在业界得到了不小的关注,甚至有一些考古、煤矿、房地产领域的团队循迹找来寻求合作。

“在这些研究成果中,最重要的是背后的三维建图算法,实际上,当时找到我们的很多团队,他们内部也都有类似的方案,但他们之前大都是通过定点测量方式进行三维建图,建图空间稍微大一些,操作起来就非常麻烦。”秦佑铭告诉科技行者。

更重要的是,无论是人工测量、还是用无人机测量,在实时性和鲁棒性上都面临着很大的挑战。

例如在矿山场景中,国内现在在大力推进智慧矿山建设,要推进智慧矿山建设、推进矿山安全,以及管理的透明化和信息化,首先就需要采集三维数据、为这些矿山建立数字档案。

然而,矿山的矿洞通常是一个狭长的隧道,隧道中不仅光线弱、没有明确的参照物,甚至都没有GPS,这些矿洞亟需的,正是一套好用的三维建图方案。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

借着这样的技术成果,秦佑铭的团队参与到了一些智慧矿山项目中,在参与到产业中这些实际项目后,秦佑铭深刻感受到,在如今数字化大潮下,诸如矿山、考古、房地产等行业对于三维建图的需求正在不断涌现。

2021年,在香港大学支持下,秦佑铭和徐威以机器人感知技术为切入点、围绕三维建图技术组建了流形科技的核心团队。

03 Hilti SLAM挑战赛,赢麻了

2021年创立流形科技时,秦佑铭和徐威还没有从香港大学毕业,但当时他们和导师在机器人感知领域的技术研究和积累,已经在整个测绘领域有了不小的影响。

尤其是在2021年开源的FAST-LIO项目,对国内,乃至全球测绘行业产生了深远影响。

这其中,值得一提的是一个叫作Hilti的大赛。

作为全球顶级的建筑工具公司,Hilti与苏黎世理工大学联合举办的The HILTI SLAM Challenge大赛一直都是测绘领域最具影响力的三维建图挑战赛。

以SLAM算法为核心的技术团队,能在Hilti数据集上跑出怎样的成绩、在HILTI SLAM挑战赛上拿到怎样的名次,是工作成果最好的证明。

2021年的HILTI SLAM挑战赛是在9月份举行,最终参赛队伍包括来自全球的20支知名企业和高校的参赛队伍,这其中既有来自博世的团队,也有来自牛津大学、新加坡南洋理工大学的参赛队伍。

然而,这一年的桂冠却被一家来自中国的团队摘得,这个团队就是中国AI独角兽企业旷视,而旷视取胜的秘诀之一,就是基于当时已经开源的FAST-LIO设计的SLAM算法。

第二年,这一挑战赛的冠军同样是来自中国的一个团队,这次的冠军团队正是秦佑铭博士和徐威博士所在的团队。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

连续两年摘得全球顶级SLAM挑战赛的桂冠,证实了这一框架的价值,也再次为秦佑铭指明了创业方向,2022年年底,博士毕业的秦佑铭和徐威开始专心研发他们第一款测绘设备。

半年后,一款名为留形机的三维建图手持设备面市。

一款真正的商用产品,往往要经历两个阶段:技术研发阶段和工程优化阶段。

流形科技的留形机大部分技术上的问题,秦佑铭和徐威的团队在博士做学术研究期间就已经想明白,也就是FAST-LIO中解决的问题。

后来国内也有团队基于这套框架设计出了三维建图的手持设备,不过,秦佑铭告诉科技行者,“我们看到过一些基于FAST-LIO开源框架设计的手持设备,这些设备在实际使用时,机身偏移角度很小,使用者要需要小心翼翼地将设备握在手中,经过大门时还要侧着身子过去,这些问题就是需要进一步解决的工程优化问题。”

流形科技在产品研发阶段,就在与全球知名建筑顾问公司合作,一边接触实际项目的工程需求,一边打磨产品。

例如,2022年,流形科技已经将内测版本的留形机用到了香港历史博物馆更新升级中。

香港历史博物馆总面积18500平方米,常设展厅占地7000平方米,内部不仅有多个楼层,而且包含了不同历史时期的建筑风格和文物展品。

在博物馆更新升级过程中,施工方需要馆体进行全方位扫描,这样的多层次、多风格、大面积的空间,让扫描建图面临着极大的挑战。

最终,流形科技的留形机在这一项目中不仅实现了厘米级精度的三维建图,而且在20分钟左右就把复杂的建筑架构转化成了电脑识别的三维模型。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

更重要的是,流形科技的这一手持设备在实际项目中不断进行工程优化后,自今年6月份发布以来,经过固件更新已经迭代了26个版本。

如今的留形机拥有很高的鲁棒性,可以在任意场景、任意角度下使用,解决了市面上手持设备使用不便的问题。

04 算力涌现,测绘下沉

在2021年创业进入三维建图领域的秦佑铭是幸运的。

这一年除了像FAST-LIO这样影响测绘行业的开源项目越来越多外,三维建图亟需的算力也有了不小的提升。

2021年11月,在NVIDIA GTC 2021上,NVIDIA正式对外发布了Jetson AGX Orin。

对话流形科技秦佑铭:做台“3D单反”,重启三维世界

Jetson AGX Orin基于NVIDIA Ampere架构,相较于上一代产品,性能提升了6倍,每秒可进行 200 万亿次运算,更重要的是,这代AI超算可以很好地支撑机器人、医疗器械等设备所需要的边缘算力。

在人工智能计算研究,无论是在学术上,还是在企业内,都离不开显卡,秦佑铭早在弗吉尼亚理工大学带团队打RoboMaster比赛时,就开始接触NVIDIA的产品,当时用到的是NVIDIA Jetson TX2。

“特别是像我们做机器人,需要较高的实时算力,一定离不开显卡和边缘计算的加持,”秦佑铭告诉科技行者,即便是创业后,他和团队研发的留形机第一款样机,同样用到了NVIDIA的GPU。

也是基于这样的渊源,秦佑铭在创业时就一直在关注NVIDIA专为加速创业公司发展的NVIDIA初创加速计划 (NVIDIA Inception),最终,秦佑铭和他的团队不仅在2023年加入了NVIDIA初创加速计划,还参加了2023 NVIDIA初创企业展示,并获得了“荣耀企业”称号。

而谈及加入NVIDIA初创加速计划为流形科技带来的帮助,秦佑铭总结了三个方面:

第一,NVIDIA Inception有一个非常活跃的社群,在这个社群中,你有任何问题都可以很容易在社群中找到技术参考和支持,这能够帮助我们产品快速迭代,让我们少走了不少弯路;

第二,NVIDIA Inception给了我们很多与上下游联动的机会,在NVIDIA 初创加速计划的生态中,有很多是做边缘计算的上下游公司,有些本身就是我们的客户,在商业方面给了我们很大的帮助;

第三,采购物资方面,NVIDIA官方也会给我们一些支持,这对早期现金流压力比较大的初创公司也有不小的帮助。

具体到与流形科技产品协同过程中,由于是基于NVIDIA GPU研发的产品,流形科技的留形机可以原生输出USD格式的三维图像,并能够与NVIDIA Omniverse生态系统完美兼容。

也正是在NVIDIA GPU硬件加速下,如今流形科技研发的留形机已经实现了亚厘米级实时真彩点云三维重建。

就在这样的创业环境中,对于流形科技的未来,秦佑铭也有了新的打算。

秦佑铭告诉科技行者,“现在我们新一代产品已经实现模块化设计,可以放在无人机上,也可以放在机器狗上,通过模块化设计和诸如此类的硬件设备,我们的产品可以进一步深入到更多商用场景中。”

谈到更远的未来,秦佑铭认为,2024年苹果Vision Pro的发售将会带动整个AR/VR产业,未来消费市场对于三维建图将会有很大的需求,流形科技计划在2025年初进入消费市场,做一台用于三维世界的“3D单反”。

而这,也是秦佑铭为他们研发的产品起名为留形机一个更深远的意义。

分享至
11赞

好文章,需要你的鼓励

金旺

Wille
关注智造、硬件、机器人。
推荐文章
----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.- ----..---.-...-/--...-.-......./-...-....-..--../-............-.-