扫地机器人上机器视觉这一技术已经不是什么秘密,科沃斯终于在年初发布了其首款搭载AIVI视觉技术的DG70扫地机器人,小米的第二代米家扫地机器人(1S)也搞上了视觉导航。厂商亦步亦趋,小心翼翼地配上了这一“新”技术,或者说是“新”概念。
而在机器视觉技术领域中,又有诸多分类,包括近年来在手机上广泛应用的结构光、ToF,在无人机上应用较多的双目视觉,扫地机器人这波机器视觉浪潮的标配究竟是什么?
单目,还是双目?
在机器视觉领域,目前,单目视觉和双目视觉是两类备受关注的定位技术,二者在结构和工作原理上的巨大差异,也导致了不同的市场应用现状。
双目视觉定位是指通过三角测量原理来对目标点的三维空间位置进行定位。双目视觉定位算法流程包括相机标定、双目标定、图像处理、特征检测、立体匹配、三维测量和姿态测量。
双目视觉由于定位精度高、进入门槛低、容易实现3D构图,同时可以实现被动光源定位,因而业内做双目视觉的公司较多,包括图漾科技、纵目科技、云光技术等。
尽管如此,“在实际应用中,双目视觉仍会有一定的局限性,”深圳市欢创科技创始人兼CEO周琨告诉雷锋网。
作为清华大学深圳研究生院硕士生导师,周琨在视觉人机交互技术方面有深入的研究,当下任职CEO的欢创科技主要提供单目视觉空间定位技术。据周琨介绍,此前,其曾创办泰山在线,并对双目视觉技术有过深入研究。对于双目视觉,周琨认为,主要有以下三点缺点:
-
模组体积大。双目视觉定位精度受到基线(两个摄像头之间的距离)影响,基线越长,测量精度越高,因此双目视觉较少应用到诸如手机此类对空间要求较高的产品中做定位;
-
成本较高。相对单目视觉技术,双目视觉技术成本也更高;
-
有效视角校相对单目视觉技术,双目视觉的有效视角会更校
相对而言,周琨更看好单目视觉技术的应用前景。
单目视觉仅利用一台摄像机完成定位工作。单目视觉定位的方法主要有两种:基于单帧图像的定位方法和基于两帧或多帧的定位方法。其中应用比较广泛的有基于单帧图像定位方法中的基于特征点定位(PnP原理)方法,以及加入IMU惯性传感器辅助测量法。
随着近年来SLAM技术的逐渐走向成熟,视觉技术应用场景也越来越广泛,尤其在室内场景,单目视觉定位技术应用较为广泛。
在扫地机器人领域,当下应用更多的是单目视觉技术,包括前文提到的科沃斯和小米的新款扫地机器人产品都加入了一颗可见光摄像头进行辅助定位,更好实现避障功能。国外对视觉导航应用较早的iRobot也是以单目摄像头在移动过程中对图像连续跟踪,进行相机姿态和跟物体之间相对位置变化的估计,从而建立起地图。
单目视觉的辅助定位
在消费领域应用中,扫地机器人越来越多地配备上了机器视觉;与此同时,在工业和医疗应用领域,也逐渐有相应厂商开始尝试和探索。
单目视觉技术虽然在体积、成本上有一定优势,但是在关键的定位精度上却不如双目视觉。为了提高单目视觉的定位精度,在实际应用中,辅助定位技术得以被引入。
第一个比较常用的辅助定位技术是:在受控环境中,对被测物体加装标记点。
针对工业检测、医疗等可控环境中,单目视觉基于PnP原理,通过在被测量物体上加装多个标记点,从而提升定位精度。例如在医疗领域的手术导航中,可以通过在医生用到的手术刀加装特定标记点,可以大幅度高定位精度。
第二个辅助定位技术是:引入多传感器融合技术,加入IMU惯性传感器。
通过采集IMU惯性传感器(陀螺仪、加速度计等)的加速度和角速度,从而确定被测物体的运动模式,结合单目摄像头采集的图像,通过诸如基于视觉的特征点匹配、稀疏光流等算法来实现最终定位。此外,引入IMU惯性传感器,也使得通过单目视觉技术进行3D构图成为可能。
单目视觉、辅助定位……,机器视觉如此之火,作为扫地机器人原配的激光雷达真会被逐渐取代?
在回答这个关键问题之前,有必要先了解一下机器视觉和激光雷达的“姻亲”关系。
机器视觉和激光雷达的“姻亲”关系
在SLAM导航定位技术兴起之前,激光雷达一直作为扫地机器人的原配久居正统之位。随着视觉导航技术的兴起,机器视觉备受关注,成为有别于激光雷达的一种导航技术。
“其实,现在机器人领域应用的短距离激光雷达也是用单目视觉传感器来做的,”周琨告诉雷锋网。
在机器人领域,无论是当下谈论的vSLAM机器视觉,还是激光雷达,其实都属于机器视觉定位技术。无论是vSLAM方案中的可见光摄像头,还是激光雷达方案中的红外摄像头,本质区别不大。但是由于激光雷达采用主动光源定位技术,因而定位更为精准;单目可见光摄像头采用被动光源做定位导航,精度要差一些。因此,目前业内公认激光雷达更适合做定位导航。
这样看来,在扫地机器人中应用的机器视觉和激光雷达更像是一种“姻亲”关系,常被提及的机器视觉更多是采用可见光摄像头,激光雷达采用的则是红外摄像头。
有所不同的是,机器视觉(可见光摄像头)屡被提及,除去定位导航功能之外,其实更多在于其可以实现3D构图,以及未来图像识别带来的诸多应用拓展。
激光雷达会否被取代?
激光雷达是否会被机器视觉取代?
尤其是在扫地机器人应用中,这究竟是技术迭代,还是技术融合?
目前来看,尚且属于后者。包括上述两家国内扫地机器人销量大厂,仍是以视觉做避障,辅助整个导航系统。
目前用可见光单目摄像头实现的仍是2D视觉,但是由于没有主动光源,定位精度较差,构建的地图和轨迹路线质量相对较差;而采用诸如ToF、单目结构光、双目视觉可以较容易实现3D建模,可以做避障,但是做SLAM算法的时,由于水平视野狭窄(小于90度),效率就会差很多。
由此可见,机器视觉想要完全替代激光雷达,尚且还需要些年头。周琨也认为,扫地机器人的发展方向更多是一个融合趋势:标配激光雷达做SLAM算法、做导航定位,机器视觉做避障、做3D视觉、深度学习等相应功能。
这同时也使得百万量级的扫地机器人市场,对激光雷达的需求量依然可观。“我们今年整体业务重点是在扫地机器人领域,预计占比将会达到90%以上,其中,Camsense X1(激光雷达)是我们今年的主要产品,”对于欢创科技今年的产品规划,周琨这样告诉雷锋网。
X1:红外光学空间定位算法、定制面阵红外传感器
欢创科技在2015年就开始进行高精度定位算法的研发工作,这里提到的算法,正是欢创科技基于红外光学空间定位和识别的算法——Camsense HPP(High Precision Positioning)。据官方信息显示,Camsense HPP可以在5m x 5m范围内实现亚毫米级空间定位分辨率,适用于精密设备测量、医疗手术导航等室内环境短距离精准定位。
这一算法,也正是欢创科技的核心技术。
此外,周琨告诉雷锋网,相对于现在市面上的激光雷达,欢创科技针对光源、镜头、图像传感器做了诸多改进,一方面在性能上有所提升,另一方面也规避了传统三角测量法中的专利风险。
“相对于亚洲光学采用工业级线性图像传感器做激光雷达有所不同,欢创科技使用的是定制面阵图像传感器。”这样带来的改进包括:
相对于工业级图像传感器,定制面阵图像传感器成本更低;
采用面阵式图像传感器,比线性式图像传感器垂直视野更大。
据周琨介绍称,“当下工业级线性图像传感器垂直视野一般为0.15度,采用我们定制红外传感器激光雷达的垂直视野可以达到40度。这也使得生产过程中的光源校准、调焦更容易。”
激光雷达是欢创科技现在的重头戏,也是其在转向机器人、工业检测、医疗应用领域后的重要产品。在此之前,欢创科技的单目视觉技术也曾应用于电视、VR等领域。
电视、VR,再到机器人的技术打磨
2014年,深圳欢创科技有限公司正式成立。成立之初,欢创科技定位传统视觉传感器,首先应用于当时电视领域的体感游戏。“当时,除了TCL,国内几乎所有的电视厂商都是我们的客户,我们为其提供单目摄像头,以支持家庭娱乐中的体感游戏。”
为什么会放弃电视这一市场?
周琨坦然表示,“我们也深知这一领域有天花板,随后,我们进一步将我们的市场拓展到当时火起来的VR领域。”2016年,欢创科技拿下了爱奇艺的标,为其VR设备提供空间定位系统,并顺利完成了技术产品开发,但是由于国内VR市场最终未能如预期发展起来,这款产品最终未能进入量产。
据雷锋网了解,直到现在,国内VR市场也一直不温不火,并未能出现诸如国外微软HoloLens、HTC Oculus这类知名设备。
不过,在此阶段,欢创科技研发了其M系列产品,Camsense M1、Camsense M2。周琨告诉雷锋网,直到现在,针对电视、VR领域的这两款产品虽然不再进行迭代更新,但仍在稳定出货。截止目前,产品出货量已经达到15万套。
像我们这类技术公司,选择技术落地领域很重要。经历了前几年的技术积累,2017年,我们将我们的业务领域正式切换到机器人、工业检测领域。
随后,欢创科技相继拿下了中国商飞、华测集团的标,针对工业检测研发了Camsense M Pro和Camsense S系列产品。
“飞机制造过程中有铆接等很多工位的需求,铆接过程是通过机械臂实现的,机械臂在移动过程需要精确的引导和定位,我们为商飞提供的Camsense S定制方案就是为机械臂进行导航引导。”此前,此类高端制造业多为国外垄断,欢创科技Camsense S对标的正是加拿大的NDI公司,Camsense S已经可以实现0.2mm定位精度。
扫地机器人接下来的研发重点
前文有提到,2017年,迈入第二阶段后,欢创科技开始将业务拓展到机器人领域。与此同时,机器人领域也逐渐摸索如何更好应用机器视觉弥补现在机器人原有在避障上的不足,在更多图像处理领域的尝试。
周琨认为,当下机器人领域,尤其扫地机器人领域面临的研发重点有以下三点:
-
降低SLAM导航定位方案成本。“激光雷达仍是目前实现SLAM导航定位最好的配置,如何将激光雷达SLAM方案做得更成本更低,如何研发出更好的算法,这是当下业内的一大课题。”
-
解决现在普遍面临的避障、物体识别问题。诸多机器人厂商开始引入机器视觉来做相应的方案;
-
SLAM+避障融合方案。即机器视觉+激光雷达融合方案,“这是当下行业的重点,也是我们公司一个重要研发方向。”
欢创科技第五年:激光雷达成重点,扫地机器人成押注领域
从2014年创业至今,欢创科技已经走到了第五个年头。
技术上,仍聚焦单目视觉,继与清华大学联合成立高精度定位实验室后,又于今年2月成立光学实验室,为光学高精度定位系统提供专业研发及测试场所,截止目前配备有20+研发人员;
市场上,从最初的电视、VR领域走到现在的工业、医疗、机器人领域。
此外,周琨还特别强调了量产问题。
消费级激光雷达,量产是一大难关。欢创科技有自己的试产品车间,所有的产品在量产之前都会在试产车间进行试生产。自2018年建成自己的试产车间,我们已经试生产5000台产品,这些产品仅用作规模化量产前的试生产,不会作为最终产品售卖。
据周琨称,“今年欢创科技将会实现盈利。”
在医疗领域,欢创科技已有意向厂商。而今年主要产品是Camsense X1激光雷达,目标出货量为50万台以上;目标市场为扫地机器人,预计其在今年整体业务占比高达90%以上。
周琨告诉雷锋网,目前欢创科技的激光雷达有三类客户:
第一类是扫地机器人整机厂商,像360这样自己有能力做SLAM算法的整机厂商;
第二类是方案厂商,他们基于欢创科技的激光雷达做SLAM算法,然后将完整SLAM方案给整机厂商;
第三类是ODM厂商,他们基于欢创科技的激光雷达做SLAM算法,然后做整机方案进行量产。
“目前我们三类合作厂商已有十余家。”
欢创科技的第五年,激光雷达成重点,扫地机器人成押注领域;就整个扫地机器人国内现状来看,机器视觉刚刚兴起,激光雷达仍是原配,仍作为重点领域为业内持续关注。