AR导航技术（自然环境中放置标志点的问题）

#创作挑战赛#

现在的相机或者摄像头动辄就是百万、千万级像素，而且还有体积小、价格便宜等优点，非常方便可以集成到手机上或者AR眼镜中，实现增强现实的目的。

现在我们知道摄像头在AR系统中有举足轻重的作用，是用来识别外部环境的重要组件。摄像头在扫描周围环境时，目的是为了识别目标，通过计算机视觉去分析目标物体。

目标物体如果本身有很明显的特征，比如房间里有张桌子，桌面就是一个很明显的识别目标。微软HoloLens有一个比较经典的案例，演示《我的世界》游戏，把虚拟沙盘放置在桌面等平面上。

MR我的世界 | 图源网络

如果目标物体没有明显的特征，比如白墙，这面墙上没什么可以用来识别的特征，有什么解决方案吗？

如果有条件我们可以先改造自然环境，有一种简单的处理方式，在真实环境中人为地放置一个很容易识别的东西，我们把这个东西叫做标志点。

标志点识别

比如在AR用于电力巡检中，工人需要戴上AR眼镜来识别配电箱，理论上来说，识别配电箱这个模型是很容易的，但是这个环境里有N个配电箱，长得几乎一模一样，AR眼镜怎么知道是哪一个呢？

如果我们把每一个配电箱上都贴上一个二维码，等于让每一个电箱都编上号，这个二维码就是标志点。二维码应该是最成功且应用最广泛的一种标志点。

工人用AR来巡检 | 图源网络

标志点的设计原则有两个，第一外观要设计成很容易检测到的形状，第二图像要对比度高。

二维码就非常符合这两个原则。首先是边缘图形是四方形很容易被检测到。然后是中心的图像是黑色和白色两种对比度很高的颜色形成的内容。

除了四方形之外，圆形也是可以很容易被识别的外观形状。

但是只有外观是不够的，因为环境中的方形和圆形是非常多的，所以方形和圆形中间还要有内容填充，形成一个完整的图像才能作为标识点。

黑色和白色是计算机图像里面非常容易识别的图像，对比度足够高，摄像头拍摄之后不需要特别处理就能够识别。

好用的标志点 | 图源网络

自然特征识别

话说回来，真实环境是没有标志点的，AR必须要能够识别真实环境中的自然特征，不然也没有存在的价值。

自然特征我们可以理解为目标身上自然发生的特征。比如人脸识别中，人的脸部轮廓、瞳孔、面部表情等都是自然特征。

AR中的摄像机可以获取人脸的高清图像，从图像中选取一些关键的帧，然后和AR系统内部已经提前准备好的模型进行对比，然后判定是否为该目标。

生物特征识别 | 图源网络

这种自然特征识别的方式需要参考模型，参考模型有提前准备好的，也有通过摄像头先扫描周围环境快速创建得来。

这个采集的步骤是至关重要的，因为终端的用户在使用时，不会给你太多时间让你去扫描周围环境获取参考模型，也是现在的瓶颈。

最近在使用一家国产AR眼镜时就遇到了这个问题，前端的工人戴着AR眼镜在现场工作，后端的专家坐在电脑前可以看到现场的情况。后台专家希望告诉工人哪个设备可能有问题，专家需要做个标注，比如画个圆圈，或者打个箭头。

简单的解决方案是冻屏，也就是截屏。但这种解决方案是不自然的，也是很low的，我们需要的是对自然环境做动态标注。

我尝试了国内AR眼镜排名前列的品牌，有些压根没有动态标准的功能，有一些是有这个功能但实用性有问题。

标注功能是远程视频交流必备 | 图源网络

当后台专家点击动态标注的功能按钮时，前端的AR眼镜会有长达十几秒的时间去扫描现场环境，然后专家才可以使用标注的功能，这个十几秒的时间用户是很难接受的，所以自然特征识别还有很长的路要走。