梳理AR的核心技术后，意外发现AI与它的关联

shuszhao

AR/VR常作为孪生兄弟被相提并论，被普遍认为为应用层新技术或者说是“智能可穿戴设备”，相比人工智能相对的“算法”标签，显得不够有深度有内涵高大上，那AR和人工智能之间到底是什么关系？AR属不属于当下我们认知中的人工智能？
AR/VR常作为孪生兄弟被相提并论，被普遍认为为应用层新技术或者说是“智能可穿戴设备”，相比人工智能相对的“算法”标签，显得不够有深度有内涵高大上，那AR和人工智能之间到底是什么关系？AR属不属于当下我们认知中的人工智能？


先来简单梳理下AR的核心技术

AR（Augmented Reality），是在现实世界中叠加虚拟信息，也即给现实做“增强”，这种增强可以是来自视觉、听觉乃至触觉，主要的目的均是在感官上让现实的世界和虚拟的世界融合在一起。
其中，对现实世界的认知主要体现在视觉上，这需要通过摄像机来帮助获取信息，以图像和视频的形式反馈。通过视频分析，实现对三维世界环境的感知理解，比如场景的3D结构，里面有什么物体，在空间中的什么地方。而3D交互理解的目的是告知系统要“增强”的内容。

                               
登录/注册后可看大图

图.典型AR流程
这其中有几个关键点：
首先是3D环境理解。要理解看到的东西，主要依靠物体/场景的识别和定位技术。识别主要是用来触发AR响应，而定位则是知道在什么地方叠加AR内容。定位根据精度的不同也可以分为粗定位和细定位，粗定位就是给出一个大致的方位，比如区域和趋势。而细定位可能需要精确到点，比如3D坐标系下的XYZ坐标、物体的角度。根据应用环境的不同，两种维度的定位在AR中都有应用需求。在AR领域，常见的检测和识别任务有人脸检测、行人检测、车辆检测、手势识别、生物识别、情感识别、自然场景识别等。
在感知现实3D世界并和虚拟内容融合后，需要以一定方式将这种虚实融合信息呈现出来，这里面需要的就是AR中的第二个关键技术：显示技术， 目前大多数的AR系统采用透视式头盔显示器，这其中又分为视频透视和光学透视，其他的代表有光场技术（主要因Magic Leap而显名）、全息投影（在科幻影视剧作品中常出现）等。
AR中的第三个关键技术在于人机交互，用以让人和叠加后的虚拟信息互动，AR追求在触摸按键之外自然的人机交互方式，比如语音、手势、姿态、人脸等，用的比较多的语音跟手势。


人工智能和AR的技术关联

在人工智能领域有几个概念常被提及，如深度学习（DL）、机器学习（ML），在学术领域包括人工智能（AI）在内几大领域均有自己的研究界限，而在普遍意义上，我们常说的是泛意的人工智能，涵括所有“让机器像人一样”的技术的应用方向。

                               
登录/注册后可看大图

从这张图也可以简单一窥三者的关系，深度学习是实现机器学习的一种技术方式，而机器学习是为了让机器变得智能，去达到人工智能。可以说人工智能是最终目标，而机器学习是为了实现这个目标延伸出的一个技术方向。在这其中，还有另一个重要概念为计算机视觉（CV），主要来研究如何让机器像人去“看”，是目前人工智能概念中的一个重要分支，这也是因为人类获取信息最主要的方式之一就是视觉，目前计算机视觉已经在商业市场发挥价值，比如人脸识别；自动驾驶中读取交通信号和注意行人以导航；工业机器人用来检测问题控制过程；三维环境的重建图像的处理等等。这些概念既有区分也有一定范围的重叠。
其中，2006年开始，Hinton引发的深度学习热潮开始蔓延，在一定程度上带动了AI的又一次崛起，十年中，在包括语音识别、计算机视觉、自然语言处理在内的多个领域取得重大突破，并向应用领域延伸，正发展的如火如荼。
在AR的核心技术中，3D环境理解、3D交互理解和计算机视觉、深度学习都有着紧密的联系。3D环境理解在学术界里主要对应的是计算机视觉领域，而近年来深度学习在计算机视觉中得到广泛应用。交互方面，更趋自然的交互方式如手势和语音在硬件终端的使用，得益于近几年深度学习在相关领域的突破。也可以说，深度学习在ＡＲ中应用主要在视觉关键技术。
目前，AR最常见的形式的2D图片扫描识别，如腾讯QQ-AR火炬活动、支付宝五福等多数AR营销中所见，用手机扫描识别图出现叠加的内容，但主要的研发方向还在3D物体识别和3D场景建模。
现实的物体是以3D形态存在的，有不同的角度和空间方位。所以一个自然的扩展就是从2D图片识别到3D物体识别，识别物体的类别和姿态，深度学习可以用在这里。以水果识别为例，识别不同类别的水果，并且给出定位区域，即集成了物体识别与检测的功能。
3D场景建模，从识别3D物体扩大到更大更复杂的3D区域。比如识别场景里面有哪些东西、它们的空间位置和相互关系等等，这就是3D场景建模，是AR比较核心的技术。这其中涉及目前热门的SLAM（实时定位与地图构建）。通过扫描某个场景，然后在上面叠加虚拟战场等三维虚拟内容。如果只是基于普通2D图像识别就需要有特定的图片，而在图片不可见时会识别失败。而在SLAM技术里面，即使特定平面不存在，但是空间定位依然非常精确，就是因为有周围3D环境的帮助。
这里想探讨下深度学习和SLAM技术的融合，计算机视觉大体上可以分两个流派，一种基于学习的思路，例如特征提取-特征分析-分类，目前深度学习技术在这一路线上取得了主导性的地位。另外一种路线是基于几何的视觉，从线条、边缘、3D形状推出物体的空间结构信息，代表性的技术就是SFM/SLAM。基于学习的方向上深度学习基本上一统天下，但是在基于几何视觉的领域，目前相关的进展还很少。从学术界而言，深度学习技术的研究进展可以说日新月异，而SLAM技术最新十年的进展相对较少。在国际视觉顶级会议ICCV 2015年度组织的SLAM技术专题讨论会上，基于近年深度学习在视觉其它领域的快速发展，有与会专家曾提出SLAM中采用深度学习的可能性，但是目前还没有成熟的思路。总体而言，短期内将深度学习和SLAM融合是一个值得研究的方向，长远来看联合语义和几何信息是一个非常有价值的趋势。因此，SLAM+DL值得期待。
在交互方式，主要的包括语音识别和手势识别，语音识别在目前已经取得了较大进展，国内如百度、科大讯飞、云知声等都是其中的佼佼者，AR公司更想突破的是手势识别的成熟商业化，比如亮风台展示过的一款基于深度学习的手势识别系统，主要定义了上下左右、顺时针、逆时针六种手势，首先实现人手的检测和定位，然后通过识别相应的手势轨迹来实现对人手势的识别。而人脸识别等其他人工智能热门领域在AR中也有使用，但不是AR公司重要的研发方向。
以上不难看出，AR的底层技术或者说基础部分是计算机视觉以及关联领域的融合，而当下热门的深度学习和AR的结合，也是算法工程师们的努力方向。这也是AR为计算机视觉与人机交互的交叉学科，AR的基础是人工智能和计算机视觉等说法的依据。

                               
登录/注册后可看大图

图：计算机视觉与AR流程关联
在去年今日头条发布的《人工智能影响力报告》中也简单统计了人工智能科学家的分布情况，这其中包括人脸识别、语音识别、机器人、AR、芯片等领域的公司与大型研发机构，高端研发人员的分布也说明了AI领域的细分方向。

                               
登录/注册后可看大图

那AR究竟是不是人工智能？

对AR从业者来说，理想的状态是用更智能的AR终端去取代智能手机，所以对于用户来说接触使用AR首先受影响的是内容，其次是终端，AR产业链如果粗暴划分包括技术提供商、智能终端研发公司，以及AR内容提供商。在这其中，AR设备提供商不可避免关注硬件技术，如底层的芯片、电池、光学镜片等，以及硬件本身的性能优化，而内容提供商更倾向于在现有技术基础上优化内容及表现。所以我们可以说AR技术提供商，或者说在底层算法研发上有一定成绩的AR公司是人工智能公司。
对公司来说，特别是创企会把底层技术转化为成熟的产品或服务，这可能是如无人机、AR智能终端、机器人等，也可能是行业解决方案，以达到商业目的，并且这已经成为在沸腾声音之后，媒体、企业以及大众对AI企业的期待和要求。近期，人工智能产业发展联盟（AIIA）出版的图书《人工智能浪潮：科技改变生活的100个前沿AI应用》将对外发布，以及涵括了目前巨头公司以及创企在商业化上的前沿成果，也直接反映了AI目前的主要商业化方向。
作为技术驱动的商业领域，无论是AR还是人工智能的其他多数方向，技术距离完全成熟还有很长的路程要走，在整个产业链逐渐繁荣，关注商业化实现的同时，也需要有更多公司机构去不断拓展技术边界，建立核心竞争力，让行业爆发更大的价值与潜力，如此，AI时代中国弯道超车当可期。

cyp554

期待AI时代

zengfanlong

  

vickey168

小丫

minipcie

eagle1986

      

liliwowo