苹果专利已到位，VR手套离我们还有多远

似水流年 · 发表于 2020-7-14 08:11:27

苹果专利已到位，VR手套离我们还有多远

近日，苹果申请的一项专利显示，除了眼镜和耳机，苹果还在为其VR（虚拟现实）战略研发一款专用手套。专利中提到，该手套支持检测各种手势动作，适用于笔记本电脑、平板电脑和智能手机等多个场景，还可应用到全息投影模组、联动PC和打印机等设备的场景，让用户在虚拟中体验真实的触感。
随着VR技术的不断提高，用户对VR交互的需求也日益增长。作为人们最常用的信息输出器官之一，手如何在VR世界中实现交互引发了人们的广泛关注。

手柄、手套和手势实现手部VR交互
VR产品的核心是通过构建虚拟的世界，让用户拥有沉浸式体验。除三维图像外，VR与人手部的交互也是沉浸式体验中最重要的一部分。北京凌宇智控科技有限公司的CEO张道宁告诉《中国电子报》记者，目前手部VR的交互可通过VR手柄或VR手套这种非裸手的方式实现，也可通过手势识别这种裸手的方式实现。
张道宁向记者介绍，利用VR手柄实现VR手部交互是当前市场的主流，这种方式具备明显优势。第一，VR手柄可实现标准化生产；第二，VR手柄成本较低；第三，VR手柄有较高的可靠性，人手部的每个动作几乎都可通过手柄实现交互；第四，VR手柄可通过振动实现物理反馈，给予用户一定的沉浸式体验。
张道宁指出，使用VR手套也是现阶段VR领域比较重要的一种手部交互方式。VR手套上布满传感器，对人手部动作的捕捉非常精细，同时也能够给予用户力反馈。当用户握住虚拟物体时，手套的系统会自动创建接触对象的形状，以确保用户在接触虚拟物体时也能有真实的触感。在手指力方面，VR手套会在手指位置配备力传感器，实现对不同握力和压力的即时反馈。
那么目前我们有没有可能在VR的世界中“解放双手”，无需外部设备，裸手实现交互呢？对此，张道宁表示，现阶段的裸手交互主要通过视觉、红外和超声波这三种方式实现，无需设备即可实现VR交互，能给用户带来极大便利。
uSens凌感科技有限公司CEO何安莉告诉记者，裸手交互是通过计算机视觉实现的。“计算机视觉就是模拟人的视觉，摄像头模组就好像人的眼睛看周围的一切，得到图像。算法就像人的大脑处理眼睛摄取的图像，以此告诉自己：‘我看到了手，手在做什么动作。’”何安莉对记者说。
深圳岱仕科技有限公司的CEO谷逍驰则以Leap Motion推出的裸手交互引擎为例，向记者详细介绍了裸手交互这种手部VR交互形式。谷逍驰表示，该引擎提供真实手部尺寸大小的全手追踪与连续的手指弯曲跟踪，且拥有较高的精度和自由度，包括手指展开的自由度和拇指的灵活度。
我们能通过触摸实物来感受物体的形象和质地，用手与现实世界交互。同样，我们也能通过手与VR世界建立联系，用手“触碰”VR世界。张道宁告诉记者，当前VR手柄已在游戏、教育、工业和医疗等领域得到应用。
谷逍驰也告诉记者，目前其公司推出的力反馈手套已应用于飞行模拟、汽车装配培训和康复训练等场景，以增加虚拟场景的沉浸感。
何安莉则分别介绍了手柄、手套和手势三种手部交互形式在不同VR场景中的应用。她表示，手柄适合VR里的枪战游戏，操作起来更加方便和快捷。VR手套作为穿戴设备，上面带着多个传感器，不受视觉限制，适合大型的VR运动，如打高尔夫等运动。视觉手势则更适合用手部做实验、在空中或虚拟平面写作等活动，因为视觉识别无需穿戴，双手自由。何安莉还提到，手势识别有非常广泛的应用，目前该公司的手势识别已用于AR和VR头显、手机、车载、电梯和智能生产等多种设备和使用场景里。
三种手部VR交互方式各有技术瓶颈
以手部交互为中心的VR设计存在巨大的可能性，手部交互也在VR世界中扮演着重要角色。但据目前已有的消息，我们的双手在VR世界里能做的事情还比较有限。
谷逍驰向记者分析了目前通过VR手柄实现交互的难点。他指出，手柄路径试图将手指追踪添加到硬件中，但硬件尺寸和所选的追踪方式使其追踪精度和力反馈能力受到限制。
以Valve公司生产的Knuckles(Index控制器)为例，他具体分析了VR手柄面临的难题。尽管该产品是目前最完善的操控手柄，它的手指跟踪仍受限制，只有不到30度的连续弯曲检测，对于超过30度的手指弯曲幅度只能检测为张开或握紧，并且只有有限的5个自由度，不能将大拇指的旋转自由度和四根手指的展开自由度输入到VR中。
VR数据手套是另一种精确手部追踪的技术路径。谷逍驰告诉记者，大多数VR手套使用基于弯曲传感器或惯性测量单元（IMU）的解决方案，并根据使用的传感器数量追踪5～10自由度的手部运动，以捕捉连续的手指弯曲。然而，弯曲传感器根据其物理形变来改变电阻会使其使用寿命受限，基于IMU的解决方案虽然没有损耗，但其可靠性易受金属、磁体和周围磁场的影响，基于惯性的性质会导致“数据漂移”，需频繁地重新校准。
张道宁也表示，目前VR手套很难实现标准化生产，人手的大小不一导致VR手套不能被制作成通用工具，VR手套上装载的大量电子元器件也会降低其延展性，使其不如普通手套那样亲肤和舒适。
针对如何完善VR数据手套的反馈系统、捕获连续手指运动，谷逍驰的公司给出了相应的解决方案，将力反馈添加到了便携式手套中。他指出，外骨骼设计是VR人机交互革命的良好起点。机械外骨骼随用户手指一起运动，可将其运动传至内置角度传感器，并在每个指尖产生力反馈。“它可以捕获11自由度的手部运动，重建真实的手部模型。力反馈功能能在物理上组织用户的手穿透虚拟物体，让用户感受其形状、大小和刚度。”谷逍驰说。但同时，他也表示，费劲穿戴VR数据手套会阻碍其易用性，真正能平衡各方面问题且易于使用的解决方案尚待挖掘。
针对裸手交互，何安莉告诉记者，纯视觉的手势识别是没有触摸感的，操作虚拟物体缺乏触摸真实物体的力反馈。
在张道宁看来，裸手交互最明显的劣势是没有真正适合或需要这种交互方式的场景。他指出，裸手交互无法适应复杂的场景，但在相对简单的场景中，人们更偏向于使用手柄这类准确性和可靠性更高的设备。
谷逍驰指出了Leap Motion裸手交互引擎的弊端。他表示，该引擎没有提供任何反馈方案，跟踪的可靠性也很成问题。对此，何安莉以自己公司的技术为例，表示除了基于三维骨骼的手势和肢体识别，SLAM的位置跟踪和识别也可以成为VR领域重要的突破方向。
何安莉还指出了目前阻碍所有电子产品发展的科技瓶颈—电池的蓄电能力和重量。“电池的蓄电能力和重量不仅阻碍了AR和VR的技术发展，也阻碍了所有电子产品的发展。期待材料科学的发展能让眼镜和头显越来越轻，蓄电时间越来越长。”何安莉说。
手部VR交互有望拓展更多应用场景
现阶段，手部交互是VR世界中非常重要的一种交互方式。随着5G和人工智能等技术的发展，在未来的VR世界，手部交互有望拓展更多应用场景。
何安莉表示，人最自然的交互方式是语言和手，手势自然交互是科技进步的必然趋势，也是人类的理想。“最近几十年来，人类的生活主要在和电子数字世界交互。从最早的电脑，到智能手机，到AR和VR技术，再到机器人和智能汽车，数字世界也从一维发展到二维，再到立体的三维。同样，人类的交互方式也由单行输入变为视窗鼠标，再发展为空中手势。这是人类的理想，也是科技发展的趋势。”何安莉说。基于此，她认为，除了AR和VR领域，手势识别还可用于疲劳监控和智能生产监控等领域。
人工智能和5G的发展能够在很大程度上助力VR技术的发展，也能够让手部VR交互的应用变得越来越广泛。何安莉告诉记者，人工智能是让电脑有人的智慧，它能够识别语言，识别人的面部，同样也能识别人的手部和手部的动作。5G网络传输和云处理也能够给VR技术带来新的发展空间。“很多摄像头摄取的图像数据都可以实时传输，云端处理监控图像和信息，大量的数据会产生巨大的信息和决策价值，也让机器不断地增加智能。”何安莉告诉记者。同时，她还表示，近几年光学和显示芯片技术的发展使得图像处理在内的各种芯片处理能力提高了很多，深度学习让鲁棒高速的识别变成可能，促进了计算机视觉和摄像头的紧密结合。
赛迪顾问股份有限公司高级分析师袁钰告诉记者，当前，最符合人体学和用户习惯的交互方式是交互手套。交互手套通过动作捕捉和触碰识别等人工智能技术进行交互，配合5G通信网络，能够精准识别用户动作，与终端设备实现良好的交互。袁钰向记者表示，未来部分覆盖式交互手套或是产品主流。
同时，袁钰还指出，人工智能等技术的发展能够推动手部VR交互的进步，“解放双手”是实现VR大规模普及的必然趋势。“良好的手部VR交互会提高用户体验，加快产品普及，也会拓展更多应用场景。目前VR主要应用于游戏、视频等消费端，以及教育、医疗等企业端。随着交互方式的改善，手部VR交互有望加快社交、制造、设计等多场景的拓展。”袁钰对记者说。