VR也需要3D的声音 这家公司已经给出了解决方案

panups

智东西（公众号：zhidxcom）
　　文 | 海中天
　　著名导演乔治?卢卡斯曾经说过：声音和音乐占了电影的50%。到了虚拟现实世界，它的比例可能更高。
　　在VR世界里，声音是“导游”。在不真实的虚幻世界里，正是有了声音的引导观看者才不会漫无目地漂浮下去，在电影或者游戏的叙事中，声音相当于路标，纠正偏离的方向。
　　开发MP3的Fraunhofer在做些什么
　　一些企业为新的虚拟世界创造3D声音，它们是幕后英雄，比如Fraunhofer。在庞大的研究设施内，Fraunhofer在20世纪90年代制定了MP3音频标准，它还是AAC开发团队的成员。
　　现在，Fraunhofer准备用自己的技术为用户带来更好的VR体验，2015年，它开始授权MPEG H编码解码器，当今的大多数家庭娱乐企业都用MPEG H来提供3D声景，不单单覆盖VR领域，还包括回音壁。
　　“我们从‘端到端’的角度来看待VR声音——从内容抓取到设备的播放。” Fraunhofer业务发展资深总监Jan Nordmann说，“三星在Gear VR中使用了我们的技术，在我们的首批客户中就有三星。从Gear VR诞生第一天起，三星就使用了我们的Cingo耳机技术。现在LG 360也使用相同的技术。”
　　要提供恰如其分的3D音频是相当复杂的，但是Fraunhofer制作了一些插件，声音编辑者可以利用插件来移动麦克风声音中的物体，恰如区分音轨一样。将声音移到离收听者近的地方，音量就会变大，将它们从左边移到右边，就会感觉到物体环绕听众移动。
　　在VR世界你可以自由移动，可以在巨大的空间注视任何地方，不断变化的声音可能会导致观看者头痛，幸好，我们可以通过声音感知和头部追踪来解决这些问题。
　　
　　声音追踪
　　“在平板上观看电影和在VR中观看电影有一个主要的技术区别：那就是头部追踪。” Nordmann解释说，“在VR中，我们知道你在看什么，在平板上不知道。如果VR没有头部追踪，声音就不能移动。我们会用VR设备提供的头部追踪数据来追踪音频。”
　　Fraunhofer编码解码器足够强大，完全可以为所有移动式VR设备提供出色的音频。Cingo技术能够提供尽可能真实的虚拟现实体验。
　　Nordmann表示：“如果设定正确，VR就能带来完全的沉浸式、存在式幻觉。如果出现错误，这种幻觉就会被破坏。”他还说，“你会感到恶心。在VR中如果音频和视频不匹配，它所带来的损害比电视音频视频不同步要严重得多。一旦出现差错，你就会质疑VR处理是否出现问题，你会被幻觉所抛弃。”
　　为了避免不好的体验出现，Fraunhofer建立了一个实验室，它可以为3D音频测试提供最佳环境。工作室用大量的扬声器阵列来制造3D声音，最重要的任务就是用可调整高度的扬声器为VR环境营造空间感知。
　　
　　Fraunhofer并没有制造任何VR头盔，但它向头盔制造商授权编码解码器，它帮助其它企业掌握抓取3D声音的技术，它还开发自己的原型产品来展示技术。
　　“尽管富有经验的操作员可以使用‘麦克风树（microphone tree）’，但是最近推出的360度摄像头拥有不同的形态，它的音频功能受到了限制。我们希望消费者和专业人士可以更轻松地制作3D音频，所以我们不断研发，推出原型产品。我们已经开发出新的处理技术，它可以为大量的麦克风提供3D音频，到时我们就能用自己的编码解码器来解码。”
　　建立实验室是关键的一步，它可以最大限度提高VR音频的效果。正如Nordmann所说的，一旦搞砸了幻觉就会消失；一旦正确，你不单可以推动故事前进，甚至还可以讲故事。
　　“在360度视频和VR中，观看者想去哪里就可以去哪里，动作无处不在。导演可以用音频线索来引导用户穿越故事。远处的爆炸声可以吸引你转动头部，在那片空间里故事会继续演绎下去。”Nordmann说，“从环绕立体声过渡到3D音频，恰如几十年前从立体声过渡到环绕立体声。你必须实验，搞清问题在哪里。我们已经开发出一些工具，可以让过程变得更容易些。”

yfchen1003

谢谢分享！