更酷的XR:Unity Qualcomm 3D音频插件
扫描二维码
随时随地手机看文章
付出辛苦努力将Unity中的扩展现实(XR)项目尽可能开发得栩栩如生,但是,您不想让声音也能令人身临其境吗?毕竟,用户的眼睛陶醉于六个自由度(6DoF)的同时,他们的耳朵不也应该享受同样的快感吗?用户转动头部或眼睛时,游戏画面看起来不同,那么,声音也应当听起来不一样。
我们刚刚发布了Unity Qualcomm® 3D音频插件,这是一款双声道空间音频插件,可用于创建XR(包括AR和VR)体验和游戏。利用插件,您可以很轻松地将逼真的音频添加到VR头显中逼真的视频中,这样,声音就能像在现实环境中那样传递到用户的耳中。而且,如果这些头显搭载了Qualcomm 骁龙™ 835或骁龙845移动处理器,您还可以将任务从CPU卸载到DSP,以节省电量。
如何用Unity Qualcomm 3D音频插件制作更酷的XR?
不论您是刚开始进行新的XR项目,还是希望将现有项目中数百个单声道声音转换为空间音频,您都可以在Unity界面利用这个插件的音频功能来实现。
· 多达64个同步空间音频对象——假设您将用户带入丛林环境中。昆虫啁啾,鸟儿歌唱,各种动物的叫声,树叶沙沙作响,脚下的植物被踩后发出嘎吱嘎吱地声响。XR体验中的每个元素都可以拥有一组不同的位置和声音。
· 两个同步环绕声场(Ambisonic)——Ambisonic是使用一阶球谐函数对任意数量的声音进行编码和解码的一种方式,整个音景听起来跟随着您的头部转动,不仅有水平环绕声音,还可以听到上下前后的声音。以上述丛林环境为例,本插件提供了Ambisonic声场,可以为你添加的空间音频对象提供逼真的周围环境。一般来说,和许多独立的空间音频对象相比,从Ambisonics构建出逼真的氛围,性能损耗更少,开发时间更短。
· 高质量的声音和运动到声音的低延迟——用户看到和听到的之间有一丝延迟都是XR开发者的噩梦。本插件旨在减少音频和视频之间的延迟。还提供直接渲染,实现较低的信噪比和逼真的方向感知。
· 可定制的鞋盒(shoebox)混响——声音在不同表面(木头、石块、金属)上有不同的回响。本插件允许在移动时,比如说从狭窄的混凝土隧道移动到开阔地带时,改变回声和声音反射。
· 支持数字信号处理器(DSP)——在搭载骁龙835或骁龙845移动平台的设备上,可以选择将混响卸载到DSP,以降低功耗并节约CPU周期,处理其他任务。
这些功能加在一起可以打造出可靠的声音体验,与XR游戏和应用中的视觉体验相匹配。
使用3D音频插件进行开发
本插件兼容Android、Windows 7(32位或64位)和Windows 10(64位)的Unity版本2017.1.0f3和2017.2.0f3。
当然,Unity的成功很大一部分在于允许您使用Windows、MacOS或Linux工作站开发游戏,然后就可以部署到PS4、Xbox 360、Android等平台。这样,在使用3D音频插件时,只要维护一个Unity项目;不必维护项目各单独版本,不论是否有插件。在不支持的平台上,您可以禁用本插件;禁用时消耗的资源量几乎可以忽略不计。
在一个包含数百种声音的大型项目中,添加空间音频、混响和Ambisonic声场等功能需要大量的手动转换工作。您也可以将项手动工作自动化,但势必又增加了一项开发工作。即使项目不打算用于VR或使用空间音频,3D音频插件也可以转换现有项目中任意数量的音频源。您可以使用插件创建Q3DAudioGlobalSettings对象,该对象可以自动检测有单声道音频片断的音频源,然后将其转换为3D音频声音对象。
构建时,您可以选择在ARM CPU上运行或卸载到DSP。这意味着您不必完全听信我们所说的卸载到DSP可以节省电量的话;两种方式您都可以尝试,然后决定哪一种更好。
已经在用Qualcomm 3D音频工具套件开发项目了吗?如果答案是肯定的话,您会很高兴知道,我们创建插件时结合了该套件2.0版本,而且,我们音频软件的发布与VR头显和芯片的发布一致。
接下来
项目中的声音设计是构建可信、逼真的6DoF体验和游戏的重要一环,因此,空间音频可以让您的XR项目脱颖而出。
现在,Qualcomm开发者网络可以应要求提供Unity Qualcomm 3D音频插件。您会发现它提供了比Daydream更好的Unity工作流程,在骁龙835和845上的性能更佳。
您可以在移动世界大会和游戏开发者大会上找到我们。我们将在现场向您介绍如何使用插件在XR和游戏项目中实现与视频相匹配的沉浸体验。