当前位置:首页 > 智能硬件 > vr|ar|虚拟现实
[导读] 日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实

日前,Tribe XR是DJ教学应用《DJ School》的开发商。日前,这家公司的联合创始人兼首席执行官汤姆·因帕洛梅尼(Tom Impallomeni)撰文介绍了有关开发项目时的一系列最佳实践与见解,并主要涉及社交方面。下面是映维网的具体整理:

无可否认,将用户带到一个完全不同的世界,并突破物理空间的规则是VR的终极超级能力。然而,人们经常忽略VR的另一个显著优势:用户可以随时随地地与朋友相聚,游乐和学习。正如Boost VR的亚当·德雷珀(Adam Draper)所说,VR的杀手级应用是“身临其境”。

归属感和与他人建立联系的感觉包含多个方面。在VR中,这意味着你能够拥有一个具身化的虚拟角色,并与其他用户的具身化角色进行交互。

1. 为何是虚拟化身?

虚拟化身的概念并不新鲜,但这VR而言非常重要。在VR中进行交互的人们主要是通过虚拟化身实现,原因主要包括:

由于佩戴VR头显,所以一般无法看见用户的面容。这要求我们通过虚拟化身的形式来在VR中进行表达性交流。在VR中录制人物需要外部摄像头。正面的混合现实看起来略显奇怪,因为头显会遮住眼睛和大多数面部表情。这允许用户创建属于自己的虚拟表示,不受现实自我的限制。虚拟化身是用于个人表达的创意画布。

2. Oculus的Expressive Avatars是如何提升我们的《DJ School》体验

Tribe XR提供用于习得创意技能的沉浸式教学。利用我们的首款产品《Tribe XR DJ School》,任何人都可以学习成为DJ,掌握混音技巧,并为VR平台(如VR Chat),以及Twitch,Facebook Live和YouTube Live等直播平台为实时表演。Oculus Avatars是我们产品的“面容”,是用户体验的重要组成要素。

尽管最初的Oculus Avatars存在一定的局限,但Expressive Avatars带来了一系列的功能,并使其成为社交VR体验的重要拼图:

1.能够看着观众的双眼营造了一种联结感

2.动画嘴巴和嘴唇增强了对话的真实感

3.诸如微笑和鬼脸等面部表情可以传达情感

所述的新功能可以营造一种临场感,从而增加体验的真实感,并在总体上改善整体的社交感受。对于Tribe用户而言,这可以转化为更高效的学习体验。

对于Tribe而言,师生之间的联系至关重要。任何对虚拟化身真实感的提升都能够优化学习体验。它增加了课程的价值,并帮助我们实现了一个关键目标:在学生和老师之间建立联系。

另一个提升了学生体验的功能是注视点建模。当老师与学生交谈,并指导其操作打碟机的特定按钮或滑块时,能够注视按钮位置的能力可以提高课程效率。Tribe已经启用了视觉提示,比如说虚拟激光笔,而注视点建模可进一步提高教学效率。

这是否能够克服恐怖谷理论呢?不尽然,但全新的Expressive Avatars足以提炼出一定的真实感。对我们来说,包含双眼的虚拟化身显然更有吸引力。锦上添花的功能是社区成员可以选择添加酷炫太阳镜的能力。

3. 利用Oculus Avatars来实现一个学习平台

Tribe的社交平台不单单局限于用户通过Oculus Avatars选择自己的形象:事实上,这只是旅程的起点。在Tribe中,用户可以通过多种方式来利用虚拟化身:自己进行混音时,与老师一起上课时,与朋友进行游乐时,以及通过实时直播平台来为全世界的观众进行表演时。

3.1 1对1课程/小组课程

个人和小组课程可以同步进行或异步进行。我们利用Oculus的Expressive Avatars SDK来支持老师和学生创建逼真的虚拟化身,从而令参与“交流”的每位用户都可以轻松地识别自己和老师。

在下面的屏幕截图中,我们的一名入驻DJ Ellaskins正通过YouTube直播教学。Ellaskins是有名的Youtube DJ导师。自2006年以来,他就通过提供免费的DJ课程(包括基础知识和进阶技术)建立了将近20万的粉丝群体。利用Oculus Avatar,DJ Ellaskins能够以有趣且逼真的方式来与学生和YouTube观众进行交流。虚拟化身,虚拟打碟机,以及定制的camera视图允许使Ellaskins轻松传授技巧,并方便学生轻松跟随。另外,面部动画和面部表情提升了虚拟化身的真实感,有助于克服恐怖谷理论带来的挑战。

3.2 多人DJ

借助Tribe的多人游戏模式,社区成员可以在实时会话中合作创建DJ舞台。用户可以轮流作为DJ或一起操作虚拟打碟机。借助Oculus Avatars,用户可以创建自己喜欢的虚拟化身,并令多人DJ变得更为有趣。

3.3 实况直播

Tribe XR的目标之一是允许学生练习表演。我们的众多DJ学员都是通过Twitch和其他平台实时流媒体平台学习现场表演。我们的老师同时为实时流媒体平台创建了课程内容,而DJ Ellaskins就是其中一个例子。

Twitch的Tribe直播允许粉丝通过文本,GIF和表情来与DJ导师互动。借助虚拟化身,导师可以充分表达自己的创意,并营造难忘的表演时刻。

4 技术限制

我们利用了Unreal引擎和Oculus SDK的Peer-to-Peer Networking和VoIP来支持多人体验。

如果你已经在使用跨平台的Oculus Avatars SDK,实现Expressive Avatars对你来说应该非常简单。要升级到Expressive Avatars,你只需用新版本Avatars替换旧版本。我们的大多数优化都是诸如调整注视点之类的元素,从而令其与我们的环境和打碟机完美配合。

Tribe利用了UE4 Oculus Avatar插件来进行自定义修改,例如令身体对第三人称camera可见,但对玩家不可见(因为这可能会阻碍打碟机的视图)。我们为与Oculus Avatar插件进行接口的Pawns提供了一个自定义组件,处理生成的虚拟化身并在网络之间复制它们。我们同时更新了Avatar组件,用Oculus Avatars的口形同步插件来为虚拟化身的嘴巴设置动画,并且添加了注视点目标,从而允许虚拟化身的双眼进行聚焦。

我们同时在其他VR平台实现了Oculus Avatars。为此,我们通过复制Oculus的Unity指令来将必需的库和asset打包。然后,我们修改了Avatar插件,使用本地库副本来支持未安装Oculus Home的非Oculus用户。

我们最后更新了Avatar插件,通过为头部和手部位置使用UE4的通用接口,我们允许非Oculus头显和控制器对虚拟化身进行正确的追踪和动画处理。这样,虚拟化身支持UE4兼容的所有VR API,包括支持SteamVR的所有设备。我们添加了一个自定义菜单,允许用户可以在12个默认的Oculus Expressive虚拟化身之间进行选择。我们同时计划在不久的将来为Tribe提供特殊的默认虚拟化身。

5. Tribe接下来的计划

我们的目标是继续为创新技能提供沉浸式课程,并以多人体验作为关键特色。我们对Oculus Expressive Avatars以及它们能够增强小组课程的方式感到非常兴奋。我们同时期待开发更多的自定义选项,从而允许直播方能够在VR中创建属于自己的DJ品牌和角色。《Tribe XR DJ School》目前已经支持Oculus Rift和Oculus Quest。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭