VR眼镜、虚拟现实将会无处不在,相关行业知识、资源、建议助你快速入门
扫描二维码
随时随地手机看文章
科幻作家和未来主义者在几十年前就对VR梦寐以求,黑客们也不例外。有些人怀疑VR是否会进一步发展,而另有许多人对VR感到兴奋,因为它带来的不止是技术的进步更是对于社会交往的颠覆。来自YC的Vincent Chen在”How to Get into VR”一文中分享了他对于VR当下现状、以及跨学科如何推动VR发展的看法,同时还提供了入门学习的一些资源和建议。
为什么是现在?
VR不是一项新技术,它只是变得可及。— Jeremy Bailenson(Stanford VHIL)
VR技术已经存在多年,有从立体镜到飞行模拟器等多种形式。工程和物理等领域的学者和研究人员一直在努力使该技术变得可行。在过去的几十年中,HMD(头戴式显示器)已经成为体验VR的标配。
在二十世纪九十年代末至二十世纪初期,有大量将VR引入大众的尝试。世嘉公司曾宣布推出一款(但从未发布)耳机。任天堂推出了Virtual Boy,这是一款包含单色HMD的视频游戏机。然而,这些尝试由于缺乏视觉保真度和处理能力不足而受阻。
只有最近,VR的发展变得更为大众所见。 CPU 和GPU可以在价格合理的基础上提供高保真,沉浸式的体验。智能手机为移动VR提供了便宜且更易于使用的选择,而不需要将设备绑定到高端计算机上。随着越来越多的人有机会体验VR,该技术也越来越清楚应如何在更大范围内抵达消费者。
虚拟现实和增强现实是兄弟姐妹
VR需要模拟世界,而AR则需要对现实世界中的信息进行叠加。以手术为例,我们可以更清楚地看到其中的差异。VR可用于模拟外科医生的操作训练,而AR则可在实时手术中将视图中的指令和诊断叠加。
有些人认为VR是AR的基石。虽然实现高保真的AR需要更大的技术飞跃,但是VR开发中所取得的进步可以帮助我们抵达彼处。
在这篇文章中,我们避免讨论VR或AR谁更好,更有希望或更适用。相反,正如其他人猜测的那样,我们将讨论他们的共同潜力和各自面临的技术挑战。对于两者而言,在当下都是其发展的良好时机。
VR是实实在在的技术问题
没有像VR这种天然成型的东西……只有跟踪,渲染和显示。跟踪是在3D空间中记录用户的位置和方向。渲染是为用户构建适当的图像。而显示器则是指硬件可以显示所渲染图像的保真度。
我们需要用心解决这些问题直到用户不会感到不适或不舒服。视觉和前庭神经系统的自我运动的感受不契合(晕车症和晕船症是同一个道理)时,人们就会遇到模拟器眩晕症。
这是一个很难解决的问题。作为参考,传统电脑游戏以1920&TImes;1080的分辨率渲染,刷新频率为60Hz。Oculus Rift以2160&TImes;1200(90Hz)的标准运行(两个显示屏对应两只眼睛)。换句话说,目前VR解决双眼眩晕的方案必须能够有效渲染1080p,且刷新率高于电脑游戏。同时,处理器需要跟踪用户的位置,并将这些信息尽可能及时地提供给头戴设备。
即使这些要求成为现实,那也不太理想! VR显示器尚未覆盖人类的全部视野。此外,我们当然可以通过提高渲染质量,以达到如今视网膜显示器的保真度,但这所有的这一切表明我们需要8K分辨率去渲染VR!
现在,我们遇到一个有趣的技术问题,即如何利用人类视觉系统的局限性来优化带宽和计算能力。 (例如,我们的周边视觉比我们的中心视野更糟 - 那么为什么不尝试焦点式渲染?)
VR不仅仅适用于游戏玩家
是的,用VR拍摄机器人很有趣。
但VR也能提供身临其境的音乐会、博物馆、演唱会以及球场上的体育赛事。 使用VR,视频会议的质量将得到改善,因为它能更好地进行视觉接触,并提供微妙的非语言提示。同时,培训费用将下降,因为不再需要像建筑业或制造业这种行业的人力培训师。同时,可重复的动手训练的效果会增加。学者将以更多的重复性、多样化的样本量和日常性重现现实来进行社会心理学研究,因此人类联盟也将不复存在。此外,VR会以其灵活性将真正的体验式学习引入教育。
就个人而言,我对VR之于医疗和医药的影响感到非常兴奋。VR在人员培训和教育体验中的优势也适用于临床医生。在患者护理方面,VR可用于治疗疼痛、战斗成瘾(combat addicTIon)和精神健康方面的问题。
VR不存在成熟之说
这个领域内的景观是炽热的。—Morgan Sinko(NullSpace VR)
没有标准,没有最佳范例。每个人都可以尝试不同的东西。
以下是一些和VR相关的技术领域,以及每个领域内所涉及的具体问题:
•人机交互:我们如何实现有情境的用户界面(non-diegeTIc UI)?
•光学:我们该如何适应一个小型投影仪,并让眼睛适应眼镜的形状?
•电子产品:如何优化脸部设备的电池、压力和尺寸?
•硬件:如何建立触觉以便更好地跟踪和反馈我们的行动?
•计算机视觉:如何通过3D重建技术和场景再现来弥合VR与现实世界的不同?
•人工智能/自然语言处理:我们如何在VR中创建与我们进行互动的虚拟现实?
即使在非技术领域,也存在许多仍未得到解答的问题:
•心理学:VR对成瘾有什么影响? 虚拟现实对真实人格的影响是什么?
•社会学:改变社会互动(TSI)的方式意味着什么(想想眼神接触)?
我们正在接近早期形态的AR,
但离成熟期的AR还很远
许多情况下,在AR中体验的场景原型比在VR中更易于接近。使用手机、GPS和相机提供的信息可以增强我们与世界各地的连接(想想Pokémon GO)。
然而,AR面临着许多对于VR来说并不存在的挑战。根据经验来看,AR技术受益于无阻碍,因此我们可以充分利用周围的空间。而一旦我们不能在后台运行高配游戏机,相应的资源计算会是一个很大的问题。
其他之于AR的挑战在于硬件和HCI(人机交互) - 我们如何创建具有大视野的透视显示? 我们如何设计出一款人们能够在公共场合穿戴的设备?(提示:记得Google Glass?)
现在,你可以开始涉入其中
下载一个游戏引擎,如Unity或Unreal Engine,并开始黑客式攻击。如果你以前开发过游戏,就会注意到这个过程非常熟悉,除了你的耳机被安装到与游戏机相应的摄像机之处(in-game camera)。
更普遍地说,这些游戏引擎的设计非常直观且容易学习。它们只需要基本的脚本,并且可以使用浅层次学习曲线接口(例如:拖放可视化脚本)。
以下是一些有用的入门资源:
•FusedVR的教程和现场直播:包括从建模到游戏引擎所能实现的内容创作的的演练,非常棒。
•Udacity的VR开发者Nanodegree:涵盖VR的应用程序开发、设计和优化的完整程序。
•Unity和Unreal的教程。
•工具包:
○VR:VRTK
○AR:Vuforia、Hololens
•有用的教程(threads):
○Reddit:如何开始制作VR游戏
○Quora:我从哪里开始? 什么是VR学习的最好资料?
了解图形流水线(the Graphics Pipeline)将帮助你欣赏VR的限制性和可能性
从根本上说,VR是用头部跟踪在你眼前展现出的场景并进行渲染的酷炫应用。了解3D几何以及呈现方式,你将更好地了解VR的限制性和可能性。
这里有一些很好的在线资源:
•伯克利学院的CS184教程:计算机图形学
•Scratchpixel:从图形数学和物理中学习先进的现代技术
•Song Ho An 的OpenGL笔记:介绍OpenGL的教程和概念
视域和影像领域正在推动VR前沿发展
对于促进计算机视觉、光学、成像及相关主题的认识的投资可能会有巨大的回报。
•计算机视觉:我们对于深度如何追踪和理解?
○斯坦福大学CS231N课程:Phenomenally clear resource with modern CV techniques,由Andrej Karpahty(现为OpenAI的研究科学家)所写
○计算机视觉:模型、学习和推论:幻灯片、练习和代码示例
•计算成像/摄影:光线如何进入相机并成像?类似地,我们如何能将虚拟图像的重点呈现在视网膜上?
○计算机摄影(Raskar、Tumblin):麻省理工学院和西北大学的教授的教科书
○Udacity的计算机摄影课程
在学习过程中:“用菜鸟心态学习VR”。—Aashna Mago(RabbitHole VR)
当然,天花乱坠般地炒作是真实存在的,但这也为我们远离所有的干扰提供了更多的理由。尝试接纳初学者的观点:愿意学习和吸收。不要因为自己认为有必要就开始做某些事情。现在处于学习、实验、失败并取得惊人进展的好时机。如果你认为你迟到了,那说明我在这篇文章中讲的很鸡肋!