接下来的两年内,虚拟现实能够、应当以及几乎必定会变成什么样子


在两年前的 Steam 开发者大会上,当时还是 Valve 员工的 迈克尔·亚伯拉什(Michael Abrash) 用一场热情洋溢的演讲 “What VR could, should, and almost certainly will be within two years” 来预测今天的消费级虚拟现实行业。

随后,Oculus 被 Facebook 收购,亚伯拉什作为首席科学家加入 Oculus……随后两年多很快过去,消费级的 Oculus Rift 与 HTC Vive 也先后发货。

现在,让我们再次来领略一下虚拟现实领域这次至关重要的演讲,回顾一下虚拟现实这几年在技术上的进展:看看它做到了哪些方面,有哪些地方还没有做到……以及更重要的——虚拟现实接下来的进展,最有可能发生在哪些具体的技术领域。


大家好,我是 Michael Abrash,我是 Valve 虚拟现实团队的一员。

今天我为大家准备了一个很好的演讲,准备了很多干货,并以此进一步去展望一个令人兴奋的未来——我马上就会说到那里,但一开始我会先用59个单词来概括一下,我猜你们肯定有人要来算字数了,放心吧,这里我会一字一句地说出来,肯定不会犯错:

引人注目的消费级虚拟现实正在来临,且很有可能两年内就成为现实。

这次是真的——我们已经做出了样机,其效果相当地不可思议。

我们的技术正是为消费级产品而准备的。

虚拟现实将会是最棒的技术,并将在 PC 平台上快速迭代。

Steam 平台将能很好地支持虚拟现实技术。

如果在今天的大会上,除了我说的这59个单词你什么也没记下来,你在这里的时间仍将物有所值。

即便如此,这一话题仍有许多内容有待讨论,这就让我们仔细来聊聊虚拟现实未来的详情。

我个人的虚拟现实研究道路漫长且又曲折,若非20年前有幸结识该领域那些远见卓识的推动者,或许我至今都还没有迈出第一步。当时,我已经理解了计算机网络——毕竟,那会儿我是在微软工作,经常要使用网络——而且我看过工作站上的一些 3D 渲染演示,还为此写过一个简单的 3D 软件包,所以我也算是了解实时的 3D 图形技术。同时我还阅读和观看过相当多的科幻作品,所以对于虚拟世界的概念,我也相当熟悉。即便考虑了我自己在 3D 和计算机网络方面的知识背景,虚拟世界这一概念依旧是如此之吸引人,以至于它对我而言更像是幻想而非值得严肃思考的事物。

直到我后来读了尼尔·史蒂芬森(Neal Stephenson)的《雪崩》(Snow Crash),所有的知识碎片才开始拼到一起。当我在思索如何去构建出那个 “超元域(Metaverse)” 时,我预计到了仅用当时现成的技术就能实现出这一概念里面80%的细节。然而,我当时还是过于乐观了——至今我仍在期待着我在虚拟现实版的剑与魔法世界中的处女秀——但至少,《雪崩》让我意识到了联网的 3D 虚拟世界已经成熟到了即刻就能入侵现实世界的程度。

随后,我碰上了 约翰·卡马克(John Carmack) ,他径直谈论了两小时关于他将如何在持续运行的服务器上创造出虚拟的 3D 世界,其中所有的服务器都能相互连接起来,以致于任何人都可以去创造他们自己的虚拟世界,同时这些不同虚拟世界还将相互依附进而塑造出一个完整的赛博空间……说着说着我一下子就看到了未来具体的样子,而我也非常期待能够作为这一未来的一部分。于是我就跳槽到了卡马克那里,跟他一起工作,而后的成果便是《雷神之锤》(Quake)……而今,数以千万计的人把联网的 3D 世界作为一个日常应用并天天沉浸于其中。

若非史蒂芬森和卡马克率先指出了这一未来的方向,我也就不可能作为其缔造者中的一员站在这里。

我并非是一个远见卓识的人,但我希望接下来所探讨的“超元域”尚未实现的那一部分——虚拟现实,同样能带给你一些类似的感悟。我相信你们对于 Oculus Rift DK1 一定都非常熟悉了,而且我猜测你们中的大部分人都会认为它的效果充其量不过是一次有趣的技术探索罢了。目前来说这是一个合理的判断,但我认为你对此还是应当密切关注,因为虚拟现实技术形成重大影响的时间点,很有可能比你所预期的要早得多——而 Valve 正在致力于这一点的实现。

两年前,我们意识到了虚拟现实作为一种引人入胜的全新体验是相当有前途的。自那时起,我们的研究和开发成果最终促成了这台 HMD(head-mounted displays, 头戴式显示器)原型机 的诞生——如下图所示——同时还有一系列的演示应用共同创造出一种强大的感官体验:也就是我们所称谓的临场感(Presence)

我随后还将更多地讨论临场感,但简单说来,临场感就是当你处于虚拟现实的场景中时,你能真切地感受到场景中所应有的样子:许多人的感觉就是他们好像真的从现实世界被传送到场景中那个地方一般。临场感是一种不可思议的强烈感官体验,而且是虚拟现实所独有的特征——你无法在任何其他形式的媒体中创造出临场感。很多人觉得那就像是魔法一般,我们也认为人们一旦体验到了临场感,就极其想得到它。

能够创造出临场感的硬件也能同样高效地降低晕动症状的发生。我们的演示表明,采用正确的硬件设备,完全有可能创造出惊人的虚拟现实体验——只能虚拟现实中出现的体验,同时也是不会使人眩晕的体验。我们坚信采用同样的技术来制造消费级产品是可行的,并且两年内就能出货

这里显而易见的问题是:谁有可能在两年内真正发售一款这样的虚拟现实硬件呢?很显然 Oculus 是最佳的候选人。他们已经再一次让虚拟现实变成了热门话题,而且他们已经发售了超过5万台的 Rift DK1。诚然,DK1 还不足以让大多数人感受到强烈的临场感,但 Oculus 最新版本的 Rift ——“水晶湾(Crystal Cove)”提供出了更高的分辨率、更低的延迟、更低余辉及(头部)位置解读……所有这些都是临场感的关键要素,正如我们随后将会看到的,这是虚拟现实在正确方向上所迈出的一大步。

Valve 的目标是在开放的 PC 平台上实现很赞的虚拟现实效果,因而我们会跟 Oculus 分享我们在研发中所学到东西。我们已经向他们展示过我们的原型机和演示应用,我们也解释过我们的硬件设备是如何工作的,并且针对他们的硬件设计我们还给出了我们自己的反馈信息。通过向他们展示这款低余辉的原型机,我们说服 Oculus 理解到了这一点的重要性,水晶湾屏幕的动态模糊显著降低便是这一努力的直接成果。我们和 Oculus 在追踪技术上也开展了合作。我们将继续合作以提升他们在追踪技术、显示器、透镜及精度方面的效果,对于他们的发展方向我们非常兴奋。如果执行得当,目前来看 Oculus 确实如此,我认为在接下来的两年内他们将能为 PC 平台带来强烈的临场感体验;我们希望这事能成,因为这对 PC 平台上的虚拟现实来说将是一个巨大的促进因素。

一旦支持临场感的硬件产品得以发售,我们认为它将有潜力为整个娱乐产业带来天翻地覆的技术变革。这不仅仅是在于虚拟现实将能迅速演化成一个主要平台,还在于它将真正把整个娱乐产业的平衡点从传统的媒体形式转移到电脑娱乐上来。众所周知,由于延迟和带宽方面的原因,临场感只能发生在连接有具备重度 3D 渲染能力设备的 HMD 上,所以传统的的电视、电影、流媒体设备或其他任何不具备这一本地计算能力的设备,均无法提供给你这一强烈的临场感体验。这里的必然结果就是,高端 PC 平台(Linux, Windows 和 OS X)必将会成为最佳的虚拟现实计算设备,因为那就是 FLOP(FLoating-point Operations Per Second,每秒种浮点运算次数)能力最强的个人系统。

我们认为最低限度的可能是,虚拟现实作成一个潜力无穷的游戏平台,将有着很大的机会发展起来,因而我们也正在致力于为 Steam 社区创造出伟大的虚拟现实作品。首先,我们正在支持虚拟现实的 Steam 平台,诚如你从 Joe Ludwig 的演讲中所了解到的。其次,通过我们自己持续不断的研发过程以及跟 Oculus 之间的合作项目,我们正在促成 PC 平台上的虚拟现实硬件的实现。最后一点,我们正在构建软件原型以弄清楚如何才能做出伟大的虚拟现实体验,同时我们会及时跟你们分享我们最新的发现。

我们目前还没有计划自己去发售的虚拟现实硬件产品,但这一状况今后是有可能改变的。眼下,我们只是想搞明白虚拟现实真正的乐趣之所在,了解到的越多,我们就越能够让 PC 和 Steam 平台上的虚拟现实愈加出色。

从这一点上说,你需要关注虚拟现实领域的原因是显而易见的,尽管这些原因只是出于我们自己的理解,不过,你当然也应当对其中的潜力建立起你自己的理解。而建立自身观点最好的方式莫过于亲身来体验一下我们这里的演示效果。不幸的地方在于,当前的演示过程需要半个小时的时间,同时还要在一个专门的房间内才能进行,而眼下的开发者大会仅准备出来两个这样的房间,因而我们只能让你们中的一小部分人体验到我们所实现出来的效果。对于不幸的大多数,我所能提供出来的便是 我自己的邮箱 :在接下来的几个月内,任何身处西雅图的 Steam 合作伙伴想要来体验我们的研究成果,都可以给我发邮件,我们会为你预留出日期与时间。一旦你体验到了我们所演示出来的效果,我认为你肯定能同意:虚拟现实在短期内的未来,几乎要比所有人所设想过的都更为光明。

这一光明未来的关键要素正是临场感,所以弄清楚它具体是什么,为什么重要,以及需要用什么技术实现……对你来说就非常重要了。尽管此前我们讨论过临场感本身,接下来我们还是需要先给出一些更为基础的概念。

在 Valve,我们付出了大量的时间来调查那些影响人们虚拟现实体验的因素。其中至关重要的一点是,我们了解到了能让虚拟现实体验真正独一无二且引人注目的关键:即说服人们的知觉系统去运行在感知现实环境的自觉意识的底层

根据定义,既然你都无法直接感知到相关的底层系统,所以理解不出它们是什么以及为什么重要也就不难预料了。为更好地说明这一点,我将简单介绍一个不涉及虚拟现实的例子,它将非常清晰地展示出大脑中的低层次神经进程。

在这张图中你所看到的例子,包含了一些用以暗示远端球体距离感更显著的线索,如光照程度、透视角度、纹理细节以及阴影相对于球体的关系。用户在这里的任务是使用方向键来调整近端球体的大小,直至两个球体在平面上的二维投影圆的尺寸看上去一样大。

始终在发生的情况就是,用户一定会把前面的圆圈做得比后面的大。(你可以前往 这个网页 亲手来验证一下。)事实是,现在停下来仔细看看图中的巷子,到底哪个圆圈看上去更大些?对我来说,很明显是后面的圆圈更大。但真实的尺寸是,前面的圆圈要大上将近20%。

当然,这里的错觉也有可能对你不起作用,因为从一定距离去看的时候透视效果将被破坏掉,以至于呈现不出理想的错觉,所以即便你得出的是一个这样的结果也不足为奇。利用功能性核磁共振成像的研究显示,即便是在视觉皮层信号发生最早的皮质层上,远早于视知觉得以发挥作用之前,大脑就早已把远端的球体判断成较大的那一个了,即使它们在视网膜上所成的像占据的是完全相同的区域。视觉系统早在数据接触到自觉意识前就已经做出了判断。在视觉系统中还有许多类似的处理进程,全都不是以你直接意识到的方式在让你感知整个世界。这里是另外一个例子:

请看上图中左右 “X” 形状的中间部分。一个是灰色,另一个是深黄色的,对吧?现在让我们仅仅隐藏起背景的颜色,而不改变中间部分的颜色,然后看看会发生什么。

这就说明,基于大范围光照条件下的视觉连贯性的需求,在视觉系统底层的颜色处理过程中要涉及到大量的环境相关因素。清醒地说,你甚至都不会意识到这一点,正如在先前的例子中你没能察觉出感知圆圈大小的视觉处理进程一样,但总的来说,就是这样的底层信号处理过程塑造出来你对整个世界的感官印象。如果虚拟现实所提供的输入信号能够正确地激活底层处理过程,你就能身临其境地感受到其中的场景。如果信号不对,你就会以某种无法解释的方式从场景中脱离出来。

目前为止,这些例子跟虚拟现实都不是直接相关的,所以让我再给你们一个更为接近的例子。这对我们的演示场景来说会有一点小剧透,如果不想听的话,你可以捂上耳朵。我会给你一点时间来做决定。

我们的演示场景是,你站在一个平台上向下看,而平台则以显著的速度降落。其中具体的情景是这样的:平台是一个跳台式的岩石纹理台子,高高升起在离地面很高的方形房间的顶部,房间的地板和四壁是用过时的网页来填充纹理。没错,我知道仅从截图上看这根本不是虚拟现实,但这一点正是说明了当你不用透镜而是直接去看屏幕时的效果反差之大。看屏幕上的这个东西无法带给我任何感觉,即便其中的图形不发生任何扭曲的时候也一样,可一旦在虚拟现实中立上这个平台,我的膝关节便会不由自主地锁定起来,就跟我站到帝国大厦顶端的天台上时一样。尽管内心很清楚我肯定是在一个演示房间里,正戴着 HMD,看着一个纹理极其糟糕的箱子内部的图形,但我身体对此的反应却跟我真的站在了悬崖边一般。更为重要的是,这一反应并不随着体验时间或重复次数的增加而消退。这样的输入信号已足够说服我自己的大脑,让我从意识活动的底层机制上感知到这并非是那个演示房间,而是别的某个地方,某处悬崖的边缘。

当你进入虚拟现实的时候能感受到自己真的身处于场景之中的体验,研究者们对其是相当了解的,并早已将其称之为是“临场感”,这一点正是虚拟现实跟 3D 显示最为根本的区别。临场感与沉浸感是不同的,沉浸感不过是指你感受到的被虚拟世界的图像所包围的体验,临场感则意味着你感觉到自己正身处于虚拟的世界之中。

用语言来描述临场感的话往往会词不达意——因为你只能通过切身体验来感受到它——但这里我还是会试着描述一下。临场感就是,即便你很清楚你是处在一个演示房间内,房间里没有任何真实的物品存在,但你还是不由自主地想要伸出手去摸那个小方块;你还是会不假思索地低头去躲避挂在天花板上的绳子;你还是会因为吊在头顶上的砖块儿而感到不自在;你还是不会情愿调下悬台。临场感就是当你摘下 HMD 时无法立刻在真实世界中找出方向。临场感绝不仅仅是看到某个有趣的场景,它是深藏在你蜥蜴脑内的开关,拨动它就能让你去相信正身临其境于某个有趣的地方。临场感是你在现实经历之外所能拥有的最为强大的感官体验,这恰恰因为它激活你注意力所用的正是你大脑接收真实感官信息的通道。对于很多人来说,临场感就是魔法。

不同的人体验我们的演示场景所反应出来的是程度不同的临场感,显而易见,这在整个人类中有着更为巨大的差异。随着我们体验效果的提升,人们的临场感反应也在增强,因而我们预期临场感反应会随着虚拟现实技术的不断进化而逐渐增强

临场感很难量化,但我们的演示体验已经证明了这是一个相当真实且极为诱人的感官现象,它介入人类感知系统的程度比之过去的任何体验都要更深,这正是我们为什么对于虚拟现实的未来能如此之兴奋。我们坚信伟大的虚拟现实必将构建于临场感的体验基础之上,因为相比任何其他形式的娱乐,它都将从一个更为深层、更为本能的层面来触动你的感官,而你只有进入虚拟现实才能享受到这一体验。因此,我们认为虚拟现实成功的关键是搭建出一套能够实现强烈的临场感体验的硬件设备

这样的话,具体要做到些什么才能创造出如此程度的临场感体验呢?大量来之不易的研发及原型机研究经验教会我们,所有以下提到的这些方面都提升到一个足够好的水平之后,才能塑造成这一强烈的临场感体验:

稍后我将更为详尽地讨论其中每一个元素的细节,但首先我想强调的是,改进它们的同时也会降低晕动症的出现。尽管晕动症的起因尚未完全搞清楚,我们还是有着很好的理由来推测,影响临场感的许多因素同时也会影响到晕动症。比如,有缺陷的追踪系统会导致你眼睛所看到的视觉信号跟你前庭系统所报告的位置信息不匹配,而大脑中这样的信息冲突恰恰被认为是晕动症发生的关键。

接下来我们在每一个元素上都花点时间,看看它们为何会如此重要。

一个宽广的视场很明显是必要的,这样你就能感受到被屏幕上的图像所完全包围,同时还能提供给你相对有效的外围视觉线索,动作、平衡与情境感知对此是极为挑剔的。从 80° 大小的视场起,临场感就能开始起作用了,其效果在视场超过 110° 的时候会有一个极大的提升,110° 也是我们当前所测试过的最大的视场。

由于像素在宽视场的焦平面上的放大与扩散,分辨率成为了虚拟现实的一个特殊问题;110° 视场上 1K x 1K 分辨率的虚拟现实屏幕每1°视场内的像素(PPD, pixels per­ degree),大约只相当于大屏幕电视像素密度的七分之一,约为人眼本身的十分之一。事实上,这样的视觉效果比用 320x200 分辨率的屏幕运行最初版本的《毁灭战士》还要差, 而 320x200 分辨率的像素密度就已经够差了。我们已经发现的是,1080p 的分辨率看上去也足够产生出临场感了。我们预计到 1440p 或是更好的 2160p 分辨率,临场感的效果应当能有一个质的飞跃,但在我们拿到尺寸合适的这一分辨率的屏幕进行研究前是无法给出确切的答案的。

余辉(Persistence)是指每个像素持续点亮时间的长度。这一点对于电视、显示器或者移动屏幕来说是没有那么重要,但却是虚拟现实所独有的重要特征,因为相对于 HMD 而言眼球的运动更快。这一点在视觉系统底层的前庭视反射(VOR, Vestibulo-ocular reflex)机制中表现得尤为明显,这一反射机制使得眼球在头部快速运动的时候还能保持稳定(译注:也就说在头部运动期间,眼睛自动会向相反的方向运动,从而使视网膜上的成像得以保持稳定)。而像素在屏幕上残留的时间越长,它在视网膜上的成像点就会随着眼球的运动而乱作一团,像素所构成的场景随着眼球的运动也会愈加模糊。

这里有一个因余辉而导致像素污迹(smear)的例子。如下如所示,左边是头部静止不动时的图像,右边是当头部以每秒钟 120° 的速度转动时所模拟出来的图像。在一块 60Hz 的全余辉屏幕上,这将导致每帧图像的像素在视网膜上晃动出 2° 宽的污迹,如你所见这一点显著降低了画面的细节。

对于 110° 视场、1K x 1K 分辨率的 HMD,我们发现 3ms 或更低的余辉才能满足创造临场感的需求。而更高的像素密度则要求更低的余辉

对于一个给定的宽视场屏幕,一旦余辉降低下来,其刷新率就必须提升上去;60Hz 的话,低余辉图像看上去会过于闪烁。为解决这一问题,我们做出了当下刷新最快的低余辉 HMD,其刷新率高达 95Hz,并成功地消除了肉眼可见的闪烁现象。稍低一些的刷新率可能也会胜任,但我们尚未用实验加以验证。

值得一提的是,一旦图像的渲染能力无法维持这一帧率时,虚拟现实的效果便会显著下降,这将成为一个不小的挑战,尤其是当分辨率提升时还要维持住 95Hz 的立体渲染。

我们给原型机用的是全局显示,也就是所有的像素是被同步地点亮或熄灭。这就避免了画面在滚动显示时容易出现的压缩、拉伸或是倾斜问题,在滚动显示一帧画面的过程中,像素是以一定的扫描序列被点亮的。使用滚动显示所造成的问题,也许能通过大幅调整每一帧画面的帧缓冲以令其视网膜成像可以更好地适应眼球运动,但尚未有相应的研究能证实这一推测;同时,尽管如今的做法都是用头部的运动来作为眼球运动的替代数据,但没有真正的眼球追踪就总会出现追踪数据失败的情况,而低延迟的头戴式眼球追踪仍是一个有待解决的问题。因此当下的全局显示就是唯一已知可行的办法。

透镜或透镜组合的选择及相应光学路径的设计看起来会比较简单。因为当下的微型显示技术或电磁波导结构还没有一个合理的方式来获取到足够大的视场,我们不得不去使用配有放大透镜的手机屏幕。此外,由于视场、重量与工业设计方面的需求,每只眼睛只能使用一到两个透镜。优化出这样一个简单的系统能有多难呢?

难点是在于,仅用一、两个透镜无法产生出理想的虚拟现实视野,那会造成多种不同类型的畸变和失真,于是就需要这样的透镜组合来让每一处细节都能恰到好处:

作为参考,图中左侧的两只较大透镜的直径都超过了1英尺,而整套组装件的重量则超过了5磅,这样的规格对于头戴式显示器来说就不切实际了。

由于受到一到两个透镜的硬性限制,解决掉一个问题常常也意味着把另一个问题弄得更糟,尤其是面对宽视场的需求时。问题又被焦距、尺寸和可视距离上的众多可能性进一步复杂化了。

因此透镜设计变成了在一个很大的参数空间内寻求出最佳的折衷方案的过程,而由于没有比较机械的办法来评估评估视觉效果的质量,问题就变的更为复杂了。唯一有效的测试便是把透镜用到实际的虚拟现实中来看效果,这不仅耗费时间,评估的结果也较为主观,且因人而异。我们已经研究出了足以制造出临场感的透镜,但效果上仍有很大的提升空间。

光学校准看上去微不足道,可事实证明它至关重要且极具挑战性,因为人的视觉系统对于细微错误总是惊人地敏感,尤其是涉及到运动和直线的时候。静止时看上去很完美的场景,在你左右晃头时,画面可能要泛出很糟糕的涟漪。这就破坏了临场感,同时还会导致晕动症的出现。

光学校准完全正确之前,几乎不可能确定出其他需要提升的地方来。例如,把校准做正确之前,我们其实都注意不到追踪方面的小故障,因为比起追踪来,当时的图像要更不稳定。而一旦校准足够好之后,先前不太明显的小故障就自动跳了出来。归根结底,为透镜效果的鉴定以及校正所渲染出来的图像匹配以高度精确的控制进程绝对是一个必要的底线。

到这里,我们已经具备了创造出临场感所要求的视觉质量的所有要素。然而,仅仅有它们还不够。图像需必须要以感知系统所能接受的方式被呈现出来,这就需要绝对可靠的追踪技术来把头部的位置和运动翻译成有效的(x, y, z)坐标以及相应的转动方向。我们发现让追踪精度在位置方面达到1毫米、在方向上达到 0.25°的程度以后就能获取到临场感,同时还要在每一侧都不低于1.5米的追踪空间维持住这一精确度。

实现这一点绝对比听起来要难得多,因为还没有现成的消费级系统可以做到这样。这就是我们在技术演示中所用的追踪技术:

至少它能奏效,但你能看到它并非是正确的消费者友好型设计。我们还在开发几个比较有前景的追踪系统,它们不需要在你的屋子内贴满这样的墙纸,无论成功与否,它们都已经给出我们足够的信心来预测:一个消费级的追踪系统在近期内将是可以实现的。

虚拟的图像需要能在正确的时间出现在正确的地方,这就意味着延迟必须非常之低,即头部运动发生到该运动数据的最后一个光子被发送出来的这段时间必须要非常短。我们发现 20ms 的延迟,结合以不错的预测,效果就非常好,有可能 25ms 的延迟也是足够的。超越这一点,虚拟世界看起来就不太稳定了,而人的感知系统也就不再认为它所接收到的是真实信号了。

我想强调的是,临场感不是上述我讨论过的某一元素的结果,它是所有元素足够好时所浮现出来的现象。如果光学校准不完美的话,无论其他因素多么完美,你转动头部的时候场景都还是会变形。

同样,如果延迟太高的话,再高的精确度也无法让你的视觉系统信服这一虚拟的场景是真实的。上述关键元素中只要村官一个不过关的,临场感也都无法出现。

那么——基于临场感的关键元素的这些硬件,如何在未来几年内就以令人信服的方式出现在的消费级硬件产品上呢?事实证明,一切都会惊人地乐观。基于 Valve 的研发、原型机和推测,在我看来,一个消费级的 HMD 将在2015年以如下的规格被制造出来:

这一 HMD 将能支持强烈的临场感体验,并将有着很大的机会呗消费者普遍接受。虚拟现实在这条路上肯定能越走越好,而这需要时间以及主要硬件的研发。相反,我们相信通过对现有技术加以较小的调整,这张幻灯片中列出来的所有参数都将被实现;无须什么重大技术突破或是奇迹,仅需要可靠的工程研发。

这一规范基于我们的直接体验。我们的 HMD 原型机已经具备所有我指出来的这些特性,并能制造出强烈的临场感。他们是基于修改后的商业零件构建而成的,这也预示了一条成本上有效的规模化生产时之路。

这不意味着生产和交付消费级虚拟现实硬件就无足轻重。我们所造出来的只是研发目的的原型机,而非产品。我们认为,我们所用的技术将能被转用到消费级的 HMD 上面,但将其做成一件可以发售的商品还是要有许多额外的工作要做的。我非常有信心让这些工作尽快开展起来,目前我们所证实的仅仅是什么是可行的,而如果这一切真的发生了,未来几年内在市面上买到这样的 HMD 才会是可行的。

除了生产问题,虚拟现实仍有很多细节需要解决和改进。首先,改进我们原型机中的每一个关键元素都将使得临场感从中获益。我们确实可以采用100倍高的分辨率、更大的视场、更低的延迟,以及其他所有能够提升临场感体验的因素;尤其是目前的光学效果还远非最佳。同时,根据不同用户的双眼距离把透镜位置做对也是一个挑战。正如我提到过的,我们认为在头部追踪技术上我们已经接近成功了,但我们尚未达成一个可以交付的方案,然后是眼球追踪,它将会极大程度地提升临场感体验,但技术进展上离成型的解决方案更远。使用无线数据连接来解除数据线的限制在体验上也将会是一大亮点。尽管我们相信通过修改现有屏幕面板就有可能获取到低余辉、全局显示以及低延迟,但这一设想还有待证实,而这还将需要屏幕厂商的密切配合。

然后还有非视觉范畴的虚拟现实问题需要我们解决。3D 音效、触觉、身体追踪,以及输入设备都将为临场感带来巨大的促进作用,而这些问题要比 HMD 自身更大、更难。尤其是虚拟现实输入及其在游戏设计上的互动将会是整个体验的核心,而这一部分几乎完全没有被探索过。我们正在研究这些领域,但这将需要多年的时间,以及整个游戏行业的共同努力才能充分探索这些未知。

而后还有软件

硬件完成之后,直到软件能把伟大的、独一无二的虚拟现实体验提供出来,它才真正能起作用,而那些体验都还有待被创造出来。除了游戏将如何与输入设备进行互动,关于游戏玩家在虚拟空间内如何运动才不会面临晕动症或失去临场感的问题也有待被解决。我们发现的是,传统 FPS 游戏中的运动还远未得到优化,且非常容易导致晕动症,因而虚拟现实可能更适合缓慢的运动,以及与之类似的交互,这种情况下我们就必须学会如何来创造出这样的有趣游戏。最后,一种全新的虚拟现实游戏用语将会发展起来,正如 FPS, RTS 之类的例子一样。

比起当前显示器上的游戏,多玩家虚拟现实将会非常不同,同时也更加引人入胜。跟其他人共同分享一处极具真实感的虚拟空间,有潜力成为最为强大在线社交体验,但也将引发出很多问题。还记得“死亡竞赛”、游戏修改包以及永久服务器方式的组队游戏刚进化出来的情形吗?多玩家虚拟现实的情况也将类似,但将有更多发生。

接下来是是内容。例如,目前还没有知道哪一种艺术风格对于虚拟现实来说是最好的。在显示屏上看起来极为细致的场景,放进虚拟现实中去看可能就只是粗劣的舞台布景,而简洁的场景看起来反而能惊人地真实。普通的绘图可能看起来并不好,而贴图纹理也有可能时好时坏。于是我们还需要为虚拟现实开发出一套全新视觉语言。

这里就是你可以加入进来的地方。平台变革使软件得以去创造突破性体验——想想《神秘岛》《雷神之锤》Wii Sports, 以及《愤怒的小鸟》。虚拟现实有潜力成为有史以来最为重大的平台变革,而你则可以站在这场变革的最前沿。这一点毋庸置疑,因为我们已经知道伟大的虚拟现实需要有专门为虚拟现实设计而来的独特体验;沉浸感可以作为虚拟现实乐趣的入口,而伟大的虚拟现实还需要专用于此的软件。这跟第一代 3D 游戏的情形一样,关于虚拟现实游戏体验的一切细节都有待于被创造出来。我敢肯定你们都看到了《毁灭战士》20周年时那令人艳羡的媒体文章,首个搞定虚拟现实体验的游戏也将像《毁灭战士》一样被人们深情地记忆多年。

当第一款伟大的虚拟现实游戏出现时,它很有可能是出现在 PC 端,原因如下:

首先,虚拟现实硬件将会在 PC 平台上迅速进化,通过 Oculus Rift 你应该早已看到这一点了,而对于主机平台,即便他们会支持虚拟现实,其硬件也将在之后的数年内保持原状

其次,相对于主机平台,PC 端将会有更多的硬件及软件开发者来弄清楚如何做出很赞的虚拟现实游戏,且他们能有更大的自由度去进行尝试。

第三,虚拟现实需要有尽可能多的处理能力——记住,我们所说的可是维持住 95Hz 的立体渲染——而这一点上高端 PC 就比游戏主机强太多了,期间的差距需要多年的时间才能弥补回来。且由于电源和热度方面的优势,PC 也将永远要比移动端的手机更为强大。

最后,弄清楚了如何把临场感带给消费级的虚拟现实,并把对虚拟现实的支持加入到 Steam 平台,Valve 还将推动 PC 和 Steam 上的虚拟现实继续进步,使得我们可以交付出全新的、引人入胜的虚拟现实体验。所有这些都意味着,在这个可以预见的未来,PC 和 Steam 会成为虚拟现实的核心。

今天演讲的主旨很简单,但却有着强大的暗示意味:到2015年,一个伟大的消费级虚拟现实系统不仅是可能的,它正在那一时刻等待着这一切的发生。而它必将会发生,即便不是2015年,也会很快就来。

未来几年内 PC 平台上的虚拟现实,可能就跟游戏行业所发生过的一切一样令人兴奋。我们正在跟你分享我们所知道的一切,并将继续这样去跟你们交流。关于虚拟现实,还有大量的问题有待于学习然后解决掉,仅靠我们自己肯定是不可能全都搞定的;我希望你们能深入到虚拟现实中来,把它做成一种双赢的交换,这样我们就可以一同来把虚拟现实塑造成历史上最伟大的娱乐革命之一。

关于更多需要讨论的内容,我期待能跟你在问答环节,还有 我的博客 上来继续这一交流。

谢谢大家。


由此,你就可以知道这篇演讲对于虚拟现实的重要性。

所以,我才决定自己动手翻译出来,并把演讲的文本存档于此。

via: Valve