元宇宙火了终于有人把虚拟现实ARVRMR解释清楚了

Estimated read time 1 min read

5a53faed845e3f8cf12447bb06459683.png/

01 什么是虚拟现实

我们通常所说的“虚拟现实”实际上包括多个技术分支,例如AR/VR/MR等。

AR是Augmented Reality的缩写,通常简称为增强现实。 AR的定义很广泛,有多种技术类型。 目前主流的AR是指通过设备识别判断(二维、三维、GPS、体感、人脸等识别对象),根据识别对象(二维、三维、GPS、体感、人脸等识别对象),将虚拟信息叠加在某个位置上,并显示在设备屏幕上,从而实时交互虚拟信息。

VR是Virtual Reality的缩写,通常被称为沉浸式虚拟现实。 VR为用户提供了完全沉浸式的体验,让用户有身临其境的感觉。 它是一种先进、理想的虚拟现实系统。

除了我们通常知道的AR、VR这两个术语之外,业界其实还有MR、XR这两个术语。 MR是Mixed Reality的缩写,指的是现实与虚拟世界融合所创造的全新视觉环境。 在新的可视化环境中,物理和数字对象共存并实时交互。

XR是Extended Reality的缩写,意为扩展现实。 事实上,XR是AR/VR/MR等多种形式的虚拟现实技术的总称。 它分为多个级别,从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。

2014年,Facebook收购Oculus,让整个行业重新焕发活力。 2019年,Facebook推出了Oculus Quest,让无数人眼花缭乱,可谓“当前一体式VR产品中的佼佼者”。 2020年9月,Facebook发布了Oculus Quest2,并宣布将于2021年彻底停产Oculus Rift PCVR系列产品。

2015年,微软发布了第一代HoloLens全息眼镜,将CPU、GPU和全息处理器集成在一个机身中,并于2019年推出了功能更强大的HoloLens 2。

在 2017 年的 WWDC 上,苹果推出了专门为创建增强现实体验而开发的框架 ARKit,以及用于 AI 的 CoreML。 同年,谷歌推出了ARCore,其功能与苹果的ARKit类似。

2019年9月,华为在旗舰手机Mate 30 Pro发布会上推出了自家的VR眼镜产品,受到业界青睐。

可以预见,未来的虚拟现实产品将不再区分AR/VR/MR,而是一体化的产品。 同时,虚拟现实的实时扫描、环境感知和渲染技术将需要人工智能技术的帮助,特别是计算机视觉和深度学习。

自诞生以来,虚拟现实技术已被应用于多个领域——从军事到航天、从教育到娱乐游戏、从医疗到旅游等等。 从目前来看,融合5G/AI等技术的AR/VR设备有望取代智能手机的计算模块。

02 虚拟现实的技术基础

虚拟现实是一项综合性技术,由立体显示技术、3D建模技术和自然交互技术三大类技术组成,如图1-1所示。

347d441b55bcbb245d4f5632e703ccfe.png/

▲图1-1 虚拟现实的三大技术基础

本节将简单介绍以上三种技术的相关知识。

1、三维显示技术

立体显示技术是基于人眼立体视觉的原理。 因此,研究人眼的立体视觉机制,掌握立体视觉的规律,对于设计立体显示系统是非常有必要的。 如果想要在虚拟世界中看到三维效果,就需要了解人类立体视觉的原理,然后利用一定的技术通过显示设备来还原三维效果。

1)头显技术

HMD(头戴式显示器)技术的基本原理是让图像通过棱镜反射,然后进入人眼并在视网膜上成像,产生超短距离观看大屏幕的效果,并且具有足够高的分辨率。

头戴式显示器通常有两个显示器,两个显示器由计算机驱动,为两只眼睛提供不同的图像。 然后人脑将两幅图像融合以获得深度感知,从而产生三维图像。

大多数主流沉浸式虚拟现实耳机,包括Oculus Rift、Oculus Quest、HTC Vive、Sony Playstation VR、3Glasses、Pico VR等,都基于双显示技术。

那么,微软的黑科技产品HoloLens是基于什么原理呢?

我们先来看看HoloLens,它相当于Google Glass的升级版,可以看作是Google Glass和Kinect的结合产品。 它内置独立的计算单元,处理从摄像头捕捉到的各种信息,使用自己的HPU(全息处理芯片)通过堆叠的彩色镜头创建虚拟物体图像,然后使用类似Kinect的体感技术让用户进行交互某个角度的虚拟物体。

依靠HPU和分层彩色镜片,HoloLens可以让用户感觉这些全息图像直接投影在真实场景中的物体上。 当用户移动时,HoloLens利用广泛应用于机器人和无人驾驶汽车领域的SLAM(同步定位与建图)技术来获取环境信息并计算玩家的位置,以保证虚拟屏幕的稳定性。

2)全息投影技术

全息投影技术可分为投影全息投影和反射全息投影,是全息技术的逆向显示。 与传统立体显示技术利用双眼视差的原理不同,全息投影技术可以通过将光线投射到空气或特殊介质(如玻璃、全息胶片)上来呈现3D图像。 人们可以从任意角度观看图像,获得与现实世界相同的视觉效果。

目前,我们看到的各种演出中使用的全息投影技术都需要使用全息胶片或玻璃等特殊介质,并且需要提前在舞台上进行各种精确的光学布置。 这种表演的效果极其华丽,但成本高,操作复杂,操作人员需要专业培训。

3)光场成像技术

神秘的Magic Leap采用了所谓的“光场成像”技术。 从某种意义上来说,这项技术可视为“准全息投影”技术。 其原理是利用螺旋振动的光纤形成图像,并将光纤中的光线直接反射到人的视网膜上。

简单来说,它利用光纤将整个数字光场直接投射到视网膜上,产生所谓的“电影现实”。

0b25430ec82e047af74505e55972dfd6.png/

2. 3D建模技术

为了创造完美的VR体验,我们需要从头开始构建一个虚拟世界,或者将现实生活中的场景转换为虚拟世界的一部分。 那么,这个虚拟世界是如何构建的呢?

目前,3D建模主要通过3D软件、3D扫描和光场捕获来实现。

1)3D软件建模

简单来说,3D软件建模就是通过各种三维设计软件,在虚拟的三维空间中用三维数据建立模型。 这种模型也称为3D模型,可以通过3D渲染技术呈现为二维平面图像,也可以通过计算机模拟或3D打印设备构建。

除了游戏之外,3D软件建模还广泛应用于影视、动画、建筑和工业产品的设计中。 目前,在游戏、影视、动画领域,最常用的3D设计软件有3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等,而在建筑和工业产品设计中,最常用的3D设计软件有3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等。使用的3D设计软件有AutoCAD、Rhino等。

纯粹使用3D软件进行建模的问题在于,一方面高度依赖建模者的个人技术熟练程度; 另一方面,现实世界中的许多场景、物体和人物无法准确还原,很容易进入瓶颈内的“恐怖谷”。

2)3D扫描建模

在构建虚拟现实世界时,除了使用常规的3D建模技术和实景拍摄技术外,我们还可以利用3D扫描技术对真实环境、人物和物体进行快速建模,将物理物体的三维信息转化为三维信息。计算机可以直接处理数字模型。

3D扫描仪是一种使用3D扫描技术快速创建现实世界物体或环境的数字模型的工具。 3D扫描仪的类型很多,一般可分为两大类:接触式3D扫描仪和非接触式3D扫描仪。

3)光场捕捉建模

光场捕捉建模技术最早应用于由 Ren Ng 创立的 Lytro。 它通过在单个传感器前面放置微透镜阵列来实现从多个视角收集图像。 然而,这种解决方案将导致分辨率大大降低。

近年来,Facebook Reality Labs、微软 MR Studio、上海帝景、深圳普罗米修斯、微美全息等公司采用的另一种方案是采用多摄像头阵列和深度摄像头,数百个摄像头形成内环采集。系统,捕捉各个方向的物体,并通过高速处理的AI算法和动态融合系统实时合成物体的三维模型。

需要注意的是,利用3D扫描和光场捕捉建模技术获得的3D模型和运动动画仍然需要使用主流3D设计软件进行后处理。 利用3D扫描或光场捕捉技术可以大大提高3D建模的效率,减少前期工作量,实现更真实的效果。

e3b00abbab84199e87acd4be2ff4214d.png/

3、自然交互技术

随着VR/AR时代的到来,传统的交互方式已经远远不能满足人们的需求。 因此,模仿人类本能的自然交互技术成为虚拟现实技术的重要基础。 需要哪些自然交互技术才能实现虚拟现实的完美沉浸?

1)动作捕捉

为了实现与虚拟现实世界中的场景和人物的自然交互,我们需要捕捉人体的基本动作,包括手势、表情和身体动作。

实现手势识别、表情和动作捕捉的主流技术分为两类,一类是光学动作捕捉,另一类是非光学动作捕捉。 光学动作捕捉技术包括主动光学动作捕捉和被动光学动作捕捉,非光学动作捕捉技术包括惯性动作捕捉、机械动作捕捉、电磁动作捕捉和超声波捕捉。

2)眼动追踪

眼动追踪的原理其实很简单。 它使用摄像头捕捉人眼或人脸的图像,然后使用算法来检测、定位和跟踪人脸和眼睛,从而估计用户视线的变化。 目前,我们主要采用两种图像处理方法:光谱成像和红外光谱成像。 前者需要捕捉虹膜和巩膜之间的轮廓,后者需要跟踪瞳孔的轮廓。

3)语音交互

与现实世界交互时,除了眼神交互、表情动作交互外,还有语音交互。 一个完整的语音交互系统包括语音识别和语义理解两部分,但人们通常用“语音识别”这个词来概括。 语音识别包括特征提取、模式匹配和模型训练三项技术。 涉及的领域包括信号处理、模式识别、声学、听觉心理学、人工智能等。

4)触觉互动

触觉交互技术,也称为所谓的“力反馈”技术,已应用于游戏行业和虚拟培训。 具体来说,它会通过向用户施加某种力、振动等,给用户带来更真实的沉浸感。 触觉交互技术可以实现虚拟世界中虚拟物体的创建和控制,例如机械或机器人的远程控制,甚至模拟训练外科实习生进行操作。

5)气味和其他感官交互技术

在虚拟现实的研究中,视觉和听觉交互的研究一直占据主流地位,而其他感官交互技术的研究却相对被忽视。 目前,一些研究机构和创业团队已经在致力于解决这些问题。

6)脑机接口

脑机接口(BCI)是大脑与计算机之间的直接交互,有时也称为意识-机器交互、神经直接连接。 脑机接口是人或动物大脑与外部设备建立直接连接的通道。 分为单向脑机接口和双向脑机接口。

Neuralink是侵入式技术的代表。 其产品通过在大脑中植入微小电极和芯片来收集人脑1500个点产生的神经元信号。 Neuralink采用了一种名为“神经花边”的技术,利用特殊的“缝纫机”将一根只有头发丝粗细1/10的线植入大脑。 该线可以像人类神经一样发挥作用。 高速传输各种数据。

植入式技术虽然难度较大,但在捕获和传输信息方面更加准确可靠,发展空间无限。 按照马斯克的想法,脑机接口设备的短期目标是治疗一些常见的脑部疾病,最终目标是融合人类和人工智能技术,实现人机交互。

作者简介:王涵,苹果平台资深开发者,国内较早的iOS及VR/AR应用开发者,腾讯课堂讲师,知乎专栏《跟灵猫学编程》作者,慢牛游戏作者发展专栏。 着有《Cocos2D权威指南》、《虚拟现实:引领人机交互革命的未来》、《Unity AR/VR开发:从新手到专家》等书籍。

张义红,香港理工大学博士,东华大学信息学院副院长、副研究员,主要研究方向为增强现实、图像处理和模式识别。

王少娣,魔发科技技术总监,虚拟数字人探索者,国内第一批虚拟现实爱好者,知乎专栏《动作捕捉技术》作者。 曾就职于赛龙空间科技,担任产品设计开发总总监,主要为市场主流设备(HTC VIVE、Oculus、Hololens等)开发教育相关应用。

本文摘自《Unity AR/VR开发:实战大师训练营》,经出版社授权发布。

3c97f86dd88a855bf3250472a3877980.png/

You May Also Like

More From Author