增强现实和虚拟现实技术在 COVID-19 疫情期间加速发展

Estimated read time 1 min read

COVID-19 大流行加速了沉浸式技术的使用,特别是在教育和培训、在线活动以及艺术和娱乐领域。

13.1/

两年前Covid-19疫情爆发以来,全球经济受到严重冲击,各行各业都受到影响。 增强现实(AR)和虚拟现实(VR)等技术用于通过数字模拟在现实世界中创建或模拟沉浸式体验。 媒体行业也不例外。

沉浸式技术和媒体领域的跨学科领导者成立了世界经济论坛 (WEF) 增强和虚拟现实全球未来理事会,以评估 COVID-19 大流行对相关技术的影响。 结果表明,疫情使沉浸式技术的发展加速了数年,并给各行各业带来了变化。 此外,全球管理咨询公司麦肯锡公司最近的一项调查显示,COVID-19 大流行加速了客户互动数字化的发展。 例如,一些曾经不愿使用相关沉浸式技术的行业、组织和机构(如博物馆)不得不重新考虑其数字化发展,以应对当前的全球封锁。

本文重点介绍了加速采用沉浸式技术的行业和部门,概述了它们在 COVID-19 大流行期间在教育、医疗培训、在线活动以及艺术和娱乐中的使用。

在教育领域,这些技术通过数字媒体实现了人际交流,填补了线下教学的巨大空白。 事实上,以高等教育为例,美国凯斯西储大学85%的医学新生表示,在解剖学课程中使用混合现实技术,使得在线课程的体验与线下课程“一样好”,或者甚至“更好”。 通过使用在线VR/AR技术,外科医生可以让学生和同事观察复杂的手术场景并提供帮助。 此外,过去两年中,许多使用沉浸式技术的教育活动的用户参与度有所增加。

除了在教育方面提供诸多便利之外,沉浸式技术的应用还可以为很多感到孤独的人提供一个分享、聚集和社交的平台。 除了各种视频会议工具的激增之外,扩展现实平台还可以虚拟化生活,为人们提供视频通话无法比拟的共存感。 VR技术的应用有利于加强人与人之间的联系,这在疫情隔离时代尤为重要。

沉浸式技术也正在渗透到艺术和娱乐领域。 疫情封锁期间,由于观众无法观看线下体育赛事,体育行业不得不想办法让球迷在线观看比赛。 这项技术可以将球迷带到体育赛事的中心,并为他们提供前所未有的独特视角。

此外,本文还考虑了安全和隐私在沉浸式技术发展中的重要性。 全球未来理事会承诺将继续关注相关技术潜在的不利后果,同时鼓励新工具的开发。 实践证明,这些工具在全球疫情期间发挥了巨大作用。 过去两年,这些技术的早期应用已经扩大,经过验证的应用可以拉近人们之间的距离。

1教育

过去,学业成功依赖于学生和老师或导师之间的沟通。 大流行使教师和学生之间的互动变得危险和困难。

异步(即“独立”)学习是许多教育计划的核心部分。 在过去的两年里,世界各地的学生接受的异步教育比以往任何时候都多。 几年前,很难想象学生仅利用信息技术就能在家中与老师和其他同学同步学习。 由于AR和VR技术可以通过数字媒体建立人与人之间的联系,因此在教育领域变得尤为必要,尤其是在需要实际操作或现场学习的教育领域,例如学徒培训。

由此,TransfrVR等提供VR培训的公司在疫情期间获得了1200万美元的A轮融资。 此次成功的融资基于其能够为制造业提供高效的虚拟培训体验,从而使学徒能够获得高水平的学习和工作绩效。

AR、VR等沉浸式技术通过数字模拟来创建或模拟现实世界,为用户提供独特的方式来体验和理解相关概念。 这些技术还将虚拟内容集成到现实世界环境中,并允许用户参与这种混合现实。 AR和VR技术对于缩小新冠疫情造成的教育差距发挥了积极作用,我们对此应该积极乐观。 这些技术致力于通过提供一系列相关服务,将远程教育转变为更加身临其境的学习体验。

13.2/

2医疗培训及相关程序

疫情也对医疗培训产生了严重影响。 美国凯斯西储大学和斯坦福大学已成功利用AR/VR技术进行解剖学教学。 斯坦福大学在肯尼亚启动了一项计划,利用新技术向医学生传授与患者沟通和评估病情的核心知识和关键技能。 凯斯西储大学 185 名医学新生的解剖学课程采用混合现实技术进行教学,85% 的学生表示这种教学方法比线下课程“一致”或“更好”。

由于COVID-19限制,医学生无法参与患者病情的现场评估。 为了给他们提供更多参与机会,美国密歇根大学和英国伦敦帝国理工学院举办了首届VR查房活动。 医生使用微软混合现实头戴式智能眼镜HoloLens和视频会议软件Zoom将学生带到医院。 在患者床边与患者互动、查看病理图像、讨论实验室工作并观察体检过程。

通过使用在线VR/AR技术,外科医生可以让学生和同事观察并协助手术。 疫情初期,第一波 COVID-19 患者对医疗保健系统产生了影响。 以色列医疗模拟中心 (MSR) 位于特拉维夫谢巴医疗中心康复医院,利用技术取代教师并对工作人员进行新呼吸机和设备的培训。 通过 Microsoft Guides 交互式混合现实模拟培训,MSR 教会了大约 60 名医生、生物医学工程师和护士如何为 COVID-19 患者使用呼吸机。 MSR 并不是一个孤立的案例。 自2020年1月以来,通过在主要企业用户群体中推广HoloLens的使用,微软的远程协助案例比之前增加了13倍。

斯坦福大学五仔神经科学研究所可视化技术实验室联合主任 Christoph Leuze 表示,通过使用混合现实技术投影患者人体器官的 3D 渲染图,人们可以变得“透明”。 ,让临床医生和学生能够“透视”人体。 这样,医生可以在数字化水平上查看和分析人体结构,效果与实际解剖基本一致,让医护人员和医学生能够更准确地看到和定位重要部位。 该技术在医疗领域广泛应用的另一个重要原因是混合现实技术可以满足医务人员的这一基本需求。

13.3/

在Lutz看来,混合现实技术的应用也是改善与医学界合作的机会。 多个远程医务人员无需看其他屏幕即可查看相同的现实生活情况和虚拟内容,这有利于本地医务人员与远程专家之间更自然的沟通和互动。 这一点在微软最近的一次24小时在线运营中得到了最好的体现。 当时,来自世界各地的外科医生佩戴 Microsoft HoloLens 2 混合现实耳机进行了 13 场手术。 外科医生可以“通过全息图像可视化手术,在手术过程中分享实时视图,借鉴同行的专业知识,并进行远程指导。” 这种类型的协作和知识转移是前所未有的。

3线上活动

过去,举办会议活动涉及很多费用,例如注册费、差旅费和住宿费。 当涉及婚礼、毕业典礼和出生等社交活动时,通常意味着预订航班、酒店和宴会。 然而到了2020年,这些线下活动全部取消。 就连移动通信行业最重要的展会2020世界移动通信大会(MWC)也在最后一刻被取消。 很快,展览、会议、音乐节、婚礼、毕业典礼和婴儿送礼会也被取消。

看到人类如此迅速地利用他们的聪明才智和技术来让这样的事件继续下去,真是令人鼓舞。 除了各种视频会议工具的激增之外,扩展现实平台还创造了虚拟化生活的创意维度。 过去两年,VR技术在各种会议中的使用有所增加,例如电气和电子工程师协会(IEEE)虚拟现实会议、IEEE混合和增强现实国际研讨会、人工现实国际会议以及远程存在和增强现实会议等。欧洲计算机图形学协会的虚拟环境研讨会为世界各地的人们提供了学习机会和教育资源。

虚拟现实活动也越来越受欢迎。 HTC 和微软等公司的大型企业活动已通过 VR 和混合现实技术进行虚拟化,并产生了有趣的结果:线上和线下互动惊人地相似。 就连黑石城一年一度的火人节现在也有了 VR 版本。 这使得更多的人能够观看和体验数字艺术装置。

当人们能够在虚拟现实中见到化身时,他们会感受到视频通话无法达到的共临感。 人们可以立即创造共享的经历和记忆,就像在现实中一样。

4艺术与娱乐

面对COVID-19疫情的挑战,许多创意性的线下活动必须借助技术转化为线上活动。 例如威尼斯电影节的“沉浸式观影单元”就完全在虚拟现实中进行。 只需戴上 VR 耳机,即可享受独特的威尼斯船只和世界一流的展览。

音乐产业也利用了VR技术的特点。 如John Legend、Travis Scott、The Weeknd、Lil Nas等顶尖音乐人才的虚拟表演,均在互动虚拟环境中进行,观众人数达到千万级,远远超过线下表演的场地限制。

娱乐业面临的最大挑战之一是无法让人们聚集在体育场观看体育赛事。 在美国,2020 年国家篮球联盟 (NBA)、女子国家篮球联盟 (WNBA) 和美国职业棒球大联盟 (MLB) 赛季暂停。 在印第安纳州印第安纳波利斯赛车场举行的大型汽车比赛印第安纳波利斯 500 大赛也被推迟。 此外,2020年夏季奥运会也被推迟至2021年。由于疫情的严重影响,体育行业不得不想办法让球迷在线观看比赛。 体积视频是业界使用的新兴技术之一。 这项技术将球迷带到了体育赛事的中心,并为他们提供了前所未有的独特视角,包括来自空中和裁判的视角。 联盟和广播公司利用“真实的视角”为观众提供新鲜、细致的体验,与球迷建立联系,同时强调游戏的故事讲述和深入分析。

5 未来应用和技术突破

五年前,对 VR 和 AR 耳机销量的过度乐观预测是当前实际销量的三倍。 不过,其早期的成功仍然是有目共睹的,最近第三方研究预测VR和AR技术的应用将会加速。 例如,《福布斯》援引的研究显示,根据消费者数据和趋势,2020年全球VR市场规模为61亿美元,全球AR市场规模为153亿美元。 预计到2025年,全球VR和AR市场规模将分别增长至209亿美元和770亿美元。

AR/VR 耳机在过去几年中无疑取得了长足的进步,随着开发人员无线和廉价设备的改进,技术(例如波导/OLED 显示器、传感器/空间映射、图形渲染)和设计考虑了更多消费者的需求。 通过Unity、Unreal等高端游戏引擎的使用,“VR晕动症”问题明显减少,对互动内容创作者的支持也在快速提升。 此外,实时跟踪用户的脸部和手部在几年前还只是一个原型,现在正在成为商业解决方案的组成部分。

过去几年,汽车制造、国防和医疗健康领域一直是消费类AR/VR设备的最大受益者,2020年全球相关支出达到190亿美元。例如,汽车的设计可以通过在VR系统的协助下,汽车制造商越来越多地使用AR/VR解决方案进行远程组装和培训。 VR技术已广泛应用于军事训练系统,例如飞行模拟器。 此外,美国陆军正在快速装备商用AR/VR耳机用于沉浸式战斗训练(例如美国陆军的合成训练环境),因为能够在虚拟战场中进行可控规模和可重复的模拟训练,而且这种训练更加安全并且更具成本效益。

13.4/

在医疗领域,除了前述外科医生使用AR耳机的案例外,VR模拟技术也已成功用于治疗创伤后应激障碍(PTSD)。 沉浸式疗法的临床试验结果表明,40% 的 PTSD 患者通过在跑步机上行走并观看与创伤相关的图像而得到改善。

VR 技术在消费者应用中的早期成功包括一系列收入超过 100 万美元的 VR 和 AAA 视频游戏(例如《半条命:Alyx》和《光剑节奏》)。 事实上,《节奏光剑》在 2021 年 10 月正式宣布收入突破 1 亿美元,这反映了行业的收入增长轨迹。 VRChat 等社交 VR 应用程序和 Supernatural 等健身应用程序也越来越受欢迎。

研究数据统计公司Statista收集的数据显示,不需要耳机且应用于智能手机平台的AR应用已经得到了更广泛的应用。 预计到2023年全球用户数量将达到14亿。最受欢迎的AR应用是相机滤镜和视频特效(例如社交照片软件Snapchat和TikTok),以及AR游戏(例如《Pokémon GO》) )。 截至2021年第三季度,Snapchat拥有3.06亿日活跃用户,《Pokemon GO》在推出的前五年也创造了50亿美元的收入。

目前AR/VR设备价格居高不下且不易佩戴,而无线设备的性能相对有限。 然而,科技公司以及工业界和学术界的研究人员每年都在以新的能力优化和升级硬件和软件。 此外,内容开发商、媒体公司和初创公司正在开发新的沉浸式体验和交互式应用程序,以丰富虚拟内容。 除了游戏和模拟之外,创新体验还包括替代传统视频会议的网真应用、Tilt Brush和Quill等VR绘画应用以及沉浸式纪录片等。

在硬件开发方面,沉浸式技术预计将在以下领域取得关键进展:更薄更轻的外形尺寸、更高分辨率(8K显示器,例如Pimax显示器)、更宽的视野、前置/眼动追踪摄像头、更长的电池寿命、更好的抗晕动能力以及更先进的无线连接。 Micro-OLED(可能于 2023 年推出)等有前途的技术将有助于开发智能眼镜等小型显示器,这些显示器可以直接安装在硅晶圆上,无需玻璃基板,从而减少透镜厚度并提高能源效率。

高端游戏引擎,例如 Epic Games 的 Unreal 5 引擎,将为许多具有超现实内容的下一代交互式应用程序提供动力,但无线 AR/VR 显示器需要更强大的图形处理器。 神经渲染技术中的数字角色真实感已经过测试,可以解决虚拟角色在虚拟远程呈现和沉浸式现场活动等关键应用领域中的“恐怖谷效应”。 Meta的Reality Lab最近展示了其名为Codec Avatar的化身技术,该技术允许用户在虚拟现实中与模拟角色进行实时、面对面的对话,但需要复杂的捕获系统来数字化角色图像。 此外,面部追踪解决方案提供商 Pinscreen 演示了如何使用照片创建完整的 3D 图像,以及如何借助其神经面部渲染引擎 paGAN 生成模拟表情。

其他重要的进步包括无需深度传感器或多摄像头即可实时体积捕捉人体运动。 欧洲国际计算机视觉会议 (ECCV) 报告的作者提出了一种基于单个网络摄像机的实时体积隐形传态系统,该系统能够从单个视图对整个图形进行实时数字化。 这项技术的潜在应用:未来可以实现远程实时3D视频,无需使用多个摄像头,仅一个网络摄像头就足以预测一个人的整体3D图像,包括他们的背部。

对于VR内容,市场上有两种主流解决方案:一种是6DOF(自由度)解决方案,人们可​​以在沉浸式体验中自由行走和旋转头部;另一种是6自由度解决方案,人们可​​以在沉浸式体验中自由行走和旋转头部。 另一种是3自由度体验,人们可以看到360度的全景。 通常,6自由度解决方案使用游戏引擎进行渲染,需要大量成本和时间来生成内容,而3自由度内容可以使用360度全景相机捕获。

2019 年推出的神经辐射场 (NerFs) 等有前景的人工智能 (AI) 技术使用深度神经网络对整个场景和复杂对象进行编码,并使用体积采样方法进行渲染。 最近提出的实时变体展示了数字化 6-DOF 内容并在现实生活图像中查看它的潜力。

下一代耳机和沉浸式技术将基于更小、更强大的耳机、人工智能的进步以及 5G 和边缘计算的创新。 预计在不久的将来,图形功能、计算机视觉系统、内容创建工具和捕获技术将得到进一步改进。

6隐私和安全

尽管疫情仍在全球肆虐,但隐私和安全仍然是沉浸式技术应用讨论的前沿和中心问题。 大多数电子设备可以(并且确实)捕获用户行为数据。 然而,AR 和 VR 系统涉及的隐私和安全问题是独一无二的。 例如,大多数 VR 系统都会捕获有关身体运动、凝视和其他第一人称运动的详细信息。 第三方可以使用此信息来识别个人和特征。

AR 和 VR 系统在交互的真实性和私密性方面也具有独特性,无论是对于用户还是周围的人来说。 例如,AR系统的用户在使用它们时可能会无意中诽谤甚至伤害周围的人。 虚拟世界中对现实世界中的人的真实且私密的行为可能会对现实世界产生影响。 因此,在强调技术优势的同时,也必须考虑其中涉及的隐私和安全问题,并纳入相关机制来保护用户和社会。

如上所述,使用沉浸式媒体进行视觉呈现、协作和培训为多个行业带来了前所未有的体验,是一个快速增长的具有巨大价值的领域。 由于人类感知的世界是三维的,空间计算和沉浸式技术为各方面更好的学习、生产和创造提供了无限可能。 然而,就像社交媒体等技术一样,任何技术都可能被不当使用。 因此,充分了解新兴技术的潜在后果并在其成为主流之前消除这些陷阱非常重要。

总结

COVID-19疫情在给人们的生活带来重大影响的同时,也给全球经济中的企业、机构、组织、行业和部门造成了严重损失或完全关闭。 而且,疫情蔓延迅速、持续。 时间这么长,谁也没想到。

然而,疫情也带来了意想不到的技术投资机会,这些技术可以帮助完成许多以前需要以新的数字和虚拟方式进行实体存在的事情。 特别是AR和VR技术长期以来一直被期望能够提供丰富而有益的个人和团体体验,而疫情极大地加速了此类技术在商业、教育、医疗培训和实践等多个领域的发展和应用。 、现场活动和文化体验。 除了推动技术改进之外,技术的加速应用也逐渐提高了人们对此类技术的普遍接受程度,尤其是作为替代现场交互的新方式,这会带来更多的成本、不便或不利的环境影响。

新技术的应用往往会带来意想不到的负面后果,例如社交媒体的使用引发的一些社会问题。 随着AR和VR技术的快速发展和应用,人们注意到它可能带来一些意想不到的、独特的隐私和安全问题。 世界经济论坛增强和虚拟现实全球未来理事会承诺保持警惕,继续努力解决技术带来的隐患,同时鼓励新工具的开发。 实践证明,新型沉浸式工具在全球疫情期间发挥了巨大作用。 在过去的两年里,这些技术的早期应用得到了扩展,并被证明可以拉近人们之间的距离。

来源世界经济论坛

You May Also Like

More From Author