XR技术分解--炫酷的XR场景如何实现?

时间：

2022-02-24

作者：

思成舞台设计（转载）

分类：

企业新闻

今年以来，XR技术开始进入大众视野，越来越多的演唱会、发布会、电影拍摄场景、电视节目等场景开始使用具有高科技感和真实感的XR技术，开辟了另一种全新的拍摄制作方式。众所周知，XR技术是集AR、VR、MR技术于一体的扩展显示技术。XR技术是如何集成的，如何实现屏幕前的酷炫画面？让我们听听小编对XR技术的分解。

XR场景技术框架由几大要素组成，如LED显示屏组成的拍摄场地、摄像头、物体位置跟踪定位技术、实时图形渲染引擎(AR技术)、高速低时延网络等。最后，增加了元素组合的内容会传输到显示屏上，成为一个酷炫逼真的XR场景。总体技术框架如下图所示。

实现XR场景，首先将虚拟环境传输到现场的LED显示屏上，利用物体位置跟踪定位技术对物体进行跟踪拍摄，并将素材送回实时图形渲染引擎。同时，视频服务器以本地化的操作逻辑运算进行人物手势分析和图形渲染，输出立体逼真的AR内容和拍摄素材进行交互呈现，而呈现在屏幕前的内容则是XR场景。值得注意的是，现场需要强大的网络支持，为XR低时延交互、全动态视频大带宽分发等内容提供有力支持。简单来说，XR场景是基于真实场景，与后台酷炫的AR内容进行交互，所以XR技术被称为AR、VR、MR技术的融合。

中国短片《只为梦想遇见你》首次采用虚拟拍摄方式，将XR工作流程与影视行业工作流程相结合，实现最终内容的输出。短片没有实景也没有绿屏，场景实时渲染，演员在LED屏幕搭建的空间里表演。在场景渲染上，XR增强利用实时渲染引擎构建拍摄场景，通过媒体服务器输出合成，利用摄像机跟踪系统定位空间位置信息，实时映射人物与场景的空间关系，利用实时渲染技术在LED屏幕上还原照片级动态数字场景，实时呈现输出一个无死角的虚拟场景，最终与XR场景形成短片。

此外，11月1日，英雄联盟全球总决赛舞台也采用了XR技术进行直播。因为是直播，没有机会再做了，所以一局几十个摄像头参与。场景中使用的都是红外摄像头，S10场景的墙壁上有大量这样的圆点，是为了反射红外线而设计的。所有的红外摄像机都将配备一个特殊的模块。当摄像机移动时，它们会根据这些点的反射和方向来跟踪摄像机本身，然后实时反馈给计算机。这种技术方案使得虚拟与现实之间的误差小于1毫米。此外，通过团队开发的插件，虚幻引擎中的灯光与实际的skypanel相匹配，这意味着引擎中的灯光会发生变化，与现实中的灯光同步，虚拟内容与球场互动，呈现出一种全新的赛事直播方式。

11月10号，我国"奋斗者"号载人潜水器成功坐底马里亚纳海沟的重要时刻，中央广播电视总台央视新闻频道、央视新闻新媒体通过xR虚拟演播进行了同步科普讲解。用虚拟环境将 LED 屏幕之外的现实环境实时覆盖，并完成虚拟环境拓展的处理。详细地说就是，摄影机追踪系统 Mosys 的运用使得直播中的现场摄像机与虚拟摄像机始终保持一致与同步，并在 XR 虚拟演播室现场使用了1台 disguise vx4 媒体服务器，作为虚拟渲染引擎增强渲染和控制，而工作流程将 AR 技术带入环境之中，通过使用 Black Trax 动态追踪系统实时了解参演者和虚拟影像的位置，从而与 CG 内容更好的互动融合，给观众一种身临其境的体验，将视觉效果的传递提升到一个新的维度，与全国观众全景体验大洋10909米处的至深之蓝。

极具未来科技感的XR技术已经在中国生根发芽，有的已经开出了美丽的花朵。XR技术虽然刚刚兴起，但应用范围已经逐渐拓宽，技术也更加成熟。随着小间距显示技术的进一步成熟和对点间距的进一步探索，可以用肉眼实现高清细腻的3D显示，可以是未来更好的背景板。5G网络的进一步落地，XR技术普及度的不断提高，以及相关人员技术培训体系的完善，将推动XR技术走向成熟。