Facebook：Avatar VR头像系统已经可以模拟全身

时间：2023-06-26 06:06:02 | 来源：网站运营

时间：2023-06-26 06:06:02 来源：网站运营

Facebook：Avatar VR头像系统已经可以模拟全身：两年前，Facebook Reality Labs公布了一款超逼真的虚拟头像系统Codec Avatar，该系统基于容积摄影等3D动捕技术，可在AR/VR中动态渲染高度还原的面部表情和特征，与真人样貌十分接近。而且五官、眉毛、胡子、肤色等特征看起来足够细节、自然。







当然，Codec Avatar的重点主要是模拟实时的人脸表情变化和面部特征，完整的AR/VR虚拟形象还需要显示头发、躯干等更多部分。前不久，青亭网报道了Facebook在毛发渲染上的最新成果，已经可以对头发进行3D建模，细致到可渲染一缕发丝。







除此之外，近期Facebook也公布了一项基于容积捕捉的动态全身虚拟形象方案：可感知驱动信号的全身动态虚拟形象系统。其特点是采用一个根据条件变化的自动编码模型，可以将姿态、面部关键点等不完整的驱动信号转化成动画数据，生动且逼真的体现人体结构和动态外观变化。

实际上，全身动态形象生成所面临的困难是，包括面部在内的全身动作捕捉信息不完整，因此通过解析动捕系统获得驱动信号，来实现更加通用的全身动态模型效果。此外，还结合潜在空间模型，来捕捉动态虚拟形象所需的其余信息。利用驱动数据，该方案生成的变分模型将包含一小部分由缺失数据组成的不确定内容，然后通过算法来预测和分配这一部分的数据。







同时，科研人员还提出一种自学习式本地化的压缩方案，有助于提升驱动数据处理的通用性，以及降低真实数据集中常出现的全局偶然相关影响。

科研人员表示：这项研究的目标是，利用低成本传感器，来生成在几何结构和外观上看起来足够逼真的全身虚拟形象。实际上在图形渲染领域，具有表现力的动态虚拟人已经得到深入研究，尤其是在特效后期领域，已经有成熟的数字替身技术，通常结合动作捕捉系统来实现（比如《阿丽塔：战斗天使》、《阿凡达》等电影就是通过真人动捕来控制特效替身来实现）。







此前也有一些实时数字替身的案例，比如：Epic根据真人开发的数字虚拟人Siren、数字王国开发的DigiDoug等等。今年，Epic还推出了数字虚拟人创作平台Metahuman Craetor，让你可以在网页端就能制作制作高保真、细节丰富的3D虚拟人，其支持骨架和面部绑定，可在PC和VR应用中运行。

不过，这些虚拟替身技术通常依赖于高成本动捕系统，以及详细复杂的姿态和表情脚本。此外，其原理是在模型上手动渲染动态细节，缺点是需要人工合成姿态，而且依赖于高端传感器（比如Xsens、OptiTrack等全身动捕方案）。而且，动捕模型需要根据不同的传感器方案独立训练，不具备通用性。







相比之下，Facebook的全身建模方案更侧重结合驱动信号，同时结合容积捕捉系统和动态传感器来捕捉全身数据，然后通过不完整的驱动信号来直接复原完整的人体外观和形态。

其实，这种方案可识别的驱动数据类型有限，而且动态传感数据与虚拟人模型存在信息不对称，从而产生一对多映射问题，也就是说基于全身关节角度生成的数据可能并不包含对应的服装褶皱、肌肉收缩等完整信息。此外，面部关键点数据通常也不包含注视点、头发、舌头运动等信息。







为了解决上述问题，并帮助学习模型根据缺少信息的驱动信号来推算全身数字模型，Facebook科研人员提出了一种变分模型，明确捕捉两种类型的变量：1）根据驱动信号可靠计算的观测数据；2）建模阶段所预测的缺失数据。

细节方面，科研人员通过构建根据空间变化的驱动信号模型，来优化第一种变量，然后通过潜在空间来分离观测数据与变量，进而仅捕捉对于重建人体模型必要的变量。此外，还采用肢体运动的粗糙模型和环境光遮挡贴图，来帮助模型自动渲染阴影。







简单来讲，整个方案将观测数据和缺少的数据分开处理，好处是可以根据不同的应用场景来采用合适的分配策略，流程足够有效且简单。模型还会结合面部表情和姿态与服装的褶皱和阴影，模拟逼真的全身动态变化。

数据处理流程：输入图像源、前景掩膜分割、重建3D模型、识别关键节点、应用表面网格。







在验证实验中，头显和周围环境中各配备一对立体摄像头，用于捕捉实时的驱动信号（面部表情和姿态）。这样低成本的方案足以呈现逼真的VR临场感，适用于双向社交场景。此外，实验展示了利用少量传感器和VR头显来模拟全身动态模型的效果，从demo视频来看效果足够逼真自然。







据了解，这项全身动捕方案基于Facebook研发的球形容积摄影工作室Mugsy，该工作室专门用于拍摄面部表情，它的外形像呈圆顶状，墙壁和天花板上安装了132颗佳能摄像头和350个光源，它们全部对准工作室中央的一把椅子。在这里拍摄人脸就像是在拍大头照（Mugshot），因此得名Mugsy。参考：FB