从2D到3D GANverse3D独辟蹊径
时间：2022-03-25 03:54:01 | 来源：行业动态
时间：2022-03-25 03:54:01 来源：行业动态
为了从现实世界的数据中获得多视图图像，例如网上公开的汽车图像，NVIDIA研究人员转而使用GAN模型，修改其神经网络层，将其转化为数据生成器。
为了生成训练数据集，研究人员利用生成性对抗网络GAN合成图像，从多个角度描绘同一物体就像摄影师绕着一辆停着的汽车走动，从不同的角度拍摄。这些多视图图像被插入到逆图形的渲染框架中，逆图形是从2D图像推断3D网格模型的过程。
该团队发现，仅训练神经网络的前4层，冻结剩余的12层参数，可以让GAN从不同的角度渲染同一对象的图像；保持前4层参数冻结，其他12层可变，可以让神经网络基于同一角度生成不同的图像。
通过手动分配标准角度，在特定高度和距离拍摄车辆照片，研究人员可以从单个2D图像快速生成多视图数据集。
一旦完成了多视图图像训练，GANverse3D只需要一个2D图像即可预测3D网格模型。该模型可以与3D神经渲染器一起使用，使开发人员能够自定义对象和交换背景。
例如，单张汽车照片可以转换为3D模型，该模型可以在虚拟场景中行驶，并配有逼真的前灯、尾灯和转向灯。
最终的模型，在55000由GAN生成的汽车图像上训练而得，优于在流行的Pascal3D数据集上训练的逆图形网络。
在线咨询
