返回栏目
首页人工智能 • 正文

一键“三维化”你的二维GAN,香港中文提出无监督三维重建的新方法。

发布时间:  来源:河洛网

香港中文MMLab小组的这项研究证实了二维GAN可以隐式学习物体的三维结构。 研究者提出的方法可以看作是新的三维形状生成方法。 他们提出了一种新的无监督三维重建方法“Shape-from-GAN”,不依赖于传统方法的对称性假设,而是在开放式建筑等数据集上首次实现了三维重建。 这项研究被接受为ICLR 2021 Oral论文。

一键“三维化”你的二维GAN,香港中文提出无监督三维重建的新方法。

现在,StyleGAN等对抗生成网络已经能够对很多物体生成真实的二维图像。 但是,这些GAN可能知道实际生成的物体的三维形状。 由2维GAN生成的图像,如下图所示,可以正确地重构3维结构,实现旋转和再照明等图像编辑效果。

‍ 这是香港中文大学、南洋理工大学、香港大学的研究者提出的用二维GAN实现无监督三维重建的方法GAN2Shape。 这个“Shape-from-GAN”的范例不需要依赖于以往方法的对称性假设,而是适用于各种物体类,超越以往方法达到了SOTA。 目前,该论文作为Oral论文被ICLR 2021接收。 论文代码也是开源的。

论文链接: https://openreview.net/pdf? id=FGqiDsBUKL0

项目链接: https:/ github.com /新兴面包/ Gan 2形状

研究动机

近年来,生成对抗网络( GAN )在图像生成任务中取得了很大的成功。 当我们热衷于用它来创造二维图像的世界时,一个事实是这些二维图像实际上是三维物体在二维图像平面上的投影。

例如,下图显示了StyleGAN[1]能够实现脸部视角的变化(在人脸视角标记的监督下)。 。 因此,在GAN的图像空之间来回移动时,理想情况下这些图像应该符合物体自身的三维结构。

‍ StyleGAN可以实现脸部的视角变化

因此,一个有趣的问题是能否通过挖掘二维GAN的几何信息(视角和光)来重构物体的三维形状。

‍ 方法:挖掘利用GAN图像空间的视场角和照明信息

挖掘GAN中的几何信息并不容易,利用现有方法很难找到视场角和照明变量相对于任意物体类别的GAN在隐空之间对应的准确方向。 为了解决这个问题,研究人员注意到许多物体(如人脸、汽车等)具有“凸”的三维形状。

因此,他们将椭圆体用作物体形状的事前。 虽然这个事先很弱,但在一定程度上反映了物体的视场角和照明的变化,可以用于在GAN图像空之间搜索不同的视场角和照明。

gan 2形状方法概述

基于这一想法,研究人员设计了反复挖掘和利用GAN图像空之间的视场角和照明信息的战略,具体步骤如下。

首先,使用初始化的形状(椭圆体)和微渲染器渲染许多不同视角和照明条件下的“伪样本”( pseudo samples )。

第二,用事先训练好的GAN重构虚拟样本,得到GAN图像空之间的投影,即“投影样本”( projected samples )。 这些投影样本继承了与伪样本相似的视角和照明,GAN的生成特性将投影样本约束在实际图像空之间,消除伪样本中不真实的失真和光影。

第三,将投影样本作为可微渲染步长的ground truth,优化物体的三维形状。 由于投影样本中包含了GAN所学物体的三维信息,物体的形状会更加正确,就像上图中的人的脸一样。

以上步骤结束后,将优化的形状作为初始形状重复上述步骤,多次重复直到收敛,从而可以逐渐改善形状。

另外,在上述第2步骤中使用GAN重构虚拟样本时,为了保证重构结果的真实性,提出了使用StyleGAN2的一部分mapping网络约束隐向量的方法,更详细地请参照论文原文。

实验:二维GAN图像均可三维化

研究人员将GAN2Shape分别应用于在脸、猫的脸、车、建筑中训练过的StyleGAN2 [1]中,结果如下图所示,重新构建了合理的三维形状。

下图显示了GAN2Shape建筑的三维重建和重新照明的结果与Unsup3d [2]的比较。

此外,该研究的定量结果也超出了其他方法,不用传统方法的面部对称性假设,即可得到合理的三维重建结果。

由于通过该方法可以得到GAN隐空之间的物体的三维形状和视角·照明变化的方向,因此可以如下图所示对图像进行三维编辑。

物体的旋转和再照明等三维图像编辑结果。

比起其他不用监视就能在GAN中实现脸部旋转的方法,研究者的方法更好地保存了脸部的identity :

没有监视脸部旋转方法的比较。

下图显示了更多三维重建和编辑的结果。

【编辑推荐】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com