返回栏目
首页人工智能 • 正文

基于人脸超分辨率、迭代协作的方法

发布时间:  来源:河洛网

共享2020CVPR招聘论文: deepfacesuper-resolutionwithiterativecollaborationbetweenattentiverecoveryandlandmarkestimation是基于迭代的面孔的

基于人脸超分辨率、迭代协作的方法

该方法将16x16低分辨率图像的超分辨率设为128x128,CelebA和Helen数据集上的PSNR指标分别达到27.37和26.69,超过了目前的面部超分辨率算法。

当前代码是开源的:

https:/ github.com/MAC lory /深度交互协作

(目前有72颗星)

论文作者信息:

作者来自清华大学自动化学院、智能技术与系统国家重点实验室、北京信息科学与技术国家研究中心和清华大学深圳国际研究生院。

01

移动

在传统的面部超分辨率算法中,面部先验信息( facial prior )通常如面部关键点一样被引入,以支持网络生成更真实的超分辨率图像。 但是,这些方法有两个问题

从低分辨率图像LR或粗超分辨率图像SR得到的面部先验信息,正确利用面部先验的方法不一定是简单的concatenate操作,为了解决上述两个问题,作者提出了基于反复合作的面部超分辨率分析

02

方法

从网络结构图可以看出,为了解决先验网络无法从粗略Sr中得到准确的先验信息,作者设计了反馈迭代网络,使得所产生的超分辨率图像越来越接近真实图像,更真实的图像通过先验网络

下图说明了这种迭代机制的优点。 随着迭代次数的增加,关键点预测也越来越准确,生成的图像质量也越来越高。 作者也通过实验证明,迭代次数超过3次时,网络性能的提高有限。

另一方面,为了活用脸部的事前信息,作者提出了Attentive Fusion模块如下图所示。

作者将面部关键点预测网络(网络结构图的面部定位模块)的输出特征图分为左眼、右眼、口、鼻、面部轮廓5组。 用softmax将各组的特征图相加,得到各注意矩阵( Attention matrix )。

这五个注意矩阵分别去reweight网络五个分支的feature maps,再相加得到融合特征。 那么,作者如何确定密钥预测网络输出特征图中的几个信道是左眼,哪个信道是右眼呢? 从作者的开源代码可以看出,这些通道是人为指定的,规定了第32到第41个通道是左眼的密钥。

ifheatmap.size(1) = =5:返回heat map.detach ( ) ifdetachelseheatmapelifheatmap.size (1) = = 68:new _ heat map = torch.zeros _ like (热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图) facesilhouettereturnnew _ heat map.detach ( ) ifdetachelsenew _ heat map else :阵列物件范本% heat map.size (1)。 一旦理解了网络整体运行的原理,就很好地理解了网络的损失函数。

03

结果

下图是DIC/DICGAN与其他方法结果的比较图。

可以看到,DIC/DICGAN生成的图像更详细,恢复得更真实。 因为DICGAN是基于GAN的方法,所以与基于PSNR的FSRNet相比指标略低,但是生成的图像更真实。 这也是目前超分辨率任务中存在的问题之一:基于GAN的方法生成的图像视觉质量更好,但PSNR指标低。

04

资源

论文链接: https:/ arxiv.org/pdf/2003.13063.pdf项目链接: https:/ github.com/MAC lory /深度交互-合作

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com