返回栏目
首页人工智能 • 正文

实时风格转换、移动端运行、脸部特效都有新的玩法

发布时间:  来源:河洛网

今年,脸部视频的特效在世界上又大火了。 还有年初的《蚂蚁牙黑》(颜歌)和不久前移动旧照片的特殊效果,很有效。

实时风格转换、移动端运行、脸部特效都有新的玩法

风格转变是图像领域的热门方向。 那么,通过视频实时转换脸部画风的效果如何呢?

是的。

当然,视频画风的转移并不是什么新鲜的技术。 但是,这项研究的最大特点是,移动目的地、实时、由布拉格捷克理工大学和Snap公司的研究者共同完成。 目前已发表了完整的论文,相关代码将于下月公布。

项目地址: https:/ ondrejtexler.github.io/face blit /

论文地址: https:/ ondrejtexler.github.io/RES/face blit-paper.pdf

具体而言,提出了基于实例的实时视频面部样式过渡框架FaceBlit,其中在目标图像的适当位置上,以有意义的方式出现样式的纹理细节,即用于描绘特定样式的特征的笔划。

与传统的样式迁移方法相比,该框架不仅可以保持目标对象的身份,而且可以实时运行,无需大数据集或冗余的训练周期。

因此,研究人员修改了Fi&scaron的er们( 2017年)的脸部样式化pipeline不仅可以支持目标对象的身份,还可以支持Sý的一系列指导通道( guiding channel )。 基于kora等人( 2019年)的patch合成算法的速度发生了更快的变化。

通过这些方法的改进,研究者建立了第一个系统框架,在移动端也可以将各个肖像画的艺术风格实时转移到目标视频的脸上。

有关完全生成效果的详细信息,请参阅以下视频:

实时视频面部样式转换方法介绍该研究方法的输入是面部样式样本图像𝑆。 以及目标脸部视频序列t。 假定脸部表情的变化和动作是基于被实验者注视摄像机,不被其他物体遮挡的基础上的。 这项研究的输出是风格化的序列𝑂。 支持𝑆。 的重要艺术特征,保留着目标主体的身份。 虽然Fi&scaron已经可以使用,但是er们[2017]的方法生成了这样的输出,但是这里的主要缺点之一是他们的方法只适用于离线处理。

为了实现实时性能,研究人员需要改变指导方针的计算方法,并用s & ya cute。kora等人[2019]提出的更高速的变体是er等人[2016]的宽松patch代替了Fi&scaron

在Fi&scaron上; 在er等人提出的方法中,4个感应通道被用于驱动合成。 分割指南𝐺; _seg是通过将脸部细分为一系列区域(头发、眉毛、鼻子、嘴唇、口腔、眼睛、皮肤)来描绘重要脸部特征的位置指南( positional guide ) 𝐺; _pos将源面部和目标面部之间的空之间的对应关系进行编码。 这两个渠道确保有意义的转移。

为了维持目标对象的身份特性,可以使用Fiš er等人采用了外观指南( appearance guide ) 𝐺。 _app方式采用Shih等人的拍摄风格转变方式来平衡源图像和目标图像的外观,从而减少源图像和目标图像之间的场隙。 最后,时间的指针𝐺; _temp执行时间一致性,但𝐺; _temp用样式化帧的运动-补偿版本表示。

上述指导信道的计算需要数十秒,所以不容易在实时场景中使用。 相反,该研究将四个信道简化为两个基本信道𝐺 _ pos和& # 119866; _app (如图2所示),改变基础生成算法,将准备时间缩短到几十毫秒。 最后,该研究给出了将这两个新的指导方针通道整合到Sý中的方法。 在kora等人[2019]的高速合成算法中。

优势研究者表示,与其他风格的迁移方法相比,生成效果更好的关键在于位置指南、外观指南、直方图匹配三个方面。 下图是有无位置参考线和外观参考线生成效果图的比较。 如果没有位置或外观参考线,您会发现生成的动态效果图有一定的缺陷。

另外,在生成目标外观辅助线G^T_app时,直方图匹配也非常重要。 从技术上看,如果与外观指南的直方图不一致,误差e会马上超过阈值t,chunk会明显变小,结果看起来很模糊。 如图8a所示,在没有直方图匹配的情况下,不能很好地保持目标对象的身份,生成效果变得模糊。 另一方面,如图8b所示,进行了直方图平均化后,生成效果得到了显着改善,更加明确。

直方图匹配有无的动态生成效果进行如下对比。

最后,研究者使用一种混合方法,使目标肖像画生动,表现“复刻”视频中人脸上的各种表情。

出现了不可思议的一幕,古雕像画《活着》:

【编辑推荐】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com