Usdt第三方支付平台

www.caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

作者 | 杨国兴

编辑 | 陈大鑫

给一行二次元妻子的面庞;

下一行就能让她们所有微笑起来:

或者对于铲屎官们来说,把老虎猫酿成?,把狗酿成狼?,还可以把老虎酿成猫:

阿这,等一等,让我来捋一下:老虎―>>猫――>>狗――>>狼,这岂不是说,老虎==狼了?

对于这一点,或许宽大网友们早就见责不怪了,事实苏大强也可以变身吴彦祖:

没错,正如人人所猜到的一样,今天AI科技谈论为人人先容的就是一款可以学习通过操作隐空间语义举行脸属下性编辑的GAN模子―― L2M-GAN。

这是人民大学高瓴人工智能学校卢志武先生实验室团队提出的模子,论文已经被CVPR 2021吸收为Oral,论文问题:《L2M-GAN: Learning to Manipulate Latent Space Semantics for Facial Attribute Editing》

1

论文先容

脸属下性编辑义务的目的是操作真实脸部图片的语义属性,其在现实中有着普遍的应用,例如娱乐、辅助心理治疗以及数据增强等等。随着深度天生模子的生长,最近的事情大多以GAN(Generative Adversarial Network)为基础。现有的脸属下性编辑模子面临的一个主要挑战是要同时知足两个要求:

(1)准确地修改想要的属性;(2)保留其它无关的信息。然则由于差异属性之间存在着种种关系,且属性与身份信息之间也存在着关系,以是在修改一个属性时很可能不经意地导致其他特征的改变,这导致了同时知足这两个属性是很难题的。

为了知足这两个条件,一些最新的设施接纳了空间注重力的方式。这类方式假设每个属性有着一个对应的局部区域,图片的属性操作可以被限制在这一区域中。它们通过网络中的注重力模块去学习建模这一区域,一但这一区域被确定,它们便可以使用掩码和残差和的方式实现仅在部门区域内举行编辑。

然则这一假设并非对所有的属性都知足,好比说性别、笑容等属性,这些属性对应的区域基本笼罩了整个脸部且与其他属性区域重叠。因此这类模子在操作这些属性时效果并欠好。另一部门方式则把注重力放在对GAN学到的隐空间中举行隐变量的剖析,从而通过剖析获得属性相关的向量。给定一个预训练好的GAN模子,它们通过学习子映射的方式将原向量映射到表达对应属性的向量。

然则这类方式仍然存在两个问题:

(1)它们依赖于预训练好的GAN模子提供的隐空间,并纰谬模子重新训练。这种没有重新举行端到端训练的模子的隐空间可能是一个次优化的隐空间。

(2)这类方式往往只在数据集提供的几个标签之间举行解耦,然则另有许多并没有被包罗在这些预界说的标签中的信息需要被解耦,例如光照信息和身份信息等。

为了战胜这些限制,本文提出了一个新的隐空间剖析模子L2M-GAN。

该模子举行端到端的训练,并学习将隐向量明确地剖析为属性相关向量和属性无关向量,以实现相关属性信息和其他信息的解耦。与之前的这类方式类似,我们也凭证属性标签对隐空间中的变量举行解耦,然则差其余是,我们明确地将其剖析为属性相关的向量和属性无关的向量,而非仅仅对两个预界说的属性举行解耦。

2

方式

在先容我们的方式之前,我们先界说“域”这一看法。“域”指的是某些属性的值组成的组合。好比想要编辑属性时,一共存在4个“域”,,,,。给定一张输入图片和它所对应的域,以及目的域,我们的目的是合成一张属于目的域的图片,同时保留输入图片的与域无关的信息。

皇冠最新登陆网址

皇冠最新登陆网址(www.huangguan.us)实时更新发布最新最快的皇冠最新登陆代理线路网址、皇冠最新登陆会员线路网址、皇冠最新备用登录网址、皇冠最新手机版登录网址。

如下图所示,我们提出的模子由三个部门组成:气概编码器、气概转换器和天生器。

在多义务学习的设置下,我们的气概编码器由多个域的输出分支组成。为了注释利便,上图中仅示意了一个域的输出。

气概编码器是L2M-GAN的要害组成部门,它由剖析器和域转换器两个组件组成。其中,剖析器从原始的隐向量中剖析出与域无关的(属性无关的)向量,再通过相减能获得域相关的(属性相关的)向量。由于我们的目的是修改目的属性到目的域中,而其他无关的信息不会被修改。这种情形会泛起,当且仅当和是相互垂直的,且修改后的向量也与是相互垂直的。

为此,我们引入了垂直损失来对这两个向量举行限制。值得注重的是,之前的方式使用垂直损失来对两个属性举行解耦,而L2M-GAN则用该损失来把属性相关的信息和其他所有无关的信息星散开。这对属性编辑中保留其他信息这一要求是至关主要的,由于其他的属性标签并不能涵盖所有的无关信息。在获得域相关向量以后,L2M-GAN通过域转换器把它转换到目的域中,获得示意目的域信息的域相关向量。其与域无关向量相加后便可获得编辑事后的隐向量。

天生器以一张输入图片和一个编辑后的隐编码作为输入,天生一张目的域的图片,其包罗目的域信息和输入图片的与域无关的其他信息。与StarGAN V2类似,我们的天生器也接纳 Adaptive Instance Normalization(AdaIN)结构来将隐编码中包罗的气概信息融合到输入图片中。

3

实验

我们在普遍使用的CelebA-HQ数据集上举行实验。我们凭证CelebA的划分以及CelebA和CelebA-HQ图片间的对应关系,把CelebA-HQ划分为27176张训练图片和2824张测试图片。

我们将我们的方式与其他几种最新的方式举行了对比。正文中的实验几种在“笑容”这一特定属性上,其他更多属性的效果我们放在了附件中。值得注重的是,“笑容”这一属性是数据集所给的40个标签中最具挑战性的一个属性,由于其同时涉及脸部中的多个部门,添加和消除笑容都需要模子对输入图片有高级的语义明白,这样才气同时修改多个脸部图片的组成部门而不改变其他信息。

从可视化效果中可以看到,StarGAN和CycleGAN倾向于在嘴周围天生模糊和失真的效果,因此在大多数天生图片中,它们没法很好地准确编辑对应属性。ELEGANT 则总是把参考图片中与属性无关的信息也迁徙到天生图片中,这是由于它举行属性交流的隐空间并没有很好地解耦。

PA-GAN是基于空间注重力的方式,因此它较好地保留了一些无关的信息,例如靠山等,然则可以看到,面临难以界说确定修改区域的“笑容”属性,其通常会泛起修改不充实的情形,因而无法准确地编辑属性。InterfaceGAN*能够天生高质量的图片,然则在一些细节上仍然做的不够好,好比眼睛和嘴的天生。同时其有时会修改输入图片的身份信息,这是由于其仅仅思量了属性间的解耦,而没有思量身份等其他信息。

在量化效果上,我们主要接纳了FID和属性操作准确率来划分评价合成图片的质量以及属性编辑的效果准确率。可以看到除了在消除笑容这一效果上的FID比PA-GAN低,其他的效果都是跨越了所有最新的效果的,而PA-GAN是以修改不充实为价值来到达较高的图片质量的。

除了上述效果,我们的模子还展现出了其他的能力,包罗:控制编辑属性的强度、同时修改多个属性以及对未见过的图片的迁徙等。

由于经由训练之后的隐空间是一个学习到了语义信息的延续空间,当我们线性地把变换到时,合成的图片所示意的关于目的域的语义信息也会逐渐增添,关于原域的语义信息会逐渐削减,同时由于我们对、与的垂直限制,这个历程不会改变其他无关的信息。这一历程可以表达为:

我们可以通过控制超参数来控制合成图片的相关属性的强度。

此外,我们的L2M-GAN模子以StarGAN V2作为骨架网络,以是可以很自然地举行多属性编辑的义务。

本文还使用了数据集外的图片测试了我们模子的泛化能力。可以看到,我们的模子在CelebA-HQ这一真实人脸数据集上训练事后,直接在漫衍差异对照大的动漫数据集上测试也可以很好地实现属性编辑的功效且合成质量很高的图片。

同时,为了进一步验证我们模子结构的有用性,我们还在非人脸的动物数据集AFHQ上举行训练。从可视化效果中可以看到,我们的模子在非人脸数据集上也能到达很好的属性编辑效果以及天生图片质量。这进一步验证了我们的方式的有用性及泛化性。

4

总结

我们提出了一种新的基于隐空间剖析的脸属下性编辑模子。

我们提出的模子L2M-GAN是首个基于隐空间剖析的端到端脸属下性编辑模子,其可以有用地编辑局部和全局属性。这得益于提出的新的气概转换器将隐向量剖析为属性相关的部门和属性无关的部门,并对转换前后的向量施加了垂直约束。大量的实验证实晰我们提出的L2M-GAN比其他现有的方式有显著的改善。

另外本论文已经开源,迎接人人多多试用、来个star~

开源链接:https://github.com/rucmlcv/L2M-GAN

环球UG官网声明:该文看法仅代表作者自己,与本平台无关。转载请注明:皇冠最新登陆网址(www.huangguan.us):一键让二次元妻子微笑,还能把猫脸酿成狗脸,这篇CVPR 论文真有趣
发布评论

分享到:

欧博开户(www.aLLbetgame.us):柔性屏会不会是一下个万亿市场?
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。