小电影导航

小电影导航

近期，国外策动机视觉与形式识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士率领的腾讯Turing Lab本质室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）收效入选。

论文由腾讯Turing Lab与华南理工大学、卡迪夫大学及中国香港大学配合完成。接下来，咱们将为人人解读论文的中枢后果，统统来学习策动机视觉限度的最前沿征询吧！

基于隐语义解耦的高分辨率换脸

High-resolution Face Swapping via Latent Semantics Disentanglement

在换脸任务中，咱们需要针对给定的源脸和指标脸，将源脸的身份信息迁徙至指标脸上，并同期保握指标脸的属性信息。该本领比年来取得浩繁关爱的，并在互动文娱、广电、安全与阴私保护等限度均展现出较大的应用后劲。

这篇论文提倡了一种新的、基于预老师GAN模子中内在先验常识的换脸武艺，完结了高分辨率（1024X1024）换脸。该武艺除了能保握指标脸的常见属性信息，如神采、姿态、光照、布景等除外，还不错更好地保握指标脸的妆容信息。

在这个责任中，咱们驾御生成抗拒模子隐空间的解耦特质，将不同性质的属性别离迁徙。具体来说，神采、姿态等是与结构联系的属性，而光照、格调等是与外不雅联系的属性。这两类属性由隐编码的不同层别离限度：一张图片隐编码的前半部分限度结构信息，尔后半部分限度外不雅信息。

咱们先别离将源脸和指标脸回转到StyleGAN的隐空间内。同期将源脸和指标脸要道点的热图送入要道点编码器，得到一个结构属性升沉向量，这个向量作用在源脸的隐编码上，即可完结结构属性的迁徙。

同期，咱们用指标脸隐编码的后半部分代替源脸隐编码的后半部分，柬埔寨修车群这么即可完结外不雅属性的迁徙。将惩处之后的隐编码送入预老师好的StyleGAN中，即可得到初步的换脸斥逐。

此外，为了完结指标脸布景的迁徙，咱们将指标脸径直送入指标编码器，得到不同分辨率的特征，并和StyleGAN中间经过中产生的特征在解码器中进行交融。这么咱们就取得了最终的斥逐y。本质斥逐标明，咱们的武艺在图片和视频换脸任务中，很多方面的效果均朝上了多SOTA武艺。

注：图片只用作学术征询，毋庸于买卖用途。

对于CVPR

CVPR 全称 IEEE 国外策动机视觉与形式识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是策动机视觉和形式识别限度的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终经受的论文的确齐代表了年度策动机视觉限度最新、最高科研水平以及明天发展趋势。

这次论文入选，亦然对腾讯Turing Lab本质室现阶段科研及翻新武艺的认同。明天，腾讯Turing Lab将不竭勉力，为人人在策动机视觉限度带来更多可能。

腾讯Turing Lab本质室精雅东说念主

王君乐博士

腾讯众人征询员

领有十余年策动机视觉、多媒体、机器学习限度征询教授，在东说念主体姿态揣测与重建、图像质地评价、策动照相学、千里浸式多媒体等限度有较深的了解及实战教授，并在这些限度率领团队进行探索与落地的责任。

曾主导腾讯CenseoQoE画质评价有策画的成就与社区开源小电影导航，主导腾讯时尚云游戏云表虚实互动本领的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东说念主及组织者。

• 小电影导航