马群修车群
近日，大家顶级信号处理技能会议 ICASSP 2022 公布了论文入选名单。由王君乐博士携带的腾讯Turing Lab实验室论文——《针敌手机游戏的主不雅与客不雅视频质地评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共鸣学习的好意思学质地瞻望》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会给与。
ICASSP?(International Conference on Acoustics, Speech, and Signal Processing)是海外声学、语音和信号处接待议。是由IEEE摆布的全寰宇最大的、亦然最全面的信号处理偏执运用方面的顶级学术会议，具有巨擘、庸碌的学界及工业界影响力。往届ICASSP会议皆备受AI规模照管学者的热议和可贵。
这次，腾讯Turing Lab实验室在海外舞台全宗旨展示了腾讯在视频质地评价、图像质地评价方面的实力。
以下为腾讯Turing Lab实验室入选论文概括：
01.针敌手机游戏的主不雅与客不雅视频质地评价
Subjective and Objective Quality Assessment of Mobile Gaming Video 连年来，手机游戏在所有这个词游戏市集中占据的份额已超50%，手游关系执行也成为叮属媒体平台上短视频的遑急构成部分。同期，基于视频流的云游戏也幽静诱骗了越来越多的用户。跟着这些游戏关系的视频流媒体技能和功绩的蕃昌发展，用户对游戏的质地体验(QoE, Quality of Experience)提倡了更高的条款。惟有对这个视频链路及执行推崇进行愈加严格的质地把控，才不错为用户带来更佳的游戏体验。
画质行动质地体验QoE的遑急维度之一，如何正确地瞻望东说念主眼感知的画质在很长一段时安分一直是学术界及工业界照管的要点及热门。然则，现在宽阔的已有照管主要聚焦在传统的视频执行上，包括PGC执行、UGC执行、以及面向线上会议和分享屏幕等场景的特定执行等。当这些画质评价措施径直运用在游戏视频时，性能推崇一般。
因此，在本篇论文中，咱们针敌手机游戏在云游戏场景下的画责备题，进行了主不雅实验及客不雅算法模子研发的关系使命。咱们先从腾讯前锋云游戏平台上遴荐17款手机游戏中，并针对不同场景网罗了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。咱们基于ITU关系轨范进行严格的主不雅实验，从而取得了全新的针敌手机游戏的视频质地评价数据集TGV dataset（Tencent Gaming Video dataset）。
在这篇论文中，咱们提倡质地评价模子ERAQUE(Efficient hard-RAnk QUality Estimator)。集聚新提倡的贫苦样本排序蚀本（Hard Pairwise Ranking Loss， Fig1），该模子在素质进程中不错愈加针对相通的样本对，从而学习到更细粒度的失真信息，进一步进步模子的性能。在提倡的TGV数据集上，咱们进行了模子素质和对比熏陶，实验截至标明ERAQUE模子比拟业界其他质地评价模子推崇出了更好的性能。
临了，为了让模子以在端侧更高效地推理，咱们使用学问蒸馏的决策（Fig.2）对ERAQUE模子进行压缩和加快，最终收尾ERAQUE模子的轻量化部署，实验截至标明ERAQUE模子配合提倡的蒸馏计谋不错使模子在复杂度和性能之间收尾高度衡量。
02. 引入用户共鸣学习的好意思学质地瞻望
Considering User Agreement in Learning to Predict the Aesthetic Quality 连年来，针对图像的视觉好意思感评价技能在很多运用场景中证据着遑急作用，包括图像的自动化剪辑、图像生成、以及在执行推选规模等。因此，图像好意思学评价成为了学术界及工业界热门的照管课题。
与传统的图像质地评价问题不同，由于东说念主在进行好意思学评价时会引入更多high-level的评价维度，如情感、画面布局、色调搭配与衔尾性等，这也使得好意思学评价比拟针对失真进行的传统图像质地评价，具有更高的主不雅性与不细目性(见Figure 1)。
Figure 1：在这两幅图中，柬埔寨修车群评测东说念主员关于A图的好意思感评分具有更高的不细目性（轨范差σ=1.36），而关于B图，评测东说念主员关于好意思感的评分则趋于一致（轨范差σ=0.59）
在这篇论文中，咱们提倡了更正了的多任务attention荟萃（见Figure 2及Figure 3），不错对输入图像的好意思学MOS分数，以及代表了该分数不一致性的轨范差进行端到端的瞻望。在蚀本函数方面，咱们同期也提倡了全新的针对的置信区间排序蚀本（confidence interval ranking loss）,用于促使模子在素质进程中更多地可贵具有更高好意思学不细目性的图像对，从而学习到更具有分离性地特征，以及与不雅测者不细目性更关系的特征。
Figure 2: 著述所提倡模子的总体架构
6
Figure 3: 著述所提倡的LMLSP模块
在这个使命中，咱们通过宽阔的实考据明了咱们所提倡多任务学习好意思学模子不但在游戏图像的好意思学瞻望中具有庞大上风，同期关于传统的当然执行图像好意思学瞻望任务，也达到了很好的效果。
产学研集聚，落地业务，反哺技能
在业务层面，以上AI技能均已运用到腾讯前锋云游戏平台，腾讯前锋云游戏通过Turing Lab画质评价、多媒体视频质地评价、执行生成及虚实互动等才调，悉力于于全宗旨的进步云游戏画质推崇，打造云游戏极致的用户体验。
除了在C端业务的落地除外，在面向产业互联网层面，Turing Lab的视频质地评价技能曾经经通过“腾讯WeTest质地云平台“对外洞开，行业用户不错通过体验Demo快速体验了解到该技能。
除此除外，在AI运用上的探索，腾讯WeTest官网近期全新上线了AI功绩专区，并同步推出视频画质评价/游戏执行安全处理决策等居品才调。曩昔，腾讯WeTest将执续在科研规模深耕，并悉力于于将AI技能前沿照管与测试场景进行会通，用技能启动测试乃至质地保险行业的发展，并以洞开气魄，对外输出优秀的技能才调，助力行业的发展。
王君乐博士简介
腾讯大家照管员，Turning Lab崇拜东说念主
领有10余年盘算机视觉、多媒体、机器学习规模照管教授，在东说念主体姿态推测与重建、图像质地评价、盘算影相学、千里浸式多媒体等规模有较深的了解及实战教授马群修车群，并在这些规模携带团队进行探索与落地的使命。曾主导腾讯CenseoQoE画质评价决策的确立与社区开源，主导腾讯前锋云游戏云霄虚实互动技能的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东说念主及组织者。