腾讯Turing Lab论文入选ICASSP，图像AI接洽效果获海外认同

近日，民众顶级信号处理时间会议 ICASSP 2022 公布了论文入选名单。由王君乐博士指挥的腾讯Turing Lab实践室论文——《针敌手机游戏的主不雅与客不雅视频质地评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共鸣学习的好意思学质地揣测》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会接纳。

ICASSP?(International Conference on Acoustics, Speech, and Signal Processing)是海外声学、语音和信号处答理议。是由IEEE专揽的全宇宙最大的、亦然最全面的信号处理偏执诓骗方面的顶级学术会议，具有泰斗、正常的学界及工业界影响力。往届ICASSP会议皆备受AI畛域接洽学者的热议和柔软。

这次，腾讯Turing Lab实践室在海外舞台全观念展示了腾讯在视频质地评价、图像质地评价方面的实力。

以下为腾讯Turing Lab实践室入选论文详尽：

01.针敌手机游戏的主不雅与客不雅视频质地评价

Subjective and Objective Quality Assessment of Mobile Gaming Video 连年来，手机游戏在扫数游戏商场中占据的份额已超50%，手游关系骨子也成为酬酢媒体平台上短视频的蹙迫构成部分。同期，基于视频流的云游戏也迟缓诱惑了越来越多的用户。跟着这些游戏关系的视频流媒体时间和办事的蕃昌发展，用户对游戏的质地体验(QoE, Quality of Experience)建议了更高的条目。只消对这个视频链路及骨子确认进行愈加严格的质地把控，才不错为用户带来更佳的游戏体验。

画质当作质地体验QoE的蹙迫维度之一，若何正确地揣测东说念主眼感知的画质在很长一段时候内一直是学术界及工业界接洽的要点及热门。然则，当今普遍的已有接洽主要聚焦在传统的视频骨子上，包括PGC骨子、UGC骨子、以及面向线上会议和分享屏幕等场景的特定骨子等。当这些画质评价秩序获胜诓骗在游戏视频时，性能确认一般。

因此，在本篇论文中，咱们针敌手机游戏在云游戏场景下的画非难题，进行了主不雅实践及客不雅算法模子研发的关系职责。咱们先从腾讯前锋云游戏平台上选择17款手机游戏中，并针对不同场景相聚了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。咱们基于ITU关系圭表进行严格的主不雅实践，从而获得了全新的针敌手机游戏的视频质地评价数据集TGV dataset（Tencent Gaming Video dataset）。

在这篇论文中，咱们建议质地评价模子ERAQUE(Efficient hard-RAnk QUality Estimator)。聚合新建议的发愤样本排序赔本（Hard Pairwise Ranking Loss， Fig1），该模子在教训经由中不错愈加针对相同的样本对，从而学习到更细粒度的失真信息，进一步擢升模子的性能。在建议的TGV数据集上，咱们进行了模子教训和对比考试，实践末端标明ERAQUE模子比拟业界其他质地评价模子确认出了更好的性能。

临了，为了让模子以在端侧更高效地推理，咱们使用学问蒸馏的决策（Fig.2）对ERAQUE模子进行压缩和加快，最终竣事ERAQUE模子的轻量化部署，实践末端标明ERAQUE模子配合建议的蒸馏计策不错使模子在复杂度和性能之间竣事高度衡量。

02. 引入用户共鸣学习的好意思学质地揣测

Considering User Agreement in Learning to Predict the Aesthetic Quality 连年来，针对图像的视觉好意思感评价时间在好多诓骗场景中确认着蹙迫作用，包括图像的自动化剪辑、图像生成、以及在骨子推选畛域等。因此，图像好意思学评价成为了学术界及工业界热门的接洽课题。

与传统的图像质地评价问题不同，由于东说念主在进行好意思学评价时会引入更多high-level的评价维度，如表情、画面布局、颜色搭配与互助性等，这也使得好意思学评价比拟针对失真进行的传统图像质地评价，具有更高的主不雅性与概略情趣(见Figure 1)。

Figure 1：在这两幅图中，评测东说念主员关于A图的好意思感评分具有更高的概略情趣（圭表差σ=1.36），而关于B图，评测东说念主员关于好意思感的评分则趋于一致（圭表差σ=0.59）

在这篇论文中，咱们建议了立异了的多任务attention相聚（见Figure 2及Figure 3），不错对输入图像的好意思学MOS分数，以及代表了该分数不一致性的圭表差进行端到端的揣测。在赔本函数方面，咱们同期也建议了全新的针对的置信区间排序赔本（confidence interval ranking loss）,用于促使模子在教训经由中更多地柔软具有更高好意思学概略情趣的图像对，从而学习到更具有永诀性地特征，以及与不雅测者概略情趣更关系的特征。

Figure 2: 著述所建议模子的总体架构

6

Figure 3: 著述所建议的LMLSP模块

在这个职责中，咱们通过普遍的实考据明了咱们所建议多任务学习好意思学模子不但在游戏图像的好意思学揣测中具有精深上风，同期关于传统的当然骨子图像好意思学揣测任务，也达到了很好的效果。

产学研聚合，落地业务，反哺时间

在业务层面，以上AI时间均已诓骗到腾讯前锋云游戏平台，腾讯前锋云游戏通过Turing Lab画质评价、多媒体视频质地评价、骨子生成及虚实互动等才智，勤勉于于全观念的擢升云游戏画质确认，打造云游戏极致的用户体验。

除了在C端业务的落地以外，在面向产业互联网层面，Turing Lab的视频质地评价时间也仍是通过“腾讯WeTest质地云平台“对外洞开，行业用户不错通过体验Demo快速体验了解到该时间。

除此以外，在AI诓骗上的探索，腾讯WeTest官网近期全新上线了AI办事专区，并同步推出视频画质评价/游戏骨子安全管制决策等居品才智。改日，腾讯WeTest将合手续在科研畛域深耕，并勤勉于于将AI时间前沿接洽与测试场景进行交融，用时间开动测试乃至质地保险行业的发展，并以洞开魄力，对外输出优秀的时间才智，助力行业的发展。

王君乐博士简介

腾讯各人接洽员，Turning Lab认真东说念主

领有10余年筹办机视觉、多媒体、机器学习畛域接洽训导，在东说念主体姿态计算与重建、图像质地评价、筹办影相学、千里浸式多媒体等畛域有较深的了解及实战训导，并在这些畛域指挥团队进行探索与落地的职责。曾主导腾讯CenseoQoE画质评价决策的诞生与社区开源，主导腾讯前锋云游戏云霄虚实互动时间的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东说念主及组织者。