新一代视频编码器中的基础创新：推动生态系统向前发展

多功能视频编码（VVC，Versatile Video Coding）是国际电信联盟电信标准化部门（ITU-T）和国际标准化组织/国际电工委员会（ISO/IEC）联合制定的最新国际视频编码标准。与前代高效视频编码（HEVC）相比，VVC编解码器能够在保证相同视频质量的情况下，缩减视频数据大小约50%。

在网络视频流量不断增长的时代，视频压缩变得越来越重要。随着使用生成式人工智能（AI）制作视频内容的浪潮即将到来，同时视频内容制作和内容消费的节奏不断加快，减少多媒体内容的比特数仍是一个重要问题。

让我们来看看那些使VVC区别于当前所使用的视频编码器的基础创新，以及高通技术公司为打造一个充满活力的VVC生态系统所做出的努力。

面向常见用户体验，优化视频编码

不止于显著降低数据大小，在视频会议、屏幕共享和全景视频等特定视频场景中，VVC编解码器还引入了多种特别实用的智能工具。

视频会议

新冠疫情对人们的工作方式产生了深远的影响，致使人们对远程办公工具（尤其
是视频会议软件）的需求剧增，视频通话已成为个人和专业用途中很重要的通信方式。

在视频通话中，会持续监测两端的网络带宽，并相应调整入站和出站视频质量，使视频数据适应可用带宽。对于以前的视频编解码器，比如高效视频编码（HEVC）和高级视频编码（AVC），当视频分辨率发生变化以适应可用网络带宽时，服务器需要发送一种特殊类型的帧，称为“即时解码刷新”（IDR）帧。这会中断时间预测，意味着无法引用来自先前帧和后续帧的数据估算。

VVC提供了一种叫做“参考图像重采样”（RPR）的特殊功能，可以弥补当前这一代视频编解码器的不足。在解码时，RPR能够改变视频的分辨率，而无需IDR帧。这能够避免大量IDR帧带来的数据量激增，从而实现更流畅的视频通话体验，不会出现卡顿。

VVC中的参考图像重采样可实现更流畅的视频通话体验

屏幕共享

屏幕共享在团队协作中变得越来越受欢迎，尤其是在远程办公的时代。借助屏幕共享功能，团队成员可以轻松地展示他们的工作并实时进行项目协作。随着屏幕共享使用需求的不断增长，与摄像头生成内容一起被渲染、混合或叠加的图形数据的使用需求也在增长。

从一开始，VVC就是一种旨在支持对屏幕共享内容进行编码的编解码器。VVC编解码器包括五个主要的与屏幕内容编码相关的底层工具：变换跳过残差编码（TSRC）、基于块的差分脉冲编码调制（BDPCM）、帧内块拷贝（IBC）、自适应颜色变换（ACT）和调色板模式。

通过减少需要传输的数据量，这些工具帮助提升编码屏幕内容的色彩准确度和总体数据效率。以前的视频编解码器增加了一些屏幕编码改进特性，但这些不够高效，且并非被所有终端支持。相比之下，由VVC定义的屏幕共享内容的编码工具在主档次（Main Profile）中被默认支持，并且应该在大多数支持VVC的设备上可用。

相较于其他视频编解码器所展现出的高效率，可以说，VVC将会是那些拥有全部或部分屏幕共享内容应用的主流选择。

VVC改善屏幕共享的色彩准确度和总体数据效率

全景视频

全景视频已超越传统视频的被动范式，提供更高程度的沉浸感和交互感。此项革命性技术能够使用户与场景或环境交互，在虚拟空间中感受参与感和临场感。虚拟现实（VR）是一个已经在我们日常生活中实现的沉浸式技术范例，在娱乐之外，对电子医疗、电化教育和文化遗产展示等重要经济领域产生影响。

VVC为全景视频引入智能工具：码流提取与合并、子图像、虚拟边界和水平环绕运动补偿。全景视频通常需要以时间同步的方式同时处理多个基本码流。对于以前的视频编解码器，每个基本码流需要一个实例化的视频解码器。不过，码流的提取与合并定义了一种在压缩域拼接和剪裁视频的方式，解耦了视频应用所需的基本码流数和在终端上运行所需的视频解码器实例数。

子图像是VVC中引入的全新图像分区方案。它是一个矩形编码区域，独立于邻近区域进行编码，因此可独立提取图像。子图像可以对应于一个感兴趣的区域，比如消费者通过VR头显看到的区域。基于用户视向，它能够支持优先处理并向头显终端发送更高保真度的子图像。

VVC支持子图像，改善360度视频体验

在360度视频中，当我们将其转化为二维表示时，某些投影（例如立方体贴图cubemaps）的非对齐面边界可能出现间断点。但通过在边缘处禁用环路滤波，可以减少这些伪影。借助VVC，我们能够通过水平或垂直虚拟边界来进行环路滤波的控制，虚拟边界的配置也会在码流中进行标记和传输。

环绕运动补偿支持从图像的左边界以外开始执行运动补偿，在水平方向上进行环绕预测，并使用来自图像右侧的像素值，反之亦然。这一全新的灵活性有助于使用等距柱状投影格式对全景视频进行编码。

领先的基础视频技术

20多年来，高通技术公司在重要视频技术的发展中扮演了至关重要的角色，这些技术彻底改变了视觉内容在智能手机、平板电脑、PC、电视和其他终端上被拍摄、传输以及消费的方式。这些创新使视频质量更佳，内容更丰富，同时还降低了带宽和存储空间，为生态系统中的消费者和公司都创造了巨大效益。我们的发明家获得广泛认可，我们技术发明的影响力不仅限于移动生态系统，对更加广泛的领域也有所助益。业界广泛部署由高通技术公司助力推动的视频技术，其中包括领先的视频编解码器、流协议（streaming protocol）和多媒体文件格式。

在推动VVC技术发展方面也不例外。与HEVC一样，高通技术公司是本文中所介绍的VVC标准的主要贡献者。

通过智能手机VVC演示，推动生态系统向前发展

VVC在生态系统中的发展势头强劲，目前已经被加入DVB核心规范（Digital Video Broadcasting Project/国际数字视频广播组织），用于广播和宽带应用的视频编码。巴西数字电视广播技术标准ISDB-T International（又称SBTVD），也采用了VVC作为主要视频编解码器——预计其他广播标准也将相继采用该视频编码标准。

在高通技术公司，我们对VVC编解码器如何提升当下的视频体验感到兴奋。为此，我们已经开始与生态系统中的伙伴合作，期待将VVC技术带给消费者。

近日，我们携手腾讯公司，在集成Adreno GPU的第二代骁龙8移动平台上对其VVC软件解码器进行了优化。该预商用原型实现了超过30%的性能提升，能够稳定且实时流畅地播放4K 10-bit 60帧/秒（FPS）的超高清VVC内容。7月28-31日，2023年中国国际数码互动娱乐展览会（ChinaJoy 2023）于上海举办，我们首次演示了这款经优化后的解码器。我们相信，经优化的软件解码器（例如这款来自腾讯公司的解码器）将有助于加速在视频内容服务中采用VVC编解码器的进程。