1 概述

　　h.264／avc 国际视频编码标准的逐渐成熟和推广，越来越多的视频应用已经或即将采用h.264／avc标准。由于存在不同的网络和不同的终端，因此对于视频编码的可伸缩性方面的要求也越来越迫切。所谓的可伸缩视频编码(scalable video coding：svc)技术要求视频编解码器在比特流级别具有以下可伸缩特性：通过简单的丢包或截断码流等操作提取出的子码流具有较低的空间-时间分辨率和／或较低的码率(对应于较低的视频质量)，同时任何可能子码流的编码效率应该与相应非可伸缩视频编解码器相当。

　　当前国际上对于视频编码技术的研究热点逐渐集中于在h.264／avc 基础上实现可伸缩视频编码(scalable video coding， svc)。2005年1月，iso的mpeg和itu-t的vceg，同意联合起来将svc作为h.264／avc的扩展集并由联合视频组(jvt)提出了草案，收录为h.264／avc的annex g。此后，每次jvt的会议都围绕着svc技术对草案进行修订和完善。在2006年10月的jvt会议上，提出了h.264／avc可伸缩扩展集的第8版草案。

2 基于h.264／avc的svc

　　h.264／avc可伸缩扩展集的一大特点是，扩展集中所采用的h.264／avc中的大部分技术都与avc标准中的定义一致(例如，运动补偿预测，intra预测，变换编码，熵编码，去块滤波器等)，只加入或修改了很少一部分内容。h.264／avc的可伸缩扩展的技术要点为：(1)时域分级预测结构；(2)用于空域可伸缩性的层间预测机制；(3)基本层与h.264／avc兼容；(4)用渐进细化片(progressive refinement slices)实现精细颗粒的质量可伸缩性；(5)nal单元概念的使用和扩展。

　　h.264／avc的svc扩展集以不同的空间尺寸的图像为基础形成分层结构，并且在此丛础上，用等级b图像来实现时域的可伸缩性，用渐进细化(progressive refinement)的纹理编码来实现质量可伸缩性。一个降低的时／空分辨率序列所对应的比特流可以简单的通过丢弃nal单元(或网络包)来得到，该完整的流对于获得所需的时-空分辨率是没有必要的。对应渐进精细片的nal单元也可以被任意截断以进一步降低比特率和相应的重建质量。

实际应用的svc编码器结构取决于要实现的可伸缩性的维度。　

3 基本的空域可伸缩性

　　基于图像空间尺寸的空域可伸缩性是通过使用金字塔形的空域分辨率概念来实现的。将原始尺寸的输入视频序列进行下采样，得到所需的较低的空域分辨率，每个空域分辨率都用一个新的层进行编码，并且在各空域分辨率层的基础上进一步实现时域和质量的可伸缩性。由于低层是由高层通过下采样得到的，因此在相同的时域分辨率情况下，每一个高层帧都有与之相对应的低层帧，两者之间存在着显而易见的相关性，我们称之为层间冗余。显然，为了获得更高的压缩效率，有必要通过各种层间预测技术来消除层间冗余，这也是空域可伸缩性技术的关键所在。 svc允许编码器自由选择哪些空域分辨率层间的相关性需要被消除。在具体实现时采用以下三种方式：

(1)intra宏块的预测使用上采样的基本层incra块；(2)运动信息的预测使用上采样后的基本层运动数据；(3)残差信息的预测使用上采样后的基本层残差块。同样的技术可以用于基本层与当前层具有相同的空间分辨率的情况。此时，就不用进行上采样了。

4 扩展的空域可伸缩性

　　在基本的空域可伸缩编码中，对于高低层之间的空间关系有较严格的限定，即，低层必须对高层的完整图像进行以2为倍数的尺寸缩小。但是在实际应用中，由于网络状况、终端能力和用户需求多样，因此以上的限制使得应用中的需求无法得到充分满足。例如，当网络带宽减小时，用户可能更希望对感兴趣区域保留原始的空间分辨率的同时玄除其他区域(切割)，而非对整个图像进行整体缩小；又如，为了适合终端显示尺寸，可能要对原图像进行非2倍的尺寸缩小。为了满足类似上述需求，jvt提出了扩展空域可伸缩件(ess：extended spatial scalability)的概念。

　　ess使得相邻的空域层之间具有了一般化的关系。这包含了两方面的意义：低空域层的图像可以来自于高分辨率图像中任意位置剪切出的矩形区域，并且相邻层分辨率的比例关系不再限制于2倍。

　　相应的，为实现以上功能，ess 中新定义了以下两种技术： (1)剪切； (2)一般化的上采样(任意的水平和竖直层间尺寸比例)。

　　考虑两个连续的空域层，基本层(base layer)和增强层(enhancement laver)，增强层图像的宽度和高度分别表示为wenh和henh。基本层图像的宽度和高度分别表示为wbase和hbase。基本层图像是从增强层图像中位置(xorig，yorig)起，宽高尺寸分别为wextract和hextract，部分或全部在增强层图像中的矩形区域，通过下采样得到的。增强层和基本层图像被划分为宏块。wextract／wbase和hextract／hbase对应了基本层图像和增强层提取图像之间实际的下采样比率。因此，参数集(xorig，yorig，wextract，hextract)完整的定义了基本层和增强层图像之间的几何