AVS高清立体视频编码器

一、成果项目背景

电视技术在经历了从黑白到彩色、从模拟到数字的技术变革之后正在酝酿另一场技术革命，从单纯观看二维场景的平面电视跨越到展现三维场景的立体电视。立体电视，又称三维电视(3DTV)，提供了更为丰富的视觉信息和更具临场感的观看效果，在我国数字家庭娱乐、文化创意、教育培训等领域具有广阔的应用前景，3DTV代替传统的二维平面显示将是大势所趋。突破3DTV节目制作、传输、播出的关键技术，研制具有我国自主知识产权的3DTV播出系统，对于解决我国音视频产业“空心化”问题，推动相关产业发展具有重要意义。

3DTV系统的核心问题之一是音视频编解码标准的制定。过去，我国在数字视音频编解码核心技术方面较为薄弱，相关企业长期受制于持有标准化专利与技术的国外企业和组织。为了应对国外专利公司的步步紧逼，我国制定了数字音视频编解码技术国家标准（AVS），通过采纳已公开技术和自主创新技术，把握了技术主动权，打破了国外企业和组织对音视频标准的垄断。

数字视频编码器是数字电视系统中的关键装备，是否拥有具有自主知识产权的数字视频编码器，不仅反映了一个国家在数字电视领域的自主创新能力，并且影响到整个数字多媒体行业的发展影进程。同样，对于数字电视从平面到立体的升级，高清实时立体视频编码器也是最为关键的设备。AVS高清实时立体视频编码器是实现AVS标准的3DTV电视节目制作和播出的关键设备，它的研制一方面解决3DTV制作和播出问题，结束终端用户“无节目可看”的状况，另一方面从根本上推动数字电视接收机制造业的产业升级。同时，AVS高清实时立体视频编码器也是高密度激光数字存储媒体、无线宽带多媒体通讯等重大信息产业应用领域的关键设备。

二、关键成果技术及特点

AVS高清立体视频编码器的研制涉及到并行立体视频编码算法、立体视频编码标准、实时视频编码软件架构、定制化计算平台等多项关键技术，同时需要将设备研制和3DTV播出系统集成通盘考虑。我们在已有的理论研究、算法研究和技术积累的基础上，突破和完善了以下五方面的关键技术。

1. 立体视频高效并行编码算法

在已有理论、方法研究的基础上，通过在立体视频双拼技术、AVS并行编码算法、码率控制等方面的创新，实现了高效、实时的立体视频编码。

（1）立体视频双拼技术

充分利用研制单位在采样、拼接等技术方面的研究积累，通过科学的实验分析，采用了目前流行的Side-by-Side拼接方式，确定了相应的采样拼接算法，保证了与AVS压缩编码算法相结合的3D视频的播出质量。Side-by-Side拼接方式支持目前大多数电视厂商推出的立体电视及其他多种立体显示设备，与现有的2D视频编辑及传输系统能很好地兼容，输出的码流能通过传统的传输方式，使用传统的机顶盒在立体电视上进行直播，点播等多种方式的立体播放；也能使用立体投影仪、PC平台立体播放器等进行立体播放。

（2）双流水并行编码算法

提出和实现了基于双流水架构的并行编码架构。采用了细粒度的并行计算框架，针对多核处理器的特点设计编码算法的数据结构，重新拆分编码算法中的各个计算任务，通过适当减少任务的粒度，提高cache命中率，同时减少不必要的处理器核间通信开销。另外，还通过软件预取、硬件预取以及操作系统相关优化方法，达到对内存缓冲机制的高效利用。在任务调度方面，为了保证处理器核的负载平衡、提高CPU利用率，对并行视频编码算法中各个任务的调度进行了优化。此外，在算法方面还针对多核处理器架构的特点，充分分析了AVS标准编码算法的特点，在保证编码效率损失可控的情况下，提出和实现了低复杂度的插值算法和快速运动矢量搜索算法。同时，还形成了一套视频编码算法并行、优化的开发方法。

（3）基于窗口的码率控制算法

在视频码率控制算法方面，提出和实现了一种基于窗口的码率控制算法，将码率控制与率失真优化有机地结合起来。首先基于对变换量化过程中的率失真关系分析，建立了相应的R-Qstep与D-QP率失真模型；然后根据率失真模型进行码率控制所需的位分配、量化参数调整，并根据率失真模型估计量化参数调整后的失真度，以决定率失真优化编码模式，实现码率控制与率失真优化编码的统一，在达到码率控制的同时也能得到较高的编码效率。该算法具有输出码率稳定、编码质量高的特点，并且较好地处理了因场景切换等原因导致的码率突变问题。

2. AVS立体视频编码标准制定

积极推动立体视频编码标准的制定，提出的技术方案在两个层次上实现了AVS标准对立体视频编码的支持。在系统层，通过增加描述子，实现了双路立体视频的独立编码、联合编码以及单路视频左右/上下拼接的立体视频编码；在视频层，添加了相应的字段，也可以支持立体视频编码。标准所采用的单路上下、左右拼接的编码方式与二维视频具有很好的兼容性。

3. 基于Linux平台的实时可靠编码软件架构

基于Linux操作系统，设计开发了实时编码软件的集成框架系统Mcoder，能够集编转码于一体、可扩展支持多路视频，具有高稳定性和安全性。Mcoder使用高度模块化的设计，AVS视频编码核心模块采用双流水并行方案，具有高加速比、低延迟、高质量的特点；支持多种输入输出方式，支持多种格式的输入码流，可满足不同应用场景和需求；支持通过远程页面、本地页面及液晶屏等多种灵活的方式进行控制，具有响应迅速，操作简单等优点；同时，具有良好的可扩展性，能够灵活地增加或删减多种编解码模块及输入输出模块。

4. 基于多核CPU的定制化编码器计算平台

定制化编码器计算平台基于“天河一号”主板技术，并针对广电设备应用特点进行了优化设计。平台灵活支持广电等领域的多种应用，具有高集成度和高稳定性的特点，在功能性、可扩展性方面有自己的特色，达到国际先进水平。自主研发的主板，由高性能微处理器（CPU）、物理上共享的多通道存储器、相应的主板芯片组成；支持高性能片上多核微处理器，可配置2颗Intel新一代Xeon六核/四核高性能64位Nehalem-EP微处理器；支持两块PCIE外围板卡。该主板具有小体积、高性能、高可靠性的特点，能够支持各种编码、转码实时、离线设备以及其它高性能计算设备的开发。

5. 基于AVS的3DTV播出系统

本成果以AVS技术和标准为核心，突破了高清实时立体视频编码的关键技术与设备，进一步整合了国内外先进的3DTV采集、制作、传输、终端技术，实现了基于AVS的3DTV节目播出，在国内是首创，在国际上也处于领先地位。在广州亚运会3DTV节目播出项目中，实现了完整的3DTV节目采编播和终端系统，在实际应用中对编码器和系统集成方案进行了验证，证明我们已经突破和掌握了3DTV播出的关键技术。

三、技术水平

AVS标准是面向标清/高清视频编码应用的高效编码工具集合。相比于已得到广泛应用的MPEG-2标准，其编码效率提高了2~3倍，与国际上最先进的H.264/AVC标准相比，编码效率相当。但AVS标准实现方案简洁，其编码算法复杂度是H.264/AVC的30%，其解码复杂度是H.264/AVC的70%。因此，AVS标准已达到国际最先进水平。具体而言，本成果与同国外同类技术比较主要有如下几方面的创新和优势：

（1）在高性能并行立体视频编码算法方面，针对AVS优化了立体视频双拼技术、提出了双流水结构的宏块级并行编码算法，实现了AVS标准的双拼高清立体视频的实时编码。通过新的双流水架构和有针对性的算法和软件优化，编码器性能达到了1080p和1080i高清视频的实时编码。

（2）在标准方面，通过对AVS标准中标志位的修改，实现了兼容传统2D模式的拼接3D视频标准，包括系统层标准及视频层标准。新的AVS立体视频编码标准编码性能高，编码复杂度低，与传统视频标准兼容性强，各项指标均达到国际领先水平。

（3）在软件方面，基于Linux平台，具有高度的稳定性，同时便于移植到各种不同的硬件平台。研发的实时编码集成框架实现了并行视频编码、音频编码、系统复用、I/O、控制等多线程模块的优化组织和调度；支持包括SDI、ASI、IP网络等多种输入方式及MPEG-2、AC3等多种音视频输入格式，支持ASI、IP网络等多种输出方式及AVS、MPEG1-layer2等多种音视频输出格式；具有良好的可扩展性，能方便地集成各种编解码模块，满足多种应用的需要。

（4）定制化编码器计算平台基于“天河一号”主板技术，并针对广电设备应用特点进行了优化设计。平台灵活支持广电等领域的多种应用，具有高集成度和高稳定性的特点，在功能性、可扩展性方面有自己的特色，达到国际先进水平。编码器整机功能完备、体积小、重量轻、操作方便、具有较强的可扩展性。

（5）在系统应用方面，整合了国内外的3DTV采集、制作、传输、终端技术，首次实现了以自主知识产权的AVS编解码技术为核心的3DTV播出系统。系统最大限度兼容二维高清电视播出系统，为二维电视到立体电视的平滑过渡提供了低成本的解决方案。

四、应用前景

3DTV播出系统主要包含以下几个方面技术：立体视频采集编辑播出、立体视频编码与传输，立体视频解码，以及立体视频显示。其中在编码传输解码方面，数字音视频编解码技术国家标准AVS（GB/T 20090.2-2006）为立体电视提供了坚实的技术基础，当前的AVS高清编码器和解码器已经可以支持3D立体电视的播出和接收，TCL等电视厂商已经开发出立体电视接收机和立体投影系统等产品。在AVS产业联盟、中国立体视像（3D）产业联盟、中国高清光盘产业联盟等组织推动下，涵盖立体视频拍摄、录制、编辑、制作、播出、编码、传输、解码、显示、应用的立体电视产业链正在形成。

本成果整合了国内外先进的3DTV采集、制作、传输、终端技术，通过核心技术创新与集成创新相结合，实现了完整的符合中国国情的3DTV播出解决方案，并在广州亚运会部分场馆3D电视转播中得到验证。在技术方面，广播电视3DTV节目制作与播出的条件已经具备；在产业方面，打通了“技术→专利→标准→芯片与软件→整机与系统制造→数字媒体运营与文化产业”这一产业链，为以科技创新引领产业转型提供了一个成功的范例，必将有力推动我国数字电视和3DTV等相关产业的升级和发展。

本成果还可直接应用于如下领域：有线/卫星/地面数字电视广播前端、IPTV业务、手机电视、远程新闻采访、图像监控、视频点播、远程教学以及会议电视、日常生活及工业生产的远程数字监控等。

AVS标准和3DTV相关产业的推广与应用是一个复杂的系统工程，需要政府部门，研究机构，标准的制定者和产业界通力合作，从国家长远发展的大格局出发，从产业政策等方面给予更加有力的支持，从而可以加快这一进程。

AVS高清实时立体编码器的成功研制及其应用系统的实施将在全球范围内展示中国在3D立体电视标准化及产业化的综合实力，大大提升我国在该领域的话语权，推动我国立体电视产业发展，也一定会给企业和国家带来巨大的收益。