IPTV編解碼標(biāo)準(zhǔn)綜述

　　IPTV是一種利用寬帶網(wǎng)，集互聯(lián)網(wǎng)、多媒體、通訊等多種技術(shù)于一體，向家庭用戶提供包括數(shù)字電視在內(nèi)的多種交互式服務(wù)的嶄新技術(shù)。由于國(guó)際上固話運(yùn)營(yíng)商都是從最近兩年才興起IPTV熱，所以至今也沒有一個(gè)國(guó)家在IPTV業(yè)務(wù)方面形成成熟標(biāo)準(zhǔn)，國(guó)內(nèi)IPTV業(yè)務(wù)也同樣無標(biāo)準(zhǔn)可循。中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)(CCSA)IP與多媒體工作委員會(huì)IPTV特別工作組于2005年下半年成立，并啟動(dòng)了對(duì)IPTV標(biāo)準(zhǔn)的研究和制訂工作。參加IPTV特別工作組的單位幾乎包含了目前從事IPTV業(yè)務(wù)運(yùn)營(yíng)、開發(fā)和研究的國(guó)內(nèi)外所有企業(yè)。

　　IPTV最重要的標(biāo)準(zhǔn)就是編解碼標(biāo)準(zhǔn)，編碼直接關(guān)系到解碼，解碼又會(huì)影響到機(jī)頂盒。標(biāo)準(zhǔn)化是產(chǎn)業(yè)化成功的前提，之所以目前尚沒有廠家大規(guī)模生產(chǎn)網(wǎng)絡(luò)機(jī)頂盒，一個(gè)重要原因就是沒有確定的標(biāo)準(zhǔn)支持。盡管IPTV編解碼標(biāo)準(zhǔn)有很多種，但在中國(guó)主要是采用MPEG-4、H.264技術(shù)以及中國(guó)提出的具有自主知識(shí)產(chǎn)權(quán)的標(biāo)準(zhǔn)AVS，國(guó)內(nèi)企業(yè)面臨一場(chǎng)抉擇。

　　1 MPEG-4標(biāo)準(zhǔn)簡(jiǎn)介

　　運(yùn)動(dòng)圖像專家組MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)標(biāo)準(zhǔn)第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成為國(guó)際標(biāo)準(zhǔn)。MPEG-4與MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具體壓縮算法，它是針對(duì)數(shù)字電視、交互式繪圖應(yīng)用、交互式多媒體等整合及壓縮技術(shù)的需求而制定的國(guó)際標(biāo)準(zhǔn)。MPEG-4標(biāo)準(zhǔn)將眾多的多媒體應(yīng)用集成于一個(gè)完整的框架內(nèi)，旨在為多媒體通信及應(yīng)用環(huán)境提供標(biāo)準(zhǔn)的算法及工具，從而建立起一種能被多媒體傳輸、存儲(chǔ)、檢索等應(yīng)用領(lǐng)域普遍采用的統(tǒng)一數(shù)據(jù)格式。

　　MPEG-4的編碼理念是：MPEG-4標(biāo)準(zhǔn)同以前標(biāo)準(zhǔn)的最顯著的差別在于它是采用基于對(duì)象的編碼理念，即在編碼時(shí)將一幅景物分成若干在時(shí)間和空間上相互聯(lián)系的視頻音頻對(duì)象，分別編碼后，再經(jīng)過復(fù)用傳輸?shù)浇邮斩耍缓笤賹?duì)不同的對(duì)象分別解碼，從而組合成所需要的視頻和音頻。這樣既方便我們對(duì)不同的對(duì)象采用不同的編碼方法和表示方法，又有利于不同數(shù)據(jù)類型間的融合，并且這樣也可以方便的實(shí)現(xiàn)對(duì)于各種對(duì)象的操作及編輯。

　　MPEG-4除采用第一代視頻編碼的核心技術(shù)，如變換編碼、運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償、量化、熵編碼外，還提出了一些新的有創(chuàng)見性的關(guān)鍵技術(shù)，并在第一代視頻編碼技術(shù)基礎(chǔ)上進(jìn)行了卓有成效的完善和改進(jìn)。下面重點(diǎn)介紹其中的一些關(guān)鍵技術(shù)。

　　(1)視頻對(duì)象提取技術(shù)

　　MPEG-4實(shí)現(xiàn)基于內(nèi)容交互的首要任務(wù)就是把視頻/圖像分割成不同對(duì)象或者把運(yùn)動(dòng)對(duì)象從背景中分離出來，然后針對(duì)不同對(duì)象采用相應(yīng)編碼方法，以實(shí)現(xiàn)高效壓縮。因此視頻對(duì)象提取即視頻對(duì)象分割，是MPEG-4視頻編碼的關(guān)鍵技術(shù)，也是新一代視頻編碼的研究熱點(diǎn)和難點(diǎn)。

　　盡管MPEG-4 框架已經(jīng)制定，但至今仍沒有通用的有效方法去根本解決視頻對(duì)象分割問題，視頻對(duì)象分割被認(rèn)為是一個(gè)具有挑戰(zhàn)性的難題，基于語義的分割則更加困難。目前進(jìn)行視頻對(duì)象分割的一般步驟是：先對(duì)原始視頻/圖像數(shù)據(jù)進(jìn)行簡(jiǎn)化以利于分割，這可通過低通濾波、中值濾波、形態(tài)濾波來完成;然后對(duì)視頻/圖像數(shù)據(jù)進(jìn)行特征提取，可以是顏色、紋理、運(yùn)動(dòng)、幀差、位移幀差乃至語義等特征;再基于某種均勻性標(biāo)準(zhǔn)來確定分割決策，根據(jù)所提取特征將視頻數(shù)據(jù)歸類;最后是進(jìn)行相關(guān)后處理，以實(shí)現(xiàn)濾除噪聲及準(zhǔn)確提取邊界。

　　(2)VOP視頻編碼技術(shù)

　　視頻對(duì)象平面(VOP，Video Object Plane)是視頻對(duì)象(VO)在某一時(shí)刻的采樣，VOP是MPEG-4視頻編碼的核心概念。MPEG-4在編碼過程中針對(duì)不同VO采用不同的編碼策略，即對(duì)前景VO的壓縮編碼盡可能保留細(xì)節(jié)和平滑;對(duì)背景VO則采用高壓縮率的編碼策略，甚至不予傳輸而在解碼端由其他背景拼接而成。這種基于對(duì)象的視頻編碼不僅克服了第一代視頻編碼中高壓縮率編碼所產(chǎn)生的方塊效應(yīng)，而且使用戶可與場(chǎng)景交互，從而既提高了壓縮比，又實(shí)現(xiàn)了基于內(nèi)容的交互，為視頻編碼提供了廣闊的發(fā)展空間。MPEG-4支持任意形狀圖像與視頻的編解碼。

　　(3)視頻編碼可分級(jí)性技術(shù)

　　隨著因特網(wǎng)業(yè)務(wù)的巨大增長(zhǎng)，在速率起伏很大的IP(Internet Protocol)網(wǎng)絡(luò)及具有不同傳輸特性的異構(gòu)網(wǎng)絡(luò)上進(jìn)行視頻傳輸?shù)囊蠛蛻?yīng)用越來越多。在這種背景下，視頻分級(jí)編碼的重要性日益突出，其應(yīng)用非常廣泛，且具有很高的理論研究及實(shí)際應(yīng)用價(jià)值，因此受到人們的極大關(guān)注。

　　MPEG-4通過視頻對(duì)象層(VOL，Video Object Layer)數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)分級(jí)編碼。MPEG-4提供了兩種基本分級(jí)工具，即時(shí)域分級(jí)(Temporal Scalability)和空域分級(jí)(SpatialScalability)，此外還支持時(shí)域和空域的混合分級(jí)。每一種分級(jí)編碼都至少有兩層VOL，低層稱為基本層，高層稱為增強(qiáng)層。基本層提供了視頻序列的基本信息，增強(qiáng)層提供了視頻序列更高的分辨率和細(xì)節(jié)。

　　在隨后增補(bǔ)的視頻流應(yīng)用框架中，MPEG-4提出了FGS(Fine Granularity Scalable，精細(xì)可伸縮性)視頻編碼算法以及PFGS(Progressive Fine Granularity Scalable，漸進(jìn)精細(xì)可伸縮性)視頻編碼算法。

　　FGS編碼實(shí)現(xiàn)簡(jiǎn)單，可在編碼速率、顯示分辨率、內(nèi)容、解碼復(fù)雜度等方面提供靈活的自適應(yīng)和可擴(kuò)展性，且具有很強(qiáng)的帶寬自適應(yīng)能力和抗誤碼性能。但還存在編碼效率低于非可擴(kuò)展編碼及接收端視頻質(zhì)量非最優(yōu)兩個(gè)不足。 PFGS則是為改善FGS編碼效率而提出的視頻編碼算法，其基本思想是在增強(qiáng)層圖像編碼時(shí)使用前一幀重建的某個(gè)增強(qiáng)層圖像為參考進(jìn)行運(yùn)動(dòng)補(bǔ)償，以使運(yùn)動(dòng)補(bǔ)償更加有效，從而提高編碼效率。

　　(4)運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償技術(shù)

　　MPEG-4采用I-VOP、P-VOP、B-VOP三種幀格式來表征不同的運(yùn)動(dòng)補(bǔ)償類型。它采用了H.263中的半像素搜索(half pixel searching)技術(shù)和重疊運(yùn)動(dòng)補(bǔ)償(overlapped motioncompensation)技術(shù)，同時(shí)又引入重復(fù)填充(repetitive padding)技術(shù)和修改的塊(多邊形)匹配(modified block (polygon)matching)技術(shù)以支持任意形狀的VOP區(qū)域。

　　此外，為提高運(yùn)動(dòng)估計(jì)算法精度，MPEG-4采用了MVFAST(Motion Vector Field Adaptive Search Technique)和改進(jìn)的PMVFAST(Predictive MVFAST)方法用于運(yùn)動(dòng)估計(jì)。對(duì)于全局運(yùn)動(dòng)估計(jì)，則采用了基于特征的FFRGMET(Feature-based Fast and Robust Global Motion Estimation Technique)方法。

　　在MPEG-4視頻編碼中，運(yùn)動(dòng)估計(jì)相當(dāng)耗時(shí)，對(duì)編碼的實(shí)時(shí)性影響很大。因此這里特別強(qiáng)調(diào)快速算法。運(yùn)動(dòng)估計(jì)方法主要有像素遞歸法和塊匹配法兩大類，前者復(fù)雜度很高，實(shí)際中應(yīng)用較少，后者則在H.263和MPEG中廣泛采用。目前有三種常用的匹配準(zhǔn)則：(1)絕對(duì)誤差和(SAD, Sum of Absolute Difference)準(zhǔn)則：(2)均方誤差(MSE, Mean Square Error)準(zhǔn)則;(3)歸一化互相關(guān)函數(shù)(NCCF, Normalized Cross Correlation Function)準(zhǔn)則。在上述三種準(zhǔn)則中，SAD準(zhǔn)則具有不需乘法運(yùn)算、實(shí)現(xiàn)簡(jiǎn)單方便的優(yōu)點(diǎn)而使用最多，但應(yīng)清楚匹配準(zhǔn)則的選用對(duì)匹配結(jié)果影響不大。

　　在選取匹配準(zhǔn)則后就應(yīng)進(jìn)行尋找最優(yōu)匹配點(diǎn)的搜索工作。最簡(jiǎn)單、最可靠的方法是全搜索法(FS, Full Search)，但計(jì)算量太大，不便于實(shí)時(shí)實(shí)現(xiàn)。因此快速搜索法應(yīng)運(yùn)而生，主要有交叉搜索法、二維對(duì)數(shù)法和鉆石搜索法，其中鉆石搜索法被MPEG-4校驗(yàn)?zāi)Ｐ?VM, Verification Model)所采納。

　　2 H.264標(biāo)準(zhǔn)簡(jiǎn)介

　　2003年，ITU-T通過了一個(gè)新的數(shù)字視頻編解碼標(biāo)準(zhǔn)，即H.264標(biāo)準(zhǔn)，H.264是由ISO/IEC與ITU-T組成的聯(lián)合視頻組(JVT)制定的新一代視頻壓縮編解碼標(biāo)準(zhǔn)。國(guó)際電信聯(lián)盟將該系統(tǒng)命名為H.264/AVC，國(guó)際標(biāo)準(zhǔn)化組織和國(guó)際電工委員會(huì)將其稱為14496-10/MPEG-4 AVC。

　　H.264標(biāo)準(zhǔn)只有三個(gè)子集：基本子集、主體子集和擴(kuò)展子集?；咀蛹菍橐曨l會(huì)議應(yīng)用設(shè)計(jì)的，這套標(biāo)準(zhǔn)幾近完美，能夠提供強(qiáng)大的差錯(cuò)隱消技術(shù)(應(yīng)用該技術(shù)，即使在Internet這樣的易錯(cuò)網(wǎng)絡(luò)上也可以得到較好的視頻效果)，并且支持低延時(shí)編/解碼技術(shù)，使視頻會(huì)議顯得更自然。主體子集和擴(kuò)展子集更適合于電視應(yīng)用(數(shù)字廣播、DVD)和延時(shí)顯得并不很重要的視頻流應(yīng)用。

　　H.264標(biāo)準(zhǔn)的關(guān)鍵技術(shù)如下：

　　(1)幀內(nèi)預(yù)測(cè)編碼

　　幀內(nèi)編碼用來縮減圖像的空間冗余。為了提高H.264幀內(nèi)編碼的效率，在給定幀中充分利用相鄰宏塊的空間相關(guān)性，相鄰的宏塊通常含有相似的屬性。因此，在對(duì)一給定宏塊編碼時(shí)，首先可以根據(jù)周圍的宏塊預(yù)測(cè)，然后對(duì)預(yù)測(cè)值與實(shí)際值的差值進(jìn)行編碼，這樣，相對(duì)于直接對(duì)該幀編碼而言，可以大大減小碼率。H.264提供6種模式進(jìn)行4×4像素宏塊預(yù)測(cè)，包括1種直流預(yù)測(cè)和5種方向預(yù)測(cè)，H.264也支持16×16的幀內(nèi)編碼。

　　(2)幀間預(yù)測(cè)編碼

　　幀間預(yù)測(cè)編碼利用連續(xù)幀中的時(shí)間冗余來進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償。H.264的運(yùn)動(dòng)補(bǔ)償支持以往的視頻編碼標(biāo)準(zhǔn)中的大部分關(guān)鍵特性，而且靈活地添加了更多的功能，除了支持P幀、B幀外，H.264還支持一種新的流間傳送幀——SP幀，碼流中包含SP幀后，能在有類似內(nèi)容但有不同碼率的碼流之間快速切換，同時(shí)支持隨機(jī)接入和快速回放模式。

　　(3) 整數(shù)變換

　　在變換方面，H.264使用了基于4×4像素塊的類似于DCT的變換，但使用的是以整數(shù)為基礎(chǔ)的空間變換，不存在反變換。與浮點(diǎn)運(yùn)算相比，整數(shù)DCT變換會(huì)引起一些額外的誤差，但因?yàn)镈CT變換后的量化也存在量化誤差，與之相比，整數(shù)DCT變換引起的量化誤差影響并不大。此外，整數(shù)DCT變換還具有減少運(yùn)算量和復(fù)雜度，有利于向定點(diǎn)DSP移植的優(yōu)點(diǎn)。

　　(4)量化

　　H.264中可選32種不同的量化步長(zhǎng)，這與H.263中有31個(gè)量化步長(zhǎng)很相似，但是在H.264中，步長(zhǎng)是以12.5%的復(fù)合率遞進(jìn)的，而不是一個(gè)固定常數(shù)。在H.264中，變換系數(shù)的讀出方式也有兩種：之字形(Zigzag)掃描和雙掃描，大多數(shù)情況下使用簡(jiǎn)單的之字形掃描;雙掃描僅用于使用較小量化級(jí)的塊內(nèi)，有助于提高編碼效率。

　　(5)熵編碼

　　視頻編碼處理的最后一步就是熵編碼，H.264標(biāo)準(zhǔn)采用的熵編碼有兩種：一種是基于內(nèi)容的自適應(yīng)變長(zhǎng)編碼(CAVLC)與統(tǒng)一的變長(zhǎng)編碼(UVLC)結(jié)合;另一種是基于內(nèi)容的自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)。CAVLC與CABAC根據(jù)相臨塊的情況進(jìn)行當(dāng)前塊的編碼，以達(dá)到更好的編碼效率。CABAC比CAVLC壓縮效率高，但要復(fù)雜一些。

　　3 AVS標(biāo)準(zhǔn)簡(jiǎn)介

　　AVS是基于我國(guó)創(chuàng)新技術(shù)和部分公開技術(shù)的自主標(biāo)準(zhǔn)，AVS標(biāo)準(zhǔn)包括系統(tǒng)、視頻、音頻、數(shù)字版權(quán)管理等四個(gè)主要技術(shù)標(biāo)準(zhǔn)和一致性測(cè)試等支撐標(biāo)準(zhǔn)。2002年，在信息產(chǎn)業(yè)部支持下，成立了“數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)”工作組(簡(jiǎn)稱AVS工作組)，2003年，國(guó)家發(fā)展和改革委員會(huì)批準(zhǔn)了《數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)AVS研究開發(fā)與測(cè)試驗(yàn)證重大專項(xiàng)》。在國(guó)內(nèi)外上百家企業(yè)和科研單位共同參與下，AVS標(biāo)準(zhǔn)制定工作進(jìn)展順利，其中最重要的視頻編碼標(biāo)準(zhǔn)于2005年通過國(guó)家廣電總局測(cè)試，2006年1月得到信息產(chǎn)業(yè)部批準(zhǔn)，2月國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)正式頒布，3月1日起實(shí)施。

　　AVS視頻編解碼的核心技術(shù)包括：8x8整數(shù)變換、量化、幀內(nèi)預(yù)測(cè)、1/4精度像素插值、特殊的幀間預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償、二維熵編碼等。

　　(1)變換量化

　　AVS的8x8變換與量化可以在16位處理器上無失配地實(shí)現(xiàn)，從而克服了H.264之前所有視頻壓縮編碼國(guó)際標(biāo)準(zhǔn)中采用的8x8 DCT變換存在失配的固有問題。而H.264所采用的4x4整數(shù)變換在高分辨率的視頻圖像上的去相關(guān)性能不及8x8的變換有效。AVS采用了64級(jí)量化，可以完全適應(yīng)不同的應(yīng)用和業(yè)務(wù)對(duì)碼率和質(zhì)量的要求。

　　(2)幀內(nèi)預(yù)測(cè)

　　AVS的幀內(nèi)預(yù)測(cè)技術(shù)沿襲了H.264幀內(nèi)預(yù)測(cè)的思路，用相鄰塊的像素預(yù)測(cè)當(dāng)前塊，采用代表空間域紋理方向的多種預(yù)測(cè)模式。但AVS亮度和色度幀內(nèi)預(yù)測(cè)都是以8x8塊為單位的。亮度塊采用5種預(yù)測(cè)模式，色度塊采用4種預(yù)測(cè)模式，而這4種模式中又有3種和亮度塊的預(yù)測(cè)模式相同。在編碼質(zhì)量相當(dāng)?shù)那疤嵯?，AVS采用較少的預(yù)測(cè)模式，使方案更加簡(jiǎn)潔、實(shí)現(xiàn)的復(fù)雜度大為降低。

　　(3)幀間預(yù)測(cè)

　　幀間運(yùn)動(dòng)補(bǔ)償編碼是混合編碼技術(shù)框架中最重要的部分之一。AVS標(biāo)準(zhǔn)采用了16×16，16×8，8×16和8×8的塊模式進(jìn)行運(yùn)動(dòng)補(bǔ)償，而去除了H.264標(biāo)準(zhǔn)中的8×4，4×8，4×4的塊模式，目的是能更好地刻畫物體運(yùn)動(dòng)，提高運(yùn)動(dòng)搜索的準(zhǔn)確性。實(shí)驗(yàn)表明，對(duì)于高分辨率視頻，AVS選用的塊模式已經(jīng)能足夠精細(xì)地表達(dá)物體的運(yùn)動(dòng)。較少的塊模式，能降低運(yùn)動(dòng)矢量和塊模式傳輸?shù)拈_銷，從而提高壓縮效率、降低編解碼實(shí)現(xiàn)的復(fù)雜度。

　　AVS和H.264都采用了1/4像素精度的運(yùn)動(dòng)補(bǔ)償技術(shù)。H.264采用6抽頭濾波器進(jìn)行半像素插值并采用雙線性濾波器進(jìn)行1/4像素插值。而AVS采用了不同的4抽頭濾波器進(jìn)行半像素插值和1/4像素插值，在不降低性能的情況下減少插值所需要的參考像素點(diǎn)，減小了數(shù)據(jù)存取帶寬需求。

　　在傳統(tǒng)的視頻編碼標(biāo)準(zhǔn)中，雙向預(yù)測(cè)幀B幀都只有一個(gè)前向參考幀與一個(gè)后向參考幀，而前向預(yù)測(cè)幀P 幀則只有一個(gè)前向參考幀。AVS中P幀可以利用至多2幀的前向參考幀，而B幀采用前后各一個(gè)參考幀，P幀與B幀(包括后向參考幀)的參考幀數(shù)相同，其參考幀存儲(chǔ)空間與數(shù)據(jù)存取的開銷并不比傳統(tǒng)視頻編碼的標(biāo)準(zhǔn)大，而恰恰是充分利用了必須預(yù)留的資源。AVS的B幀的雙向預(yù)測(cè)使用了直接模式(direct mode)、對(duì)稱模式(symmetric mode)和跳過模式(skip mode)。使用對(duì)稱模式時(shí)，碼流只需要傳送前向運(yùn)動(dòng)矢量，后向運(yùn)動(dòng)矢量可由前向運(yùn)動(dòng)矢量導(dǎo)出，從而節(jié)省后向運(yùn)動(dòng)矢量的編碼開銷。對(duì)于直接模式，當(dāng)前塊的前、后向運(yùn)動(dòng)矢量都是由后向參考圖像相應(yīng)位置塊的運(yùn)動(dòng)矢量導(dǎo)出，無需傳輸運(yùn)動(dòng)矢量，因此也可以節(jié)省運(yùn)動(dòng)矢量的編碼開銷。跳過模式的運(yùn)動(dòng)矢量的導(dǎo)出方法和直接模式的相同，跳過模式編碼的塊運(yùn)動(dòng)補(bǔ)償?shù)臍埐顬榱悖丛撃Ｊ较潞陦K只需要傳輸模式信號(hào)，而不需要傳輸運(yùn)動(dòng)矢量、補(bǔ)償殘差等附加信息。

　　(4)熵編碼

　　AVS熵編碼采用自適應(yīng)變長(zhǎng)編碼技術(shù)，在AVS熵編碼過程中，所有的語法元素和殘差數(shù)據(jù)都是以指數(shù)哥倫布碼的形式映射成二進(jìn)制比特流。采用指數(shù)哥倫布碼的優(yōu)勢(shì)在于：一方面，它的硬件復(fù)雜度比較低，可以根據(jù)閉合公式解析碼字，無需查表;另一方面，它可以根據(jù)編碼元素的概率分布靈活地確定以k階指數(shù)哥倫布碼編碼，如果k選得恰當(dāng)，則編碼效率可以逼近信息熵。對(duì)預(yù)測(cè)殘差的塊變換系數(shù)，經(jīng)掃描形成(level、run)對(duì)串，level、run不是獨(dú)立事件，而存在著很強(qiáng)的相關(guān)性，在AVS中l(wèi)evel、run采用二維聯(lián)合編碼，并根據(jù)當(dāng)前l(fā)evel、run的不同概率分布趨勢(shì)，自適應(yīng)改變指數(shù)哥倫布碼的階數(shù)。