面對(duì)視頻應(yīng)用不斷向高清晰度、高幀率、高壓縮率方向發(fā)展的趨勢(shì)，當(dāng)前主流的視頻壓縮標(biāo)準(zhǔn)協(xié)議H.264（AVC）的局限性不斷凸顯，尤其在高清視頻快速發(fā)展下，H.264技術(shù)逐漸暴露了一些局限性。
H.264技術(shù)的局限性
首先，由于分辨率的大大增加，單個(gè)宏塊所表示的圖像內(nèi)容信息大大減少，H.264所采用的4×4或8×8宏塊經(jīng)過(guò)整數(shù)變換后，低頻系數(shù)相似程度也大大提高，出現(xiàn)大量冗余，導(dǎo)致H.264編碼對(duì)高清視頻的壓縮效率明顯降低；其次，H.264算法宏塊個(gè)數(shù)的爆發(fā)式增長(zhǎng)，會(huì)導(dǎo)致每個(gè)編碼宏塊的預(yù)測(cè)模式、運(yùn)動(dòng)矢量、參考幀索引和量化級(jí)等宏塊級(jí)參數(shù)信息占用更多碼流資源，在有限帶寬中，分配給真正描述圖像內(nèi)容的殘差系數(shù)信息的可用帶寬明顯減少；由于分辨率的提高，表示同一個(gè)運(yùn)動(dòng)的運(yùn)動(dòng)矢量幅值也將大大增加，H.264中采用基于空間域的運(yùn)動(dòng)矢量預(yù)測(cè)方式，對(duì)運(yùn)動(dòng)矢量差編碼使用的是哥倫布指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值越大使用的比特?cái)?shù)越多，因此，隨著運(yùn)動(dòng)矢量幅值的大幅增加，H264中用來(lái)對(duì)運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)以及編碼的壓縮率也將逐漸降低；最后，H.264的一些關(guān)鍵算法都要求串行編碼，并行度比較低，針對(duì)GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的這種串行化處理越來(lái)越成為制約運(yùn)算性能的瓶頸。
新一代視頻編碼技術(shù)H.265
對(duì)于視頻會(huì)議這種視頻應(yīng)用技術(shù)，對(duì)視頻的要求更高，不僅是遠(yuǎn)程通訊技術(shù)，而且是雙向?qū)崟r(shí)交互式應(yīng)用。由于用戶群較為高端，因此在低延時(shí)視頻編解碼技術(shù)上，視頻會(huì)議一直是個(gè)先行者。視頻會(huì)議從H.261時(shí)代開始發(fā)展，歷經(jīng)H.263時(shí)代，到目前的H.264時(shí)代，視頻會(huì)議一直是低延時(shí)視頻編解碼最新技術(shù)的首批應(yīng)用者。目前主流的H.264視頻會(huì)議系統(tǒng)最新的以H.264 High Profile為主，可以在1Mbps帶寬下達(dá)到1080P 30fps實(shí)時(shí)通信，且能夠讓用戶體驗(yàn)到很好的圖像效果，也減少了網(wǎng)絡(luò)傳輸高清的壓力，目前應(yīng)用得較為廣泛。但是隨著數(shù)字化高清的持續(xù)發(fā)展，用戶的需求也越來(lái)越高，視頻會(huì)議作為視頻編解碼的高端應(yīng)用，當(dāng)然是要繼續(xù)發(fā)展到更高標(biāo)準(zhǔn)更優(yōu)化的視頻編解碼新技術(shù)。
2013年初據(jù)國(guó)外媒體報(bào)道，國(guó)際電信聯(lián)盟（ITU）已經(jīng)批準(zhǔn)了下一代新視頻標(biāo)準(zhǔn)，這項(xiàng)新標(biāo)準(zhǔn)將有利于把4K視頻帶入未來(lái)的寬帶網(wǎng)絡(luò)之中，與此同時(shí)，該新標(biāo)準(zhǔn)還可以在低帶寬的移動(dòng)網(wǎng)絡(luò)上播放高清網(wǎng)絡(luò)視頻內(nèi)容。這項(xiàng)新標(biāo)準(zhǔn)就是H.265，即高效率視頻編碼（High Efficiency Video Coding），這一標(biāo)準(zhǔn)旨在把高質(zhì)量的網(wǎng)絡(luò)視頻帶到甚至是低帶寬的網(wǎng)絡(luò)中。
這個(gè)最新標(biāo)準(zhǔn)H.265技術(shù)，被命名為HEVC。該標(biāo)準(zhǔn)的核心目標(biāo)，是在H.264的基礎(chǔ)上將壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%。因此，有望在512K帶寬下實(shí)現(xiàn)1080P 30fps高用戶體驗(yàn)的實(shí)時(shí)通信。
目前，H.265（HEVC）制定了兩套選項(xiàng)，其中追求高圖像質(zhì)量的叫做High Efficiency，而追求低時(shí)延的叫做low-complexity。由于視頻會(huì)議的實(shí)時(shí)性，視頻會(huì)議領(lǐng)域基本上會(huì)選用low-complexity選項(xiàng)。
由于H.265標(biāo)準(zhǔn)是從H.264標(biāo)準(zhǔn)發(fā)展優(yōu)化而來(lái)，新的標(biāo)準(zhǔn)保留原來(lái)的某些技術(shù)，同時(shí)對(duì)一些相關(guān)的技術(shù)加以改進(jìn)。
作為視頻編碼的進(jìn)一步發(fā)展，H.265（HEVC）仍然沿用了H.264基礎(chǔ)的預(yù)測(cè)加變換的混合編碼框架，包含：
同時(shí)H.265著力研究新的編碼工具或技術(shù)，在每一個(gè)環(huán)節(jié)都做了改進(jìn)，包含碼流改善、編碼質(zhì)量改善、延時(shí)和算法復(fù)雜度之間的關(guān)系的改善，并達(dá)到最優(yōu)化設(shè)置。
H.265相比H.264的主要技術(shù)優(yōu)勢(shì)
靈活的編碼結(jié)構(gòu)
在H.265中，將宏塊的大小從H.264的16×16擴(kuò)展到了64×64，以便于高分辨率視頻的壓縮。同時(shí)，H.265采用了更加靈活的編碼結(jié)構(gòu)來(lái)提高編碼效率，包括編碼單元（CodingUnit）、預(yù)測(cè)單元（PredictUnit）和變換單元（TransformUnit）。編碼器可以根據(jù)視頻序列分辨率以及區(qū)域的復(fù)雜度等特性設(shè)置編碼單元的大小。
靈活的塊結(jié)構(gòu)
變換單元TU使用類似于編碼單元CU的四叉樹劃分方法，塊結(jié)構(gòu)RQT（Residual quadtree transform）是正方形TU的四叉樹劃分方法；NSQT（Non-square quadtree）是非正方形TU的四叉樹劃分方法。
對(duì)于每個(gè)CU，在預(yù)測(cè)編碼過(guò)程中可進(jìn)一步劃分為一個(gè)或多個(gè)預(yù)測(cè)單元PU（Predict Unit）進(jìn)行幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)。幀內(nèi)預(yù)測(cè)可使用2N×2N PU劃分，若CU大小為8×8時(shí)，還可使用N×N PU劃分；幀間預(yù)測(cè)可使用2N×2N、N×2N、2N×N PU劃分，當(dāng)CU大小大于8×8時(shí)，還使用另外四種非對(duì)稱PU劃分；Skip模式僅使用2N×2N PU劃分。PU劃分示意圖如圖1所示。
變換單元TU（Transform Unit）主要是在編碼單元CU和預(yù)測(cè)單元PU的基礎(chǔ)上選擇適當(dāng)?shù)臍埐钭儞Q塊的大小。對(duì)于幀間編碼來(lái)說(shuō)，它允許變換塊的大小根據(jù)運(yùn)動(dòng)補(bǔ)償塊的大小進(jìn)行自適應(yīng)的調(diào)整；對(duì)于幀內(nèi)編碼來(lái)說(shuō)，它允許變換塊的大小根據(jù)幀內(nèi)預(yù)測(cè)殘差的特性進(jìn)行自適應(yīng)的調(diào)整。
更先進(jìn)的幀內(nèi)和幀間預(yù)測(cè)
幀內(nèi)編碼改進(jìn)上使用了多種技術(shù)：
Intra_FromLuma模式僅用于色度分量的幀內(nèi)預(yù)測(cè)。
HEVC使用以下方法獲得更高的幀間預(yù)測(cè)效率：
高效的運(yùn)動(dòng)信息預(yù)測(cè)編碼方法AMVP，根據(jù)當(dāng)前PU空間域和時(shí)域相鄰塊的運(yùn)動(dòng)矢量構(gòu)造當(dāng)前PU運(yùn)動(dòng)矢量的預(yù)測(cè)候選。選擇能夠最小化當(dāng)前運(yùn)動(dòng)矢量的編碼代價(jià)值的預(yù)測(cè)候選，并編碼該預(yù)測(cè)候選的索引序號(hào)。分?jǐn)?shù)像素插值濾波方法，為提高幀間預(yù)測(cè)精度、降低頻譜混疊對(duì)幀間預(yù)測(cè)的影響，HEVC使用分?jǐn)?shù)像素預(yù)測(cè)補(bǔ)償技術(shù)，亮度和色度分量的插值濾波器都采用DCT-IF插值濾波器（DCT-based interpolation filter）。Merge模式，使用Merge模式時(shí)，當(dāng)前PU的運(yùn)動(dòng)信息（包括運(yùn)動(dòng)矢量和參考圖像索引）與Merge索引信息所標(biāo)識(shí)的空間域或時(shí)域相鄰塊的運(yùn)動(dòng)信息相同。HEVC使用基于Merge的Skip模式，稱為Merge-Skip。Merge-Skip模式的候選運(yùn)動(dòng)信息構(gòu)造和運(yùn)動(dòng)預(yù)測(cè)過(guò)程與Merge模式相同，不同之處在于Merge-Skip模式不對(duì)預(yù)測(cè)差信息進(jìn)行編碼。
采樣點(diǎn)自適應(yīng)偏移
采樣點(diǎn)自適應(yīng)偏移（Sample Adaptive Offset）在編解碼環(huán)路內(nèi)，位于Deblock之后，通過(guò)對(duì)重建圖像的分類，對(duì)每一類圖像像素值加減一個(gè)偏移，達(dá)到減少失真的目的，從而提高壓縮率，減少碼流。采用SAO后，平均可以減少2%~6%的碼流，而編碼器和解碼器的性能消耗僅僅增加了約2%。
自適應(yīng)環(huán)路濾波
自適應(yīng)環(huán)內(nèi)濾波包括Deblocking filter、SAO和ALF（Adaptive Loop Filter）三種。
Deblocking filter，消除圖像的塊效應(yīng)，提高主觀圖像質(zhì)量；SAO，減少重建圖像和原始圖像誤差，提高客觀圖像質(zhì)量；ALF，減少重建圖像和原始圖像誤差，提高客觀圖像質(zhì)量。
并行化設(shè)計(jì)思路
H.265為了提升編解碼的并行度，提出可以按垂直和水平方向?qū)D像進(jìn)行分割，按LCU為單位組成多個(gè)矩形區(qū)域，這些矩形區(qū)域叫做Tile，這些Tile可獨(dú)立編解碼，遵循光柵掃描的順序。
當(dāng)前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向發(fā)展，因此，H.265引入了很多并行運(yùn)算的優(yōu)化思路提升效率。
H.265技術(shù)應(yīng)用展望
從H.265技術(shù)的優(yōu)勢(shì)來(lái)看，它將來(lái)的應(yīng)用主要是高清領(lǐng)域。
隨著視頻通信應(yīng)用產(chǎn)業(yè)鏈的快速發(fā)展，視頻應(yīng)用向高分辨率高幀頻高壓縮比的方向發(fā)展的趨勢(shì)愈加明顯。分辨率目前流行的是1080P，后續(xù)將發(fā)展到4K×2K乃至8K×4K。但4K×2K以上分辨率市場(chǎng)還有待培育。
幀頻上，視頻幀頻從30fps向60fps、120fps甚至240fps的應(yīng)用場(chǎng)景升級(jí)是有可能的。但人的肉眼識(shí)別極限為20ms，對(duì)應(yīng)幀頻為50fps，也就是高于60fps以上的幀頻一般應(yīng)用是用不到的，更高幀頻的應(yīng)用場(chǎng)景為三維顯示，但三維視頻會(huì)議需要依靠裸眼三維電視技術(shù)，該技術(shù)目前還不夠完善，因此，目前的視頻會(huì)議將集中在30fps和60fps的應(yīng)用上。而30fps與60fps的區(qū)別非專業(yè)人士是感知不到的，HEVC技術(shù)將首先出現(xiàn)在1080P 30fps的視頻會(huì)議應(yīng)用上。在壓縮比進(jìn)一步提升的情況下，市場(chǎng)上將會(huì)推出512K、1080P、30fps低延時(shí)HEVC產(chǎn)品。
中興通訊作為業(yè)界領(lǐng)先的視頻會(huì)議廠商，在中國(guó)率先發(fā)布支持H.264 High Profile標(biāo)準(zhǔn)的全系列產(chǎn)品。目前，中興通訊緊跟標(biāo)準(zhǔn)，并于2013年6月發(fā)布業(yè)界首款支持H.265（HEVC）的視頻會(huì)議終端。該視頻會(huì)議終端支持H.265的實(shí)時(shí)編解碼，相比于當(dāng)前的H.264產(chǎn)品，視頻壓縮效率提高一倍，即在保證相同視頻圖像質(zhì)量的前提下，視頻流碼率減少50%，這將極大減少用戶的網(wǎng)絡(luò)建設(shè)運(yùn)營(yíng)成本。來(lái)源中興通訊) .
