李俊娟，劉 昱

(天津大學(xué)電子信息工程學(xué)院，天津300072)

高效視頻編碼(HEVC)標(biāo)準(zhǔn)由國際電信聯(lián)盟通信標(biāo)準(zhǔn)部門(ITU-T)的視頻編碼專家組(VCEG)和國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)(ISO/IEC)的運(yùn)動(dòng)圖像專家組(MPEG)組成的聯(lián)合協(xié)作視頻編碼組(JCT-VC)制定，標(biāo)準(zhǔn)號(hào)為ITU-T Rec.H.265或ISO/IEC 23008-2。繼H.264/AVC之后，該標(biāo)準(zhǔn)面向比高清晰度電視(HDTV)更高級(jí)別的圖像格式，編碼效率大幅提升。

1 HEVC簡介

HEVC與自H.261以來的視頻編碼標(biāo)準(zhǔn)一樣，也沿用了混合視頻編碼技術(shù)，包括幀內(nèi)/幀間預(yù)測(cè)、變換編碼和熵編碼等。與此同時(shí)，與H.264/AVC相比，HEVC還采用了許多新的視頻編碼技術(shù)，如編碼四叉樹結(jié)構(gòu)、變換四叉樹結(jié)構(gòu)、編碼單元、預(yù)測(cè)單元、變換單元等。這些新的編碼技術(shù)使得在同等視頻質(zhì)量下，采用HEVC對(duì)高分辨率的視頻編碼可節(jié)省約50%比特率［1］。

在獲更高壓縮效率的同時(shí)，HEVC編碼計(jì)算復(fù)雜度也顯著增加。在幀內(nèi)預(yù)測(cè)處理中，HEVC支持35種幀內(nèi)預(yù)測(cè)模式，如圖1所示。其中，包括33種方向相關(guān)的預(yù)測(cè)模式(角度預(yù)測(cè)模式)，和2種非方向相關(guān)的幀內(nèi)預(yù)測(cè)模式(直流和平面預(yù)測(cè)模式)。實(shí)際上，每個(gè)角度預(yù)測(cè)模式都對(duì)應(yīng)一個(gè)特定的預(yù)測(cè)方向［2-3］。例如，當(dāng)幀內(nèi)預(yù)測(cè)模式為34，待預(yù)測(cè)塊的尺寸為4×4時(shí)(見圖2)，待預(yù)測(cè)塊中的所有像素點(diǎn)由右上角的對(duì)角線至參考像素所在行或列投影，然后將待預(yù)測(cè)塊中的像素點(diǎn)按其投影到的參考點(diǎn)的像素值賦值。

HEVC編碼中，需遍歷所有幀內(nèi)編碼模式，得相應(yīng)的預(yù)測(cè)數(shù)據(jù)值并計(jì)算預(yù)測(cè)誤差。為了降低幀內(nèi)預(yù)測(cè)復(fù)雜度，應(yīng)避免計(jì)算所有35種預(yù)測(cè)模式的預(yù)測(cè)數(shù)據(jù)和預(yù)測(cè)誤差。顯然，如果待預(yù)測(cè)塊的紋理信息可提前獲取，那么預(yù)測(cè)方向就變?yōu)橐阎恍柽x取該預(yù)測(cè)方向?qū)?yīng)的1種角度預(yù)測(cè)模式和與其相鄰的幀內(nèi)預(yù)測(cè)模式作為疑似最優(yōu)預(yù)測(cè)模式，于是無須遍歷所有33種角度預(yù)測(cè)模式。

文獻(xiàn)［4-6］采用基于DCT系數(shù)的思想實(shí)現(xiàn)了H.264/AVC幀內(nèi)預(yù)測(cè)模塊的加速。由于HEVC 支持的幀內(nèi)預(yù)測(cè)模式更多，且支持從4×4到64×64尺寸的待預(yù)測(cè)塊，因此要想用基于DCT系數(shù)的方案加速HEVC幀內(nèi)預(yù)測(cè)，需研究DCT變換系數(shù)與33種HEVC幀內(nèi)預(yù)測(cè)模式的對(duì)應(yīng)關(guān)系。

圖1 HEVC支持的35種幀內(nèi)預(yù)測(cè)模式

圖2 用相應(yīng)參考像素生成預(yù)測(cè)塊的示例

2 圖像DCT數(shù)據(jù)與HEVC幀內(nèi)預(yù)測(cè)模式的映射關(guān)系

2.1 HEVC的幀內(nèi)預(yù)測(cè)數(shù)據(jù)生成

在HEVC幀內(nèi)預(yù)測(cè)中，待預(yù)測(cè)塊的樣點(diǎn)值是根據(jù)重建好的參考樣點(diǎn)值通過外推法得到。為了簡化，參考樣點(diǎn)均取自待預(yù)測(cè)塊的相鄰的參考行或列。當(dāng)角度幀內(nèi)預(yù)測(cè)模式取值為2～17時(shí)，參考樣點(diǎn)取自待預(yù)測(cè)塊左側(cè)參考列;當(dāng)角度幀內(nèi)預(yù)測(cè)模式取值為18～34時(shí)，參考樣點(diǎn)取自待預(yù)測(cè)塊上方參考行。

獲取待預(yù)測(cè)塊中每一樣點(diǎn)值的具體方法是:將該待預(yù)測(cè)樣點(diǎn)位置沿給定角度幀內(nèi)預(yù)測(cè)模式代表的方向向參考行或列做投影;當(dāng)投影所得位置為整數(shù)時(shí)，直接將該位置處的參考樣點(diǎn)值賦值給該待預(yù)測(cè)樣點(diǎn)，當(dāng)投影所得位置不是整數(shù)時(shí)，將距該位置最近的兩參考樣點(diǎn)值加權(quán)平均，得待預(yù)測(cè)樣點(diǎn)值

式中:wy代表投影位置到兩個(gè)最近參考樣點(diǎn)位置距離的權(quán)重;“＞＞”代表按位右移操作。距離投影位置最近的兩個(gè)參考樣點(diǎn)的位置坐標(biāo)為(i，0)，(i+10)，及權(quán)重wy計(jì)算方法如下

式中:d為與角度幀內(nèi)預(yù)測(cè)模式相關(guān)的參數(shù)，取值范圍-32～+32，如表1第2、第4列所示;＆代表按位與運(yùn)算。可以看出，cy和wy只依賴于待預(yù)測(cè)樣點(diǎn)位置坐標(biāo)y與角度幀內(nèi)預(yù)測(cè)模式相關(guān)的參數(shù)d。因此，在特定角度幀內(nèi)預(yù)測(cè)模式下，待預(yù)測(cè)塊內(nèi)同一行的待預(yù)測(cè)樣點(diǎn)對(duì)應(yīng)的和均相等，即只需計(jì)算一次。

表1 角度預(yù)測(cè)模式與紋理方向映射表

式(1)和式(2)給出了在幀內(nèi)預(yù)測(cè)模式為18～34情況下，待預(yù)測(cè)塊內(nèi)樣點(diǎn)值的計(jì)算方法，此時(shí)利用待預(yù)測(cè)塊上方參考行完成。當(dāng)角度幀內(nèi)預(yù)測(cè)模式為2～17時(shí)，預(yù)測(cè)由待預(yù)測(cè)塊左側(cè)參考列完成。

在某些情況下，投影所得像素位置可能為負(fù)值。此時(shí)，需對(duì)參考行或參考列擴(kuò)展。參考行需向左擴(kuò)展時(shí)，用參考列沿給定預(yù)測(cè)方向?yàn)閰⒖夹凶髠?cè)樣點(diǎn)值賦值;參考列需向上擴(kuò)展時(shí)，用參考行沿給定預(yù)測(cè)方向?yàn)閰⒖剂猩戏綐狱c(diǎn)值賦值。

2.2 圖像DCT數(shù)據(jù)與角度幀內(nèi)預(yù)測(cè)模式的關(guān)系

DCT變換是一種為去除空間域相關(guān)性而廣泛使用的方法。其計(jì)算式為

式中:ACu，v代表位于第i行第j列的DCT系數(shù)。事實(shí)上，每個(gè)DCT系數(shù)代表一個(gè)有特定紋理方向的基圖像，如圖3所示。此外，每個(gè)DCT系數(shù)的絕對(duì)值反映了原始待預(yù)測(cè)塊的紋理特征與該基圖像紋理特征的相似程度。顯然，第1行DCT系數(shù)的基圖像具有垂直的紋理特性，類似地，第1列的DCT系數(shù)的基圖像具有水平紋理特性。此處用Energyv，Energyh分別表示原始待預(yù)測(cè)塊具有垂直或水平紋理特征的可能性。因此這兩個(gè)量的計(jì)算方法如

圖3 DCT系數(shù)和相應(yīng)的基圖像

基于上述對(duì)DCT系數(shù)特性的分析，本文建議采用如下方法計(jì)算待預(yù)測(cè)塊的紋理方向

式中:變量θ表示原始待預(yù)測(cè)塊的紋理方向與水平軸正向間的角度值。

由于每個(gè)角度預(yù)測(cè)模式分別代表一個(gè)特定預(yù)測(cè)方向，因此33種角度預(yù)測(cè)模式與預(yù)測(cè)方向角度間的映射關(guān)系如表1第5列所示。以角度預(yù)測(cè)模式33為例(見圖1)，其預(yù)測(cè)方向角記為 α1，根據(jù)平行線定理，角度 α1與 α2相等，而 α2=arctan(32)=50．91°，因此 α= α=50．91°。2612

此外，如圖1所示，角度預(yù)測(cè)模式19的預(yù)測(cè)方向角度為b1，其補(bǔ)角為 c1，c1的平行角為 c2。對(duì)于等腰三角形，c2=α2，于是b1與α1互補(bǔ)，因此本文將角度預(yù)測(cè)模式19和33稱為對(duì)稱模式對(duì)，這樣表1可簡化為第3列所示。

考慮到式(7)計(jì)算的紋理方向角度連續(xù)，其取值區(qū)間為(0°，90°)，因此需對(duì)其離散化，來匹配離散的33種角度預(yù)測(cè)模式。以角度預(yù)測(cè)模式13為例，通過查表1的第5列可知，其預(yù)測(cè)方向角度為15．71°，其相鄰的角度預(yù)測(cè)模式12和14的預(yù)測(cè)方向角度分別為 8．88°和 22．11°。

假設(shè)這三種角度預(yù)測(cè)模式被選為最優(yōu)預(yù)測(cè)模式的可能性相等，本文采用如下方法計(jì)算角度預(yù)測(cè)模式13對(duì)應(yīng)的紋理方向角度區(qū)間

類似地，其他角度預(yù)測(cè)模式的紋理方向角度區(qū)間也可計(jì)算得到，如表1的第6列所示。

建立了紋理方向區(qū)間和角度預(yù)測(cè)模式間的映射關(guān)系后，用式(7)對(duì)原始待預(yù)測(cè)塊的紋理方向角度進(jìn)行估計(jì)，再根據(jù)該紋理方向角度位于表1第6列的哪一個(gè)區(qū)間中來將相應(yīng)的角度預(yù)測(cè)模式(記為紋理模式)確定為備選幀內(nèi)預(yù)測(cè)模式。選擇第1列還是第3列的角度預(yù)測(cè)模式作為紋理模式取決于AC0，1和 AC1，0符號(hào)是否同號(hào)，同號(hào)時(shí)選第 3 列，否則選第 1 列。

3 實(shí)驗(yàn)及結(jié)果

本文基于HEVC編碼器HM12.0［7］，采用C語言實(shí)現(xiàn)了本文提出的DCT系數(shù)與幀內(nèi)預(yù)測(cè)模式之間的映射處理，并對(duì)標(biāo)準(zhǔn)的HEVC編碼器進(jìn)行改進(jìn)，改進(jìn)后稱為基于DCT系數(shù)的HEVC編碼器。

為了提高編碼器的預(yù)測(cè)精度，本文在計(jì)算得到紋理方向角度后，以該紋理方向角度為中心，左右各取相同的角度偏移，構(gòu)成一個(gè)預(yù)測(cè)角度范圍，來彌補(bǔ)本文計(jì)算紋理方向角度的方法存在的誤差，并允許預(yù)測(cè)方向角度位于該預(yù)測(cè)角度范圍內(nèi)的所有角度預(yù)測(cè)模式進(jìn)入幀內(nèi)預(yù)測(cè)模塊。

本實(shí)驗(yàn)做出如下兩個(gè)假定:

假定一，基于DCT系數(shù)的HEVC編碼器與原始HEVC編碼器相比，比特率差異小于0.5%，且編碼質(zhì)量PSNR差異小于0.01 dB時(shí)，認(rèn)為本實(shí)驗(yàn)得到的最優(yōu)預(yù)測(cè)模式與原始HEVC編碼器一致，誤差近似為0。

假定二，33種角度預(yù)測(cè)模式均勻分布于180°的范圍中。該假定是為方便統(tǒng)計(jì)左右角度偏移量和預(yù)測(cè)角度范圍。

實(shí)驗(yàn)采用全Ⅰ幀高效率配置條件，進(jìn)行全Ⅰ幀編碼，實(shí)驗(yàn)序列為 PeopleOnStreet(2 560×1 600 Class A)、Kimono(1 920×1 080 Class B)、RaceHorses(832 × 480 Class C)、BlowingBubbles(416×240 Class D)、Vidyo4(1 280×720 Class E)，實(shí)驗(yàn)素材為分別從上述5個(gè)測(cè)試序列中隨機(jī)抽取出的50幀視頻畫面。量化系數(shù)設(shè)置為22，27，32和37?？紤]到不同預(yù)測(cè)塊尺寸下的紋理方向誤差的差異性，本實(shí)驗(yàn)對(duì)不同尺寸的預(yù)測(cè)塊采用了不同的預(yù)測(cè)角度范圍，所得實(shí)驗(yàn)結(jié)果如表2所示。

表2 粗略紋理方向與實(shí)際最優(yōu)預(yù)測(cè)模式方向的偏差

以PeopleOnStreet序列為例，為保證基于 DCT系數(shù)的HEVC編碼器的編碼質(zhì)量，對(duì)于尺寸為64×64的預(yù)測(cè)塊，需在計(jì)算出紋理方向后，以該紋理方向?yàn)橹行?，向左右各偏?.625，形成11.25的預(yù)測(cè)角度范圍即可覆蓋最優(yōu)預(yù)測(cè)模式所在位置，所得粗略紋理方向與實(shí)際最優(yōu)預(yù)測(cè)模式方向的偏差在5.625以內(nèi)。

由實(shí)驗(yàn)結(jié)果可知，所得粗略紋理方向與最優(yōu)預(yù)測(cè)模式的預(yù)測(cè)方向很接近:最小偏差為0，即計(jì)算出的紋理方向與最優(yōu)預(yù)測(cè)模式基本一致;最大偏差為28.125，即最優(yōu)預(yù)測(cè)模式存在于以粗略紋理方向?yàn)橹行男纬傻?6.25的角度范圍內(nèi)。為避免出現(xiàn)最大偏差，本文采用下文所述按不同塊尺寸設(shè)定幀內(nèi)預(yù)測(cè)模式備選數(shù)量的措施。

由表2數(shù)據(jù)可知，對(duì)64×64尺寸的數(shù)據(jù)塊，預(yù)測(cè)精度最高，平均約15，而4×4數(shù)據(jù)塊的預(yù)測(cè)精度較低，平均約31。據(jù)此，應(yīng)相應(yīng)確定備選的幀內(nèi)預(yù)測(cè)模式數(shù)量，例如64×64數(shù)據(jù)塊的備選模式數(shù)量為4，而4×4數(shù)據(jù)塊為12。這表明，本文基于DCT系數(shù)預(yù)測(cè)HEVC幀內(nèi)角度的方法，可大幅降低HEVC幀內(nèi)預(yù)測(cè)計(jì)算的復(fù)雜度。

4 小結(jié)

本文建立了基于DCT系數(shù)的紋理方向與33種HEVC幀內(nèi)角度預(yù)測(cè)模式間的映射關(guān)系，提出了一種根據(jù)DCT系數(shù)的分布特征來快速鎖定疑似最優(yōu)幀內(nèi)預(yù)測(cè)模式的方法。該方法先將原始待預(yù)測(cè)塊進(jìn)行DCT變換，利用DCT系數(shù)粗略提取出原始待預(yù)測(cè)塊的紋理信息，根據(jù)與角度預(yù)測(cè)模式之間的映射關(guān)系，鎖定疑似最優(yōu)幀內(nèi)預(yù)測(cè)模式。該種映射關(guān)系將最優(yōu)幀內(nèi)預(yù)測(cè)模式的搜索范圍從180°降低為最高56.25°，從而避免了遍歷35種幀內(nèi)預(yù)測(cè)模式造成的高計(jì)算量和高編碼時(shí)間。

［1］ SULLIVAN GJ，OHM JR，HAN WJ，et al.Overview of the high efficiency video coding(HEVC)standard［J］.IEEE Trans.Circuits And Systems for Video Technology，2012，22(12):1648-1667.

［2］ LEE SW，KIM Y M，CHOI SW.Fast scene change detection using direct feature extraction from MPEG compressed videos［J］.IEEE Trans.Multimedia，2000，2(4):240-254.

［3］ EOM M，CHOE Y.Fast extraction of edge histogram in DCT domain based on MPEG7［J］.IEEE Trans.Engineering Computing and Technology，2005(9):209-212.

［4］ LA B，EOM M，CHOE Y.Fast mode decision for intra prediction in H.264/AVC encoder［C］//Proc.IEEE International Conference on Image Processing.San Antonio，TX:IEEE Press，2007:321-324.

［5］ LIU X，YOO K Y，KIM SW.Low complexity intra prediction algorithm for MPEG-2 to H.264/AVC transcoder［J］.IEEE Trans.Consumer Electronics，2010，56(2):987-994.

［6］ HAN Xiaojun，WANG Yongsheng，DU Xianyan.Optimization and realization of texture-based H.264 video coding algorithm［C］//Proc.IEEE International Conference on Control，Automation and Systems Engineering.Singapore:IEEE Press，2011:1-3.

［7］ JCT-VC.HEVC reference software hm 12.0［EB/OL］.［2014-08-08］.https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-12.0/.