施正城 張倩 景瑞海 崔鵬濤 王斌 嚴(yán)濤 黃繼風(fēng)

摘要： 提出了一種基于梯度的幀內(nèi)候選模式裁剪算法，通過(guò)自適應(yīng)深度劃分并利用空間信息來(lái)簡(jiǎn)化幀內(nèi)預(yù)測(cè)過(guò)程，大大減少了計(jì)算復(fù)雜度.實(shí)驗(yàn)結(jié)果顯示，所提出的算法對(duì)比HM16.7，可以減少35.25%的計(jì)算復(fù)雜度，且只有極小的編碼效率損失.

關(guān)鍵詞：

高效率視頻編碼； 高清、超高清視頻； 快速算法； 幀內(nèi)預(yù)測(cè)

中圖分類號(hào)： TN 919.8文獻(xiàn)標(biāo)志碼： A文章編號(hào)： 10005137（2018）02024805

Gradientbased and intraframe adaptive depth decision algorithm

Shi Zhengcheng1， Zhang Qian1*， Jing Ruihai1， Cui Pengtao1， Wang Bin1， Yan Tao2， Huang Jifeng1

（1.The College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 200234，China；

2.School of Information Science and Technology，Jiujiang University，Jiangxi 332005，China）

Abstract：

To reduce this computational complexity，agradientbased clipping algorithm for intraframe candidatemode is proposed，which simplifies the intra prediction process by adaptive deep division and spatial information usage.Experimental results show that the proposed algorithm reduces the computational complexity by 35.25% compared with HM16.7 with only mininal loss of coding efficiency.

Key words：

high efficiency video coding； high definition，ultra high definition video； fast algorithm； intra prediction

收稿日期： 20171128

基金項(xiàng)目： 國(guó)家自然科學(xué)基金（61741111）；上海市自然科學(xué)基金（15ZR1431500，15ZR1430400）

作者簡(jiǎn)介： 施正城（1993-），男，碩士研究生，主要從事視頻編碼方面的研究.Email：paws66cc@163.com

導(dǎo)師簡(jiǎn)介： 張倩（1983-），女，副教授，主要從事視頻圖像處理與多媒體通信方面的研究.Email：qianzhang@shnu.edu.cn

*通信作者

引用格式： 施正城，張倩，景瑞海，等.基于梯度的幀內(nèi)自適應(yīng)深度決策算法 [J].上海師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，47（2）：248-252.

Citation format： Shi Z C，Zhang Q，Jing R H，et al.Gradientbased and intraframe adaptive depth decision algorithm [J].Journal of Shanghai Normal University （Natural Sciences），2018，47（2）：248-252.

0引言

聯(lián)合視頻編碼工作組JCTVC組織在2013年發(fā)布了新一代視頻編碼標(biāo)準(zhǔn)高效率視頻編碼（HEVC）[1-2]，相比較于前一代標(biāo)準(zhǔn)H.264/AVC[3]，HEVC能夠更高效地編碼高清及超高清視頻.HEVC包含了眾多新技術(shù)，例如基于大尺寸四叉樹的分割結(jié)構(gòu)、新的幀內(nèi)預(yù)測(cè)模式、自適應(yīng)濾波器、殘差編碼結(jié)構(gòu)等等.這些新的技術(shù)在極大提高編碼效率的同時(shí)，也帶來(lái)很高的計(jì)算復(fù)雜度，尤其提高了編碼過(guò)程中的復(fù)雜度.

為了減少編碼復(fù)雜度，加快編碼過(guò)程，近年來(lái)學(xué)者們提出了許多快速幀內(nèi)預(yù)測(cè)算法.Zhao等[4]提出了相鄰塊最優(yōu)預(yù)測(cè)模式（MPM），并將其加入Rate Distortion Optimization（RDO）候選模式列表，利用空間上相鄰編碼單元（CU）的方向信息來(lái)進(jìn)一步加快幀內(nèi)模式?jīng)Q策過(guò)程；Silva等[5]分析了當(dāng)前預(yù)測(cè)單元（PU）的紋理信息，排除部分幀內(nèi)預(yù)測(cè)方向，從而降低了幀內(nèi)預(yù)測(cè)的復(fù)雜度；Shen等[6]在分析圖像內(nèi)容相關(guān)性的基礎(chǔ)上，參照周圍CU的深度劃分當(dāng)前CU深度；Heindel等[7]提出了一種利用參考樣本的兩段式提前終止策略，來(lái)執(zhí)行快速編碼的算法；Min等[8]提出了基于指定全局和局部邊緣復(fù)雜度的HEVC幀內(nèi)CU快速?zèng)Q策算法，結(jié)合當(dāng)前CU和其四個(gè)子CU的邊緣復(fù)雜度決定當(dāng)前CU是否需要?jiǎng)澐郑籛ang等[9]提出了一種三步快速幀內(nèi)預(yù)測(cè)算法，使用CU分割預(yù)測(cè)和低精度的粗略模式?jīng)Q策（RMD）加速幀內(nèi)預(yù)測(cè)過(guò)程.Sun等[10]通過(guò)計(jì)算編碼樹單元（CTU）的絕對(duì)變換差值和（SATD），并以SATD為閾值，減少幀內(nèi)預(yù)測(cè)CU層次和幀內(nèi)預(yù)測(cè)方向數(shù)目，從而降低了幀內(nèi)預(yù)測(cè)復(fù)雜度.

上述算法在增加了編碼速度的同時(shí)也增加了編碼比特率.為了克服這一問(wèn)題，本文作者提出了一種基于梯度的自適應(yīng)深度決策算法，以期降低算法的復(fù)雜度.

1HEVC幀內(nèi)預(yù)測(cè)概述

在HEVC中，視頻幀由一系列CTU構(gòu)成.CTU尺寸最大為64 pixels×64 pixels，最小為16 pixels×16 pixels.HEVC 的 CTU尺寸突破了16 pixels×16 pixels的限制，更加適合處理高清、超高清視頻，這也是 HEVC 編碼效率提升的重要原因.HEVC 編碼標(biāo)準(zhǔn)中將 CTU的葉節(jié)點(diǎn)定義為CU，編碼器根據(jù) CU 內(nèi)部視頻內(nèi)容的復(fù)雜程度，以四叉樹的方式將 CU 遞歸劃分為多個(gè)編碼單元.CU的尺寸可以遞歸劃分為64 pixels×64 pixels、32 pixels×32 pixels、16 pixels×16 pixels和8 pixels×8 pixels，其遞歸深度分別為0、1、2和3.PU包含幀內(nèi)預(yù)測(cè)模式信息和幀間的運(yùn)動(dòng)信息，是進(jìn)行幀內(nèi)/幀間預(yù)測(cè)的基本單元.變換單元（TU）是對(duì)殘差數(shù)據(jù)進(jìn)行變換和量化的基本單元.HEVC從預(yù)測(cè)方向的個(gè)數(shù)及判斷過(guò)程對(duì)幀內(nèi)預(yù)測(cè)進(jìn)行擴(kuò)展和深入.對(duì)于亮度分量，HEVC 有35種幀內(nèi)預(yù)測(cè)模式.

另外，HEVC采用了與H.264類似的RDO技術(shù)[11]，為每一種預(yù)測(cè)模式計(jì)算失真代價(jià)，有效地提高了編碼性能.首先對(duì)最大編碼單元（LCU）進(jìn)行幀內(nèi)預(yù)測(cè)，定義此時(shí)的率失真為R0，然后將LCU劃分4個(gè)子CU，對(duì)每個(gè)子CU進(jìn)行幀內(nèi)預(yù)測(cè)并算出率失真代價(jià)和為R1.如果R0

2本研究的快速幀內(nèi)模式選擇算法

2.1自適應(yīng)深度決策裁剪算法

HEVC原有的標(biāo)準(zhǔn)算法采用窮盡式CU劃分決策，但并不高效.大尺寸的CU具有較大的深度值，對(duì)應(yīng)于視頻中均勻分布的圖像或者運(yùn)動(dòng)平緩的區(qū)域；小尺寸的CU具有深度值，對(duì)應(yīng)于描述視頻圖像中的細(xì)節(jié)部分以及動(dòng)作快速變化的區(qū)域.因此，CU的劃分深度應(yīng)根據(jù)圖像的具體內(nèi)容，如動(dòng)作的變化度與紋理的豐富度，進(jìn)行自適應(yīng)的調(diào)整.與此同時(shí)，空域臨近的CU間有很強(qiáng)的相關(guān)性.

當(dāng)前CU的深度與空域臨近的4個(gè)CU相關(guān)，分別是左（Left）、上（Up）、左上（LeftUp）以及右上（RightUp）4個(gè)CU，如圖1所示.

其中，N為當(dāng)前的已編碼CU個(gè)數(shù)，μi為權(quán)值系數(shù)，di為相應(yīng)的深度取值.左CU以及上CU的權(quán)值系數(shù)為0.35，左上CU以及右上CU的權(quán)值系數(shù)為0.15.

由（1）式計(jì)算當(dāng)前待編碼CU的深度值，將其分類[12]：（1）Dpre≤0.5，（2） 0.52.5.

利用CU的空間信息進(jìn)一步簡(jiǎn)化幀內(nèi)預(yù)測(cè)過(guò)程.由于RMD候選列表中的候選模式以代價(jià)函數(shù)值降序進(jìn)行排列，Zhao[4]通過(guò)統(tǒng)計(jì)分析發(fā)現(xiàn)一個(gè)CU的最優(yōu)預(yù)測(cè)模式大概率等于候選模式列表中模式1或2.Shen[6]討論了當(dāng)RMD列表中的第一項(xiàng)、父CU的編碼模式和MPM均相等時(shí)，該模式很可能是當(dāng)前模式的最優(yōu)預(yù)測(cè)模式，無(wú)需再通過(guò)對(duì)RDO進(jìn)行篩選.

通過(guò)定義預(yù)測(cè)模式序號(hào)小于等于2的所有模式為一組，Shen[12]對(duì)RMD候選模式序號(hào)的差異性做出了統(tǒng)計(jì)，結(jié)果顯示，90%的RMD候選模式可以歸類到上述定義的組別之中.即使是紋理復(fù)雜度較高或變化較大的編碼區(qū)域，編碼CU中涵蓋的主要邊緣類型大概率不超過(guò)2.于是將候選模式的序號(hào)差值小于等于2的模式縮減為一個(gè)CU代表所表征的紋理方向，從而達(dá)到對(duì)于RDO的進(jìn)一步縮減.而當(dāng)候選模式序號(hào)差值大于2時(shí)，將通過(guò)下一小節(jié)的方法來(lái)減少RDO.

2.2基于梯度的幀內(nèi)預(yù)測(cè)算法

利用平面直角坐標(biāo)系和sobel算子計(jì)算當(dāng)前PU的像素梯度.定義pi，j為一個(gè)像素點(diǎn)，則像素的梯度向量Gi，j={Gxi，j，Gyi，j}，Gxi，j和Gyi，j分別代表像素梯度的水平和垂直信息，

3實(shí)驗(yàn)結(jié)果及討論

利用HEVC標(biāo)準(zhǔn)測(cè)試軟件HM16.7對(duì)提出的算法進(jìn)行評(píng)估.實(shí)驗(yàn)平臺(tái)的硬件配置為：英特爾酷睿 i77500U（雙核）的CPU，主頻2.9 GHZ，內(nèi)存8 GBytes，操作系統(tǒng)Windows10.

本次測(cè)試中所采用的量化參數(shù)QP分別為22、27、32、37，其余所有的幀內(nèi)編碼參數(shù)均正確設(shè)定.實(shí)驗(yàn)所用的測(cè)試序列為不同類別（Class）中不同場(chǎng)景的高清、超高清視頻序列，包括Class A （2 560 pixels×1 600 pixels），Class B （1 920 pixels×1 080 pixels） 和Class E （1 280 pixels×720 pixels）.采用平均碼流差（BDBR），平均峰值信噪比（BDPSNR）以及編碼時(shí)間節(jié)省比3個(gè)指標(biāo)，衡量和評(píng)價(jià)所提出的算法.其中，編碼效率由BDBR以及BDPSNR衡量，而編碼減少時(shí)間由下式衡量：

圖2給出了本算法與HM16.7標(biāo)準(zhǔn)算法在對(duì)序列ParkScene編碼后的率失真（RD）曲線.從圖2中可以看出所提算法較HM16.7標(biāo)準(zhǔn)算法只有可以忽略不計(jì)的編碼質(zhì)量損失.其余序列的RD曲線與當(dāng)前曲線均近似.

4總結(jié)

本文作者提出了一種HEVC幀內(nèi)快速模式選擇算法，包括：快速CU深度決策裁剪算法與基于梯度的幀內(nèi)預(yù)測(cè)算法.算法的評(píng)估由最新的HEVC參考軟件HM16.7完成.實(shí)驗(yàn)結(jié)果表明，所提出的算法可以節(jié)省平均35.25%的總編碼時(shí)間，并且BDrate只增加了1.26%，BDPSNR減少了0.06 dB.

參考文獻(xiàn)：

[1]Bross B，Han W J，Ohm J R，et al.High Efficiency Video Coding （HEVC） text specification draft 9 [R].San Jose：Joint Collaborative Team on Video Coding，2012.

[2]Sullivan G J，Ohm J R，Han W J，et al.Overview of the High Efficiency Video Coding （HEVC） standard [J].IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1649-1668.

[3]Wiegand T，Sullivan G J，Bjontegaard G，et al.Overview of the H.264/AVC video coding standard [J].IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：560-576.

[4]Zhao L，Zhang L，Ma S W，et al.Fast mode decision algorithm for intra prediction in HEVC [C].Proceedings of 2011 IEEE Visual Communications and Image Processing.Tainan：IEEE，2011.

[5]DaSilva T L，Agostini L V，DaSilvaCruz L A.Fast HEVC intra prediction mode decision based on EDGE direction information [C].Proceedings of the 20th European Signal Processing Conference.Bucharest：IEEE，2012.

[6]Shen L Q，Zhang Z Y，An P.Fast CU size decision and mode decision algorithm for HEVC intra coding [J].IEEE Transactions on Consumer Electronics，2013，59（1）：207-213.

[7]Heindel A，Pylinski C，Kaup A.Twostage exclusion of angular intra prediction modes for fast mode decision in HEVC [C].Proceedings of 2016 IEEE International Conference on Image Processing.Phoenix：IEEE，2016.

[8]Min B，Cheung R C C.Afast CU size decision algorithm for the HEVC intra encoder [J].IEEE Transactions on Circuits and Systems for Video Technology，2015，25（5）：892-896.

[9]Wang Y，F(xiàn)an X P，Zhao L，et al.A fast intra coding algorithm for HEVC [C].Proceedings of 2014 IEEE International Conference on Image Processing.Paris：IEEE，2014.

[10]Zhang Y F，Li Z，Li B.Gradientbased fast decision for intra prediction in HEVC [C].Proceedings of 2012 IEEE Visual Communications and Image Processing.San Diego：IEEE，2012.

[11]Sun H M，Zhou D J，Goto S.A lowcomplexity HEVC intra prediction algorithm based on level and mode filtering [C].Proceedings of 2012 IEEE International Conference on Multimedia and Expo.Melbourne：IEEE，2012.

[12]Shen L Q，Liu Z，Zhang X P，et al.An effective CU size decision method for HEVC encoders [J].IEEE Transactions on Multimedia，2013，15（2）：465-470.

（責(zé)任編輯：包震宇）