基于HEVC的幀內(nèi)預(yù)測(cè)模式?jīng)Q策和編碼單元?jiǎng)澐挚焖偎惴?/h1>
2018-06-20 06:17:20王曉東徐博文
計(jì)算機(jī)應(yīng)用 2018年4期
郭 磊,王曉東,徐博文,王 健
0 引言
隨著超高清晰度電視﹑3D視頻﹑高清移動(dòng)視頻等視頻服務(wù)需求的日益增長(zhǎng),高清視頻編碼和傳輸日益成為研究的主要問題,視頻編碼聯(lián)合工作組(Joint Collaborative Team on Video Coding, JCT-VC)在2013年正式推出了新一代高效視頻編碼(High Efficiency Video Coding,HEVC)標(biāo)準(zhǔn)[1]。HEVC采用了靈活的四叉樹分割﹑樣點(diǎn)自適應(yīng)補(bǔ)償?shù)榷囗?xiàng)新編碼方案[2]。在HEVC編碼標(biāo)準(zhǔn)中,分別使用編碼單元(Coding Unit, CU)﹑預(yù)測(cè)單元(Prediction Unit, PU)和變換單元(Transform Unit, TU)實(shí)現(xiàn)編碼﹑預(yù)測(cè)和變換;為了獲得較好的預(yù)測(cè)結(jié)果,PU中的預(yù)測(cè)模式比H.264/AVC(Advanced Video Coding)[3]增加了26種。在保證相同視頻圖像質(zhì)量的條件下,HEVC的編碼碼率比H.264降低了50%左右,但相應(yīng)也急劇增加了編碼的復(fù)雜度,不利于HEVC的實(shí)時(shí)應(yīng)用。因此在不影響視頻編碼質(zhì)量情況下,有效降低編碼復(fù)雜度成為當(dāng)前HEVC的研究熱點(diǎn)。
為了降低HEVC編碼復(fù)雜度,許多學(xué)者從CU快速分割和PU角度模式選擇兩方面提出了許多優(yōu)化算法。文獻(xiàn)[4]通過梯度信息減少預(yù)測(cè)模式個(gè)數(shù),并通過CU的紋理平坦性提前終止劃分。Feng等[5]計(jì)算每個(gè)最大編碼單元(Largest Coding Unit, LCU)的顯著性,再比較LCU顯著圖子塊的各個(gè)熵值,進(jìn)行PU尺寸的提前判定,具有較好的適用性但求取熵值較復(fù)雜。Cuenca[6]提出了一種紋理方向檢測(cè)算法,利用離散點(diǎn)陣的斜率集合計(jì)算編碼單元局部紋理方向方差(Mean Directional Variance, MDV),MDV較為準(zhǔn)確地表示CU的紋理方向,但需要獲得相應(yīng)矩陣并平方,間接增加了復(fù)雜度。Marzuki等[7]根據(jù)上層CU和相鄰PU的預(yù)測(cè)模式自適應(yīng)地降低當(dāng)前編碼單元粗選擇模式的個(gè)數(shù),將由率失真平均值得到的自適應(yīng)閾值應(yīng)用到率失真優(yōu)化(Rate Distortion Optimization,RDO)和殘差四叉樹變換(Residual Quad-tree Transform, RQT)過程中進(jìn)行提前終止判斷,但僅僅利用空域相關(guān)性來預(yù)判使編碼復(fù)雜度的降低相對(duì)有限。Zhang等[8]首先分析了四叉樹中CU劃分深度,提出了一種靈活的CU深度選擇結(jié)構(gòu),并通過支持向量機(jī)訓(xùn)練獲得最優(yōu)參數(shù),來實(shí)現(xiàn)CU尺寸選擇；訓(xùn)練本身具有一定復(fù)雜度,同時(shí)也會(huì)因?yàn)檎`判導(dǎo)致率失真下降。文獻(xiàn)[9]中提出了基于圖像紋理特征的CU劃分和PU模式快速選擇算法,通過提取編碼塊的紋理特征以及沿特定方向的方向能量分布，提前判定CU尺寸。文獻(xiàn)[10]中提出了一種利用預(yù)測(cè)殘差統(tǒng)計(jì)信息實(shí)現(xiàn)快速編碼四叉樹的方法,相對(duì)于原始平臺(tái)獲得了較好的編碼性能,但復(fù)雜度減少有限。文獻(xiàn)[11]提取了空間相關(guān)性以及原始編碼特征,利用支持向量機(jī)預(yù)測(cè)不同權(quán)重,通過加權(quán)后判斷當(dāng)前CU是否往下分割。文獻(xiàn)[4-13]僅僅是利用視頻圖像紋理特性、統(tǒng)計(jì)特性或空域相關(guān)性中的部分特性進(jìn)行快速實(shí)現(xiàn)。
為了進(jìn)一步降低CU遞歸分割復(fù)雜度,本文綜合利用了統(tǒng)計(jì)特性、紋理特征對(duì)CU進(jìn)行劃分快速?zèng)Q策;并相應(yīng)地對(duì)參與粗模式選擇(Rough Mode Decision,RMD) 過程中的模式個(gè)數(shù)進(jìn)行判決。
1 幀內(nèi)預(yù)測(cè)快速算法
HEVC采用固定大小尺寸范圍的CU來編碼一個(gè)視頻序列，且采用了較為靈活的四叉樹等技術(shù),因此HEVC獲得了較高的壓縮效率,但也相應(yīng)增加了計(jì)算復(fù)雜度。相對(duì)于H.264/AVC中使用的9種幀內(nèi)預(yù)測(cè)模式，HEVC將幀內(nèi)預(yù)測(cè)模式擴(kuò)展為35種(如圖1所示),包括33種方向性預(yù)測(cè)模式、DC模式和Planar模式。為了找出PU最佳模式,編碼框架不得不遍歷這35種模式來計(jì)算每一個(gè)PU的率失真代價(jià),這樣導(dǎo)致了高計(jì)算復(fù)雜度。
圖1 HEVC的35種幀內(nèi)預(yù)測(cè)模式
一般來說,在HEVC編碼處理過程中,CU尺寸的選擇、PU模式選擇與視頻內(nèi)容紋理特征有關(guān)。如圖2所示,在量化參數(shù)(Quantization Parameter, QP)為32時(shí),顯示了序列BasketballPass第4幀的CU最終分割和PU的最優(yōu)預(yù)測(cè)模式結(jié)果。從圖2(a)可以看出,平坦光滑的區(qū)域(如墻面、地板)較大概率地采用大尺寸的CU編碼;而對(duì)于運(yùn)動(dòng)員、籃球等紋理復(fù)雜的區(qū)域需要較小尺寸單元編碼。從圖2(b)可以看出，PU的預(yù)測(cè)模式大多沿著圖像的紋理方向,對(duì)于那些紋理特別平坦光滑的區(qū)域(如墻面、地板),會(huì)較大概率地選擇DC模式或Planar模式。
圖2 BasketballPass第4幀CU分割和PU預(yù)測(cè)模式示意圖
1.1 CU快速分割算法
考慮到上面這些因素,本文在每一深度層計(jì)算該CU紋理方向時(shí)引入像素方差參數(shù)variance來表示紋理復(fù)雜度。像素方差一般可用式(1)表示:
(1)
其中:N表示塊的尺寸大小;I(i,j)表示在(i,j)位置上的像素點(diǎn)亮度值。為了避免式(1)的平方運(yùn)算,減少運(yùn)算量,CU塊的紋理復(fù)雜度[14]可定義為:
(2)
其中:I(i,j)表示在CU塊(i,j)位置上像素點(diǎn)亮度值;Imean表示CU塊像素點(diǎn)平均亮度值。本文在考慮文獻(xiàn)[15]中紋理方向表達(dá)式的基礎(chǔ)上結(jié)合式(2),定義了CU塊紋理方向復(fù)雜度的表達(dá)式:
(3)
(4)
(5)
(6)
其中:C0﹑C1﹑C2和C3分別表示CU塊在水平﹑垂直﹑45°和135°方向的紋理復(fù)雜度;N表示塊的尺寸大小;I(i,j)表示在(i,j)位置上的像素點(diǎn)亮度值。
選取C0﹑C1﹑C2和C3中的最大值記為Cmax,表示該CU塊的紋理復(fù)雜度。分別計(jì)算各個(gè)紋理方向的數(shù)值,值越小說明紋理方向越突出。本文需要計(jì)算四個(gè)方向,如果四個(gè)方向值都小于某一值時(shí),能夠說明該塊的平坦性,所以選擇其中的最大值作為該CU塊的紋理復(fù)雜度,通過選取閾值Th1來判斷CU塊的紋理平坦性。
由于8×8的CU還要繼續(xù)劃分成4個(gè)4×4的PU,當(dāng)視頻序列被劃分成許多8×8的CU時(shí),若能夠提前終止劃分成4個(gè)PU，將會(huì)減少更多時(shí)間。當(dāng)幀內(nèi)CU塊為8×8時(shí),其對(duì)應(yīng)有兩種PU模式即2N×2N和N×N,所以本文可以用閾值Th1來決定8×8的CU是否繼續(xù)劃分為4個(gè)PU以及使用其中的一種模式。
圖3為本文算法對(duì)每一深度層的CU進(jìn)行處理的流程。計(jì)算并選取C0﹑C1﹑C2和C3中的最大值Cmax,然后與Th1比較,判斷下一步是否劃分。當(dāng)depth為3時(shí),若紋理主方向強(qiáng)度值小于Th1,則直接選擇2N×2N模式,而不再考慮N×N模式,節(jié)省了相當(dāng)一部分時(shí)間。
圖3 每一深度層的CU劃分流程
圖4 PU的模式選取
1.2 PU預(yù)測(cè)模式選擇算法
由于HEVC采用35種幀內(nèi)PU預(yù)測(cè)模式，這在編碼過程中無疑增加了計(jì)算復(fù)雜度。HEVC幀內(nèi)預(yù)測(cè)編碼過程首先要進(jìn)行RMD,遍歷35種預(yù)測(cè)模式,然后根據(jù)對(duì)應(yīng)的PU尺寸選擇最有可能的預(yù)測(cè)模式,將當(dāng)前塊的最有可能模式(Most Probable Mode, MPM)加入到候選模式集中一起進(jìn)行高精度的率失真優(yōu)化RDO計(jì)算,最終選擇出最優(yōu)幀內(nèi)預(yù)測(cè)模式。根據(jù)上述模式預(yù)測(cè)過程,從兩個(gè)方面采取不同的選取策略來減少預(yù)測(cè)模式數(shù)量。
如圖4所示,三幅圖片是圖2(b)中的某一PU塊的對(duì)應(yīng)放大部分,在一致性區(qū)域部分如地板、籃球服沒有特殊的紋理方向,所以選擇DC和Planer模式作為該塊的最優(yōu)預(yù)測(cè)模式;而在包含有木紋方向的地板、有顏色邊緣的球衣根據(jù)其紋理方向使用不同的預(yù)測(cè)模式?？紤]到PU最終預(yù)測(cè)模式的方向一般服從圖像的紋理方向分布,本文利用1.1節(jié)得到的四個(gè)紋理方向的復(fù)雜度來提前減少PU預(yù)測(cè)模式個(gè)數(shù)。
在RMD過程中,根據(jù)1.1節(jié)計(jì)算得到的四個(gè)方向的紋理復(fù)雜度,當(dāng)PU塊紋理極為平坦時(shí)選擇模式DC、Planar的概率極大,當(dāng)滿足式(7):
Cmax-Cmin<0.1Cmin;Cmax(7)
本文直接選取選取模式DC、Planar且不再經(jīng)過RMD過程,若不滿足式(7)則從四個(gè)方向中選取水平方向復(fù)雜度C0、垂直方向復(fù)雜度C1,利用C0和C1之間的關(guān)系將35種PU預(yù)測(cè)模式分為兩組,即垂直方向(模式18～34)和水平方向(模式2～18)。將水平方向和豎直方向的復(fù)雜度關(guān)系表示為:
a=C0/C1
(8)
通過比較C0與C1的關(guān)系,判斷當(dāng)前PU塊的角度模式處于水平方向范圍還是豎直方向范圍。按照a與閾值m1、m2的關(guān)系進(jìn)行模式分組:
(9)
當(dāng)m1≤a≤m2時(shí),考慮到相鄰模式的PU會(huì)采用相同的參考像素,其對(duì)應(yīng)的RD-cost數(shù)值不會(huì)相差很大，所以本文在與文獻(xiàn)[16]相同的實(shí)驗(yàn)條件下，對(duì)35種PU預(yù)測(cè)模式中的偶數(shù)模式和奇數(shù)模式所對(duì)應(yīng)的RD-cost關(guān)系進(jìn)行了統(tǒng)計(jì)分析。表1顯示了在RMD過程中,不同QP下,奇模式對(duì)應(yīng)的RD-cost值在其相鄰兩個(gè)偶模式對(duì)應(yīng)的RD-cost值范圍之間的概率結(jié)果分別為P22、P27、P32、P37,85%的奇模式的RD-cost值處于其相鄰偶模式范圍之間。故在m1≤a≤m2時(shí),本文為Group3選取17種偶模式和DC、 Planer模式來進(jìn)行原始平臺(tái)處理并獲得相應(yīng)RD-cost值,其余剩下的奇模式RD-cost值定義為:
(10)
這樣就不用經(jīng)過原始平臺(tái)處理,跳過奇模式的遍歷，通過式(10)進(jìn)行估計(jì)直接獲得，能節(jié)省相當(dāng)一部分時(shí)間。如表2所示,本文給出了各個(gè)分組的角度模式組成。
本文按表2給出的分組,在RMD過程中選取RD-cost值最小的N(根據(jù)CU深度0～3;N依次為3、3、3、8)個(gè)模式,作為進(jìn)行下一階段RDO過程的粗模式選擇集合RMDs。
在RDO過程中,一些最有可能模式集合MPMs會(huì)加入到最終的模式列表中進(jìn)行遍歷,個(gè)數(shù)可能為1或2。從RMD過程中得到的候選集合中除了模式DC、Planer外其他模式將相應(yīng)分配到水平模式集合H(范圍2～18)和垂直模式集合V(范圍18～34)中。在文獻(xiàn)[14]的實(shí)驗(yàn)條件下，對(duì)當(dāng)(RMDs∪MPMs)中僅含有模式10或模式26時(shí)進(jìn)行統(tǒng)計(jì)分析,實(shí)驗(yàn)發(fā)現(xiàn),RMD過程中得到的候選模式集合包含模式10或模式26的概率為70%,且對(duì)于不同的視頻序列其概率變化不大。另一方面,模式10和模式26都是直角模式，具有最小的相關(guān)性,所以當(dāng)RMDs的候選模式集合僅包含模式10或模式26時(shí),本文只選擇相應(yīng)的模式集合H或V(2～18或18～34)進(jìn)行RDO處理。
表1 奇數(shù)模式所對(duì)應(yīng)的RD-cost值在相鄰兩偶數(shù)模式的RD_cost值之間的概率
如表3所示,當(dāng)(RMDs∪MPMs)僅包含模式10而不包含模式26時(shí),RDO選擇低于模式18的預(yù)測(cè)模式概率大約為90%;而當(dāng)(RMDs∪MPMs)僅包含模式26時(shí)而不包含模式10時(shí),RDO選擇高于模式18的預(yù)測(cè)模式概率大約為95%。所以當(dāng)模式10或模式26僅存于(RMDs∪MPMs)中時(shí),RDO的候選模式集合將選擇對(duì)應(yīng)的集合H或者集合V以及可能存在的DC、Planar模式。
表2 RMD候選模式子集
表3 當(dāng)只包含模式10或模式26時(shí)其相應(yīng)模式集合選擇的概率
而當(dāng)模式10和模式26都存在于(RMDs∪MPMs)中時(shí),本文利用集合H的模式個(gè)數(shù)α、集合V模式個(gè)數(shù)β的關(guān)系及a來確定RDO最終預(yù)測(cè)模式集合:
(11)
表4給出了當(dāng)模式10、模式26都存在時(shí),根據(jù)不同條件RDO最終候選預(yù)測(cè)模式。
表4 RDO候選模式子集
當(dāng)模式10和26都不存在(RMDs∪MPMs)中時(shí),本文就按照原始平臺(tái)的方法進(jìn)行RDO模式選取。
1.3 閾值的選取
本文中閾值Th1用來判斷CU塊紋理方向的復(fù)雜性。閾值的選取對(duì)CU尺寸判定至關(guān)重要,也是在編碼質(zhì)量和復(fù)雜度之間保持平衡的一個(gè)重要參數(shù)。本文選取了A～E五種不同分辨率的序列內(nèi)容進(jìn)行實(shí)驗(yàn)訓(xùn)練，為了表示CU的正確劃分,本文定義一個(gè)正確匹配率Rdepth:
(12)
其中:ndepth表示depth為0、1、2、3下的與編碼平臺(tái)HM15.0正確匹配的塊數(shù);mdepth表示HM15.0總的CU劃分塊數(shù)。
實(shí)驗(yàn)結(jié)果如圖5所示,閾值選取太大或太小都會(huì)影響到CU塊的正確劃分。當(dāng)QP為37﹑32﹑27﹑22時(shí),對(duì)應(yīng)深度層為2的閾值Th1選取分別為1 536﹑1 024﹑896﹑704。對(duì)于每一深度的閾值,由于后一深度層的CU尺寸大小是前一深度層的1/4,且結(jié)合式(3)～(6)特征,所以本文取上一深度層閾值的1/4。
對(duì)于m1、m2閾值的選取,在前面基礎(chǔ)上同樣對(duì)上面不同類序列進(jìn)行訓(xùn)練。如圖6所示m1越小、m2越大,則模式預(yù)測(cè)選取的正確性概率right越大；但考慮到算法的時(shí)間復(fù)雜度,所以本文選擇圖中矩陣標(biāo)記區(qū)域。故本文取m1、m2分別為0.85、1.5。
圖5 閾值Th1與正確匹配率的關(guān)系
圖6 閾值m1、m2與正確匹配率的關(guān)系曲面
2 本文CU分層算法
本文算法流程如下:
步驟1 首先計(jì)算CU各個(gè)方向的紋理復(fù)雜度,得到其中的最大值Cmax,與閾值Th1比較判斷當(dāng)前CU平坦性,如小于Th1則直接提前終止，不再進(jìn)入下一層劃分。
步驟2 獲得當(dāng)前PU的紋理復(fù)雜度最大值Cmax和最小值Cmin。若滿足式(7)中的關(guān)系,則直接選取模式DC、Planer作為RDO處理的候選模式,轉(zhuǎn)步驟4;否則轉(zhuǎn)步驟3。
步驟3 利用式(8)得到a比較m1、m2的關(guān)系;根據(jù)式(9)選擇相應(yīng)的候選模式集合Groupi。
步驟4 隨之得到候選模式集合RM=(RMDs∪MPMs),判斷當(dāng)前RM是否含有模式10、26,分成4種情況選擇相應(yīng)的候選模式集合。
步驟5 注意當(dāng)深度depth=3時(shí),通過Cmax值可以選取當(dāng)前CU對(duì)應(yīng)的PU模式,若強(qiáng)度值小于Th1,則選擇2N×2N模式。
算法流程如圖7所示。
圖7 本文算法流程
3 實(shí)驗(yàn)與分析
為了評(píng)估本文算法的有效性,將其移入HEVC參考軟件HM15.0上進(jìn)行實(shí)現(xiàn)來驗(yàn)證編碼性能和計(jì)算復(fù)雜性。
本文實(shí)驗(yàn)平臺(tái)硬件配置為Intel Core i3-3220 CPU 3.3 GHz,內(nèi)存4 GB。實(shí)驗(yàn)在全I(xiàn)幀編碼模式(All Intra Main, AI-Main)下進(jìn)行,本文采用了由JCT-VC推薦的A～E五個(gè)類的18個(gè)標(biāo)準(zhǔn)測(cè)試序列,分別對(duì)應(yīng)不同的應(yīng)用場(chǎng)合,編碼幀數(shù)為50幀,QP分別為22﹑27﹑32﹑37,GOP(Group Of Pictures)為8。
本文選取不同類別的測(cè)試序列來驗(yàn)證該算法對(duì)不同場(chǎng)合的適用性。通過BDBR(Bjontegaard Delta Bit Rate)和BDPSNR(Bjontegaard Delta Peak Signal-to-Noise Rate)[17]來評(píng)估本文算法的編碼效率和視頻質(zhì)量好壞;同時(shí)采用編碼節(jié)省時(shí)間ΔT來驗(yàn)證所提算法的編碼復(fù)雜度,則編碼節(jié)省時(shí)間可定義為:
(13)
其中:Timeproposed表示本文算法的運(yùn)行時(shí)間；TimeHM15.0表示原始平臺(tái)的運(yùn)行時(shí)間。
為了驗(yàn)證本文算法的編碼性能,與標(biāo)準(zhǔn)算法HM15.0、文獻(xiàn)[18]算法和文獻(xiàn)[19]算法進(jìn)行了對(duì)比,表5為其中10個(gè)序列的對(duì)比結(jié)果。從表5的實(shí)驗(yàn)結(jié)果可看出：本文算法與標(biāo)準(zhǔn)平臺(tái)相比,BDBR平均上升了1.018%,而編碼時(shí)間平均節(jié)省了51.24%,BDPSNR損失為0.059 2 dB,視頻質(zhì)量基本不變,綜合效果要優(yōu)于文獻(xiàn)[18]算法和文獻(xiàn)[19]算法。
表5 本文算法與文獻(xiàn)[18-19]算法相比HM15.0的編碼性能提升
表6 本文算法與文獻(xiàn)[20]算法相比HM15.0的編碼性能提升
圖8 3種典型測(cè)試序列的RD曲線
表6為A～E類的18個(gè)測(cè)試序列的實(shí)驗(yàn)結(jié)果,與文獻(xiàn)[20]算法相比,本文算法的BDBR降低了2.75%,編碼時(shí)間平均節(jié)省了45.64%,這是由于本文從CU劃分和幀內(nèi)模式選擇兩方面降低了編碼復(fù)雜度,對(duì)平坦區(qū)域不再向下劃分和減少預(yù)測(cè)模式數(shù)量。
由表5可知,對(duì)于FourPeople、BasketballPass紋理相對(duì)平坦的序列,預(yù)測(cè)模式更容易精確獲得,其相應(yīng)的編碼時(shí)間要減少較多;對(duì)于BlowingBubbles﹑PartyScene這類紋理比較復(fù)雜的序列,需要?jiǎng)澐殖筛顚哟蔚腃U,所以在編碼時(shí)間上減少得比其他序列偏少,但其對(duì)應(yīng)的BDBR值也比較小,保持了較好的率失真性能。
圖8為本文方法與平臺(tái)HM15.0的率失真性能比較,給出了3種類別視頻序列的對(duì)比,其中YPSNR表示視頻編碼后的亮度峰值信噪比，Bitrate表示視頻編碼率。由圖8可看出：Cactus的RD曲線幾乎是重合的,說明在本文算法下編碼性能幾乎沒有降低；BQmall的RD曲線中間部分有微小的偏差；BQSquare其RD曲線與HM曲線有稍微偏差,但不會(huì)對(duì)視頻質(zhì)量造成很大影響。
圖9是在QP=32時(shí),序列RaceHorses第4幀分別在原始平臺(tái)算法和本文算法中對(duì)應(yīng)的CU劃分結(jié)果,可以對(duì)比發(fā)現(xiàn)本文算法與HM平臺(tái)的CU劃分基本一致,劃分效果更好。
圖9 原始平臺(tái)HM15.0與本文算法的劃分塊和模式選擇對(duì)比
4 結(jié)語
本文提出了基于紋理方向復(fù)雜度的CU尺寸選擇和幀內(nèi)PU預(yù)測(cè)模式快速選擇算法,主要包含兩方面:一方面,計(jì)算每一深度層CU四個(gè)方向的紋理復(fù)雜度,選取其中的最大值Cmax作為判斷紋理復(fù)雜度的依據(jù),比較閾值Th1判斷CU是否應(yīng)繼續(xù)劃分;另一方面,從得到的四個(gè)方向復(fù)雜度中獲取水平、垂直方向復(fù)雜度C0、C1,以及依據(jù)統(tǒng)計(jì)35種模式被選為最優(yōu)模式的概率,進(jìn)一步減少預(yù)測(cè)模式數(shù)量,降低幀內(nèi)編碼復(fù)雜度。本文算法在BDPSNR幾乎不變﹑平均比特率增加1.167%的情況下,平均編碼時(shí)間比原始編碼平臺(tái)減少了51.997%。下一步要對(duì)紋理比較復(fù)雜、運(yùn)動(dòng)程度較為劇烈的視頻序列進(jìn)行研究，進(jìn)一步降低編碼比特率。
參考文獻(xiàn)(References)
[1] SULLIVAN G J, OHM J R, HAN W J, et al. Overview of the High Efficiency Video Coding(HEVC) standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(12): 1649-1668.
[2] UGUR K, ANDERSSON K, FULDSETH A, et al. High performance, low complexity video coding and the emerging HEVC standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2010, 20(12): 1688-1697.
[3] WIEGAND T, SULLIVAN G J, BJONTEGAARD G, et al. Overview of the H.264/AVC video coding standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2003, 13(7): 560-576.
[4] ZHANG T, SUN M, ZHAO D, et al. Fast intra mode and CU size decision for HEVC [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 27(8): 1714-1726.
[5] FENG L, DAI M, ZHAO C, et al. Fast prediction unit selection method for HEVC intra prediction based on salient regions [J]. Optoelectronics Letters, 2016, 12(4): 316-320.
[6] CUENCA P. Fast intra mode decision algorithm based on texture orientation detection in HEVC [J]. Signal Processing Image Communication, 2016, 44(C): 12-28.
[7] MARZUKI I, MA J, AHN Y J, et al. A context-adaptive fast intra coding algorithm of High-Efficiency Video Coding (HEVC) [EB/OL].[2017- 05- 10]. https://doi.org/10.1007/s11554-016-0571-5.
[8] ZHANG Y, KWONG S, WANG X, et al. Machine learning-based coding unit depth decisions for flexible complexity allocation in high efficiency video coding [J]. IEEE Transactions on Image Processing, 2015, 24(7): 2225-2238.
[9] SUN X, CHEN X, XU Y, et al. Fast CU size and prediction mode decision algorithm for HEVC based on direction variance [J]. Journal of Real-Time Image Processing, 2017: 1-14.
[10] TAN H L, CHI C K, RAHARDJA S. Fast coding quad-tree decisions using prediction residuals statistics for High Efficiency Video Coding (HEVC) [J]. IEEE Transactions on Broadcasting, 2016, 62(1): 128-133.
[11] LIU Y C, CHEN Z Y, FANG J T, et al. SVM-based fast intra CU depth decision for HEVC [C]// Proceedings of the 2015 Data Compression Conference. Piscataway, NJ: IEEE, 2015: 458-458.
[12] 張峻,董蘭芳, 余家奎. 高效率視頻編碼快速幀內(nèi)預(yù)測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(8): 2327-2331.(ZHANG J, DONG L F, YU J K. Fast intra prediction algorithm for high efficiency video coding [J]. Journal of Computer Applications, 2015, 35(8): 2327-2331.)
[13] 祝世平, 張春燕. 基于機(jī)器學(xué)習(xí)的HEVC幀內(nèi)模式快速?zèng)Q策算法[J]. 光電子·激光, 2016, 27(11): 1199-1207.(ZHU S P, ZHANG C Y. A fast HEVC intra mode decision algorithm based on machine learning[J]. Journal of Optoelectronics·Laser, 2016, 27(11): 1199-1207.)
[14] MIN B, CHEUNG R C C. A fast CU size decision algorithm for the HEVC intra encoder [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(5): 892-896.
[15] WON C S W, DONG K P P, PARK S J P. Efficient use of MPEG7 edge histogram descriptor [J]. Etri Journal, 2002, 24(1): 23-30.
[16] FINI M R, ZARGARI F. Two stage fast mode decision algorithm for intra prediction in HEVC [J]. Multimedia Tools & Applications, 2016, 75(13): 7541-7558.
[17] BJONTEGAARD G. Calculation of average PSNR difference between RD-curves [EB/OL]. [2015- 01- 15]. http: //wftp3.itu.int/av-arch/video-site/0104_Aus/.
[18] JAMALI M, COULOMBE S. Coding unit splitting early termination for fast HEVC intra coding based on global and directional gradients[C]// Proceedings of the 2016 IEEE 18th International Workshop on Multimedia Signal Processing. Piscataway, NJ: IEEE, 2017: 1-5.
[19] LIM K, LEE J, KIM S, et al. Fast PU skip and split termination algorithm for HEVC intra prediction [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(8): 1335-1346.
[20] SHI H, LIANG F, CHEN H. A fast CU size decision algorithm based on adaptive depth selection for HEVC encoder[C]// Proceedings of the 2014 International Conference on Audio, Language and Image Processing. Piscataway, NJ: IEEE, 2015: 143-146.
This work is partially supported by the National Natural Science Foundation of China (U1301257), the National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2012BAH67F01).
猜你喜歡
基于SAR-SIFT和快速稀疏編碼的合成孔徑雷達(dá)圖像配準(zhǔn)四川輕化工大學(xué)學(xué)報(bào)(自然科學(xué)版)(2021年1期)2021-06-09 06:12:12 《全元詩(shī)》未編碼疑難字考辨十五則漢字漢語研究(2020年2期)2020-08-13 07:52:48 基于BM3D的復(fù)雜紋理區(qū)域圖像去噪軟件(2020年3期)2020-04-20 01:45:18 子帶編碼在圖像壓縮編碼中的應(yīng)用電子制作(2019年22期)2020-01-14 03:16:24 一種低復(fù)雜度的慣性/GNSS矢量深組合方法中國(guó)慣性技術(shù)學(xué)報(bào)(2019年6期)2019-03-04 09:50:10 使用紋理疊加添加藝術(shù)畫特效攝影之友(影像視覺)(2018年12期)2019-01-28 09:01:00 Genome and healthcare瘋狂英語·新讀寫(2018年3期)2018-11-29 22:37:11 TEXTURE ON TEXTURE質(zhì)地上的紋理Coco薇(2017年8期)2017-08-03 15:23:38 求圖上廣探樹的時(shí)間復(fù)雜度中央民族大學(xué)學(xué)報(bào)(自然科學(xué)版)(2017年2期)2017-06-11 07:14:54 消除凹凸紋理有妙招！Coco薇(2015年5期)2016-03-29 23:22:15
郭 磊,王曉東,徐博文,王 健
0 引言
隨著超高清晰度電視﹑3D視頻﹑高清移動(dòng)視頻等視頻服務(wù)需求的日益增長(zhǎng),高清視頻編碼和傳輸日益成為研究的主要問題,視頻編碼聯(lián)合工作組(Joint Collaborative Team on Video Coding, JCT-VC)在2013年正式推出了新一代高效視頻編碼(High Efficiency Video Coding,HEVC)標(biāo)準(zhǔn)[1]。HEVC采用了靈活的四叉樹分割﹑樣點(diǎn)自適應(yīng)補(bǔ)償?shù)榷囗?xiàng)新編碼方案[2]。在HEVC編碼標(biāo)準(zhǔn)中,分別使用編碼單元(Coding Unit, CU)﹑預(yù)測(cè)單元(Prediction Unit, PU)和變換單元(Transform Unit, TU)實(shí)現(xiàn)編碼﹑預(yù)測(cè)和變換;為了獲得較好的預(yù)測(cè)結(jié)果,PU中的預(yù)測(cè)模式比H.264/AVC(Advanced Video Coding)[3]增加了26種。在保證相同視頻圖像質(zhì)量的條件下,HEVC的編碼碼率比H.264降低了50%左右,但相應(yīng)也急劇增加了編碼的復(fù)雜度,不利于HEVC的實(shí)時(shí)應(yīng)用。因此在不影響視頻編碼質(zhì)量情況下,有效降低編碼復(fù)雜度成為當(dāng)前HEVC的研究熱點(diǎn)。
為了降低HEVC編碼復(fù)雜度,許多學(xué)者從CU快速分割和PU角度模式選擇兩方面提出了許多優(yōu)化算法。文獻(xiàn)[4]通過梯度信息減少預(yù)測(cè)模式個(gè)數(shù),并通過CU的紋理平坦性提前終止劃分。Feng等[5]計(jì)算每個(gè)最大編碼單元(Largest Coding Unit, LCU)的顯著性,再比較LCU顯著圖子塊的各個(gè)熵值,進(jìn)行PU尺寸的提前判定,具有較好的適用性但求取熵值較復(fù)雜。Cuenca[6]提出了一種紋理方向檢測(cè)算法,利用離散點(diǎn)陣的斜率集合計(jì)算編碼單元局部紋理方向方差(Mean Directional Variance, MDV),MDV較為準(zhǔn)確地表示CU的紋理方向,但需要獲得相應(yīng)矩陣并平方,間接增加了復(fù)雜度。Marzuki等[7]根據(jù)上層CU和相鄰PU的預(yù)測(cè)模式自適應(yīng)地降低當(dāng)前編碼單元粗選擇模式的個(gè)數(shù),將由率失真平均值得到的自適應(yīng)閾值應(yīng)用到率失真優(yōu)化(Rate Distortion Optimization,RDO)和殘差四叉樹變換(Residual Quad-tree Transform, RQT)過程中進(jìn)行提前終止判斷,但僅僅利用空域相關(guān)性來預(yù)判使編碼復(fù)雜度的降低相對(duì)有限。Zhang等[8]首先分析了四叉樹中CU劃分深度,提出了一種靈活的CU深度選擇結(jié)構(gòu),并通過支持向量機(jī)訓(xùn)練獲得最優(yōu)參數(shù),來實(shí)現(xiàn)CU尺寸選擇；訓(xùn)練本身具有一定復(fù)雜度,同時(shí)也會(huì)因?yàn)檎`判導(dǎo)致率失真下降。文獻(xiàn)[9]中提出了基于圖像紋理特征的CU劃分和PU模式快速選擇算法,通過提取編碼塊的紋理特征以及沿特定方向的方向能量分布，提前判定CU尺寸。文獻(xiàn)[10]中提出了一種利用預(yù)測(cè)殘差統(tǒng)計(jì)信息實(shí)現(xiàn)快速編碼四叉樹的方法,相對(duì)于原始平臺(tái)獲得了較好的編碼性能,但復(fù)雜度減少有限。文獻(xiàn)[11]提取了空間相關(guān)性以及原始編碼特征,利用支持向量機(jī)預(yù)測(cè)不同權(quán)重,通過加權(quán)后判斷當(dāng)前CU是否往下分割。文獻(xiàn)[4-13]僅僅是利用視頻圖像紋理特性、統(tǒng)計(jì)特性或空域相關(guān)性中的部分特性進(jìn)行快速實(shí)現(xiàn)。
為了進(jìn)一步降低CU遞歸分割復(fù)雜度,本文綜合利用了統(tǒng)計(jì)特性、紋理特征對(duì)CU進(jìn)行劃分快速?zèng)Q策;并相應(yīng)地對(duì)參與粗模式選擇(Rough Mode Decision,RMD) 過程中的模式個(gè)數(shù)進(jìn)行判決。
1 幀內(nèi)預(yù)測(cè)快速算法
HEVC采用固定大小尺寸范圍的CU來編碼一個(gè)視頻序列，且采用了較為靈活的四叉樹等技術(shù),因此HEVC獲得了較高的壓縮效率,但也相應(yīng)增加了計(jì)算復(fù)雜度。相對(duì)于H.264/AVC中使用的9種幀內(nèi)預(yù)測(cè)模式，HEVC將幀內(nèi)預(yù)測(cè)模式擴(kuò)展為35種(如圖1所示),包括33種方向性預(yù)測(cè)模式、DC模式和Planar模式。為了找出PU最佳模式,編碼框架不得不遍歷這35種模式來計(jì)算每一個(gè)PU的率失真代價(jià),這樣導(dǎo)致了高計(jì)算復(fù)雜度。
圖1 HEVC的35種幀內(nèi)預(yù)測(cè)模式
一般來說,在HEVC編碼處理過程中,CU尺寸的選擇、PU模式選擇與視頻內(nèi)容紋理特征有關(guān)。如圖2所示,在量化參數(shù)(Quantization Parameter, QP)為32時(shí),顯示了序列BasketballPass第4幀的CU最終分割和PU的最優(yōu)預(yù)測(cè)模式結(jié)果。從圖2(a)可以看出,平坦光滑的區(qū)域(如墻面、地板)較大概率地采用大尺寸的CU編碼;而對(duì)于運(yùn)動(dòng)員、籃球等紋理復(fù)雜的區(qū)域需要較小尺寸單元編碼。從圖2(b)可以看出，PU的預(yù)測(cè)模式大多沿著圖像的紋理方向,對(duì)于那些紋理特別平坦光滑的區(qū)域(如墻面、地板),會(huì)較大概率地選擇DC模式或Planar模式。
圖2 BasketballPass第4幀CU分割和PU預(yù)測(cè)模式示意圖
1.1 CU快速分割算法
考慮到上面這些因素,本文在每一深度層計(jì)算該CU紋理方向時(shí)引入像素方差參數(shù)variance來表示紋理復(fù)雜度。像素方差一般可用式(1)表示:
(1)
其中:N表示塊的尺寸大小;I(i,j)表示在(i,j)位置上的像素點(diǎn)亮度值。為了避免式(1)的平方運(yùn)算,減少運(yùn)算量,CU塊的紋理復(fù)雜度[14]可定義為:
(2)
其中:I(i,j)表示在CU塊(i,j)位置上像素點(diǎn)亮度值;Imean表示CU塊像素點(diǎn)平均亮度值。本文在考慮文獻(xiàn)[15]中紋理方向表達(dá)式的基礎(chǔ)上結(jié)合式(2),定義了CU塊紋理方向復(fù)雜度的表達(dá)式:
(3)
(4)
(5)
(6)
其中:C0﹑C1﹑C2和C3分別表示CU塊在水平﹑垂直﹑45°和135°方向的紋理復(fù)雜度;N表示塊的尺寸大小;I(i,j)表示在(i,j)位置上的像素點(diǎn)亮度值。
選取C0﹑C1﹑C2和C3中的最大值記為Cmax,表示該CU塊的紋理復(fù)雜度。分別計(jì)算各個(gè)紋理方向的數(shù)值,值越小說明紋理方向越突出。本文需要計(jì)算四個(gè)方向,如果四個(gè)方向值都小于某一值時(shí),能夠說明該塊的平坦性,所以選擇其中的最大值作為該CU塊的紋理復(fù)雜度,通過選取閾值Th1來判斷CU塊的紋理平坦性。
由于8×8的CU還要繼續(xù)劃分成4個(gè)4×4的PU,當(dāng)視頻序列被劃分成許多8×8的CU時(shí),若能夠提前終止劃分成4個(gè)PU，將會(huì)減少更多時(shí)間。當(dāng)幀內(nèi)CU塊為8×8時(shí),其對(duì)應(yīng)有兩種PU模式即2N×2N和N×N,所以本文可以用閾值Th1來決定8×8的CU是否繼續(xù)劃分為4個(gè)PU以及使用其中的一種模式。
圖3為本文算法對(duì)每一深度層的CU進(jìn)行處理的流程。計(jì)算并選取C0﹑C1﹑C2和C3中的最大值Cmax,然后與Th1比較,判斷下一步是否劃分。當(dāng)depth為3時(shí),若紋理主方向強(qiáng)度值小于Th1,則直接選擇2N×2N模式,而不再考慮N×N模式,節(jié)省了相當(dāng)一部分時(shí)間。
圖3 每一深度層的CU劃分流程
圖4 PU的模式選取
1.2 PU預(yù)測(cè)模式選擇算法
由于HEVC采用35種幀內(nèi)PU預(yù)測(cè)模式，這在編碼過程中無疑增加了計(jì)算復(fù)雜度。HEVC幀內(nèi)預(yù)測(cè)編碼過程首先要進(jìn)行RMD,遍歷35種預(yù)測(cè)模式,然后根據(jù)對(duì)應(yīng)的PU尺寸選擇最有可能的預(yù)測(cè)模式,將當(dāng)前塊的最有可能模式(Most Probable Mode, MPM)加入到候選模式集中一起進(jìn)行高精度的率失真優(yōu)化RDO計(jì)算,最終選擇出最優(yōu)幀內(nèi)預(yù)測(cè)模式。根據(jù)上述模式預(yù)測(cè)過程,從兩個(gè)方面采取不同的選取策略來減少預(yù)測(cè)模式數(shù)量。
如圖4所示,三幅圖片是圖2(b)中的某一PU塊的對(duì)應(yīng)放大部分,在一致性區(qū)域部分如地板、籃球服沒有特殊的紋理方向,所以選擇DC和Planer模式作為該塊的最優(yōu)預(yù)測(cè)模式;而在包含有木紋方向的地板、有顏色邊緣的球衣根據(jù)其紋理方向使用不同的預(yù)測(cè)模式?？紤]到PU最終預(yù)測(cè)模式的方向一般服從圖像的紋理方向分布,本文利用1.1節(jié)得到的四個(gè)紋理方向的復(fù)雜度來提前減少PU預(yù)測(cè)模式個(gè)數(shù)。
在RMD過程中,根據(jù)1.1節(jié)計(jì)算得到的四個(gè)方向的紋理復(fù)雜度,當(dāng)PU塊紋理極為平坦時(shí)選擇模式DC、Planar的概率極大,當(dāng)滿足式(7):
Cmax-Cmin<0.1Cmin;Cmax (7) 本文直接選取選取模式DC、Planar且不再經(jīng)過RMD過程,若不滿足式(7)則從四個(gè)方向中選取水平方向復(fù)雜度C0、垂直方向復(fù)雜度C1,利用C0和C1之間的關(guān)系將35種PU預(yù)測(cè)模式分為兩組,即垂直方向(模式18～34)和水平方向(模式2～18)。將水平方向和豎直方向的復(fù)雜度關(guān)系表示為: a=C0/C1 (8) 通過比較C0與C1的關(guān)系,判斷當(dāng)前PU塊的角度模式處于水平方向范圍還是豎直方向范圍。按照a與閾值m1、m2的關(guān)系進(jìn)行模式分組: (9) 當(dāng)m1≤a≤m2時(shí),考慮到相鄰模式的PU會(huì)采用相同的參考像素,其對(duì)應(yīng)的RD-cost數(shù)值不會(huì)相差很大，所以本文在與文獻(xiàn)[16]相同的實(shí)驗(yàn)條件下，對(duì)35種PU預(yù)測(cè)模式中的偶數(shù)模式和奇數(shù)模式所對(duì)應(yīng)的RD-cost關(guān)系進(jìn)行了統(tǒng)計(jì)分析。表1顯示了在RMD過程中,不同QP下,奇模式對(duì)應(yīng)的RD-cost值在其相鄰兩個(gè)偶模式對(duì)應(yīng)的RD-cost值范圍之間的概率結(jié)果分別為P22、P27、P32、P37,85%的奇模式的RD-cost值處于其相鄰偶模式范圍之間。故在m1≤a≤m2時(shí),本文為Group3選取17種偶模式和DC、 Planer模式來進(jìn)行原始平臺(tái)處理并獲得相應(yīng)RD-cost值,其余剩下的奇模式RD-cost值定義為: (10) 這樣就不用經(jīng)過原始平臺(tái)處理,跳過奇模式的遍歷，通過式(10)進(jìn)行估計(jì)直接獲得，能節(jié)省相當(dāng)一部分時(shí)間。如表2所示,本文給出了各個(gè)分組的角度模式組成。 本文按表2給出的分組,在RMD過程中選取RD-cost值最小的N(根據(jù)CU深度0～3;N依次為3、3、3、8)個(gè)模式,作為進(jìn)行下一階段RDO過程的粗模式選擇集合RMDs。 在RDO過程中,一些最有可能模式集合MPMs會(huì)加入到最終的模式列表中進(jìn)行遍歷,個(gè)數(shù)可能為1或2。從RMD過程中得到的候選集合中除了模式DC、Planer外其他模式將相應(yīng)分配到水平模式集合H(范圍2～18)和垂直模式集合V(范圍18～34)中。在文獻(xiàn)[14]的實(shí)驗(yàn)條件下，對(duì)當(dāng)(RMDs∪MPMs)中僅含有模式10或模式26時(shí)進(jìn)行統(tǒng)計(jì)分析,實(shí)驗(yàn)發(fā)現(xiàn),RMD過程中得到的候選模式集合包含模式10或模式26的概率為70%,且對(duì)于不同的視頻序列其概率變化不大。另一方面,模式10和模式26都是直角模式，具有最小的相關(guān)性,所以當(dāng)RMDs的候選模式集合僅包含模式10或模式26時(shí),本文只選擇相應(yīng)的模式集合H或V(2～18或18～34)進(jìn)行RDO處理。 表1 奇數(shù)模式所對(duì)應(yīng)的RD-cost值在相鄰兩偶數(shù)模式的RD_cost值之間的概率 如表3所示,當(dāng)(RMDs∪MPMs)僅包含模式10而不包含模式26時(shí),RDO選擇低于模式18的預(yù)測(cè)模式概率大約為90%;而當(dāng)(RMDs∪MPMs)僅包含模式26時(shí)而不包含模式10時(shí),RDO選擇高于模式18的預(yù)測(cè)模式概率大約為95%。所以當(dāng)模式10或模式26僅存于(RMDs∪MPMs)中時(shí),RDO的候選模式集合將選擇對(duì)應(yīng)的集合H或者集合V以及可能存在的DC、Planar模式。 表2 RMD候選模式子集 表3 當(dāng)只包含模式10或模式26時(shí)其相應(yīng)模式集合選擇的概率 而當(dāng)模式10和模式26都存在于(RMDs∪MPMs)中時(shí),本文利用集合H的模式個(gè)數(shù)α、集合V模式個(gè)數(shù)β的關(guān)系及a來確定RDO最終預(yù)測(cè)模式集合: (11) 表4給出了當(dāng)模式10、模式26都存在時(shí),根據(jù)不同條件RDO最終候選預(yù)測(cè)模式。 表4 RDO候選模式子集 當(dāng)模式10和26都不存在(RMDs∪MPMs)中時(shí),本文就按照原始平臺(tái)的方法進(jìn)行RDO模式選取。 本文中閾值Th1用來判斷CU塊紋理方向的復(fù)雜性。閾值的選取對(duì)CU尺寸判定至關(guān)重要,也是在編碼質(zhì)量和復(fù)雜度之間保持平衡的一個(gè)重要參數(shù)。本文選取了A～E五種不同分辨率的序列內(nèi)容進(jìn)行實(shí)驗(yàn)訓(xùn)練，為了表示CU的正確劃分,本文定義一個(gè)正確匹配率Rdepth: (12) 其中:ndepth表示depth為0、1、2、3下的與編碼平臺(tái)HM15.0正確匹配的塊數(shù);mdepth表示HM15.0總的CU劃分塊數(shù)。 實(shí)驗(yàn)結(jié)果如圖5所示,閾值選取太大或太小都會(huì)影響到CU塊的正確劃分。當(dāng)QP為37﹑32﹑27﹑22時(shí),對(duì)應(yīng)深度層為2的閾值Th1選取分別為1 536﹑1 024﹑896﹑704。對(duì)于每一深度的閾值,由于后一深度層的CU尺寸大小是前一深度層的1/4,且結(jié)合式(3)～(6)特征,所以本文取上一深度層閾值的1/4。 對(duì)于m1、m2閾值的選取,在前面基礎(chǔ)上同樣對(duì)上面不同類序列進(jìn)行訓(xùn)練。如圖6所示m1越小、m2越大,則模式預(yù)測(cè)選取的正確性概率right越大；但考慮到算法的時(shí)間復(fù)雜度,所以本文選擇圖中矩陣標(biāo)記區(qū)域。故本文取m1、m2分別為0.85、1.5。 圖5 閾值Th1與正確匹配率的關(guān)系 圖6 閾值m1、m2與正確匹配率的關(guān)系曲面 本文算法流程如下: 步驟1 首先計(jì)算CU各個(gè)方向的紋理復(fù)雜度,得到其中的最大值Cmax,與閾值Th1比較判斷當(dāng)前CU平坦性,如小于Th1則直接提前終止，不再進(jìn)入下一層劃分。 步驟2 獲得當(dāng)前PU的紋理復(fù)雜度最大值Cmax和最小值Cmin。若滿足式(7)中的關(guān)系,則直接選取模式DC、Planer作為RDO處理的候選模式,轉(zhuǎn)步驟4;否則轉(zhuǎn)步驟3。 步驟3 利用式(8)得到a比較m1、m2的關(guān)系;根據(jù)式(9)選擇相應(yīng)的候選模式集合Groupi。 步驟4 隨之得到候選模式集合RM=(RMDs∪MPMs),判斷當(dāng)前RM是否含有模式10、26,分成4種情況選擇相應(yīng)的候選模式集合。 步驟5 注意當(dāng)深度depth=3時(shí),通過Cmax值可以選取當(dāng)前CU對(duì)應(yīng)的PU模式,若強(qiáng)度值小于Th1,則選擇2N×2N模式。 算法流程如圖7所示。 圖7 本文算法流程 為了評(píng)估本文算法的有效性,將其移入HEVC參考軟件HM15.0上進(jìn)行實(shí)現(xiàn)來驗(yàn)證編碼性能和計(jì)算復(fù)雜性。 本文實(shí)驗(yàn)平臺(tái)硬件配置為Intel Core i3-3220 CPU 3.3 GHz,內(nèi)存4 GB。實(shí)驗(yàn)在全I(xiàn)幀編碼模式(All Intra Main, AI-Main)下進(jìn)行,本文采用了由JCT-VC推薦的A～E五個(gè)類的18個(gè)標(biāo)準(zhǔn)測(cè)試序列,分別對(duì)應(yīng)不同的應(yīng)用場(chǎng)合,編碼幀數(shù)為50幀,QP分別為22﹑27﹑32﹑37,GOP(Group Of Pictures)為8。 本文選取不同類別的測(cè)試序列來驗(yàn)證該算法對(duì)不同場(chǎng)合的適用性。通過BDBR(Bjontegaard Delta Bit Rate)和BDPSNR(Bjontegaard Delta Peak Signal-to-Noise Rate)[17]來評(píng)估本文算法的編碼效率和視頻質(zhì)量好壞;同時(shí)采用編碼節(jié)省時(shí)間ΔT來驗(yàn)證所提算法的編碼復(fù)雜度,則編碼節(jié)省時(shí)間可定義為: (13) 其中:Timeproposed表示本文算法的運(yùn)行時(shí)間；TimeHM15.0表示原始平臺(tái)的運(yùn)行時(shí)間。 為了驗(yàn)證本文算法的編碼性能,與標(biāo)準(zhǔn)算法HM15.0、文獻(xiàn)[18]算法和文獻(xiàn)[19]算法進(jìn)行了對(duì)比,表5為其中10個(gè)序列的對(duì)比結(jié)果。從表5的實(shí)驗(yàn)結(jié)果可看出：本文算法與標(biāo)準(zhǔn)平臺(tái)相比,BDBR平均上升了1.018%,而編碼時(shí)間平均節(jié)省了51.24%,BDPSNR損失為0.059 2 dB,視頻質(zhì)量基本不變,綜合效果要優(yōu)于文獻(xiàn)[18]算法和文獻(xiàn)[19]算法。 表5 本文算法與文獻(xiàn)[18-19]算法相比HM15.0的編碼性能提升 表6 本文算法與文獻(xiàn)[20]算法相比HM15.0的編碼性能提升 圖8 3種典型測(cè)試序列的RD曲線 表6為A～E類的18個(gè)測(cè)試序列的實(shí)驗(yàn)結(jié)果,與文獻(xiàn)[20]算法相比,本文算法的BDBR降低了2.75%,編碼時(shí)間平均節(jié)省了45.64%,這是由于本文從CU劃分和幀內(nèi)模式選擇兩方面降低了編碼復(fù)雜度,對(duì)平坦區(qū)域不再向下劃分和減少預(yù)測(cè)模式數(shù)量。 由表5可知,對(duì)于FourPeople、BasketballPass紋理相對(duì)平坦的序列,預(yù)測(cè)模式更容易精確獲得,其相應(yīng)的編碼時(shí)間要減少較多;對(duì)于BlowingBubbles﹑PartyScene這類紋理比較復(fù)雜的序列,需要?jiǎng)澐殖筛顚哟蔚腃U,所以在編碼時(shí)間上減少得比其他序列偏少,但其對(duì)應(yīng)的BDBR值也比較小,保持了較好的率失真性能。 圖8為本文方法與平臺(tái)HM15.0的率失真性能比較,給出了3種類別視頻序列的對(duì)比,其中YPSNR表示視頻編碼后的亮度峰值信噪比，Bitrate表示視頻編碼率。由圖8可看出：Cactus的RD曲線幾乎是重合的,說明在本文算法下編碼性能幾乎沒有降低；BQmall的RD曲線中間部分有微小的偏差；BQSquare其RD曲線與HM曲線有稍微偏差,但不會(huì)對(duì)視頻質(zhì)量造成很大影響。 圖9是在QP=32時(shí),序列RaceHorses第4幀分別在原始平臺(tái)算法和本文算法中對(duì)應(yīng)的CU劃分結(jié)果,可以對(duì)比發(fā)現(xiàn)本文算法與HM平臺(tái)的CU劃分基本一致,劃分效果更好。 圖9 原始平臺(tái)HM15.0與本文算法的劃分塊和模式選擇對(duì)比 本文提出了基于紋理方向復(fù)雜度的CU尺寸選擇和幀內(nèi)PU預(yù)測(cè)模式快速選擇算法,主要包含兩方面:一方面,計(jì)算每一深度層CU四個(gè)方向的紋理復(fù)雜度,選取其中的最大值Cmax作為判斷紋理復(fù)雜度的依據(jù),比較閾值Th1判斷CU是否應(yīng)繼續(xù)劃分;另一方面,從得到的四個(gè)方向復(fù)雜度中獲取水平、垂直方向復(fù)雜度C0、C1,以及依據(jù)統(tǒng)計(jì)35種模式被選為最優(yōu)模式的概率,進(jìn)一步減少預(yù)測(cè)模式數(shù)量,降低幀內(nèi)編碼復(fù)雜度。本文算法在BDPSNR幾乎不變﹑平均比特率增加1.167%的情況下,平均編碼時(shí)間比原始編碼平臺(tái)減少了51.997%。下一步要對(duì)紋理比較復(fù)雜、運(yùn)動(dòng)程度較為劇烈的視頻序列進(jìn)行研究，進(jìn)一步降低編碼比特率。 參考文獻(xiàn)(References) [1] SULLIVAN G J, OHM J R, HAN W J, et al. Overview of the High Efficiency Video Coding(HEVC) standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(12): 1649-1668. [2] UGUR K, ANDERSSON K, FULDSETH A, et al. High performance, low complexity video coding and the emerging HEVC standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2010, 20(12): 1688-1697. [3] WIEGAND T, SULLIVAN G J, BJONTEGAARD G, et al. Overview of the H.264/AVC video coding standard [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2003, 13(7): 560-576. [4] ZHANG T, SUN M, ZHAO D, et al. Fast intra mode and CU size decision for HEVC [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 27(8): 1714-1726. [5] FENG L, DAI M, ZHAO C, et al. Fast prediction unit selection method for HEVC intra prediction based on salient regions [J]. Optoelectronics Letters, 2016, 12(4): 316-320. [6] CUENCA P. Fast intra mode decision algorithm based on texture orientation detection in HEVC [J]. Signal Processing Image Communication, 2016, 44(C): 12-28. [7] MARZUKI I, MA J, AHN Y J, et al. A context-adaptive fast intra coding algorithm of High-Efficiency Video Coding (HEVC) [EB/OL].[2017- 05- 10]. https://doi.org/10.1007/s11554-016-0571-5. [8] ZHANG Y, KWONG S, WANG X, et al. Machine learning-based coding unit depth decisions for flexible complexity allocation in high efficiency video coding [J]. IEEE Transactions on Image Processing, 2015, 24(7): 2225-2238. [9] SUN X, CHEN X, XU Y, et al. Fast CU size and prediction mode decision algorithm for HEVC based on direction variance [J]. Journal of Real-Time Image Processing, 2017: 1-14. [10] TAN H L, CHI C K, RAHARDJA S. Fast coding quad-tree decisions using prediction residuals statistics for High Efficiency Video Coding (HEVC) [J]. IEEE Transactions on Broadcasting, 2016, 62(1): 128-133. [11] LIU Y C, CHEN Z Y, FANG J T, et al. SVM-based fast intra CU depth decision for HEVC [C]// Proceedings of the 2015 Data Compression Conference. Piscataway, NJ: IEEE, 2015: 458-458. [12] 張峻,董蘭芳, 余家奎. 高效率視頻編碼快速幀內(nèi)預(yù)測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(8): 2327-2331.(ZHANG J, DONG L F, YU J K. Fast intra prediction algorithm for high efficiency video coding [J]. Journal of Computer Applications, 2015, 35(8): 2327-2331.) [13] 祝世平, 張春燕. 基于機(jī)器學(xué)習(xí)的HEVC幀內(nèi)模式快速?zèng)Q策算法[J]. 光電子·激光, 2016, 27(11): 1199-1207.(ZHU S P, ZHANG C Y. A fast HEVC intra mode decision algorithm based on machine learning[J]. Journal of Optoelectronics·Laser, 2016, 27(11): 1199-1207.) [14] MIN B, CHEUNG R C C. A fast CU size decision algorithm for the HEVC intra encoder [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(5): 892-896. [15] WON C S W, DONG K P P, PARK S J P. Efficient use of MPEG7 edge histogram descriptor [J]. Etri Journal, 2002, 24(1): 23-30. [16] FINI M R, ZARGARI F. Two stage fast mode decision algorithm for intra prediction in HEVC [J]. Multimedia Tools & Applications, 2016, 75(13): 7541-7558. [17] BJONTEGAARD G. Calculation of average PSNR difference between RD-curves [EB/OL]. [2015- 01- 15]. http: //wftp3.itu.int/av-arch/video-site/0104_Aus/. [18] JAMALI M, COULOMBE S. Coding unit splitting early termination for fast HEVC intra coding based on global and directional gradients[C]// Proceedings of the 2016 IEEE 18th International Workshop on Multimedia Signal Processing. Piscataway, NJ: IEEE, 2017: 1-5. [19] LIM K, LEE J, KIM S, et al. Fast PU skip and split termination algorithm for HEVC intra prediction [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(8): 1335-1346. [20] SHI H, LIANG F, CHEN H. A fast CU size decision algorithm based on adaptive depth selection for HEVC encoder[C]// Proceedings of the 2014 International Conference on Audio, Language and Image Processing. Piscataway, NJ: IEEE, 2015: 143-146. This work is partially supported by the National Natural Science Foundation of China (U1301257), the National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2012BAH67F01).1.3 閾值的選取
2 本文CU分層算法
3 實(shí)驗(yàn)與分析
4 結(jié)語
猜你喜歡
四川輕化工大學(xué)學(xué)報(bào)(自然科學(xué)版)(2021年1期)2021-06-09 06:12:12
漢字漢語研究(2020年2期)2020-08-13 07:52:48
軟件(2020年3期)2020-04-20 01:45:18
電子制作(2019年22期)2020-01-14 03:16:24
中國(guó)慣性技術(shù)學(xué)報(bào)(2019年6期)2019-03-04 09:50:10
攝影之友(影像視覺)(2018年12期)2019-01-28 09:01:00
瘋狂英語·新讀寫(2018年3期)2018-11-29 22:37:11
Coco薇(2017年8期)2017-08-03 15:23:38
中央民族大學(xué)學(xué)報(bào)(自然科學(xué)版)(2017年2期)2017-06-11 07:14:54
Coco薇(2015年5期)2016-03-29 23:22:15
