李如春，林宇俊，施朝霞

(浙江工業(yè)大學(xué) 信息與工程學(xué)院，浙江 杭州 310023)

基于全局和局部殘差復(fù)雜度的幀間模式選擇

李如春，林宇俊，施朝霞

(浙江工業(yè)大學(xué) 信息與工程學(xué)院，浙江 杭州 310023)

摘要：針對H.264/AVC傳統(tǒng)幀間模式選擇算法的高復(fù)雜度，提出了一種適合各種視頻分辨率格式的快速幀間模式選擇算法.該算法基于全局殘差復(fù)雜度(General residual complexity，GRC)和局部殘差復(fù)雜度(Local residual complexity，LRC)，通過GRC與QP來近似計算一個閾值，然后通過對局部殘差復(fù)雜度跟該閾值比較來決定宏塊的活躍度，再根據(jù)宏塊的活躍度選出候選的幀間模式，由此進行率失真優(yōu)化(Rate-distortion Optimization，RDO)計算，從而減少了不必要幀間模式的RDO計算，取得了較高的編碼效率.實驗結(jié)果表明，與JM18.4默認的幀間模式選擇算法相比，該算法在峰值信噪比和碼率基本不變的前提下，可以平均減少大約60%的幀間編碼時間。

關(guān)鍵詞：幀間模式選擇；全局殘差復(fù)雜度；局部殘差復(fù)雜度；宏塊活躍度

Inter-mode selection based on general and local residual complexity

LI Ruchun, LIN Yujun, SHI Zhaoxia

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:Considering the high complexity of traditional H.264/AVC inter-mode selection algorithm, this paper proposes a fast inter-mode selection algorithm for different video resolution. This algorithm is based on general residual complexity(GRC)and local residual complexity(LRC).The threshold is calculated approximately by GRC and QP and the LRC is compared with this threshold to determine the macro block activity. Then the candidate inter modes are selected according to the macro block activity and the rate distortion optimization (RDO) is calculated. It can reduce unnecessary RDO calculation in inter-mode and enhances a higher coding efficiency. Experimental results show that comparing with JM18.4 default inter-mode selection algorithm, this algorithm can reduce of 60% of its inter-frame coding time on average with the invariable peak signal noise ratio and coding rate。

Keywords:inter-mode selection; general residuals complexity; local residuals complexity; macro block activity

H.264/AVC標準[1]在選出各個宏塊最優(yōu)幀間模式之前，需要遍歷每個宏塊所有的幀間模式，對每個模式都采用率失真優(yōu)化策略[2]進行計算，然后取具有最小率失真代價值(RDOcost)的幀間模式作為最佳幀間預(yù)測模式.因此，一個宏塊的每種幀間模式都需要分別進行運動估計[3].對每個幀間候選模式都進行RDO代價計算，然后選擇RDO代價最小的模式作為最優(yōu)幀間編碼模式，這種方法雖然精度最高，但同時復(fù)雜度極高，開銷巨大，有待優(yōu)化.傳統(tǒng)的快速幀間模式選擇算法，實現(xiàn)方式大致分為閾值法和預(yù)測法兩大類.但要得到自適應(yīng)的閾值往往需要對已編碼碼流進行一系列復(fù)雜分析，這在很大程度上增加了編碼負荷；預(yù)測法通常需要對宏塊信息進行變換和處理，提高了編碼器對硬件的要求[4].由于最優(yōu)塊大小和殘差之間具有高度相關(guān)性[5]，根據(jù)宏塊的殘差可以預(yù)測最優(yōu)塊大小，因此，筆者提出基于全局和局部殘差復(fù)雜度的快速幀間模式選擇算法，該算法只需要對已編碼碼流進行簡單分析，就可以有效提高編碼速度，減小系統(tǒng)開銷.從圖像質(zhì)量、編碼時間等角度論證了提出算法的優(yōu)越性。

1快速幀間模式選擇算法

1.1算法優(yōu)化的依據(jù)

H.264/AVC標準采用拉格朗日乘數(shù)計算每種模式的RDO代價，每個模式的代價[6]可以表示為

RDOcost=D(MODE)+λMODE×R(MODE)

(1)

式中：RDOcost為當前預(yù)測模式的率失真代價值，D(MODE)為重建塊與原始塊之間的量化差，R(MODE)為當前預(yù)測模式下編碼所需比特數(shù)，λMODE為當前預(yù)測模式的拉格朗日乘數(shù)。

在使用公式(1)進行運動估計和模式選擇時，變化的塊大小可以減小預(yù)測的有效殘差[7].觀察發(fā)現(xiàn)最優(yōu)塊大小和殘差之間有高度相關(guān)性.圖1顯示了一個殘差幀.幀的每個部分選擇了最佳分割尺寸，使傳輸信息量最小，并將選擇的分割加到殘差幀上.圖1中可以看到：在平緩的區(qū)域(殘差顯示灰色)在編碼時選用大的塊；另一方面，含有多運動邊界的區(qū)域(殘差顯示黑色或白色)在編碼時采用較小的塊。

根據(jù)上述觀察結(jié)果，根據(jù)宏塊的殘差就可以預(yù)測最優(yōu)塊大小.如果用一個較大塊進行運動估計時，所得到的殘差較小，則此塊大小可以被采用為最優(yōu)模式.相反，如果用一個較大塊進行運動估計時，所得到的殘差較大，則需進一步劃分塊的大小，以獲取最優(yōu)模式[8]。

圖1　殘差幀F(xiàn)ig.1　The residual frame

1.2基于GRC和LRC的幀間模式選擇算法理論分析

進行16×16宏塊的運動估計之后，LRC作為當前宏塊和其進行運動估計時參考宏塊的絕對差和被計算出來，其中16×16宏塊的LRC公式如下：

(2)

式中：c代表當前宏塊；r代表16×16運動估計時的參考宏塊；x，y代表宏塊中像素水平和垂直位置.16×8，8×16宏塊的LRC值只需相應(yīng)將公式(2)中x,y取值分別變?yōu)?即可.宏塊的活躍度根據(jù)LRC可以表示為

(3)

基于選中的宏塊活躍度，為了決定最優(yōu)模式，對應(yīng)的候選幀間模式如表1所示.如果LRC小于等于T0，宏塊活躍度為低，因此只需要對16×16這個幀間模式進行RDO計算；宏塊活躍度中、宏塊活躍度高對應(yīng)的候選幀間模式按照表1依次類推.為了決定公式(3)中自適應(yīng)的閾值T0和T1，GRC被定義為

(4)

式中：N和M分別為圖像幀的高和寬；C為當前幀；R為顯示次序上的前一幀參考幀。

表1根據(jù)宏塊靈活度候選幀間模式的分類

Table 1The classification of candidate intermodes according to MB activity

宏塊活躍度分類候選幀間模式低016×16中116×16,16×8,8×16高216×16,16×8,8×16,P8×8

閾值Ti被定義為

Ti=αi×μi

(5)

式中：i在{0，1}中取值；αi為圖像質(zhì)量和編碼時間的權(quán)衡，經(jīng)過大量的實驗，選擇α0=1.1，α1=1.5；μi實際上為參考幀相應(yīng)宏塊類型的LRC值的平均值，比如說μ0代表所有最優(yōu)模式是16×16宏塊LRC值的平均值，而μ1代表所有最優(yōu)模式是16×16，16×8，8×16宏塊LRC值的平均值，μ0，μ1具體定義如下：

μ0=Mean(∑LRC(Inter16×16)n-1)

(6)

μ1=Mean(∑LRC(Inter16×16+Inter16×

8+Inter8×16)n-1)

(7)

式中：μ0,μ1的值需要幀間模式選擇后才能計算，而且模式較多計算繁瑣，所以在此之前采用GRC和QP來近似得到Ti.通過多組視頻序列實驗取平均值得到圖2結(jié)果，其代表根據(jù)不同的GRC值得到閾值Ti，i∈{0，1}，圖2(a～d)分別表示QP=24，28，32，36的結(jié)果。

圖2　不同QP下GRC與閾值Ti關(guān)系曲線Fig.2　The relation curve of GRC and Ti by different QP

從圖2可以觀察到閾值可分為2段，比如在圖2(a)中:GRC≤4和GRC>4.在GRC≤4中，Ti可以近似被看作常數(shù)，因為曲線斜率接近0.在GRC>4中，Ti接近一個線性方程.因此，Ti可以建模成為

(8)

式中：ai，bi，ci選取表2中的值；G的計算式[9]為

(9)

式中[x]定義為小于或等于x的最大整數(shù)。

表2　各個QP值下ai，bi，ci的值

通過對表2中8個QP值對應(yīng)的閾值使用Matlab描點得到圖3，觀察到這些值近似可以表示

圖3　按指數(shù)函數(shù)擬合近似曲線Fig.3　Approximate curve of exponential function fitting

為一個函數(shù)f(QP)=p×eq×QP，于是使用Matlab指數(shù)函數(shù)進行擬合，分別計算出p和q值，于是表2中的參數(shù)值ai，bi，ci，可表示為

(10)

1.3算法具體實現(xiàn)

算法的整體過程描述如下：

Step1根據(jù)式(4)計算當前幀的GRC。

Step2基于GRC，根據(jù)式(5，8～10)決定2個閾值T0和T1。

Step3進行16×16宏塊的運動估計，然后根據(jù)式(2)對當前幀的每個16×16宏塊進行LRC計算。

Step4基于16×16宏塊的LRC、T0和T1，根據(jù)式(3)決定宏塊的活躍度。

Step5基于得到的宏塊活躍度從表1中決定當前宏塊分類。

Step6根據(jù)分類對候選的幀間模式進行RDO計算得到RDO代價。

Step7最小RDO代價的幀間模式作為最優(yōu)模式。

Step8如果當前宏塊是當前幀的最后一個宏塊，則跳轉(zhuǎn)到步驟9.否則，跳轉(zhuǎn)到步驟4進行下一塊宏塊的處理。

Step9如果當前幀是最后一幀，就結(jié)束編碼過程.否則跳轉(zhuǎn)到步驟1對下一幀進行處理。

2仿真實驗

2.1實驗數(shù)據(jù)準備

實驗環(huán)境:Inter(R)Core(TM)I5-3320MCPU@ 2.60GHz；8GB內(nèi)存；Windows8.1+JM18.4[10].JM配置參數(shù)如下：參考幀數(shù)目1，序列類型IPPP，編碼幀數(shù)100，RDO優(yōu)化ON，熵編碼CABAC，QP=28，32，36，40，運動搜索方式UMHexagonS，其他采用默認配置。

選取QCIF，CIT，WQVGA，WVGA，720P，1080P不同格式的視頻測試序列，QP從28，32，36，40選取，采用了亮度峰值信噪比的變化值△PSNR、輸出碼流碼率變化百分比△Br和運動估計時間變化百分比△Ts這三個指標，對提出的算法和JM默認算法進行綜合性能的比較。

2.2仿真結(jié)果

QCIF格式具有較大運動強度序列(Carphone)和較小運動強度序列(News)與JM18.4算法比較的率失真曲線，如圖4(a)所示，CIF格式具有較大運動強度序列(Akiyo)和較小運動強度序列(Container)與JM18.4算法比較的率失真曲線，如圖4(b)所示.對于QP從28，32，36，40選取具體測試結(jié)果取平均后如表3所示。

從表3看出：筆者算法和JM18.4默認的算法相比較，其峰值信噪比和輸出碼率變化不明顯，但其幀間編碼時間可以縮短60%左右.圖4中，視頻序列的率失真曲線基本重合.因此，在峰值信噪比和輸出碼率基本不變的前提下，筆者算法可以有效提高視頻編碼效率。

圖4　視頻序列率失真曲線Fig.4　RD curves of video sequenc

序列運動強度序列格式像素序列名稱△PSNR/dB△Br/%△Ts/%較大QCIF176×144Carphone-0.080.12-62CIF352×288Akiyo-0.03-0.34-62WQVGA416×240BQSquare-0.010.52-56WVGA832×480BasketballDrill-0.020.41-59720P1280×720FourPeople-0.02-0.08-641080P1920×1080Kimono-0.05-0.51-67較小QCIF176×144News-0.04-0.15-59CIF352×288Container-0.03-0.46-61WQVGA416×240RaceHorses-0.041.46-63WVGA832×480BQMall-0.01-0.20-54720P1280×720KristenAndSara-0.030.25-671080P1920×1080ParkScene-0.020.28-64平均-0.030.11-62

3結(jié)論

提出了一種基于全局和局部殘差復(fù)雜度的快速幀間模式選擇算法，該算法基于GRC和LRC來決定宏塊的活躍度，選擇候選幀間模式的3個子集來代表不同宏塊的活躍度，對于有效的QP變化，給LRC的閾值設(shè)計了自適應(yīng)的值.相比傳統(tǒng)算法，此算法在視頻質(zhì)量和碼率基本不變的情況下，大大減少了編碼時間，降低了系統(tǒng)開銷。

參考文獻：

[1]ISO/IEC. ISO/IEC 14496-10-2003 Information technology-coding of audio-visual objects-part 10: advanced video coding [S]. Geneva：ISO/IEC，2003。

[2]WIEGAND T, SCHWARZ H, JOCH A, et al. Rate-constrained coder control and comparison of video coding standards[J]. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7)：688-703。

[3]任克強,張旭光,羅會蘭.改進的H.264幀間模式選擇算法[J].中國圖象圖形學(xué)報,2013,18(8)：893-900。

[4]畢厚杰.新一代視頻壓縮編碼標準—H.264/AVC[M].北京：人民郵電出版社,2005。

[5]ANTONIO O, KANNAN R. Rate-distortion methods for image and video compression[J]. IEEE Signal Processing Magazine,1998(11)：23-50。

[6]張真.H.264視頻編碼算法研究[D].西安：西北工業(yè)大學(xué),2007。

[7]WIEN M. Variable block-size transforms for H. 264/AVC[J]. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7)：604-613。

[8]GARY J S, THOMAS W. Rate-distortion optimization for video compression[J]. IEEE Signal Processing Magazine,1998(11)：74-90。

[9]SEONGWAN K, KYUNGMIN L, JAE H K, et al. Fast intermode decision algorithm based on general and local residual complexity in H. 264/AVC[J]. EURASIP Journal on Image and Video Processing,2013,30(5)：12-23。

[10]ITU Telecommunication Standardization Sector. H. 264/AVC reference software：JM18. 4[EB/OL].[2014-08-08]. http://download. csdn. net/detail/jasonde2012/4902024。

(責任編輯：陳石平)

中圖分類號：TN919.8

文獻標志碼：A

文章編號：1006-4303(2015)02-0222-05

作者簡介：李如春(1968—)，女，浙江青田人，副教授，研究方向為多媒體信號處理、信號檢測和微電子技術(shù)等，E-mail：lrc@zjut.edu.cn。

基金項目：國家自然科學(xué)基金資助項目(61306090)

收稿日期：2014-11-19