王鴻奎,李瑞陽,殷海兵

(中國計量大學 信息工程學院,浙江 杭州 310018)

一種內(nèi)容自適應(yīng)的硬判決量化算法

王鴻奎,李瑞陽,殷海兵

(中國計量大學 信息工程學院,浙江 杭州 310018)

在視頻編碼器中,軟判決量化可獲得最優(yōu)編碼性能,但其中維特比算法會導致嚴重的系數(shù)間串行處理依賴.比較而言,基于死區(qū)的硬判決量化算法率失真性能有所損失,但不存在系數(shù)間依賴,且非常適合硬件并行流水處理.今采用離線統(tǒng)計的方法,分析余弦變換系數(shù)的分布情況,量化余數(shù)對量化的具體影響,構(gòu)建了基于余弦變換系數(shù)分布參數(shù),量化余數(shù)的自適應(yīng)偏移模型.基于該模型提出一種內(nèi)容自適應(yīng)的硬判決量化算法.仿真結(jié)果表明,該算法在保證并行化處理的條件下,其編碼性能相比于傳統(tǒng)的硬判決量化有一定的提升,可接近軟判決量化算法性能.

視頻編碼;軟判決量化;率失真優(yōu)化;硬判決量化

在H.26x和MPEG-x等混合框架視頻編碼器中,量化扮演著非常重要角色,它直接決定量化失真和編碼碼率消耗.在早期視頻編解碼器中,對余弦變換(Discrete Cosine Transform,DCT)系數(shù)大多采用均勻標量量化(Uniform Scalar Quantization,USQ).后來,MPEG-4和H.264/AVC等標準采用基于deadzone死區(qū)的均勻標量量化(Uniform Scalar Quantization With Deadzone,USQ+DZ).在USQ+DZ中,利用熵編碼的統(tǒng)計特性,根據(jù)預(yù)測模式的不同采用不同的偏移量,相比于簡單的USQ算法,使得數(shù)據(jù)壓縮性能有了巨大的提升.類似于USQ以及USQ+DZ,系數(shù)獨立、基于四舍五入的量化算法統(tǒng)稱為硬判決量化(Hard Decision Quantization,HDQ)算法.HDQ算法,因不考慮系數(shù)間的相關(guān)性,適合硬件的并行處理,H.264/AVC以及最新視頻編碼標準HEVC中的量化均采用了基于死區(qū)的HDQ算法.

相比于HDQ算法,考慮系數(shù)間相關(guān)性的軟判決量化算法(Soft Decision Quantization,SDQ)可獲得更加優(yōu)異的率失真(Rate Distortion,RD)性能.SDQ算法采用維特比網(wǎng)格搜索[1],從多個候選較優(yōu)量化結(jié)果中抉擇出率失真代價最小的量化候選值,從而實現(xiàn)率失真性能的較大提升.基于維特比的SDQ算法已被應(yīng)用于H.263+及H.264/AVC標準編碼器[1-2].這類方法需要在整個網(wǎng)格圖中進行維特比網(wǎng)格搜索,實現(xiàn)動態(tài)規(guī)劃優(yōu)化,但計算消耗太大且復(fù)雜度太高.為了解決這一問題,提出了SDQ算法的簡化算法,即率失真優(yōu)化量化(Rate Distortion Optimized Quantization,RDOQ)算法.相比于SDQ算法的全網(wǎng)格搜索,RDOQ只搜索了部分路徑,在RD性能上比SDQ算法稍差,但可大幅降低算法復(fù)雜度.因此,在H.264/AVC及HEVC等標準參考軟件JM和HM中,均采用了該算法作為量化算法的備選算法.但是,RDOQ算法在抉擇最佳量化結(jié)果的過程使得該算法仍有較高的復(fù)雜度.同時,上下文自適應(yīng)算術(shù)編碼(Context Adaptive Binary Arithmetic Coding,CABAC)面臨嚴重的串行依賴,包括語法元素之間以及比特之間的串行處理、上下文概率狀態(tài)選擇與轉(zhuǎn)換等.系數(shù)間的串行依賴嚴重阻礙RDOQ算法在硬件架構(gòu)上的有效實現(xiàn).

因此,本文研究DCT系數(shù)的統(tǒng)計特性,模擬SDQ算法,在離線模式下,構(gòu)建自適應(yīng)死區(qū)偏移模型.提出一種基于該模型的硬判決量化算法,以提高硬判決量化算法的RD性能.

1 背景及問題法

1.1 HDQ和SDQ量化判決

在早期視頻壓縮算法中,基于無記憶信源的假設(shè),量化幅值取決于量化步長以及信號強度.編碼器采用的量化算法大都為HDQ算法,如早期編碼器中采用的USQ算法.隨著研究的深入,理想的標量量化器應(yīng)該采用非線性量化,也就是每個量化區(qū)間的間距應(yīng)該不相等,每個量化區(qū)間的劃分取決于信號的概率密度分布函數(shù).而DCT系數(shù)的分布近似認為服從拉普拉斯分布[3],根據(jù)這個概率分布函數(shù),確定非線性標量量化.研究表明,DCT系數(shù)主要分布在零頻率分量附近,偏移零頻率分量,出現(xiàn)概率呈指數(shù)下降,如拉普拉斯分布.基于這樣的分布特點,有學者提出了失真最小的基于死區(qū)的均勻閾值量化(Uniform Threshold Quantization,Deadzone+UTQ)的量化方案[3].其本質(zhì)是在零頻率分量附近增加一個偏移量,讓更多的DCT系數(shù)被量化為零,而其他部分采用均勻量化.基于死區(qū)的HDQ算法如圖1及式(1)所示,范圍(-T,T)即為deadzone死區(qū),在此范圍中的DCT系數(shù)經(jīng)量化后的量化幅值均為零.δ為量化偏移量,且滿足T+δ×q=q.

圖1 HDQ量化示意圖Figure 1 Schematic diagram of HDQ quantization

(1)

式中:u—DCT變換系數(shù);q—量化步長;δ—deadzone偏移量;‖—求絕對值操作;floor—向下取整操作;HDQ(u)—硬判決量化幅值.在USQ中,偏移量δ的取值為1/2.有學者在基于熵編碼的統(tǒng)計特性的研究中,提出幀內(nèi)、幀間預(yù)測模式分別采用固定死區(qū)量化偏移量1/3和1/6[3].H.264和H.265標準參考代碼JM和HM中都采用該算法[3],即本文所提的采用固定偏移量的HDQ算法.相比于USQ,該算法的RD性能有了極大的提升.但該算法未能實現(xiàn)量化偏移量的自適應(yīng)調(diào)節(jié),也未考慮系數(shù)間的相關(guān)特性,因此,采用固定偏移量的HDQ算法有一定優(yōu)化空間,相比于SDQ算法,RD性能有仍有較大的損失[4].本文的著眼點即在采用自適應(yīng)死區(qū)偏移量,進一步提升HDQ算法的RD性能乃至逼近SDQ的算法性能.

在支持CABAC編碼的量化算法中,由于采用有記憶信源上下文高階熵編碼,使得變換系數(shù)量化幅度不僅與塊內(nèi)前面已量化系數(shù)的量化幅值相關(guān),同時會影響到塊內(nèi)后續(xù)變換系數(shù)的量化結(jié)果,即系數(shù)間存在著前后相關(guān)性[5].因此,需要在考慮系數(shù)相關(guān)性的條件下,兼顧編碼碼率消耗和編碼失真,實現(xiàn)系數(shù)級精細量化.最優(yōu)SDQ算法采用維特比搜索的動態(tài)規(guī)劃方法,窮盡比較系數(shù)之間的復(fù)雜相關(guān)性[5-6].一個變換塊中包含有多個串行掃描的變換系數(shù),每個系數(shù)構(gòu)成維特比網(wǎng)格圖上一個階點[5].維特比搜索算法中每個系數(shù)對應(yīng)一個階,每個系數(shù)有多個候選較優(yōu)量化結(jié)果供選擇,這些候選量化結(jié)果構(gòu)成候選上下文狀態(tài).塊內(nèi)的串行系數(shù)(階)以及候選量化結(jié)果(狀態(tài))構(gòu)成了完整網(wǎng)格圖,SDQ算法的核心是如何在網(wǎng)格圖中找到編碼率失真代價最小路徑.最優(yōu)路徑由多個相鄰的分支路徑組成,每個階保留一條剩存分支路徑.SDQ算法可獲得優(yōu)越的編碼性能,能實現(xiàn)6%～8%的碼率節(jié)省[1-2],但這種性能提升是以維特比算法及CABAC編碼導致高度串行依賴為代價的[7].

RDOQ算法作為SDQ算法的簡化版[8-9],通過減少搜索路徑,以微小的性能損失為代價,一定程度上降低了軟判決的復(fù)雜度；但是,系數(shù)級上下文導致硬件流水效率不高的問題依然沒有得到有效的解決[9].

1.2 軟硬判決分析

在研究變換系數(shù)分布特性的基礎(chǔ)上,提出的采用固定死區(qū)的HDQ算法,有效地提升編碼器的率失真性能.一般認為變換系數(shù)服從拉普拉斯分布,其概率密度函數(shù)如下:

其中

(2)

式(2)中,Λ為變換系數(shù)分布模型參數(shù),σ為系數(shù)的標準差.u為DCT系數(shù).在基于拉普拉斯分布模型中,采用率失真優(yōu)化確定HDQ算法中的死區(qū)偏移量δ公式如下[3]:

(3)

式(3)中：λ—拉格朗日乘子,在率失真約束條件下,拉格朗日乘子的表述如下:

(4)

式(4)中:D—失真,R—碼率,在此條件下,推導出拉格朗日系數(shù)λ的具體表述:

λ=ln2×((q-δ)2-δ2)/q.

(5)

此處存在一個“蛋雞悖論”問題,根據(jù)式(3)和式(5),參數(shù)λ和δ是相互依賴的.而且,解決該悖論問題相對比較困難.

1 080 p序列的4×4變換塊各頻率分量的Λ值分布散點圖如圖2,不同頻率分量的DCT系數(shù)的分布參數(shù)相差極大.因此,不同頻率分量的變換系數(shù)在量化時偏移值的取值應(yīng)該是自適應(yīng)的,且不能按照式(3)的推導直接得到自適應(yīng)的偏移量.

深入研究軟硬判決量化機理,當HDQ算法未能逼近SDQ算法最優(yōu)量化行為時,兩者的量化幅度結(jié)果將會不一致,即HDQ(u)≠SDQ(u).在這些樣本中,本文發(fā)現(xiàn)HDQ(u)=SDQ(u)+1的概率非常接近于1.這種現(xiàn)象可解釋為:在SDQ算法中,將量化幅度減小1,失真雖有所增加,但可以大大節(jié)省碼率,從而降低率失真代價.該問題的具體表述如式(6).其中量化余數(shù)ξ=mod(|u|,q)/q,mod表示取余操作.軟硬判決量化結(jié)果統(tǒng)計圖如圖3,f表示頻數(shù).

HDQ(ξ+δ)=floor(ξ+δ)=1;

SDQ(ξ+δ)=floor(ξ+δ)=0.

(6)

圖2 DCT系數(shù)分布參數(shù)取值散點圖Figure 2 Scatter diagram of DCT coefficients distribution parameters

圖3 軟硬判決量化結(jié)果Figure 3 Results of soft and hard decision quantization

2 基于自適應(yīng)偏移量HDQ算法

2.1 啟發(fā)式自適應(yīng)建模

本文嘗試構(gòu)建基于DCT分布參數(shù)以及量化余數(shù)的自適應(yīng)死區(qū)偏移模型.模擬SDQ算法的數(shù)據(jù)特征和作用機理,基于統(tǒng)計分析方法在最大正判概率約束下,針對DCT系數(shù)分布參數(shù)、量化余數(shù)的不同組合,探索最優(yōu)死區(qū)量化偏移量,離線構(gòu)建參數(shù)自適應(yīng)模型.

圖4 自適應(yīng)偏移量模型建模示意圖Figure 4 Schematic diagram of adaptive offset model

本文采用的啟發(fā)式模型推導方法如圖4所示.首先,收集圖中的DCT系數(shù)樣本,DCT系數(shù)樣本指的是兩種量化算法(HDQ和SDQ)的量化幅值不一致情況下的DCT系數(shù).在DCT系數(shù)分布參數(shù)以及量化余數(shù)的不同組合下,收集這些樣本數(shù)據(jù),在保證樣本兩種量化算法結(jié)果一致的前提下,得到所有DCT系數(shù)樣本偏移量的取值范圍(δmin,δmax).然后,在DCT系數(shù)分布參數(shù)以及量化余數(shù)的所有組合下,統(tǒng)計各組合下樣本偏移量取值范圍,在最大正判概率約束下,從中抉擇出最佳偏移量.最終離線構(gòu)建自適應(yīng)偏移量模型.

2.2 最佳偏移量統(tǒng)計分析

死區(qū)偏移量最大取值范圍為(0,1),在此范圍中,存在子區(qū)間,使得采用該區(qū)間范圍中的偏移量硬判決量化結(jié)果與軟決量化結(jié)果一致.具體表述如下:

(7)

將死區(qū)偏移量的最大范圍均勻劃分為N個非常小的子區(qū)間,如N取500,對所有樣本偏移量可取的實際范圍(δmin,δmax)劃分子區(qū)間進行柱狀圖統(tǒng)計分析.統(tǒng)計各個子區(qū)間的樣本發(fā)生次數(shù)θ(k),如果第k個子區(qū)間在(δmin,δmax)范圍內(nèi),那么該子區(qū)間統(tǒng)計值θ(k)加η(k),η(k)以及直方圖表述如下:

(8)

(9)

針對DCT系數(shù)分布參數(shù)Λ、量化余數(shù)ξ,得到樣本最佳偏移量分段直方圖結(jié)果.4×4變換塊中16個樣本分量在不考慮量化余數(shù)的條件下,最佳偏移量的分布情況如圖5.基于DCT分布參數(shù),量化余數(shù)構(gòu)建的模型如圖6.

圖5 偏移量δ分布直方圖θ(k)Figure 5 Offset distribution histogram

圖6 偏移量δ模型圖Figure 6 Offset model diagram

本文通過模擬SDQ算法機理,在率失真約束條件下,離線構(gòu)建基于視頻內(nèi)容而自適應(yīng)的偏移模型.在實際編碼過程中,自適應(yīng)量化算法將針對不同的視頻內(nèi)容,不同的壓縮效果而自適應(yīng)采用不同的量化偏移量,從而實現(xiàn)自適應(yīng)量化.并且自適應(yīng)量化算法在幾乎不增加額外編碼復(fù)雜度的前提下,可保證硬判決并行化優(yōu)勢,提高量化正判概率,提升算法的率失真性能.

3 實驗結(jié)果

本文將提出的自適應(yīng)偏移量模型可應(yīng)用于H.264和H.265標準編碼器,進行HDQ算法驗證,并且與固定偏移量HDQ算法及SDQ算法進行了率失真性能比較.所有量化算法都同時應(yīng)用于最終模式編碼以及率失真優(yōu)化模式選擇回路中.仿真采用D1、720 p和1 080 p格式視頻序列;關(guān)閉碼率控制,量化參數(shù)選擇22,27,32,37,覆蓋低、中和高比特率應(yīng)用.GOP結(jié)構(gòu)采用IPBBPBB.測試編碼幀數(shù)為100幀.采用主流的BD-PSNR及BD-RATE參數(shù)進行率失真性能比較[11].見表1.

表1 固定偏移量HDQ、基于本文自適應(yīng)偏移量模型HDQ與SDQ算法性能對比

D1格式Interview序列的率失真性能算法對比如圖7所示,圖中對比了SDQ算法、固定偏移量HDQ算法以及本文自適應(yīng)偏移量HDQ算法.此外,表1給出了不同測試序列的BD-PSNR及BD-RATE參數(shù)[11].根據(jù)表1結(jié)果,高分辨率視頻序列情況下,本文算法有相對較高的率失真性能提升.針對1080p視頻序列,實驗結(jié)果表明本文算法比最佳SDQ算法和BD-PSNR僅有0.025性能損失,BD-RATE平均有1.121%碼率增加.此外,相比于固定偏移量HDQ算法,本文算法BD-PSNR平均有0.099 dB性能提升,BD-RATE平均可節(jié)省3.340%碼率.可見,本文提出的算法率失真性能上明顯優(yōu)于固定偏移量HDQ算法,且十分接近最佳SDQ算法性能.計算復(fù)雜度方面,相比于固定偏移量HDQ算法,本文算法的額外計算是DCT系數(shù)分布參數(shù),總體而言,額外增加的計算復(fù)雜度基本可以忽略,通過對比編碼時間對比算法復(fù)雜度,如表2.

圖7 典型測試序列率失真曲線示意圖Figure 7 Comparison of the RD performance of the proposed, fixed-offset HDQ, and the SDQ algorithm.

表2 固定偏移量HDQ、基于本文自適應(yīng)偏移量模型HDQ與SDQ算法編碼時間對比

4 結(jié) 語

算法內(nèi)在的串行依賴阻礙了SDQ算法硬件并發(fā)流水有效實現(xiàn).HDQ算法相較于SDQ算法,編碼率失真性能有顯著的損失.基于統(tǒng)計分析及啟發(fā)式建模,本文根據(jù)DCT系數(shù)分布參數(shù)以及量化余數(shù)參數(shù),構(gòu)建了自適應(yīng)死區(qū)偏移量模型,并基于此提出一種內(nèi)容自適應(yīng)偏移量死區(qū)量化算法.實驗仿真結(jié)果表明,在保持HDQ算法系數(shù)級并發(fā)處理優(yōu)勢的前提下,本文算法可減少傳統(tǒng)死區(qū)HDQ算法和SDQ算法之間性能差距.

[1] WEN J, LUTTRELL M, VILLASENOR J. Trellis-based R-D optimal quantization in H.263+[J].IEEE Transactions o Image Processing A Publication of the IEEE Signal Processing Society,2000,9(8):1431-1436.

[2] YANG E H, YU X. Rate Distortion Optimization of H.264 with Main Profile Compatibility[C]//IEEE International Symposium on Information Theory. Seattle, Washington: IEEE,2006:282-286.

[3] SULLIVAN G J. Efficient scalar quantization of exponential and Laplacian random variables[J].IEEE Transactions on Information Theory,1996,42(5):1365-1374.

[4] YIN H B, YANG E H, YU X, et al. Fast soft decision quantization with adaptive preselection and dynamic Trellis Graph[J].IEEE Transactions on Circuits & Systems for Video Technology,2014,25(8):1362-1375.

[5] SUN J, DUAN Y, LI J, et al. Rate-distortion dnalysis of dead-done plus uniform threshold scalar quantization and its application-Part II: Two-pass VBR coding for H.264/AVC[J].IEEE Transactions on Image Processing,2013,22(1):202-214.

[6] 譚晶晶,殷海兵.基于HVS和時域感知失真的感興趣區(qū)域搜索[J].中國計量學院學報,2013,24(1):55-59. TAN J J, YIN H B. Region of interest detection based on HVS and time domain perceptual distortion[J].Journal of China University of Metrology,2013,24(1):55-59.

[7] 孫俊.流媒體編碼傳輸中若干關(guān)鍵技術(shù)的研究[R].北京:北京大學博士后研究工作報告,2016. SUN J. Research on some key technologies of treaming media coding and transmission[R].Beijing: Postdoctoral Research Report of Peking University,2016.

[8] KARCZEWICZ M, YE Y, CHONG I. ITU-T SG16/Q.6.Rate distortion optimized quantization[S].Antalya:IEEE,2008.

[9] HUANG T Y, CHEN H H. Efficient quantization based on rate-distortion optimization for video coding[J].IEEE Transactions on Circuits and Systems for Video Technology,2016,26(6):1099-1106.

[10] LEE H, YANG S, PARK Y, et al. Fast quantization method with simplified rate-distortion optimized quantization for HEVC encoder[J].IEEE Transactions on Circuits & Systems for Video Technology,2015,26(1):1109-1121.

[11] BJONTEGAARD G. Calculation of average PSNR differences between RD-Curves[C]//13th video coding experts group (VCEG) meeting.TX, USA:IEEE,2001:1022-1034.

A content-adaptive hard-decision quantization algorithm

WANG Hongkui, LI Ruiyang, YIN Haibing

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

In video encoders, the soft-decision quantization (SDQ) achieves superior coding performance, but suffers from deadly sequential processing dependency. Comparatively, the deadzone hard-decision quantization (HDQ) is dependency-free and suitable for hardwired parallel processing, but suffers from non-negligible coding performance degradation. In this paper, a content-adaptive HDQ algorithm is proposed. Simulation results show that the coding performance of the adaptive HDQ algorithm is close to the SDQ algorithm.

video coding; soft decision quantization; rate distortion optimization; hard decision quantization

2096-2835(2017)02-0241-06

10.3969/j.issn.2096-2835.2017.02.017

2016-11-10 《中國計量大學學報》網(wǎng)址：zgjl.cbpt.cnki.net

國家自然科學基金資助項目(No.61572449).

王鴻奎(1990- ),男,浙江省淳安人,碩士研究生,主要研究方向為視頻編碼算法.E-mail:1550661343@qq.com通信聯(lián)系人：殷海兵,男,教授.E-mail:yinhb@cjlu.edu.cn

TN919

A