?

基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知*

左覓文，常侃**，施靜蘭，覃團(tuán)發(fā)

(廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，南寧 530004)

摘要：針對(duì)現(xiàn)有基于自適應(yīng)采樣率的分塊視頻壓縮感知方案的單幀總采樣率不可控的問題，提出了一種新的自適應(yīng)采樣率分配方案。首先，對(duì)當(dāng)前幀圖像塊進(jìn)行固定預(yù)采樣；然后，根據(jù)預(yù)采樣的測(cè)量值來(lái)估計(jì)圖像塊的變化程度，并計(jì)算該圖像塊與當(dāng)前幀圖像的復(fù)雜度比例；接下來(lái)，根據(jù)復(fù)雜度比例分配圖像塊自適應(yīng)采樣率，并將固定預(yù)采樣及自適應(yīng)采樣的測(cè)量值合并為最終測(cè)量值。實(shí)驗(yàn)結(jié)果表明，與固定采樣率算法相比，提出的方案在相同采樣率下可獲得1 dB左右的峰值信噪比增益。所提方案可獲得高質(zhì)量的重構(gòu)圖像，且總采樣率可控，因此增強(qiáng)了自適應(yīng)采樣分塊視頻壓縮感知方案的有效性和實(shí)用性。

關(guān)鍵詞：視頻壓縮感知；自適應(yīng)采樣率；幀間相關(guān)性

1引言

由Candès和Donoho等人提出的壓縮感知(CompressiveSensing,CS)理論[1]突破了香農(nóng)(Shannon)采樣定理的瓶頸。該理論可用遠(yuǎn)低于奈奎斯特采樣定理要求的速率采樣信號(hào)，并且又能完美恢復(fù)信號(hào)[2]。壓縮感知理論被提出后在信號(hào)獲取、遙感成像、超分辨率、圖像復(fù)原、人臉識(shí)別、醫(yī)學(xué)圖像處理等許多領(lǐng)域得到了應(yīng)用并受到了廣泛的關(guān)注。

近年來(lái)，視頻壓縮感知(CompressiveVideoSensing,CVS)技術(shù)的出現(xiàn)，使得低復(fù)雜度視頻信號(hào)獲取成為可能。同時(shí)，一些較為實(shí)用的方案，例如分塊壓縮感知[3]、殘差重構(gòu)方案[4-5]等，則有效地推進(jìn)了CVS技術(shù)的應(yīng)用進(jìn)程。CVS方案主要分為視頻信號(hào)壓縮感知測(cè)量和視頻信號(hào)重構(gòu)兩部分。一般測(cè)量過(guò)程運(yùn)算量較低，而重構(gòu)過(guò)程則需要迭代求解復(fù)雜度相對(duì)較高的最優(yōu)化問題。為了獲得更高的重構(gòu)質(zhì)量，許多學(xué)者都致力于重構(gòu)算法的研究，許多的重構(gòu)算法被提出，常見的有迭代閾值法、貪婪算法、凸優(yōu)化算法等。然而，在測(cè)量過(guò)程中能否合理地分配采樣率也會(huì)影響到重構(gòu)質(zhì)量。基于此，自適應(yīng)采樣率視頻壓縮感知系統(tǒng)被提出，目前國(guó)內(nèi)外已有學(xué)者提出了不同的自適應(yīng)采樣率方案，例如GarrettWarnell[6]提出的自適應(yīng)采樣率方案將圖像分為前景和背景，根據(jù)關(guān)注度的不同分配不同的采樣率，但是這種方案犧牲背景的重構(gòu)質(zhì)量，對(duì)整個(gè)視頻重構(gòu)質(zhì)量的提高沒有起到太大的作用。武明虎等[7]提出的自適應(yīng)方案根據(jù)視頻信號(hào)本身的局部稀疏度和遠(yuǎn)程稀疏度自適應(yīng)分配采樣率，但是該算法重構(gòu)得到的質(zhì)量不是很理想?；趲g相關(guān)性，練秋生等[8]提出了新的自適應(yīng)采樣率方案，通過(guò)閾值將視頻圖像分為三種不同的塊：近似變化塊、緩慢變化塊、快速變化塊，并給它們分配不同的采樣率。此方案在提高了圖像重構(gòu)質(zhì)量的同時(shí)并未明顯增加算法復(fù)雜度，算法有效性有了明顯的提升。但是，該方案的閾值不能根據(jù)序列自適應(yīng)調(diào)整，在一定程度上影響了算法的性能。我們?cè)谖墨I(xiàn)[8]的基礎(chǔ)上，通過(guò)綜合應(yīng)用序列內(nèi)的空間、時(shí)間相關(guān)性，實(shí)現(xiàn)了不同種類圖像塊的自適應(yīng)分類[9]。但是，上述所有自適應(yīng)采樣方案，均無(wú)法在給定的目標(biāo)采樣率下實(shí)現(xiàn)各圖像塊的自適應(yīng)采樣率分配，也即總采樣率不可控。因此，在實(shí)際傳輸帶寬受限的情況下上述變采樣率方案是不實(shí)用的。

為了進(jìn)一步提升變采樣率方案的實(shí)用性，本文提出了一種基于幀間相關(guān)性的自適應(yīng)采樣率分配方案，將圖像塊采樣分為固定預(yù)采樣部分與基于圖像塊復(fù)雜度比列的自適應(yīng)采樣部分，能夠在給定總采樣率的條件下實(shí)現(xiàn)各圖像塊的采樣率自適應(yīng)分配，以適應(yīng)各類實(shí)際傳輸環(huán)境。

2自適應(yīng)采樣率分配視頻壓縮感知方案

2.1算法總體框架

為實(shí)現(xiàn)總采樣率可控，本文提出一種基于幀間相關(guān)性的兩級(jí)自適應(yīng)CVS框架，如圖1所示。該框架中，對(duì)參考幀采用固定采樣率測(cè)量，對(duì)非參考幀采用變采樣率測(cè)量。對(duì)于某給定非參考幀，總的測(cè)量值包括固定采樣率測(cè)量值以及自適應(yīng)采樣率測(cè)量值。假設(shè)非參考幀圖像塊的平均采樣率為S，則有S=F+A，其中F為固定采樣率，A為平均自適應(yīng)采樣率。

圖1　基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知方案

2.2參考幀的測(cè)量

Yt=ΦBXt。

(1)

式中，Xt∈Rn×N、Yt∈Rm×N的每一列向量分別代表各個(gè)塊的像素向量和測(cè)量向量，m/n是采樣率。

參考幀將用于后續(xù)非參考幀的估計(jì)，因此其重建質(zhì)量影響著整個(gè)視頻序列的有效重建。在提出方案中，對(duì)參考幀采用固定高采樣率進(jìn)行測(cè)量，以保證其重建質(zhì)量。

2.3非參考幀的自適應(yīng)測(cè)量

2.3.1衡量圖像塊的變化程度

(2)

但是在實(shí)際的視頻壓縮感知系統(tǒng)中，僅已知視頻像素的測(cè)量值而未知原始的視頻像素值，因此不能采用公式(2)來(lái)判斷幀間相關(guān)性大小。借鑒文獻(xiàn)[8]的方案，采用前后幀相同位置圖像塊的測(cè)量值的殘差能量大小來(lái)判斷圖像塊的變化程度：

(3)

2.3.2圖像塊采樣率的自適應(yīng)分配

在固定預(yù)采樣階段，給各圖像塊分配固定采樣率F來(lái)獲得預(yù)測(cè)量值。固定采樣率不僅能確保最低視頻幀重構(gòu)質(zhì)量，還可以用于估計(jì)圖像塊的變化程度。自適應(yīng)采樣率分配如下:

Ai=Wi×N×A。

(4)

非參考幀的重構(gòu)質(zhì)量不僅跟測(cè)量值的多少成正比，而且還受到它與參考幀之間差別的影響。基于此考慮，本文提出如下公式來(lái)計(jì)算Wi的值：

(5)

2.3.3總測(cè)量向量的生成

本文設(shè)定固定采樣率和自適應(yīng)采樣率如下：

F=C×S，

(6)

A=(1-C)×S。

(7)

式中，C是分割參數(shù)。為了確保固定采樣部分的測(cè)量值能夠真實(shí)地反應(yīng)非參考幀與參考幀的差異，C值不應(yīng)該設(shè)定過(guò)小。當(dāng)整個(gè)采樣率S較大時(shí)，可將參數(shù)C設(shè)置小值；反之，應(yīng)將參數(shù)C設(shè)置大值以保證最基本的重構(gòu)質(zhì)量。

(8)

(9)

可以發(fā)現(xiàn)，固定預(yù)采樣率測(cè)量值是最終測(cè)量值中的一部分，并且這部分測(cè)量值用于重構(gòu)圖像，這樣可以避免造成測(cè)量值的浪費(fèi)，同時(shí)也降低了整個(gè)系統(tǒng)的計(jì)算復(fù)雜度。

3視頻壓縮感知實(shí)施流程

在發(fā)送端，對(duì)單個(gè)非參考幀的自適應(yīng)采樣流程如圖2所示。

圖2非參考幀的自適應(yīng)采樣流程

Fig.2Adaptivesamplingalgorithmfornon-referenceframes

流程具體描述如下：

步驟1：將圖像分成N個(gè)B×B大小的圖像塊，并且令i=1；

步驟2：對(duì)第i塊圖像塊進(jìn)行固定預(yù)采樣率F采樣；

步驟3：根據(jù)公式(3)計(jì)算測(cè)量值的殘差能量作為判斷該塊的變化程度的依據(jù)；

步驟4：根據(jù)公式(4)和公式(5)來(lái)分配自適應(yīng)部分的采樣率Ai；

步驟6：如果 i≥N 則結(jié)束整個(gè)壓縮采樣過(guò)程；否則，令 i=i+1，重新執(zhí)行步驟2。

在接收端，對(duì)參考幀各圖像塊進(jìn)行直接重構(gòu)，對(duì)非參考幀中各圖像塊采用多假設(shè)預(yù)測(cè)重構(gòu)算法[5]進(jìn)行重構(gòu)。

4實(shí)驗(yàn)結(jié)果

我們對(duì)CIF格式的container、news、flower、city、football、bus這6組標(biāo)準(zhǔn)視頻序列進(jìn)行仿真實(shí)驗(yàn)。對(duì)于每一組序列，分塊的大小B為8，參考幀的采樣率為0.5，非參考幀的采樣率S取值0.1、0.2、0.3、0.4、0.5，閾值C為0.5，殘差重構(gòu)采用離散小波域(DiscreteWaveletTransform,DWT)下基于塊的SPL方法(Block-BasedCSwithSmoothedPLReconstruction，BCS_SPL)[10]。

將本文算法簡(jiǎn)稱為ASIFC(AdaptiveSamplingbasedonInter-FrameCorrelation)，圖3展示了ASIFC針對(duì)6個(gè)測(cè)試序列在5個(gè)采樣率下非參考幀重建圖像的平均峰值信噪比(PeakSignaltoNoiseRatio，PSNR)，作為比較基準(zhǔn)，在圖中也同時(shí)列出了文獻(xiàn)[5]提出的多假設(shè)預(yù)測(cè)固定采樣率(簡(jiǎn)稱MH-SPL)的性能。從圖中可知,與固定采樣率MH-SPL相比，本文方案加入了幀間相關(guān)性，根據(jù)圖像塊不同的變化程度合理分配采樣率，在相同采樣率下獲得比MH-SPL更高的PSNR。

(a)container

(c)flower

(e)football

圖4為container序列部分主觀質(zhì)量重構(gòu)效果圖，可以看到本文方案中該序列主要運(yùn)動(dòng)的船體部分重構(gòu)質(zhì)量明顯提高，船體邊緣的塊效應(yīng)明顯降低。從圖5中我們可以看到本文方案ASIFC有效提高了news序列的主要運(yùn)動(dòng)區(qū)域的重構(gòu)質(zhì)量?？梢姳疚姆桨父鶕?jù)圖像塊的變化程度來(lái)分配采樣率的方案是有效的，能夠在一定程度上抑制塊效應(yīng)的產(chǎn)生，提高視頻的重構(gòu)質(zhì)量。

圖4　0.1采樣率下“container”序列重構(gòu)結(jié)果

圖5　0.2采樣率下“news”序列重構(gòu)結(jié)果

為了進(jìn)一步驗(yàn)證提出的自適應(yīng)方案的性能，本文還與文獻(xiàn)[8]提出的方案VS-MHFP1作比較。其中本文方案ASIFC與VS-MHFP1中的各個(gè)參數(shù)與前述實(shí)驗(yàn)參數(shù)設(shè)置保持一致。此外，VS-MHFP1的5個(gè)閾值參數(shù)按照文獻(xiàn)[8]設(shè)定為l1=0.003、l2=0.15，S1=0.05、S2=0.2、S3=0.5，其中l(wèi)1、l2為判定非參考幀圖像塊的閾值，小于l1的圖像塊為近似不變塊，大于l2的圖像塊為快速變化塊，介于l1與 l2之間的圖像塊為緩慢變化塊，S1、S2、S3分別為近似不變塊、緩慢變化塊、快速變化塊的采樣率。

表1為兩種方案下非參考幀重構(gòu)質(zhì)量對(duì)比。從表1中可以觀察到：

(1)本文方案ASIFC中，變化比較緩慢的序列container、news、flower的重構(gòu)質(zhì)量差于VS-MHFP1，原因在于，VS-MHFP1方案不考慮總采樣率是否可控，針對(duì)不同序列，由VS-MHFP1算法生成的總采樣率差異很大(例如container和bus)；但是，帶來(lái)的好處是，給予各圖像塊自適應(yīng)分配采樣率的自由度較高。相比之下，本文算法雖無(wú)需事先設(shè)定多個(gè)閾值，但是各幀采樣率可控，且為了保證最低重建質(zhì)量而設(shè)置了固定采樣率部分，因此在一定程度上限制了各圖像塊分配采樣率的自由度。特別是在測(cè)試變換緩慢的序列時(shí)，由于固定采樣率部分的存在，使得自適應(yīng)部分的可調(diào)整空間較為有限；

(2)針對(duì)變化比較快的序列city、football、bus，本文方案的重構(gòu)質(zhì)量相對(duì)VS-MHFP1 有0.5dB左右的峰值信噪比增益，原因在于，VS-MHFP1根據(jù)閾值強(qiáng)制性地將圖像塊分為近似不變塊、緩慢變化塊、快速變化塊3類，并分配不同的采樣率。由于閾值不能根據(jù)序列特性自適應(yīng)分配，在本實(shí)驗(yàn)給定的閾值下，VS-MHFP1方案對(duì)city、football、bus序列的采樣率分配不夠合理。另一方面，本文算法的固定采樣率部分保證了各圖像塊的最低重構(gòu)質(zhì)量，且各圖像塊的復(fù)雜度計(jì)算自適應(yīng)進(jìn)行，無(wú)需通過(guò)閾值判定，因此獲得了更好的重建質(zhì)量。

表1　非參考幀重構(gòu)PSNR比較

5結(jié)束語(yǔ)

本文提出了一種基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知方案，通過(guò)幀間相關(guān)性的大小自適應(yīng)分配圖像塊的采樣率。根據(jù)實(shí)驗(yàn)結(jié)果可知，本文提出的方案能夠獲得比現(xiàn)有固定采樣率方案MH-SPL更高的重構(gòu)質(zhì)量，而跟現(xiàn)有的自適應(yīng)采樣率方案VS-MHFP1相比，雖然在較低的單幀總采樣率下，重構(gòu)質(zhì)量會(huì)受到視頻圖像塊的自適應(yīng)采樣自由度的影響而降低，但是在較高的單幀總采樣率下能夠提高視頻的重構(gòu)質(zhì)量。另外，本文方案解決了現(xiàn)有自適應(yīng)采樣率方案中總采樣率不可控這一問題，在算法實(shí)用性上強(qiáng)于已有的其他算法。下一步工作的重點(diǎn)將研究視頻壓縮感知重構(gòu)方案。

參考文獻(xiàn)：

[1]Candes E,Rober J，Tao T.Roubust uncertainty principles: exact signalreconstru-ction from highly incomplete frequencyinformation[J].IEEE Transactions on Information Theory,2006,52(2): 489-509.

[2]石光明,劉丹華,高大化，等.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào)，2009，37(5): 1070-1081.

SHI Guangming，LIU Dahua，GAO Dahua，et al,Advances in Theory and Application of Compressed Sensing[J].Acta Electronica Sinica,2009,37(5):1070-1081.(in Chinese)

[3]Gan L.Block compressed sensing of natural images[C]//Proceedings of the 15th International Conference on Digital Signal Processing.Cardiff,UK：IEEE,2007: 403- 406.

[4]常侃，覃團(tuán)發(fā)，唐振華.基于多重假設(shè)的視頻壓縮感知分層重建[J].數(shù)據(jù)采集與處理，2013，28(6):732-738.

CHANG Kan,QIN Tuanfa,TANG Zhenhua.Multi-hypothesis Based Hierarchical Reconstruction for Compressed Video Sensing[J].Journal of Data Acquisition and Processing，2013，28(6):732-738.(in Chinese)

[5]Tramel E W,Fowler J E.Video compressed sensing with multihypothesis[C]//Proceedings of the IEEE Data CompressionConference.Snowbird,UT:IEEE,2011: 193-202.

[6]Warnell G,Reddy D, Chellappa R.Adaptive rate compressive sensing for ba-ckground subtraction [C]//Proceedings of 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing. Kyoto:IEEE,2012:1477-1480.

[7]武明虎,朱秀昌.自適應(yīng)采樣率分配的分布式壓縮感知視頻編碼[J].南京郵電大學(xué)學(xué)報(bào),2013,33(1): 62-67.

WU Minghu,ZHU Xiuchang.Dynamic Measurement Rate Allocation for Distributed Compressive Video Sensing[J].Journal of Nanjing University of Posts and Telecommunications,2013,33(1):62-67.(in Chinese)

[8]練秋生，田天，陳書貞，等.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知[J].電子與信息學(xué)報(bào)，2013，35(1):203-208.

LIAN Qiusheng,TIAN Tian,CHEN Shuzhen,et al.Block Compressed Sensing of Video Based on Variable Sampling Rates and Multihypothesis Predictions[J].Journal of Electronics & Information Technology,2013,35(1):203-208.(in Chinese)

[9]左覓文，常侃，施靜蘭，等.基于空時(shí)相關(guān)性的變采樣率分塊視頻壓縮感知[J].電訊技術(shù)，2013，53(11):1489-1493.

ZUO Miwen,CHANG Kan,SHI Jinglan,et al.Adaptive block compressive video sensing scheme based on spatial-temporal correlation[J].Telecommunication Engineering,2013,53(11) :1489-1493.(in Chinese)

[10]Mun S,Fowler J E.Block compressedsensing of images using directional tra-nsforms[C]//Proceedings of 2009 International Conference on Image Processing.Cairo,Egypt:IEEE,2009: 3021-3024.

左覓文(1991—)，女，湖北孝感人，廣西大學(xué)碩士研究生，主要研究方向?yàn)閴嚎s感知、視頻編碼；

ZUO Miwen was born in Xiaogan,Hubei Province，in 1991.She is now a graduate student.Her research concerns compressed sensing and video coding.

Email：miwenzuo@163.com

常侃(1983—)，男，廣西南寧人，2010年于北京郵電大學(xué)獲博士學(xué)位，現(xiàn)為廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院副教授，主要研究方向?yàn)閴嚎s感知和視頻編碼與傳輸；

CHANG Kan was born in Nanning,Guangxi Zhuangzu Autonomous Region，in 1983.He received the Ph.D. degree from Beijing University of Posts and Telecommunications in 2010.He is now an associate professor.His research interests include compressed sensing,video coding and transmission.

Email：pandack0619@163.com

施靜蘭(1990—)，女，廣西南寧人，廣西大學(xué)碩士研究生，主要研究方向?yàn)閴嚎s感知和稀疏表示；

SHI Jinglan was born in Nanning,Guangxi Zhuangzu Autonomous Region,in 1990.She is now a graduate student.Her research concerns compressed sensing and sparse representation.

Email：hui7154@163.com

覃團(tuán)發(fā)(1966—)，男，廣西賓陽(yáng)人，1997年于南京大學(xué)獲博士學(xué)位，現(xiàn)為廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院副院長(zhǎng)、教授、中國(guó)電子學(xué)會(huì)高級(jí)會(huì)員、中國(guó)通信學(xué)會(huì)高級(jí)會(huì)員，主要研究方向?yàn)闊o(wú)線多媒體通信、網(wǎng)絡(luò)編碼、視頻編碼和圖像檢索。

QIN Tuanfa was born in Binyang,Guangxi Zhuangzu Autonomous Region,in 1966.He received the Ph.D. degree from Nanjing University in 1977.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi University.He is also a senior member of China Institute of Electronics and China Communication Institute.His research interests include wireless multimedia communications,network coding,video encoding and image retrieval.

Email：tfqin@gxu.edu.cn

引用格式：左覓文，常侃，施靜蘭，等.基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知[J].電訊技術(shù)，2015,55(4):360-365.[ZUOMiwen,CHANGKan,SHIJinglan,etal.AdaptiveRateBlockCompressiveVideoSensingBasedonInter-frameCorrelation[J].TelecommunicationEngineering,2015,55(4):360-365.]

AdaptiveRateBlockCompressiveVideoSensingBased

onInter-frameCorrelation

ZUOMiwen,CHANGKan,SHIJinglan,QINTuanfa

(SchoolofComputerandElectronicInformation,GuangxiUniversity,Nanning530004,China)

Abstract：The existing adaptive block compressive video sensing(CVS) schemes can not adaptively allocate sampling rate for each image block under a given target sampling rate for the whole frame. Therefore, a new adaptive sampling scheme is proposed. Firstly, a fixed part of sampling rate is allocated to every block in a frame. Secondly, the variation of a block is estimated according to the pre-sampled measurements, and the complexity ratio of this block is also calculated. Afterwards, the adaptive part of sampling rate is allocated according to the complexity ratio of a block, and the final measurements are formed by combining the fixed part and the adaptive part of measurements. Experimental result shows that compared with non-adaptive scheme, the proposed method can get about 1 dB peak signal to noise ratio(PSNR) increment. Since the proposed method can achieve high quality of reconstructed images under any given target sampling rates, it increases the effectiveness and the practicality of the adaptive rate-based block CVS schemes.

Key words：compressive video sensing (CVS)；adaptive sampling rate；inter-frame correlation

作者簡(jiǎn)介：

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-893X(2015)04-0360-06

通訊作者：**pandack0619@163.comCorresponding author：pandack0619@163.com

收稿日期：*2014-10-13；修回日期：2015-04-08Received date:2014-10-13；Revised date：2015-04-08基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61261023，61401108);廣西自然科學(xué)基金資助項(xiàng)目(2013GXNSFBA019272);廣西教育廳科學(xué)研究項(xiàng)目(201203YB001)Foundation Item:The National Natural Science Foundation of China(No.61401108);The Natural Science Foundation of Guangxi(2013GXNSFBA019272); The Foundation of Education Commission of Guangxi(2013YB001)

doi:10.3969/j.issn.1001-893x.2015.04.002