馬文琪，楊 華，尹海燕

（上海交通大學電子工程系圖像通信研究所，上海 200240）

基于H.264的感興趣區(qū)域自適應壓縮編碼技術

馬文琪，楊 華，尹海燕

（上海交通大學電子工程系圖像通信研究所，上海 200240）

針對公安監(jiān)控中的需求，提出一種基于感興趣區(qū)域（ROI）的自適應編碼算法，通過均值法背景建模技術提取ROI后，針對不同的空間區(qū)域采用分級編碼策略。同時采用一種基于鄰居宏塊的性能補償方案，減小ROI宏塊漏檢率，同時降低因采用分級編碼策略而產(chǎn)生的塊效應影響。實驗結果表明，該算法在保證ROI編碼質量的前提下，能夠有效降低系統(tǒng)碼率。

H.264;分級編碼;ROI

在壓縮編碼中，視頻壓縮比和視頻質量是一對矛盾，壓縮比越高，視頻損失越多，相應的視頻質量也就越差。但在公安監(jiān)控中，通常只對某一個特定區(qū)域感興趣（通常為目標活動區(qū)域），這一區(qū)域內(nèi)的圖像要盡可能清晰，其他部分圖像可以相對模糊一些?；谏鲜鲆?，基于感興趣區(qū)域的壓縮編碼技術應運而生，即在圖像中對感興趣區(qū)域進行無損壓縮或近無損壓縮，而對背景區(qū)域進行有損壓縮。這樣既可使得重構圖像有較高的視頻質量，又可得到較高的壓縮比，很好地解決了壓縮比和圖像質量之間的矛盾。

感興趣區(qū)域壓縮編碼技術中有兩個關鍵的問題需要考慮:1）如何對感興趣區(qū)域（ROI）區(qū)域進行提取;2）對ROI區(qū)域和背景區(qū)域分別采用怎樣的編碼策略。針對上述兩個問題，提出一種基于ROI提取和空間分級編碼的H.264改進算法，在保證感興趣區(qū)域編碼質量的前提下，降低編碼器的碼率。下面將對算法整體架構，ROI提取算法及空間分級編碼策略進行分別描述。

1 總體架構

圖1為算法總體框圖，由3部分組成。ROI提取模塊用于提取監(jiān)控場景中感興趣的目標區(qū)域，根據(jù)ROI結果給場景中不同的空間位置采用不同的編碼策略，進而進行相應的編碼工作。H.264［1－2］為實際使用中非常成熟的編碼技術，下面重點對系統(tǒng)的前兩個模塊分別進行介紹。

圖1 基于ROI自適應編碼算法系統(tǒng)框圖

2 算法設計

2.1 ROI提取

ROI提取模塊用于提取監(jiān)控場景中感興趣的目標區(qū)域，其在智能前端系統(tǒng)中的位置比較靈活，既可以是系統(tǒng)行為分析模塊中的處理結果，也可以在編碼器中直接串聯(lián)ROI提取模塊。通常公安監(jiān)控中所關注的異常行為（如盜竊、斗毆、違規(guī)車輛等）均發(fā)生在場景中的動態(tài)目標身上，即系統(tǒng)只需關注監(jiān)控場景中的動態(tài)目標。而靜止的物體（如背景，靜止的行人，車輛等）幾乎不會發(fā)生異常行為，且通過設置合理的GOP長度及高質量的I幀壓縮編碼參數(shù)，總可以得到靜止目標的高質量編碼圖像，因而本文中ROI提取采用基于背景建模的方法進行目標提取，所得到的前景區(qū)域即是ROI區(qū)域，記為R。

綜合前景提取效果和運算復雜度情況，本文采用均值法背景建模技術提取ROI。

2.2 分級編碼策略

得到ROI區(qū)域后，即可對不同的空間區(qū)域采用不同級別的編碼策略［3－5］，這里將根據(jù)ROI的檢測結果，以宏塊為單位進行QP分配:若當前宏塊內(nèi)存在前景像素，則分配該宏塊較低的QP;否則，分配較高的QP，如式（1）所示

按照式（1）的分級編碼策略，系統(tǒng)在保證ROI編碼質量的前提下，可以盡可能地降低碼率。同時解碼端可直接根據(jù)宏塊的QP值判決該宏塊是否屬于ROI，同時進行相應解碼，因此不需要單獨對ROI區(qū)域信息進行編碼。

公安監(jiān)控中的目標檢測要盡可能地做到寧錯勿漏，即允許一定的誤判來降低漏檢率，且漏檢率越接近0越好。但由2.1節(jié)可知，ROI目標的檢測率取決于背景建模的性能，而只采用背景建模總會存在一定的漏檢。

另外，由于ROI宏塊與非ROI宏塊采用不同的編碼策略，會在目標邊界上產(chǎn)生數(shù)據(jù)不連續(xù)的情況，即塊效應。雖然H.264本身提供去方塊濾波功能，但由于式（1）中ROI宏塊與非ROI宏塊的量化值差別較大，在目標邊緣仍然會出現(xiàn)一定的塊效應［2，6］，影響編碼器的主觀性能，而在非 ROI即背景區(qū)域出現(xiàn)塊效應在監(jiān)控中則可以接受的，因而可以考慮將該塊效應遷移至ROI區(qū)域附近的背景區(qū)域。

綜合以上兩方面的因素，提出一種性能補償方案，該方案基于如下思想:場景中每一個目標所在的區(qū)域都是一個連續(xù)的ROI區(qū)域，漏檢的ROI宏塊往往出現(xiàn)在已檢測的ROI宏塊附近。因此對式（1）的分級編碼策略進行改進，不只考慮當前宏塊與前景檢測結果R的交集是否為空，同時對當前宏塊的鄰居也進行判斷，只要有一個鄰居宏塊與R的交集不為空，就認為該宏塊為ROI宏塊。鄰居宏塊可以選擇為該宏塊周圍8個鄰居的集合。改進后的分級策略如式（2）所示

采用式（2）可以有效地減少漏判率，同時原來的ROI目標邊緣的背景鄰居也會被認為是ROI，雖然增加了一定的誤判，卻使得塊效應出現(xiàn)在背景區(qū)域而非目標邊緣，進而提高了編碼器的主觀性能以滿足公安監(jiān)控的需求。

另外，由于I幀的編碼情況關系到整個編碼器的性能［2］，因而分級編碼策略并不應用到I幀上，即I幀圖像所有區(qū)域均采用默認QP（一般為23）。

3 測試結果

本文將采用公安監(jiān)控中常見的道路、廣場監(jiān)控序列對算法進行測試，為驗證算法在不同場景下的性能，這里將采用4種不同場景的視頻序列進行算法測試。監(jiān)控場景如圖2所示。

圖2 測試視頻序列

算法在X264編碼參考軟件基礎上進行實現(xiàn)，測試條件如表1所示。

表1 實驗條件配置表

算法測試結果分兩個方面分別給出:碼率變化對比;ROI區(qū)域檢測率。

3.1 碼率變化測試結果

采用基于ROI的自適應編碼技術，在保證ROI的編碼質量的前提下，盡可能地降低碼率，從而有效節(jié)約存儲空間，因此有必要對碼率的節(jié)約情況進行統(tǒng)計。表2是算法改進前后4種視頻場景的碼率對比結果。

表2 算法改進前后碼率對比結果

通過表2可以看出，采用基于ROI的自適應壓縮編碼算法，可以有效地降低視頻壓縮所需碼率，進而節(jié)約碼流存儲空間，采用該算法，碼率可以降低20%左右。

3.2 ROI目標檢測率

由3.1中的碼率對比結果可以看出，采用基于ROI的自適應壓縮編碼技術，可以有效地降低碼率，但一個重要前提即是公安監(jiān)控中所關注的目標區(qū)域需要能夠準確地檢測出來，并采用高質量的壓縮參數(shù)進行編碼。一般來說，公安監(jiān)控中所關注的異常行為（如盜竊、斗毆等）均發(fā)生在場景中的動態(tài)目標身上，即系統(tǒng)只需關注監(jiān)控場景中的動態(tài)目標。而靜止的物體（如背景、靜止的行人、車輛等）幾乎不會發(fā)生異常行為，且通過設置合理的GOP長度及高質量的I幀壓縮編碼參數(shù)，總可以得到靜止目標的高質量編碼圖像，因而本文將重點關注場景中動態(tài)目標的檢測情況。

在公安監(jiān)控中，一個重要準則為寧錯誤漏，即系統(tǒng)能夠檢測出場景中所有可疑目標，然后對所檢測出來的這些目標進行逐一排查。因此這里更關注于ROI目標的漏檢率，而對于誤檢率容忍度較高，因誤檢率只會造成一定的碼率增加，而不會對公安監(jiān)控中所關注的目標造成影響，且3.1中的碼率結果對比已經(jīng)表明，該算法確實能夠有效降低碼率，因而在該部分，將只就ROI目標的檢測率（1－漏檢率）進行實驗說明。

ROI目標檢測率測試方法如圖3所示。

目標檢測率分別以宏塊和場景中出現(xiàn)的目標為單位進行檢測。

以宏塊為單位時，若當前宏塊內(nèi)有運動目標（車輛、行人等，稱為ROI宏塊），則檢測該宏塊是否以高質量的壓縮參數(shù)進行編碼，若該宏塊確實被高質量壓縮編碼，表明該ROI宏塊被正確檢測;反之，則表明該ROI宏塊被漏檢。

圖3 目標檢測示意圖

以目標為單位時，若當前目標的大部分宏塊區(qū)域（90%以上）被正確檢測，則認為該目標被正確檢測;反之，則表示該目標被漏檢。

對圖2中的4個視頻場景100幀圖像中出現(xiàn)的動態(tài)目標進行逐幀檢測，并統(tǒng)計該場景中ROI宏塊總數(shù)與實際檢測到的ROI宏塊總數(shù)，計算該場景的ROI宏塊檢測率和ROI目標檢測率。宏塊檢測率計算公式如式（3）所示

檢測率結果如表3所示。

表3 目標檢測率

需要說明的是，除場景（c）為黑夜場景，其余均為白天場景，對于白天場景，所有目標信息均作為ROI宏塊，而對于夜晚監(jiān)控中主要關注車牌及抓拍瞬間的司機信息，只對該部分進行ROI宏塊檢測，因為即使采用傳統(tǒng)的編碼器，黑夜中的其余信息也很難進行捕捉且無現(xiàn)實意義（如黑夜中黑色的汽車車身）。

且由表3信息可知該算法能夠準確地檢測場景中的ROI目標，能夠保證極低的宏塊漏檢率。漏檢的宏塊往往是因為目標體積較大，目標的特征較為一致，這樣的目標在運動較為緩慢時，其小部分區(qū)域會被檢測為背景（如圖2b中的白色汽車車身），但這部分漏檢的宏塊信息易于得到，且往往不屬于目標的重要區(qū)域，對公安的實際監(jiān)控應用并無影響。

本算法目前已在實際的公安監(jiān)控系統(tǒng)進行了應用測試，其可靠性和正確性得到驗證。

4 小結

本文針對公安監(jiān)控中的需求，提出一種基于ROI的自適應編碼算法，通過均值法背景建模技術提取ROI后，針對不同的空間區(qū)域采用不同級別的編碼策略。同時為減小ROI宏塊漏檢率和降低因采用分級編碼策略而產(chǎn)生的塊效應，本文采用一種基于鄰居宏塊的性能補償方案。實驗結果表明，該算法在保證ROI編碼質量的前提下，能夠有效降低系統(tǒng)碼率。

:

［1］THOMAS W，GARY J S，GISLE B，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2003，13:704－706.

［2］畢厚杰，王健.新一代視頻壓縮編碼標準——H.264/AVC［M］.2版.北京:中國廣播電視出版社，2009.

［3］LINO F，LUIS C，PEDRO A.H.264/SVC ROI encoding with spatial scalability［C］//Proc.International Conference on Signal Processing and Multimedia Applications.［S.l.］:INSTICC Press，2008:212－215.

［4］向科燏，于鴻洋，張萍.可分級視頻編碼的MPEG－2傳輸流封裝及其應用［J］.電視技術，2011，35（21）:25－28.

［5］袁嘉晟，方志軍，葉金財.基于運動矢量可分級的視頻編碼方法［J］.電視技術，2010，34（4）:19－21.

［6］孫立，王健，郭春輝，等.基于CUDA的H.264去方塊濾波的設計與實現(xiàn)［J］.電視技術，2010，34（5）:44－46.

Novel Adaptive H.264 Method Based on Region of Interest

MA Wenqi，YANG Hua，YIN Haiyan

（Institution of Image Communication and Information Processing，Department of EE，Shanghai Jiaotong University，Shanghai 200240，China）

To satisfy the requirement of the security monitor system，a novel adaptive H.264 method based on the Region of Interest（ROI）is proposed.The ROI is firstly extracted via background modeling method and then the frame is encoded with spatial scalability.Meanwhile，to decline the omission ratio of the ROI and reduce the influence of the blocking artifact，a compensation scheme based on the neighborhood macro blocks is applied.Experiment shows that the proposed encoding scheme could decrease the bitrate while keep the encoding quality in a proper level.

H.264;spatial scalability;ROI

TN919.8

A

【本文獻信息】馬文琪，楊華，尹海燕.基于H.264的感興趣區(qū)域自適應壓縮編碼技術［J］.電視技術，2013，37（3）.

國家自然科學基金項目（61102099）;上海市科委項目（10231204002;11231203102）

責任編輯:時 雯

2012－07－23