胡常俊，張著洪

(貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽 550025)

視頻抖動是影響視頻序列中目標(biāo)提取的關(guān)鍵因素，如何實時、快速、有效地消除抖動產(chǎn)生的負(fù)面影響，是圖像預(yù)處理中關(guān)系到運動目標(biāo)提取效果的關(guān)鍵問題。車載攝像頭是安裝在車載平臺的一種成像設(shè)備。在車體發(fā)生抖動或道路不平穩(wěn)場景下，攝像機輸出的圖像序列呈現(xiàn)不穩(wěn)定現(xiàn)象，造成目標(biāo)提取失效。因此，研究消除視頻抖動尤為重要。

電子穩(wěn)像[1-2]是一種利用數(shù)字圖像處理和電子技術(shù)來確定圖像間偏移的運動矢量并以此進(jìn)行運動補償?shù)姆€(wěn)像方法。較為常見的方法包括代表點匹配算法、特征點跟蹤算法、塊匹配法、灰度投影算法[3-7]。在這些算法中，第一種算法是在參考幀圖像上以像素點為單位，選取等距離間隔的點陣集，在當(dāng)前幀圖像上尋求與之相匹配的同樣等距離間隔的點陣集，兩個點陣集初始點坐標(biāo)的差值就是圖像間的運動矢量，其算法結(jié)構(gòu)簡單、計算量小，但自適應(yīng)能力較弱；第二種算法主要是先在參考幀中選擇一組特征點，然后按照匹配準(zhǔn)則在當(dāng)前幀中進(jìn)行搜索，找出對應(yīng)的匹配特征點，計算出幀間運動矢量；王斌等[7]提出一種電子穩(wěn)像的數(shù)字圖像跟蹤算法，其借助圖像的特征點進(jìn)行背景補償、矢量計算和特征點跟蹤；第三種算法的基本思想是將當(dāng)前幀圖像劃分為若干大小相同的子塊并在參考幀圖像的指定搜索窗內(nèi)進(jìn)行全局搜索，直到找到與參考幀最匹配的小塊，進(jìn)而獲取子塊的運動矢量；張躍飛[4]提出一種改進(jìn)型車載視頻穩(wěn)像算法，其主要通過優(yōu)化圖像子塊的位置來降低車輛運動對圖像子塊匹配的影響；最后一種算法是利用圖像序列的灰度總體分布的變化規(guī)律，對圖像的行列灰度投影曲線做相關(guān)運算獲取當(dāng)前幀圖像相對于參考幀的運動矢量，其運算速度快，能滿足實時性、穩(wěn)定性要求[8-12]，但尚未考慮抖動現(xiàn)象對圖像的影響問題；李計添等[8]通過分析車輛載體運動的特點和導(dǎo)致圖像抖動的根源，運用灰度投影算法對車載圖像序列進(jìn)行穩(wěn)像，驗證了灰度投影算法的有效性。

本文針對視頻抖動問題，探討基于車載攝像機抖動的改進(jìn)型灰度投影算法；該算法能消除運動前景對運動矢量估計的干擾，可提高運動補償?shù)木?；借助實時場景的視頻序列，實驗結(jié)果表明，該算法能實時、有效地獲得穩(wěn)定的圖像序列。

1 基本的灰度投影算法

灰度投影算法利用參考幀和當(dāng)前幀圖像的灰度值計算當(dāng)前幀圖像的運動矢量，進(jìn)而對當(dāng)前幀進(jìn)行運動補償，可達(dá)消除或減輕隨機抖動對目標(biāo)提取的影響。算法描述概述如下：

步1輸入大小為m×n的第k幀灰度圖Pk；

(1)

步3 求使公式(2)達(dá)到最小的ωmin；

1≤ω≤2I+1

(2)

其中ω取整數(shù)，1≤ω≤2I+1，I是檢測圖像抖動的范圍的非負(fù)整數(shù)；第k幀圖像相對于第k-1幀圖像在水平方向的運動矢量為：

vx=I+1-ωmin

(3)

類似地，可獲第k幀圖像的豎直方向運動矢量vy；

步4 將第k幀圖像向運動矢量的反方向運動相應(yīng)的距離，即可得到穩(wěn)定的第k幀圖像。

2 圖像穩(wěn)像算法

傳統(tǒng)灰度投影算法[13]僅適應(yīng)無運動前景抖動場景，當(dāng)圖像中出現(xiàn)運動前景或者背景中包含其它運動的小物體時，將導(dǎo)致圖像的運動矢量的估計精度低；另一方面，隨著攝像機不斷移動和場景的變化，該方法造成穩(wěn)像失敗。為此，采用分塊灰度投影算法和自適應(yīng)相鄰幀補償解決此方法存在的問題。

2.1 基于區(qū)域分割的運動矢量估計

抖動現(xiàn)象易于導(dǎo)致相鄰兩幀圖在自下而上的3/4區(qū)域的信息有顯著的差異性，同時運動前景一般都出現(xiàn)在圖像的中心區(qū)域位置；當(dāng)抖動現(xiàn)象發(fā)生時，運動目標(biāo)極大偏離圖像的中心區(qū)域且參考幀的邊緣信息在當(dāng)前幀隨即消失。為此，將圖像區(qū)域進(jìn)行劃分，如圖1所示。依據(jù)區(qū)域的劃分，利用灰度投影算法估計出各子塊的運動矢量，進(jìn)而計算出全局運動矢量，算法的具體設(shè)計步驟如下：

算法1全局運動矢量估計

步1 置k=1；

圖1 塊區(qū)域劃分Fig.1 Block area division

步2 輸入第k幀圖像Pk；

步3 將Pk的下方3/4圖像區(qū)域的邊緣保留，其余部分劃分為大小相同的小塊(見圖1)，設(shè)定有r個區(qū)域塊；

步4 排除中間區(qū)域塊，利用以上灰度投影算法計算其余區(qū)域塊的水平、豎直方向的運動矢量，得到Vx={vx1,vx2,…,vx,r-1}、Vy={vy1,vy2,…,vy,r-1}；

步5 分別計算Vx和Vy中元素的平均值vax和vay；

步6 計算Vx中各元素與vax的偏差exi,1≤i≤r；類似地，計算Vy中各元素與vay的偏差eyi,1≤i≤r；

步7 若max{|exi|,|eyi|}>σ，則從Vx和Vy中刪除第i個區(qū)域塊的運動矢量，1≤i≤r，在此σ為給定的閾值；

步8 Vx中各元素的均值即為Pk的水平方向運動矢量vx，同理可獲豎直方向的運動矢量vy；

步9 置k=k+1, 返回步2。

該算法利用圖像塊區(qū)域劃分的思想與灰度投影算法融合，計算出區(qū)域塊的水平、豎直方向的局部運動矢量，消除運動前景的干擾，進(jìn)而獲得全局運動矢量。

2.2 自適應(yīng)運動補償

算法1 獲得的當(dāng)前幀圖的運動矢量是攝像機正常掃描和隨機抖動產(chǎn)生的運動矢量的疊加，而電子穩(wěn)像的目的是保留正常掃描運動獲得的像素信息，消除隨機抖動而導(dǎo)致圖像出現(xiàn)的跳躍因素，即需將當(dāng)前幀圖的運動矢量中涉及抖動因素的矢量去掉。為此，基于算法1，設(shè)計下列圖像穩(wěn)像算法自適應(yīng)地消除隨機抖動對穩(wěn)像的影響。

算法2 圖像穩(wěn)像算法

步1 輸入記憶尺度L，初始序列灰度圖P0,P1,...,PL，最大累積偏移量T1；

步2 依據(jù)算法1計算第i幀相對于第i-1幀全局運動矢量vxi,vyi,1≤i≤L；

步3 置k=L+1，置M=0；

步4 輸入第k幀灰度圖Pk；

步5 依據(jù)算法1計算Pk相對于Pk-1的運動矢量vxk,vyk；

(4)

步7 將補償運動矢量[Δxk,Δyk]進(jìn)行反方向運動相應(yīng)的像素距離后補償?shù)趉幀圖像，補償后的圖像取代原灰度圖；置k=k+1,轉(zhuǎn)步4；

步8 將補償運動矢量[Δxk,Δyk]進(jìn)行反方向運動相應(yīng)的像素距離補償?shù)趉幀圖像，更新M=0，轉(zhuǎn)步4。

該算法利用算法1獲得各原始灰度圖的運動矢量，進(jìn)而借助均值濾波獲得水平、豎直方向的運動補償量，并依據(jù)閾值確定后續(xù)幀的L幅記憶灰度圖以及自適應(yīng)的更新參考幀。它是一種消除抖動對目標(biāo)提取影響的穩(wěn)像算法。

3 實驗分析

在Windows7(CPU/3.70 GHz，RAM/ 4GB)/ Visual Studio 2010/ OpenCV 2.4.9環(huán)境下展開實驗。為檢測以上算法2的穩(wěn)像效果，選擇經(jīng)典的電子穩(wěn)像算法文獻(xiàn)[4]、[8]算法參與比較。文獻(xiàn)[8]中的算法利用灰度圖的整體分布變換規(guī)律，精確的計算出運動矢量，但沒有考慮運動車輛對運動補償?shù)挠绊?；文獻(xiàn)[4]中的算法只針對在固定位置選擇小塊進(jìn)行運動估計，雖然提高運算速度，但沒有考慮到選擇的小塊中是否包含運動車輛對運動補償?shù)挠绊憽y試視頻序列包含兩種場景，一種是車輛行駛在視頻中心的場景，另一種是除了一車輛行駛在視頻中心外，視頻邊緣也包含行駛的車輛場景；參與比較的兩種算法的參數(shù)設(shè)置與它們所在文獻(xiàn)中的參數(shù)設(shè)置相同，算法2的參數(shù)設(shè)置是：I=6，σ=1，T1=20，圖像區(qū)域劃分的大小為32×32，并且在圖像下方3/4處的邊緣區(qū)域保留寬度為10個像素的補償區(qū)域。依據(jù)下式[14]評判算法的穩(wěn)像效果：

(5)

其中，Imax=255，MSE(Pk,Pk-1)表示運動補償后的第k-1和k幀圖Pk-1,Pk中對應(yīng)像素點的灰度值偏差平方的均值；若PSNR(Pk,Pk-1)越大，則算法對圖像序列的穩(wěn)像效果好，反之則較差。

3.1 視頻序列及分析

視頻1源于某立交橋下后側(cè)的視覺場景：一車輛在一霧天經(jīng)過此地；攝像頭在出現(xiàn)抖動情形下以27幀/秒的速度拍攝大小為128×128的35幀圖像構(gòu)成視頻序列；由于該場景出現(xiàn)攝像頭抖動，導(dǎo)致各視頻的右下方的圖像較為模糊。視頻2源于相對較窄的高速公路上轉(zhuǎn)彎場景：此路面上有多輛機動車在緩慢行駛，攝像頭在抖動條件下以27幀/秒的速度拍攝大小為128×128的35幀圖像構(gòu)成視頻序列。由于此視頻序列的視覺場景具有明顯差異，且攝像頭均有抖動現(xiàn)象，因而可用于檢測以上算法的穩(wěn)像效果。

圖2 兩種視覺場景下的灰度圖序列Fig.2 Grayscale sequence in two visual scenes

3.2 實驗結(jié)果與分析

將算法2與文獻(xiàn)[8]的算法作用于視頻序列1，獲得圖2(a)對應(yīng)的穩(wěn)像圖，如圖3所示；該算法與文獻(xiàn)[4]的算法作用于視頻序列2，獲得圖2(b)對應(yīng)的穩(wěn)像圖，如圖4所示。

圖3 視頻序列1的穩(wěn)像效果Fig.3 Image stabilization effect of video sequence 1

經(jīng)由對比圖2與圖3～4可知，文獻(xiàn)[4]、[8]的算法和本文算法均能對圖像中出現(xiàn)的抖動現(xiàn)象進(jìn)行不同程度的補償。另外、采用峰值信噪比(PSNR)評價文獻(xiàn)[4]、[8]算法和本文算法運動補償后的穩(wěn)像效果，依據(jù)式(5)， 算法2和文獻(xiàn)[8]的算法作用于視頻序列1得到的PSRN值序列如圖5所示；類似地，算法2和文獻(xiàn)[4]的算法依據(jù)視頻序列2得到的PSRN值序列如圖6所示。

圖5 視頻序列1穩(wěn)像前后的PSRN值Fig.5 PSRN value before and after video sequence 1 is stabilize

由圖5-6中穩(wěn)像前后的PSNR值可知，本文算法的PSNR值明顯高于原始圖的PSNR值，因此圖像穩(wěn)像效果好。文獻(xiàn)[8]的算法在圖5中第9、10、13、17、18、24、27、35幀圖像的PSNR值都小于原始圖的PSNR值，文獻(xiàn)[4]的算法在圖6中第7、8、17、18幀圖像PSNR值都小于原始圖的PSNR值。此表明參與比較的算法對抖動的視頻序列較難消除抖動因素對穩(wěn)像的影響。本文算法利用塊區(qū)域劃分的思想和自適應(yīng)補償方法，可有效地提高補償精度。

圖6 視頻序列2穩(wěn)像前后的PSRN值Fig.6 PSRN value before and after video sequence 2 is stabilized

4 總結(jié)

針對車載視頻出現(xiàn)抖動導(dǎo)致視頻序列出現(xiàn)失真的現(xiàn)象，通過分析運動前景的運動特征，以及出現(xiàn)抖動時相鄰幀之間圖像信息的差異性，在灰度投影算法基礎(chǔ)上，融合了圖像區(qū)域分割的思想，獲得處理視頻序列抖動的穩(wěn)像算法。實驗結(jié)果顯示，本文算法通過消除運動前景的干擾和采用自適應(yīng)運動補償策略，能獲得穩(wěn)定的視頻序列。