董利芳，王小鵬，趙國(guó)輝，王杰

（蘭州交通大學(xué)電子與信息工程學(xué)院 甘肅 蘭州 730070）

0 引言

攝像機(jī)在移動(dòng)過程中所拍攝的圖像序列包括攝像機(jī)的掃描和無意識(shí)運(yùn)動(dòng),這些無意識(shí)運(yùn)動(dòng)往往是不規(guī)則的隨機(jī)抖動(dòng)。隨機(jī)抖動(dòng)嚴(yán)重影響圖像序列質(zhì)量,易造成觀察者疲勞、影響跟蹤效果等問題。穩(wěn)像系統(tǒng)就是去除視頻圖像序列中不規(guī)則運(yùn)動(dòng)引起的圖像擾動(dòng),使圖像序列穩(wěn)定的過程.穩(wěn)像系統(tǒng)主要分為光學(xué)穩(wěn)像、機(jī)械穩(wěn)像和視頻穩(wěn)像。其中視頻穩(wěn)像與傳統(tǒng)的光學(xué)穩(wěn)像、機(jī)械穩(wěn)像相比,具有易操作、更精確、更靈活、體積小、價(jià)格低、能耗小和高智能化等特點(diǎn)。這些優(yōu)點(diǎn)使得視頻穩(wěn)像成為穩(wěn)像系統(tǒng)的發(fā)展方向[1]。

1 視頻穩(wěn)像原理及數(shù)學(xué)模型

視頻穩(wěn)像需要兩大步驟：運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。運(yùn)動(dòng)估計(jì)就是找出相鄰幀的偏移量,包括平移、旋轉(zhuǎn)、縮放等運(yùn)動(dòng)參數(shù)。運(yùn)動(dòng)補(bǔ)償就是在估計(jì)出運(yùn)動(dòng)矢量后,將掃描和抖動(dòng)進(jìn)行區(qū)分,在對(duì)掃描進(jìn)行保留的同時(shí)對(duì)抖動(dòng)量進(jìn)行補(bǔ)償。

視頻穩(wěn)像的模型基本有3種：Translation模型主要針對(duì)平移運(yùn)動(dòng);Affine仿射模型主要針對(duì)扭轉(zhuǎn)變化;Similarity模型主要針對(duì)含旋轉(zhuǎn)和變焦的運(yùn)動(dòng)[2]。由于Translation模型和Affine仿射模型對(duì)視頻運(yùn)動(dòng)描述具有局限性,所以本文采用Similarity模型來進(jìn)行穩(wěn)像。Similarity模型的函數(shù)關(guān)系如式（1）所示。

即：

式中p1; p0, 分別是當(dāng)前幀和參考幀對(duì)應(yīng)的坐標(biāo);σ是變焦系數(shù),即圖像的縮放;T,(Δx,Δy)是二維平移量;是正交的旋轉(zhuǎn)矩陣Re;θ描述圖像的旋轉(zhuǎn)角度。

即:

2 運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償

視頻穩(wěn)像的基本過程分為兩大步驟：運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償.運(yùn)動(dòng)估計(jì)是根據(jù)圖像幀之間移動(dòng)變化計(jì)算出精確運(yùn)動(dòng);運(yùn)動(dòng)補(bǔ)償是對(duì)算出的運(yùn)動(dòng)估計(jì)按相反的變換進(jìn)行以達(dá)到穩(wěn)定圖像幀的目的。

本文采用先將待處理的圖像進(jìn)行彩色分層,之后進(jìn)行小波變換,然后利用極坐標(biāo)相位相關(guān)法求取圖像的旋轉(zhuǎn)角度,對(duì)圖像進(jìn)行角度補(bǔ)償后,再利用平面直角坐標(biāo)的相位相關(guān)法求取平移運(yùn)動(dòng)矢量,基本流程框圖如圖1所示。

圖1 基本流程框圖

2.1 運(yùn)動(dòng)估計(jì)

彩色分層技術(shù)：攝像機(jī)所得的彩色圖像均由三原色組成,不同原色體現(xiàn)的圖像特征不同，對(duì)不同原色的圖像分別進(jìn)行運(yùn)動(dòng)矢量的計(jì)算,之后對(duì)同一幀圖像3幅不同原色圖求取的運(yùn)動(dòng)參數(shù)進(jìn)行權(quán)值化,便可得到精確的運(yùn)動(dòng)矢量。

小波變換的原理：通過小波變換,將自然圖像抽樣為多個(gè)不同分辨率的多幀圖像,先對(duì)像素級(jí)數(shù)低的進(jìn)行處理求取粗略的運(yùn)動(dòng)矢量,在粗略估計(jì)的基礎(chǔ)上進(jìn)行進(jìn)一步精確的估計(jì),得到精確的運(yùn)動(dòng)矢量。

相位相關(guān)技術(shù)是一種非線性、基于傅氏功率譜的頻域相關(guān)技術(shù),經(jīng)常被用來檢測(cè)兩幅圖像之間的平移。相位相關(guān)是一種受幾何失真影響較小的匹配算法。因?yàn)閹缀问д鎸?duì)圖像的高頻分量影響大,而對(duì)低頻分量影響小,所以采用低通濾波器、以傅里葉頻譜為基礎(chǔ)的相位相關(guān)法,可以大大減小幾何失真對(duì)匹配性能的影響。相位相關(guān)法的具體計(jì)算方法見下面詳解。它對(duì)噪聲有較高的容忍度,檢測(cè)結(jié)果與照度無關(guān),是一種強(qiáng)魯棒性的圖像匹配方法。另外只要圖像內(nèi)容有三分之一是相似的,就可找出最佳匹配位置。

1）彩色分層

用彩色分層技術(shù)將圖像分為3幅圖像,對(duì)3幅圖像分別進(jìn)行處理計(jì)算出運(yùn)動(dòng)參數(shù)之后進(jìn)行加權(quán)計(jì)算以提高匹配精度[3]。為了達(dá)到高精度的圖像匹配結(jié)果,通常參與匹配運(yùn)算的圖像均具有較高的分辨率。然而,基于相位相關(guān)的圖像匹配需要進(jìn)行傅里葉變換,運(yùn)算量很大,運(yùn)算時(shí)間較長(zhǎng)。所以采用小波變換的圖像金字塔式,先對(duì)低分辨率的圖像進(jìn)行相位相關(guān)，計(jì)算出粗略的運(yùn)動(dòng)矢量,再以低像素圖像得到的運(yùn)動(dòng)矢量為索引,在高分辨率的圖像中求取精確的運(yùn)動(dòng)矢量[3]。

2）小波變換

小波分析的基本原理如圖2所示,其中,2抽樣是保留所有偶行和偶列相交像素組成抽樣后的圖像。旋轉(zhuǎn)角度對(duì)平移矢量求取影響較大,所以求出旋轉(zhuǎn)角度之后對(duì)當(dāng)前幀進(jìn)行旋轉(zhuǎn)補(bǔ)償之后再求取平移矢量。

3.1 實(shí)驗(yàn)數(shù)據(jù)

表1選擇實(shí)驗(yàn)過程中的匹配計(jì)算過程中的一些數(shù)據(jù)。由表1可以清楚地看到文中所用算法平移矢量的誤差在亞像素水平,旋轉(zhuǎn)角度的計(jì)算誤差可以精確到0.1°以內(nèi)（由于文中處理的都是日常拍攝的視頻,對(duì)于縮放系數(shù)近似看作0,如果是遠(yuǎn)程的拍攝如航拍等縮放對(duì)圖像的匹配影響較大,文中算法也可適用）。

3.2 系統(tǒng)處理過程

在上述的穩(wěn)像系統(tǒng)處理過程中,將連續(xù)兩幀圖像進(jìn)行處理,其各個(gè)階段的圖像如圖3所示。圖3（a）～（f）為該算法處理的過程中的一組圖片。圖3（a）作為參考幀圖像,（b）作為待補(bǔ)償圖像,（c）為穩(wěn)像后的圖像（d）到（f）為待補(bǔ)償圖像的不同顏色分量圖, （g）到（i）為對(duì)應(yīng)待補(bǔ)償圖像的不同顏色分量圖的頻譜圖。

運(yùn)算的結(jié)果如下：待匹配圖像相對(duì)于參考幀圖像順時(shí)針旋轉(zhuǎn)了0.3°,行方向左移了3.3個(gè)像素,列方向下移了16.0個(gè)像素,從旋轉(zhuǎn)平移后的圖像（f）和參考圖像（a）的對(duì)比可以看出算法的計(jì)算的精確性。并且,該算法在VC++環(huán)境下[8]每秒可處理28幀圖像能夠達(dá)到實(shí)時(shí)性要求。

圖3 視頻圖像處理過程

表1 關(guān)于運(yùn)動(dòng)矢量的一些實(shí)驗(yàn)數(shù)據(jù)

[1]鐘平.機(jī)載電子穩(wěn)像技術(shù)研究[D].長(zhǎng)春:中國(guó)科學(xué)院長(zhǎng)春光學(xué)機(jī)密機(jī)械與物力研究所, 2003.

[2]Rafael C.Gonzalez,Richard E.Woods.數(shù)字圖像處理[M].2版.阮秋琦,阮宇智 譯.北京:電子工業(yè)出版社，2003:252-253.

[3]邱慶軍,徐可欣,蔣景英,虞啟璉.結(jié)合小波變換與相位相關(guān)的圖像匹配方法[J].信號(hào)處理, 2003,19(5):469-472.

[4]Hong Zhang,Changsong Deng ,Junwei Li,Fei Yuan,Ruiming Jia.Fast Digital Image Stabilization Algorithm Based on Polar Transform and Circular Block Matching[C].ICSP2008,1124-1127.

[5]Ruiming Jia,Hong Zhang,Lei Wang,Junwei Li.Digital Image Stabilization Based on Phase Correlation[C].2009 International Conference on Artificial Intelligence and Computational Intelligence, Beihang University,National Key Laboratory on Optical Features of Environment and Target,beijing,2009,485-489.

[6]Yi Liang.Phase-Correlation Motion Estimation[R].

[7]杜登崇,蔣曉瑜,姚軍.基于相位相關(guān)的電子穩(wěn)像算法研究[J].激光與紅外,2009, 39（1）：63-66.

[8]胡小峰,趙輝.Visual C++/MATLAB圖像處理與識(shí)別實(shí)用案例精選[M].北京,人民郵電出版社,2004.8,52-78.