涂國(guó)勇，李壯，周韶斌，李偉建，于友合(.中國(guó)酒泉衛(wèi)星發(fā)射中心，甘肅酒泉72750；2.國(guó)防科技大學(xué)航天科學(xué)與工程學(xué)院，湖南長(zhǎng)沙4007；.中國(guó)人民解放軍9626部隊(duì)，湖南懷化48000)

Gabor二進(jìn)制編碼異源圖像匹配方法*

涂國(guó)勇1，2，李壯1，2，周韶斌1，李偉建1，于友合3(1.中國(guó)酒泉衛(wèi)星發(fā)射中心，甘肅酒泉732750；
2.國(guó)防科技大學(xué)航天科學(xué)與工程學(xué)院，湖南長(zhǎng)沙410073；3.中國(guó)人民解放軍96326部隊(duì)，湖南懷化418000)

異源圖像匹配是圖像處理領(lǐng)域尚未解決的問題。其中，合成孔徑雷達(dá)圖像與光學(xué)圖像差異較大，用現(xiàn)有方法匹配通常難以得到滿意結(jié)果。針對(duì)這個(gè)問題，提出一種基于Gabor編碼的異源圖像匹配方法:選取一組Gabor濾波器，分別對(duì)大圖和小圖進(jìn)行Gabor卷積；采用池化方法對(duì)卷積結(jié)果進(jìn)行壓縮表示；對(duì)池化結(jié)果二值化并轉(zhuǎn)換為二進(jìn)制表示得到Gabor二進(jìn)制編碼特征；采用二進(jìn)制位操作計(jì)算實(shí)時(shí)圖與基準(zhǔn)圖對(duì)應(yīng)窗口特征的相似性，相似性最大值對(duì)應(yīng)圖像匹配結(jié)果。本方法采用二進(jìn)制對(duì)圖像進(jìn)行描述，減少了計(jì)算量，同時(shí)也更好地描述了異源圖像間的共性特征。實(shí)驗(yàn)結(jié)果表明，本方法具有較高的匹配概率，計(jì)算時(shí)間少于現(xiàn)有方法。

圖像匹配；異源圖像；Gabor濾波器；二進(jìn)制編碼；特征池化

由不同類型傳感器獲得的圖像被稱為異源圖像。由于不同傳感器間的成像特性存在差別，同一場(chǎng)景在異源圖像上可能呈現(xiàn)完全不同的圖像，因此傳統(tǒng)的同源圖像匹配方法一般無(wú)法直接應(yīng)用于異源圖像。

現(xiàn)有的異源圖像匹配方法可以分為兩類:基于特征的方法和基于區(qū)域的方法?；谔卣鞯姆椒ò?利用邊緣特征的匹配方法［1］、利用輪廓特征的匹配方法［2］、利用人造景物特征的匹配方法［3］、綜合邊緣特征與點(diǎn)特征的匹配方法［4］等。此類方法要求異源圖像中能夠檢測(cè)到一致的特征，因此通常只適用于圖像之間差異較小的情況。當(dāng)異源圖像差異較大時(shí)，如合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)圖像與光學(xué)圖像，很難提取到一致特征，從而難以采用基于特征的方法進(jìn)行匹配。

基于區(qū)域的方法將整幅圖像的灰度信息或者基于灰度的區(qū)域描述進(jìn)行匹配。常用的基于區(qū)域的異源圖像匹配方法有互信息［5］、相位一致性［6］、梯度場(chǎng)相關(guān)［7］、隱含相似性［8］、子區(qū)一致性［9］、色調(diào)映射［10］等。其中，互信息及其各種改進(jìn)算法在異源圖像匹配中使用得最為廣泛?；バ畔⑹莾蓚€(gè)隨機(jī)變量統(tǒng)計(jì)相關(guān)性的測(cè)度。當(dāng)兩幀具有共同物理結(jié)構(gòu)的圖像達(dá)到最佳匹配時(shí)，對(duì)應(yīng)窗口內(nèi)的互信息應(yīng)為最大值。由于互信息方法不需要對(duì)不同成像模式下圖像灰度級(jí)間的關(guān)系作任何假設(shè)，也不需要對(duì)圖像進(jìn)行分割或任何預(yù)處理，因此特別適合用于異源圖像的匹配［11］。然而，盡管互信息對(duì)于紅外圖像和可見光圖像匹配效果很好，但其對(duì)SAR圖像與可見光圖像的匹配效果卻不甚理想。另外，互信息方法需要對(duì)每個(gè)搜索窗口計(jì)算聯(lián)合熵，其計(jì)算量很大，處理時(shí)間較長(zhǎng)。

本文提出基于Gabor二進(jìn)制編碼的異源圖像匹配方法。方法通過Gabor卷積、池化、二值化、二進(jìn)制表示等操作提取異源圖像的共性特征，通過二進(jìn)制位操作對(duì)圖像特征進(jìn)行快速匹配。與已有方法相比，其具有更高的匹配概率和更少的計(jì)算時(shí)間。

1 異源圖像匹配問題描述

圖像匹配的目的是尋找兩圖之間的幾何變換參數(shù)，根據(jù)圖像場(chǎng)景大小將輸入圖像分別記為小圖Ia和大圖Ib，則圖像匹配可以表示為式(1)描述的全局尋優(yōu)問題，即在變換空間UT中尋找使圖像相似度S達(dá)到最大值的變換參數(shù)Tm。

式中，T(Ia)是對(duì)小圖實(shí)施幾何變換T得到的變換圖像，S［T(Ia)，Ib］是T(Ia)與Ib的相似性度量，UT表示幾何變換空間。本文提出基于Gabor二進(jìn)制編碼的異源圖像共性特征描述，并應(yīng)用該特征解決二維平移空間中的異源圖像匹配問題。當(dāng)UT為仿射空間或射影空間時(shí)，只需在對(duì)應(yīng)空間進(jìn)行特征相似性計(jì)算并尋找極大值即可得到匹配結(jié)果。

異源圖像匹配一直都是圖像處理領(lǐng)域的一個(gè)難題。異源遙感圖像難以匹配的原因主要在于:

1)圖像中可能存在嚴(yán)重噪聲，如SAR圖像中的斑點(diǎn)噪聲。

2)圖像間的灰度非一致變化。

圖像間的灰度關(guān)系可以分為線性映射關(guān)系、非線性映射關(guān)系和非一致映射關(guān)系。對(duì)于不同光照情況下拍攝的同源圖像，通常滿足線性映射關(guān)系，可用歸一化協(xié)方差相關(guān)方法進(jìn)行匹配。對(duì)于可見光圖像與紅外圖像，近似滿足非線性映射關(guān)系，可以用互信息、相位一致性、隱含相似性、色調(diào)映射等方法進(jìn)行匹配。對(duì)于差異較大的異源圖像，如SAR圖像與光學(xué)圖像，圖像間的灰度級(jí)不滿足一致對(duì)應(yīng)關(guān)系，但是局部的邊緣存在一定的對(duì)應(yīng)性。常用邊緣匹配方法對(duì)這類圖像進(jìn)行匹配。但是，對(duì)邊緣的定義存在很大的主觀性，而且在SAR圖像和光學(xué)圖像中提取出對(duì)應(yīng)的邊緣也是一個(gè)艱難的問題。

2 Gabor二進(jìn)制編碼匹配方法

方法分為四個(gè)步驟:選取一組Gabor濾波器分別對(duì)大圖和小圖進(jìn)行卷積計(jì)算；采用池化方法對(duì)圖像進(jìn)行壓縮表示；對(duì)池化結(jié)果進(jìn)行二值化并用二進(jìn)制表示得到Gabor二進(jìn)制編碼特征；采用二進(jìn)制位操作計(jì)算實(shí)時(shí)圖與基準(zhǔn)圖對(duì)應(yīng)窗口特征的相似性，得到匹配結(jié)果。

圖1為計(jì)算圖像的Gabor二進(jìn)制編碼特征過程示意。其中步驟①計(jì)算圖像與Gabor濾波器的卷積，步驟②對(duì)卷積結(jié)果進(jìn)行池化、二值化并轉(zhuǎn)化為二進(jìn)制表示。圖4中給出了池化尺度W分別為2，4，8時(shí)的Gabor編碼特征。在進(jìn)行圖像匹配時(shí)，可以在池化尺度8上對(duì)兩幅圖像計(jì)算特征實(shí)現(xiàn)粗匹配，在池化尺度1上計(jì)算特征實(shí)現(xiàn)精匹配。

圖1 Gabor二進(jìn)制編碼特征計(jì)算過程Fig.1 Feature calculation procedure of Gabor binary coding

2.1 Gabor濾波器

二維Gabor函數(shù)為二維橢圓高斯函數(shù)調(diào)制的復(fù)平面波，定義如式(2)，其中:x'=x cosθ+y sinθ，y'=-x sinθ+y cosθ；ax，ay為橢圓高斯函數(shù)的標(biāo)準(zhǔn)差；wx，wy為濾波器徑向中心頻率的分量；角度θ決定了Gabor函數(shù)的方向。二維Gabor奇函數(shù)和偶函數(shù)分別如式(3)、式(4)。二維Gabor函數(shù)的頻率響應(yīng)如式(5)。

一組包含2個(gè)尺度，4個(gè)方向的Gabor濾波器如圖2所示，其中(a)圖為Gabor奇函數(shù)，(b)圖為Gabor偶函數(shù)。

圖2 可視化的Gabor函數(shù)Fig.2 Visualization of Gabor functions

研究表明，Gabor奇函數(shù)比Gabor偶函數(shù)更適合用于描述異源圖像的共性特征［12］。因此，采用Gabor奇函數(shù)構(gòu)成濾波器組。Gabor濾波器中心頻率變化對(duì)特征圖像相似性影響較小，方向變化對(duì)特征圖像相似性影響較大。本文采用1尺度8方向的Gabor濾波器組，參數(shù)為wx=wy=0.125，ax=ay=4，θ∈{0°，22.5°，45°，…，157.5°}。

2.2 Gabor編碼特征

采用Gabor濾波器對(duì)圖像進(jìn)行卷積。由于Gabor濾波器的取值范圍為［-1，1］，卷積結(jié)果可能為正數(shù)或負(fù)數(shù)。若對(duì)輸入圖像反色，Gabor卷積結(jié)果也將發(fā)生符號(hào)反轉(zhuǎn)。為了適應(yīng)異源圖像中的灰度差異，將Gabor卷積結(jié)果進(jìn)行取絕對(duì)值操作。

設(shè)圖像尺寸為w×h。對(duì)于圖像上任意一點(diǎn)(x，y)，該點(diǎn)處的Gabor卷積結(jié)果可由一個(gè)n維向量v(x，y)表示，n為Gabor濾波器的數(shù)目。因此卷積結(jié)果需采用w×h×n字節(jié)數(shù)據(jù)表示?？梢钥闯?，圖像經(jīng)Gabor卷積運(yùn)算后得到的數(shù)據(jù)大小遠(yuǎn)大于原始圖像的數(shù)據(jù)大小。出于存儲(chǔ)空間和計(jì)算效率考慮，需對(duì)數(shù)據(jù)進(jìn)行壓縮表示。

首先進(jìn)行池化操作。在圖像中等間距劃分大小為k×k的像素池。對(duì)于像素池pm，n(其中m，n分別為像素池在水平方向和垂直方向的編號(hào))，將池中的點(diǎn)進(jìn)行求和，有s(m，n)=x，y)。全部像素池的求和結(jié)果組合起來(lái)構(gòu)成了對(duì)原始數(shù)據(jù)的池化表示。池化操作后的數(shù)據(jù)量由w×h×n字節(jié)降為w×h×n/(k×k)字節(jié)。

對(duì)池化結(jié)果進(jìn)行二值化，并用二進(jìn)制數(shù)進(jìn)行描述，得到Gabor二進(jìn)制編碼特征。具體方法為，將s(m，n)表示為［a1(m，n)，a2(m，n)，…，an(m，n)］，其中最大的d個(gè)值(本文中，設(shè)置d= 3)置為1，其他值置為0。并將得到的新向量轉(zhuǎn)化為二進(jìn)制數(shù)，向量中的每一維對(duì)應(yīng)了二進(jìn)制數(shù)中的一位。如當(dāng)s(m，n)為8維向量時(shí)，b(m，n)為8位二進(jìn)制數(shù)。則Gabor二進(jìn)制編碼特征大小為w×h×n/(8×k×k)字節(jié)。本文設(shè)置的參數(shù)中Gabor濾波器數(shù)目n=8，則Gabor二進(jìn)制編碼特征大小為w×h/(k×k)字節(jié)。圖3為二值化及二進(jìn)制表示的示意圖。

圖3 特征的二進(jìn)制表示Fig.3 Feature binarization

Gabor奇濾波器對(duì)圖像中對(duì)應(yīng)方向的邊緣有較強(qiáng)的響應(yīng)。因此Gabor二進(jìn)制編碼特征可以看作是對(duì)圖像中邊緣方向的一種表達(dá)。方法中的池化操作相當(dāng)于對(duì)像素池中的卷積結(jié)果進(jìn)行空間平滑，增加了特征的穩(wěn)定性。二值化操作在每個(gè)位置上選擇三個(gè)最強(qiáng)的邊緣方向，并且賦予同樣的值，提高了特征對(duì)異源圖像差異的適應(yīng)性。二進(jìn)制表示將每個(gè)位置上的特征壓縮到一個(gè)字節(jié)表示，減少了特征存儲(chǔ)空間。圖4為同一區(qū)域的可見光圖像與SAR圖像及各自的Gabor二進(jìn)制編碼特征的放大顯示。特征圖尺寸遠(yuǎn)小于原圖尺寸。相比原始異源圖像，特征圖具有更好的灰度一致性，可采用簡(jiǎn)單快速的比較方法進(jìn)行相似性計(jì)算。

圖4 異源圖像的Gabor二進(jìn)制編碼特征Fig.4 Gabor binary coding features ofmulti-sensor images

2.3 特征匹配

采用二進(jìn)制位操作對(duì)圖像特征進(jìn)行匹配。對(duì)于小圖與大圖中的對(duì)應(yīng)窗口，分別計(jì)算二者的Gabor二進(jìn)制編碼特征B1，B2。則特征相似性定義為

S(B1，B2)=∑m，nfbit［B1(m，n)＆B2(m，n)］

(6)式中:＆為按位與操作；fbit(·)為按位累積函數(shù)，其輸出值為輸入二進(jìn)制數(shù)據(jù)值為1的位的數(shù)目。如二進(jìn)制數(shù)00011100，其按位累積結(jié)果fbit(00011100)為3?？梢杂靡莆缓臀慌c操作快速計(jì)算fbit(·)。另外，還可以根據(jù)系統(tǒng)位寬，將多個(gè)字節(jié)組成32位或64位的雙字，再用式(6)計(jì)算特征相似性，進(jìn)一步減少CPU計(jì)算時(shí)間。

將Gabor二進(jìn)制編碼特征應(yīng)用于第1節(jié)中的圖像匹配框架，即得到基于Gabor二進(jìn)制編碼的異源圖像匹配方法。

3 實(shí)驗(yàn)結(jié)果

為了對(duì)不同算法進(jìn)行對(duì)比實(shí)驗(yàn)，首先構(gòu)建了測(cè)試圖像庫(kù)。圖像庫(kù)中包括13組異源圖像，每組圖像包括1幅基準(zhǔn)圖和對(duì)應(yīng)不同位置的多幅實(shí)時(shí)圖。其中，基準(zhǔn)圖為可見光圖像，大小為400× 400像素，實(shí)時(shí)圖為SAR圖像，大小為200×200像素。

定義匹配成功率為

式中，NSuccess為匹配成功(結(jié)果距離真值小于5個(gè)像素)的次數(shù)，NTotal為總的匹配次數(shù)。

分別用互信息方法、相位一致性方法、梯度場(chǎng)相關(guān)方法和本文方法對(duì)測(cè)試圖像進(jìn)行匹配。互信息、相位一致性和本文方法的代碼都在MATLAB上實(shí)現(xiàn)并采用單核運(yùn)算，梯度場(chǎng)相關(guān)方法在C語(yǔ)言下實(shí)現(xiàn)。匹配結(jié)果如表1。

表1 匹配方法比較Tab.1 Comparison ofmatchingmethods

由表可知，本文方法的匹配成功率遠(yuǎn)遠(yuǎn)高于其他方法。采用本文方法的單次匹配時(shí)間為0.36s，其中對(duì)大圖的特征計(jì)算時(shí)間為0.29s。在景象匹配圖像制導(dǎo)中，大圖通常為預(yù)加載的基準(zhǔn)圖，可以事先進(jìn)行大圖的特征計(jì)算，則實(shí)時(shí)匹配時(shí)間只有0.07s。在互信息方法中，二維聯(lián)合直方圖及聯(lián)合熵的運(yùn)算占了大部分的計(jì)算時(shí)間，而這些運(yùn)算需要小圖的參與，故實(shí)時(shí)計(jì)算時(shí)間遠(yuǎn)大于本文方法，由于相位一致性方法中沒有對(duì)特征進(jìn)行壓縮表示，特征計(jì)算時(shí)間和相似性計(jì)算時(shí)間均高于本文方法，該方法也可以事先計(jì)算大圖特征，其實(shí)時(shí)匹配時(shí)間為0.42s。梯度場(chǎng)相關(guān)方法是SAR圖像與光學(xué)圖像匹配效果較好的一種算法，其總的處理時(shí)間最短，但是無(wú)法進(jìn)行離線預(yù)處理。

部分匹配結(jié)果如圖5，圖中只給出了MATLAB環(huán)境實(shí)現(xiàn)的3種方法的處理結(jié)果，圖中的亮度最大值對(duì)應(yīng)了匹配結(jié)果。本文方法的相似性最大值對(duì)應(yīng)了正確匹配坐標(biāo)。在相位一致性和互信息的相似性分布圖中，正確匹配坐標(biāo)只對(duì)應(yīng)了局部極大值，其全圖最大值分別對(duì)應(yīng)了不同的錯(cuò)誤匹配坐標(biāo)。實(shí)驗(yàn)結(jié)果說明本文方法具有更高的可靠性。

圖5 一組對(duì)比結(jié)果Fig.5 A group of comparison result

4 結(jié)論

針對(duì)SAR圖像和光學(xué)圖像匹配問題，提出了基于Gabor二進(jìn)制編碼特征的匹配方法。該方法不僅匹配概率高于傳統(tǒng)方法，而且對(duì)計(jì)算時(shí)間和存儲(chǔ)空間的需求也很小，特別適合在計(jì)算能力受限的運(yùn)算平臺(tái)上使用。Gabor函數(shù)可以在頻域不同尺度、不同方向上提取圖像的特征。文中提出的Gabor二進(jìn)制編碼特征本質(zhì)上是對(duì)圖像不同區(qū)域中尺度和方向信息的一種描述。尺度、方向信息通常由被拍攝的場(chǎng)景決定，不易受拍攝條件、拍攝器材的影響。因此，Gabor二進(jìn)制編碼特征非常適合用于異源圖像匹配。另外，該特征還可以應(yīng)用于目標(biāo)識(shí)別、目標(biāo)跟蹤等領(lǐng)域。

由于特征中用到的Gabor濾波器具有方向性，因此該特征無(wú)法做到旋轉(zhuǎn)不變。受此限制，本文提出的匹配方法只適用于平移變換空間內(nèi)的匹配，其在仿射空間匹配問題中的應(yīng)用有待進(jìn)一步研究。

References)

［1］Kim Y S，Lee JH，Ra JB.Multi-sensor image registration based on intensity and edge orientation information［J］.Pattern Recognition，2008，41(11):3356-3365.

［2］Pan C，Zhang Z，Yan H，et al.Multisource data registration based on NURBS description of contours［J］.International Journal of Remote Sensing，2008，29(2):569-591.

［3］Wegner J D，Soergel U.Registration of SAR and optical images containing bridges over land［C］//Proceedings of the EARSeL Symposium:Remote Sensing—New Challenges of High Resolution，2008.

［4］許輝，吳詩(shī)其.LEO衛(wèi)星網(wǎng)絡(luò)中基于螞蟻算法的分布式QoS路由［J］.計(jì)算機(jī)學(xué)報(bào)，2007，30(3):361-367.XU Hui，WU Shiqi.A distributed QoS routing based on ant algorithm for LEO satellite network［J］.Chinese Journal of Computers，2007，30(3):361-367.(in Chinese)

［5］Pluim J P W，Maintz J B A，Viergever M A.Mutualinformation-based registration of medical images:a survey［J］.IEEE Transactionson Medical Imaging，2003，22 (8):986-1004.

［6］Kovesi P.Image features from phase congruency［J］.Journal of Computer Vision Research，1999，1(3):1-26.

［7］Haber E，Modersitzki J.Intensity gradient based registration and fusion of multi-modal images［C］//Proceedings of Medical Image Computing and Computer-Assisted Intervention，2006.

［8］李壯，楊夏，雷志輝.基于空間子區(qū)一致性的異源圖像匹配方法［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2011，33(1):31-34.LI Zhuang，YANG Xia，LEI Zhihui.Multi-sensor image matching based on spatial subarea congruency［J］.Journal of National University of Defense Technology，2011，33(1): 31-34.(in Chinese)

［9］Hel-Or Y，Hel-Or H，David E.Fast template matching in non-linear tone-mapped images［C］//Proceedings of the IEEE International Conference on Computer Vision(ICCV)，2011，1355-1362.

［10］Parmehr EG，Zhang C，F(xiàn)raser C S.Automatic registration of multi-source data using mutual information［J］.International Society for Photogrammetry and Remote Sensing，2012，7: 303-308.

［11］徐一丹，李斌，李壯，等.空間關(guān)聯(lián)與多子區(qū)規(guī)范化梯度方向直方圖的異源圖像匹配［J］.國(guó)防科技大學(xué)學(xué)報(bào)，2014，36(4):112-117.XU Yidan，LI Bin，LI Zhuang，et al.Multi-sensor images registration using multi-areas standardized histogram of oriented gradient and spatial adjacent similarity［J］.Journal of National University of Defense Technology，2014，36(4): 112-117.(in Chinese)

Gabor binary encoding for multi-sensor imagematching

TU Guoyong1，2，LIZhuang1，2，ZHOU Shaobin1，LIWeijian1，YU Youhe3
(1.Jiuquan Satellite Launch Center，Jiuquan 732750，China；2.College of Aerospace Science and Engineering，National University of Defense Technology，Changsha 410073，China；3.The PLA Unit96326，Huaihua 418000，China)

Multi-sensor imagematching is a challenging problem in image process field.As synthetic aperture radar images and optical images have significant differences，most existingmethods cannot achieve satisfied matching result.To respond to this issue，a new multi-sensor image matchingmethod based on Gabor binary encoding was presented:the big and small input images were first convoluted respectively by a group of Gabor filters；the compressed representation was executed on the convolution resultby using poolingmethod；the binarization of pooling resultswas conducted and it was transformed into binary code to create Gabor binary encoding features；the similarities of corresponding window features between real-time images and reference images were calculated by using bitmanipulation and the maximum value indicated the matching result.Thismethod describes images by binary representation，so the computation complexity ismuch lower than that of the traditionalmethod，while the common characters are better revealed.Experimental results show that the proposedmethod hasmuch highermatching rate and requiremuch lower computation time than those of the existingmethods.

imagematching；multi-sensor image；Gabor filters；binary coding；feature pooling

TP391.41

A

1001-2486(2015)05-175-05

10.11887/j.cn.201505027

http://journal.nudt.edu.cn

2014-10-26

國(guó)家自然科學(xué)基金資助項(xiàng)目(61402489)

涂國(guó)勇(1970—)，男，湖南張家界人，高級(jí)工程師，碩士，E-mail:tgyphq67215@163.com