楊旭朝，雷志勇，王嬌嬌

（西安工業(yè)大學(xué)電子信息工程學(xué)院,陜西 西安 710021）

0 引 言

圖像配準(zhǔn)技術(shù)是指利用一定的轉(zhuǎn)換模型［1］，將包含同一場(chǎng)景的多幅圖像從不同的空間坐標(biāo)系轉(zhuǎn)換到同一平面坐標(biāo)的過(guò)程。在目標(biāo)檢測(cè)［2］、國(guó)防偵查［3］、地圖測(cè)繪工程等行業(yè)，因?yàn)樯婕拔锢矸秶^廣，單幅圖片通常無(wú)法獲得全部目標(biāo)區(qū)域，因此需要將多幅有重合區(qū)域的圖像拼接成一幅更大視場(chǎng)角的全景圖像［4］，便于工作人員進(jìn)行下一步工作安排，而圖像配準(zhǔn)的質(zhì)量會(huì)直接影響圖像拼接的品質(zhì)［5］，因此，對(duì)圖像配準(zhǔn)技術(shù)進(jìn)行研究可以提高圖像拼接的質(zhì)量，解決實(shí)際工程問(wèn)題［6］。

在對(duì)沙漠［7］、戈壁［8］等圖像進(jìn)行配準(zhǔn)時(shí)，由于特殊地貌導(dǎo)致獲取的圖像特征不明顯，這進(jìn)一步加大了配準(zhǔn)工作的難度。目前常用的配準(zhǔn)方法有灰度信息互相關(guān)性配準(zhǔn)［9］、特征配準(zhǔn)［10］以及變換域配準(zhǔn)［11］，其中應(yīng)用最為廣泛的是特征配準(zhǔn)方法。文獻(xiàn)［12］針對(duì)色調(diào)和紋理類(lèi)圖像在配準(zhǔn)過(guò)程中精度較低的問(wèn)題，融合尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）和加快魯棒特征［13］（Speed Up Robust Features，SURF）優(yōu)化算法對(duì)單獨(dú)沙丘圖像開(kāi)展配準(zhǔn)，提高了配準(zhǔn)精度和實(shí)際應(yīng)用性能；文獻(xiàn)［14］將二進(jìn)制魯棒單獨(dú)特征（BRIEF）描述符運(yùn)用于圖像配準(zhǔn)，不但降低了創(chuàng)建描述符的時(shí)間，并且大大減少了儲(chǔ)存空間，對(duì)陽(yáng)光照射轉(zhuǎn)變具備較強(qiáng)的響應(yīng)式魯棒性，但其特征點(diǎn)檢驗(yàn)不具備尺度和旋轉(zhuǎn)不變性；文獻(xiàn)［15］設(shè)計(jì)了具有方向的簡(jiǎn)明優(yōu)化算法（Oriented Brief，ORB），最先運(yùn)用快速分割檢測(cè)（Features From Accelerated Segment Test，F(xiàn)AST）中的特征獲得具備尺度不變性的角點(diǎn)特征信息內(nèi)容，隨后測(cè)算角點(diǎn)的主方向，并創(chuàng)建了具備轉(zhuǎn)動(dòng)不變性的簡(jiǎn)單描述符，增強(qiáng)了計(jì)算的效率。而基于互相關(guān)信息（Cross-Correlation Information，CCI）的配準(zhǔn)是通過(guò)計(jì)算互相關(guān)系數(shù)評(píng)價(jià)圖像之間的相似度，并且根據(jù)相似度尋找配準(zhǔn)的坐標(biāo)，計(jì)算變換矩陣，從而實(shí)現(xiàn)圖像配準(zhǔn)［16］。盡管配準(zhǔn)方法多種多樣，但是在解決實(shí)際問(wèn)題時(shí)，依舊存在諸多問(wèn)題，如ORB 圖像配準(zhǔn)方法雖然具備較快的配準(zhǔn)速度，但是配準(zhǔn)精度不高，難以在實(shí)際應(yīng)用中得到較好的效果；SURF 與SIFT 圖像配準(zhǔn)方法雖具備較好的魯棒性，但是這些方法的配準(zhǔn)誤匹配率同樣有待降低；而基于互相關(guān)信息的圖像配準(zhǔn)方法雖然配準(zhǔn)精度較高，但是在配準(zhǔn)的速度和魯棒性2個(gè)方面表現(xiàn)較差。

針對(duì)這些問(wèn)題，本文融合ORB 特征和局部網(wǎng)格稀疏化方法，提出一種改進(jìn)的圖像配準(zhǔn)算法［17］：首先通過(guò)ORB 特征完成局部圖像的粗配準(zhǔn)，提升算法的魯棒性，接著對(duì)粗配準(zhǔn)圖像進(jìn)行局部互相關(guān)信息提取，計(jì)算其單應(yīng)矩陣［18］，最后將獲取的單應(yīng)矩陣應(yīng)用于待配準(zhǔn)圖像全圖，實(shí)現(xiàn)圖像的精確配準(zhǔn)。該方法在已有配準(zhǔn)方法的基礎(chǔ)上提升了配準(zhǔn)的精度、速度以及魯棒性，更加適合解決特征不明顯圖像的配準(zhǔn)問(wèn)題。基于局部重疊區(qū)域的無(wú)顯著特征圖像配準(zhǔn)算法流程如圖1所示。

圖1 圖像配準(zhǔn)的整體方案設(shè)計(jì)流程框圖

1 圖像預(yù)處理

本文主要針對(duì)特征不顯著的戈壁、荒漠等類(lèi)似地區(qū)大范圍航拍圖像進(jìn)行配準(zhǔn)，其典型地表為礫石碎石地表，部分地區(qū)覆蓋有大片沙子，并且由于常年缺水導(dǎo)致植被稀少，僅有的地表植物也是以低矮灌木和草本植物為主，缺少典型的植被信息［19］，因此，獲取到的圖像信息一般比較單調(diào)，在配準(zhǔn)時(shí)難度增加［20］，并且配準(zhǔn)結(jié)果往往差強(qiáng)人意。為了減小配準(zhǔn)難度，首先對(duì)圖像進(jìn)行預(yù)處理增強(qiáng)其特征，本文利用圖像標(biāo)記對(duì)圖像進(jìn)行預(yù)處理，處理前后圖像如圖2所示。

圖2 圖像預(yù)處理

2 配準(zhǔn)區(qū)域優(yōu)化

傳統(tǒng)圖像配準(zhǔn)算法是檢測(cè)待配準(zhǔn)圖像之間全部區(qū)域的特征點(diǎn)，配準(zhǔn)耗時(shí)長(zhǎng)且效率低下［21］，難以應(yīng)用在實(shí)際工程中。本文提出對(duì)多幅圖像重疊區(qū)域進(jìn)行配準(zhǔn)達(dá)到最終配準(zhǔn)效果的新方法，對(duì)待配準(zhǔn)圖像預(yù)處理后，利用多相機(jī)的三維視角對(duì)圖像重疊區(qū)域進(jìn)行預(yù)算，接著根據(jù)預(yù)算結(jié)果將重疊區(qū)域分割出來(lái)進(jìn)行特征點(diǎn)檢測(cè)，完成局部配準(zhǔn)，最后根據(jù)局部配準(zhǔn)結(jié)果完成整體圖像配準(zhǔn)。

對(duì)需要配準(zhǔn)的圖像進(jìn)行預(yù)處理增強(qiáng)特征后，需要對(duì)圖像重疊區(qū)域進(jìn)行分割，主要包含重疊區(qū)域預(yù)算和分割2個(gè)部分。

重疊區(qū)域大小主要利用多個(gè)相機(jī)不同視角的重合進(jìn)行預(yù)算。圖3為多相機(jī)拍攝示意圖。

圖3 多相機(jī)拍攝示意圖

圖3 中，A、B、C、D 分別表示不同視角的多個(gè)相機(jī)，①～④陰影部分是其對(duì)應(yīng)的拍攝區(qū)域投影?？梢砸?jiàn)到，調(diào)整多相機(jī)位置進(jìn)行拍攝可以得到有一定視角重合的圖像，僅對(duì)這部分圖像進(jìn)行特征點(diǎn)檢測(cè)配準(zhǔn)，相較于全圖配準(zhǔn)，工作量和復(fù)雜度都將大大降低。重疊區(qū)域預(yù)算具體步驟如下：

1）由相機(jī)參數(shù)獲取單個(gè)相機(jī)在水平方向的拍攝角度大小為a。

2）測(cè)量相鄰相機(jī)在同一水平方向的夾角為b（根據(jù)相機(jī)組安裝結(jié)構(gòu)要求，相機(jī)組安裝在半徑為r的圓上）。

3）基于上述操作，可得到粗略的水平方向相機(jī)重疊范圍。

圖4 為在同一水平面2 架相鄰相機(jī)的幾何關(guān)系示意圖。

圖4 相鄰相機(jī)幾何關(guān)系示意圖

借助上述結(jié)構(gòu)圖和幾何關(guān)系對(duì)重疊區(qū)域在整幅圖像上的占比進(jìn)行計(jì)算，具體如式（1）所示：

其中，γ表示的是重疊區(qū)域和整張圖像的比例關(guān)系。同時(shí)需要對(duì)待處理圖像重疊區(qū)域的邊界進(jìn)行計(jì)算，重疊區(qū)域如圖5中白色區(qū)域所示。

圖5 待配準(zhǔn)圖像重疊區(qū)域的示意圖

圖5 中，d為2 幅待配準(zhǔn)圖像水平長(zhǎng)度，b1和b2為其重疊區(qū)域和非重疊區(qū)域的邊界，待配準(zhǔn)圖像1 重疊區(qū)域范圍可表示為（b2，d），待配準(zhǔn)圖像2 重疊區(qū)域范圍可表示為（0，b2），b1、b2計(jì)算如下：

其中，img1·col 和img2·col 為2 個(gè)待配準(zhǔn)圖像的水平像素寬度。

為了降低誤匹配的概率，僅對(duì)圖像重疊區(qū)域進(jìn)行特征點(diǎn)檢測(cè)，因此需要對(duì)圖像進(jìn)行掩膜處理。其原理是利用選中的圖像或物件擋住待處理的圖像（全局遮擋或局部遮擋），以此來(lái)控制圖像的處理區(qū)域。

3 改進(jìn)的ORB+GMS融合算法

傳統(tǒng)的全局特征配準(zhǔn)是針對(duì)整幅圖像進(jìn)行處理，這種方法在對(duì)一些特征不顯著圖像進(jìn)行配準(zhǔn)時(shí)［22］，往往會(huì)出現(xiàn)對(duì)某些區(qū)域檢驗(yàn)過(guò)度稀少或聚集的情況［23］，在圖像特征信息的一致性上產(chǎn)生偏差［24］。因此，本文參考圖像分塊的思想，采用ORB+GMS 融合算法對(duì)圖像重疊區(qū)域完成有針對(duì)性的局部配準(zhǔn)，進(jìn)一步提高圖像配準(zhǔn)點(diǎn)的精確性和圖像特征信息的一致性。

3.1 ORB局部特征提取算法

ORB 算法采用FAST 角點(diǎn)檢測(cè)［25］對(duì)圖像的特征點(diǎn)進(jìn)行檢測(cè)，采用BRIEF描述子對(duì)檢測(cè)到的特征點(diǎn)進(jìn)行描述［26］，是一種常用的基于圖像信息的特征點(diǎn)檢測(cè)和描述算法。算法主要步驟分為：構(gòu)建尺度空間、特征點(diǎn)檢測(cè)和描述符構(gòu)建。具體過(guò)程如下：

1）構(gòu)建尺度空間。

利用高斯核函數(shù)對(duì)原始圖像I（x，y）進(jìn)行濾波和降采樣得到高斯尺度空間，高斯核函數(shù)和構(gòu)建的尺度空間如式（2）和式（3）所示。

其中，I（x，y）為灰度圖像，σ為尺度因子，ρ為縮放因子。

2）特征點(diǎn)檢測(cè)。

ORB 采用FAST 算法檢測(cè)圖像特征點(diǎn)，在尺度空間內(nèi)以某像素點(diǎn)為中心，半徑為3的圓上均包含16個(gè)像素點(diǎn)，設(shè)置閾值t，若存在n個(gè)連續(xù)像素值與中心點(diǎn)差值大于設(shè)置的閾值t，則判定該中心點(diǎn)為檢測(cè)到的特征點(diǎn)。同時(shí)為了避免特征點(diǎn)聚集，采用非極大值抑制算法對(duì)檢測(cè)到的特征點(diǎn)進(jìn)行篩選。

3）描述符構(gòu)建。

特征點(diǎn)匹配算法中保證方向不變性的關(guān)鍵是建立主方向。ORB 算法中特征點(diǎn)的主方向?yàn)樘卣鼽c(diǎn)到特征采樣區(qū)域質(zhì)心的方向。特征采樣區(qū)域的質(zhì)心計(jì)算如下：

基于上述假設(shè)交點(diǎn)坐標(biāo)為O，則可定義特征點(diǎn)的主方向?yàn)椋?/p>

主方向建立后，在以特征點(diǎn)為中心的區(qū)域S×S中隨機(jī)找出兩兩像素比較編碼，根據(jù)兩兩像素大小其值的大小建立τ：

其中，p（x）和p（y）為特征采樣區(qū)域的像素點(diǎn)。若有N對(duì)像素點(diǎn)進(jìn)行比較，則可得到N維二進(jìn)制描述符fN，具體公式如下：

設(shè)有N對(duì)像素點(diǎn)（xi，yi），i=1，2，…，N，則將式（8）轉(zhuǎn)換為矩陣形式如下：

式（6）中旋轉(zhuǎn)角度θ可得到旋轉(zhuǎn)矩陣Rθ，則得到旋轉(zhuǎn)后的矩陣為Sθ=RθS。

綜上，ORB算法的描述符可表示為式（10）：

3.2 GMS內(nèi)點(diǎn)篩選算法

采用GMS算法進(jìn)行內(nèi)點(diǎn)的篩選時(shí)，首先要滿足一個(gè)假設(shè)［27］：配準(zhǔn)圖像中的每一個(gè)像素都具有運(yùn)動(dòng)平滑性，即一個(gè)正確的匹配，其鄰域內(nèi)包含多個(gè)支持它的匹配，而錯(cuò)誤的匹配其鄰域內(nèi)支持它的匹配就非常少。在此假設(shè)基礎(chǔ)上，設(shè)計(jì)GMS算法的具體流程如下：

首先將待匹配圖像區(qū)域劃分為網(wǎng)格，且每個(gè)網(wǎng)格中的匹配點(diǎn)數(shù)Si均服從二項(xiàng)分布，具體表述為：

其中：xi為網(wǎng)格內(nèi)的匹配點(diǎn)；K為匹配點(diǎn)xi鄰域的網(wǎng)格數(shù)；n為網(wǎng)格內(nèi)匹配點(diǎn)的數(shù)量；pt為匹配點(diǎn)xi為正確匹配點(diǎn)的概率；Pf為匹配點(diǎn)xi為錯(cuò)誤匹配點(diǎn)的概率；T表示xi為正確匹配點(diǎn)；F表示xi為錯(cuò)誤匹配點(diǎn)。

Si的分布如圖6 所示?？梢钥吹?，正確匹配點(diǎn)和錯(cuò)誤匹配點(diǎn)的分布有較大的差異，可以通過(guò)設(shè)置閾值和Si的均值和方差進(jìn)行區(qū)分。

圖6 Si的分布

將Si的均值和方差整合為P，通過(guò)調(diào)整P進(jìn)行粗匹配特征點(diǎn)的篩選。P的計(jì)算公式如式（12）所示：

為了提高內(nèi)點(diǎn)篩選優(yōu)化算法的精度，將正確匹配點(diǎn)篩選問(wèn)題轉(zhuǎn)換為優(yōu)化問(wèn)題，即最優(yōu)化P。將式（11）轉(zhuǎn)化為下式所示：

式（13）表示最優(yōu)化函數(shù)與網(wǎng)格數(shù)K和網(wǎng)格中特征點(diǎn)的總數(shù)成正比。對(duì)當(dāng)前網(wǎng)格內(nèi)匹配點(diǎn)進(jìn)行判斷，具體判斷公式如式（14）所示：

其中：Sij為網(wǎng)格區(qū)域｛ik，jk｝和該網(wǎng)格周?chē)? 個(gè)網(wǎng)格內(nèi)匹配點(diǎn)的總數(shù)（如圖7 所示）；τi為閾值；α為常數(shù)因子；Ni為K個(gè)匹配網(wǎng)格區(qū)域的總特征數(shù)。

圖7 9個(gè)匹配網(wǎng)格區(qū)域

4 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文提出的局部標(biāo)記融合算法的可行性以及融合算法在解決特征不顯著圖像配準(zhǔn)問(wèn)題中的優(yōu)越性，選擇SIFT、SURF、ORB 這3 種經(jīng)典算法作為實(shí)驗(yàn)對(duì)照組，從全局配準(zhǔn)和局部配準(zhǔn)2 個(gè)方面進(jìn)行對(duì)比驗(yàn)證，其中局部配準(zhǔn)又分為局部標(biāo)記配準(zhǔn)和局部不標(biāo)記配準(zhǔn)。

1）全局配準(zhǔn)。

選取具有重疊區(qū)域的特征不顯著沙漠類(lèi)圖像，分別使用SIFT、SURF、ORB 以及ORB+GMS 算法進(jìn)行配準(zhǔn)實(shí)驗(yàn)，仿真結(jié)果圖8 所示。對(duì)應(yīng)的全局配準(zhǔn)匹配率如表1所示。

圖8 全局圖像配準(zhǔn)對(duì)比

表1 基于全局配準(zhǔn)的算法匹配率對(duì)比

由表1 實(shí)驗(yàn)數(shù)據(jù)可知，在對(duì)特征不顯著圖像進(jìn)行全局配準(zhǔn)時(shí)，ORB+GMS 融合算法的匹配準(zhǔn)確率均高于SIFT、SURF 和ORB，因此，ORB+GMS 融合算法在對(duì)特征不顯著圖像進(jìn)行全局配準(zhǔn)時(shí)具備明顯的優(yōu)勢(shì)。

2）局部配準(zhǔn)。

為了進(jìn)一步提升待配準(zhǔn)圖像之間配準(zhǔn)精度和配準(zhǔn)效率，本文設(shè)計(jì)一種新的配準(zhǔn)策略，即只針對(duì)待配準(zhǔn)圖像的重疊區(qū)域的局部進(jìn)行配準(zhǔn)。局部配準(zhǔn)分為局部標(biāo)記配準(zhǔn)和局部不標(biāo)記配準(zhǔn)，局部標(biāo)記配準(zhǔn)仿真結(jié)果如圖9所示。

圖9 局部不標(biāo)記圖像配準(zhǔn)對(duì)比

由圖9 可知，相較于全局配準(zhǔn)，ORB+GMS 融合算法在局部配準(zhǔn)時(shí)明顯比SIFT、SURF、ORB算法的配準(zhǔn)效果更好，能夠得到更精確的配準(zhǔn)結(jié)果?，F(xiàn)進(jìn)一步對(duì)圖像重疊區(qū)域進(jìn)行標(biāo)記后再配準(zhǔn)，同樣選用SIFT、SURF、ORB算法作為對(duì)照組，對(duì)應(yīng)的局部標(biāo)記配準(zhǔn)仿真結(jié)果如圖10所示。

圖10 局部標(biāo)記圖像配準(zhǔn)對(duì)比

對(duì)應(yīng)的局部標(biāo)記配準(zhǔn)相關(guān)數(shù)據(jù)如表2所示。

表2 基于局部標(biāo)記配準(zhǔn)的相關(guān)數(shù)據(jù)對(duì)比

由圖10仿真結(jié)果和表2數(shù)據(jù)可知，在對(duì)特征不顯著圖像進(jìn)行局部標(biāo)記配準(zhǔn)時(shí)，ORB+GMS融合算法匹配率相較于全局配準(zhǔn)提升了28%，明顯優(yōu)于SIFT和ORB算法，而相較于SURF算法，融合算法雖然在匹配率上優(yōu)勢(shì)不多，但是具有更快的配準(zhǔn)速度。因此，綜合來(lái)說(shuō)，本文提出的基于局部標(biāo)記的ORB+GMS融合算法更適合應(yīng)用于具有重疊區(qū)域的特征不顯著圖像配準(zhǔn)。

為了進(jìn)一步驗(yàn)證融合算法對(duì)本文設(shè)定圖像類(lèi)型配準(zhǔn)的優(yōu)越性，選取戈壁類(lèi)地形圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。對(duì)應(yīng)的局部標(biāo)記配準(zhǔn)過(guò)程及結(jié)果如圖11所示。

圖11 戈壁類(lèi)場(chǎng)景配準(zhǔn)算法驗(yàn)證

由圖11 可知，在戈壁類(lèi)具有重疊區(qū)域的特征不明顯圖像配準(zhǔn)中，局部標(biāo)記融合算法依舊可以得到較好的配準(zhǔn)結(jié)果。結(jié)合上文沙漠類(lèi)圖像的仿真實(shí)驗(yàn)結(jié)果可知，在對(duì)具有重疊區(qū)域的特征不顯著圖像進(jìn)行配準(zhǔn)時(shí)，本文提出的局部標(biāo)記ORB+GMS 融合算法具有十分可觀的配準(zhǔn)結(jié)果，相較于傳統(tǒng)經(jīng)典配準(zhǔn)算法，其配準(zhǔn)精度和配準(zhǔn)速度都有了進(jìn)一步的提升。

盡管本文研究的主要對(duì)象是基于無(wú)顯著特征圖像之間的配準(zhǔn)，但是為了更好地驗(yàn)證本文提出的基于局部標(biāo)記的方法在普通場(chǎng)景下的配準(zhǔn)精度和效率，設(shè)計(jì)了在不同環(huán)境下（如光線不充足的場(chǎng)景和陽(yáng)光充足場(chǎng)景下）圖像之間的配準(zhǔn)。實(shí)驗(yàn)場(chǎng)景如圖12～圖14所示，不同場(chǎng)景下的配準(zhǔn)實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如表3所示。

表3 不同場(chǎng)景下的配準(zhǔn)實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

圖12 場(chǎng)景a配準(zhǔn)實(shí)驗(yàn)

圖13 場(chǎng)景b配準(zhǔn)實(shí)驗(yàn)

圖14 場(chǎng)景c配準(zhǔn)實(shí)驗(yàn)

由圖12～圖14 以及對(duì)應(yīng)表3 數(shù)據(jù)可知，本文提出的局部標(biāo)記ORB+GMS 融合算法在不同場(chǎng)景下均具有良好魯棒性，可以得到較為滿意的配準(zhǔn)效果。

5 結(jié)束語(yǔ)

本文針對(duì)無(wú)顯著特征圖像全部配準(zhǔn)存在的缺點(diǎn)，提出了一種基于局部重疊區(qū)域的特征不顯著圖像配準(zhǔn)方法，借助三維投影對(duì)多組圖像重疊區(qū)域進(jìn)行預(yù)算，并采用圖像分割技術(shù)對(duì)重疊區(qū)域使用ORB+GMS融合算法進(jìn)行局部標(biāo)記配準(zhǔn)。實(shí)驗(yàn)結(jié)果顯示，該方法相較于其它傳統(tǒng)配準(zhǔn)方法，更加適合應(yīng)用于沙漠、戈壁類(lèi)等特征不顯著圖像的配準(zhǔn)工作，并且根據(jù)實(shí)驗(yàn)數(shù)據(jù)，融合算法在圖像局部配準(zhǔn)中優(yōu)勢(shì)更明顯，相較于全局配準(zhǔn)，其匹配率提升28%，匹配時(shí)間也大幅縮短，擁有更高的效率和匹配質(zhì)量。綜上，在對(duì)戈壁、沙漠類(lèi)具有重疊區(qū)域的特征不顯著圖像進(jìn)行配準(zhǔn)時(shí)，本文提出的基于局部標(biāo)記的ORB+GMS 融合算法具有十分可觀的現(xiàn)實(shí)效果，可以很好地應(yīng)用于此類(lèi)問(wèn)題的解決上。