張護(hù)望,林　滸,王詩宇,鄭廖默，馮　斌

(1.中國科學(xué)院大學(xué)，北京　100049；2.高檔數(shù)控國家工程研究中心，沈陽　110168； 3.沈陽高精數(shù)控智能技術(shù)股份有限公司，沈陽　110168)

0　引言

圖像拼接工作就是多幅圖像中檢測出部分相同興趣區(qū)域，進(jìn)而使其實(shí)現(xiàn)無縫拼接，進(jìn)而得到一種全視角的完整圖像。圖像拼接現(xiàn)已普遍應(yīng)用于工業(yè)移動(dòng)機(jī)器人，醫(yī)學(xué)，軍事，機(jī)器視覺等[1-4]領(lǐng)域。圖像拼接技術(shù)作為計(jì)算機(jī)視覺和圖像處理研究的熱點(diǎn)，吸引了很多國內(nèi)外的學(xué)者和科技巨頭公司對其進(jìn)行大量研究和投資。

在計(jì)算機(jī)視覺，圖像處理，三維重建，其中最重要的技術(shù)就是實(shí)現(xiàn)圖像高精度配準(zhǔn)[5]，算法大體分為：基于區(qū)域的匹配算法基于特征的匹配算法。基于特征的算法，主要工作就是依據(jù)圖像的特征點(diǎn)向量來計(jì)算圖像之間的相似性關(guān)系，來判斷圖像匹配的興趣區(qū)域。相比于區(qū)域匹配具有較低的計(jì)算復(fù)雜性和較高的穩(wěn)定性。所以在圖像配準(zhǔn)技術(shù)中非常重要的地位。文獻(xiàn)[6]提出了一種使用KLT跟蹤技術(shù), 精確確定各特征角點(diǎn)的位置,從而得到兩幅圖像之間精確的變換矩陣，角點(diǎn)的定義直接影響匹配結(jié)果；文獻(xiàn)[7]采用SIFT特征點(diǎn)進(jìn)行圖像拼接；文獻(xiàn)[8]采用PCA降維的方法，使用主元分析，使得128維向量降維到了36位向量，降低了SIFT算法的計(jì)算復(fù)雜度，但丟失了原始圖像的部分信息，可能會(huì)影響結(jié)果。Smith等[9]提出了SUSAN算法，它不依賴于圖像的導(dǎo)數(shù)，具備較強(qiáng)的抗噪聲能力，但運(yùn)算速度比較慢。Bay[9]提出了一種更快的加速算子SURF來替代SIFT算子。為了加快速度，SURF算子采用盒子濾波來替代高斯濾波。Moravec提出了使用灰度方差的技術(shù)檢測角點(diǎn)，具備最小灰度變化的極大值點(diǎn)。研究者根據(jù)實(shí)際情況，對上述算法進(jìn)行改進(jìn)外，還根據(jù)存在的問題提出了很多的算法。國內(nèi)的肖秩軍等[10]提出了基于B樣條模型的曲線特征點(diǎn)檢測方法，樣條函數(shù)的選擇影響匹配效果。文獻(xiàn)[11]首先對圖像利用SIFT算法進(jìn)行特征提取和與匹配，使用 RANSAC算法剔除不穩(wěn)定的匹配結(jié)果，并精確計(jì)算圖像間的變換參數(shù)。文獻(xiàn)[12]提出了提取顯著區(qū)域特征并生成SIFT特征向量，從而計(jì)算相似性實(shí)現(xiàn)圖像匹配，注重顯著區(qū)域的特征選擇。文獻(xiàn)[13]采用非對稱特征搜索方式，實(shí)現(xiàn)方向性的特征匹配。都取得了很好的匹配效果，結(jié)果更加穩(wěn)定。

本文提出了一種采用96維特征描述子，降低了128維向量的復(fù)雜度，盡可能的保留圖像信息。并采用皮爾遜相關(guān)性評分進(jìn)行配準(zhǔn)分析的圖像匹配算法，實(shí)驗(yàn)表明，文中算法可以得到較好的匹配結(jié)果，具有較高的穩(wěn)定性。

1　SIFT原理

SIFT算法對于尺度變化，亮度變化，位置變化，視覺角度問題都有很高的魯棒性。本文的應(yīng)用場景對光照，拍攝角度要有較強(qiáng)的抗噪性，SIFT可以克服這些問題。SIFT主要思路是：首先要有圖像的尺度空間表示，進(jìn)而檢測該圖像不同尺度空間極值點(diǎn)，標(biāo)記特征點(diǎn)的主方向，最后生成特征點(diǎn)描述子。

1.1　尺度空間極值點(diǎn)檢測

首先應(yīng)用不同尺度的高斯濾波函數(shù)G(x,y,σ)對原始圖像I(x,y)作卷積運(yùn)算，進(jìn)行尺度變換。設(shè)(x,y)是原始圖像I的函數(shù)表示，σ是尺度因子，則圖像尺度空間L定義為：

L(x,y,σ)=G(x,y,σ)I(x,y)

(1)

其中，高斯函數(shù)為：

(2)

對輸入圖像進(jìn)行降采樣構(gòu)建輸入圖像的高斯金字塔，相減得到高斯差分(DOG) 金字塔。公式(3)所示：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=
L(x,y,kσ)-L(x,y,kσ)

(3)

其中，參數(shù)k為相鄰的圖像之間的尺度因子比例。將相鄰3層DOG圖像的極值點(diǎn)確定為關(guān)鍵點(diǎn)。

1.2　特征點(diǎn)方向計(jì)算

前面檢測的極值點(diǎn)中，會(huì)存在一些低對比度、不穩(wěn)定的誤匹配極值點(diǎn)。為了剔除這些不穩(wěn)定點(diǎn)、提高匹配的穩(wěn)定性、增強(qiáng)抗干擾能力，SIFT算法中采取曲線擬合的方法剔除低對比度的特征點(diǎn)，而且使用Hessian矩陣剔除不穩(wěn)定的誤匹配點(diǎn)。已經(jīng)得到了每幅圖像中的極值點(diǎn)，每個(gè)極值點(diǎn)都包含其尺度信息，利用以極值點(diǎn)所在鄰域中像素的梯度方向統(tǒng)計(jì)分布為依據(jù)，為每個(gè)極值點(diǎn)指定主方向，旋轉(zhuǎn)坐標(biāo)軸，使算子具備旋轉(zhuǎn)不變形。式(4)和式(5)中：

m(x,y)=

(4)

θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/
(L(x+1,y)-L(x-1,y)))

(5)

其中，L如公式(3)所示，尺度因子σ為每個(gè)極值點(diǎn)所在的尺度。

1.3　生成特征點(diǎn)描述子

為了保證旋轉(zhuǎn)不變性，首先將關(guān)鍵點(diǎn)的方向指定為坐標(biāo)軸方向。對于每一個(gè)特征點(diǎn)，在其相應(yīng)的尺度空間，以每個(gè)特征點(diǎn)為中心所在的16×16大小的鄰域窗口，采用高斯下降函數(shù)降低遠(yuǎn)離關(guān)鍵點(diǎn)中心的像素的權(quán)重。每個(gè)特征點(diǎn)將會(huì)得到4×4×8=128維的描述子。如圖1所示，圖中描述了一個(gè)關(guān)鍵點(diǎn)由4個(gè)種子點(diǎn)構(gòu)成。

圖像梯度　　　　　　　關(guān)鍵點(diǎn)描述圖1　描述子構(gòu)建

1.4　特征點(diǎn)匹配

得到兩幅圖像的SIFT向量，使用特征向量的歐式距離判斷兩幅圖像中關(guān)鍵點(diǎn)的相似性。采用k-d數(shù)算法，提高了關(guān)鍵點(diǎn)特征向量的匹配速度。并且利用RANSAC算法對匹配結(jié)果進(jìn)行篩選，剔除誤匹配點(diǎn)。最終得到關(guān)鍵點(diǎn)的匹配結(jié)果。對于兩幅圖像，當(dāng)達(dá)到一定的相似度時(shí)，就認(rèn)為兩幅圖像有同一個(gè)興趣區(qū)域。

2　改進(jìn)的SIFT算法

數(shù)字圖像在獲取和傳輸過程中容易受到噪聲污染和數(shù)據(jù)缺失等問題，但是圖像處理過程中首要工作就是要去噪，噪聲給后續(xù)的圖像匹配和拼接等工作帶來很多不可避免的問題。消除噪聲是圖像處理中不可或缺的一部分。主要就是圖像預(yù)處理階段進(jìn)行圖像濾波和平滑處理。所以對原始圖像必須進(jìn)行去噪處理和數(shù)據(jù)還原等操作，促使后期處理盡可能達(dá)到最優(yōu)。傳統(tǒng)的圖像去噪算法有均值濾波，限幅濾波，高斯濾波，中值濾波等。本文采用雙邊濾波器來實(shí)現(xiàn)，盡可能的保留原圖像信息內(nèi)容。下面簡單介紹雙邊濾波的相關(guān)內(nèi)容。

2.1　雙邊濾波器

雙邊濾波(Bilateral filter)保住了邊緣信息，去除了噪聲，是一種非線性的圖像濾波方式，是圖像空間的鄰近度和像素間相似度的一種調(diào)和方法，并且還結(jié)合了空域信息和灰度相似性。濾波器函數(shù)中由兩部分組成。一部分由歐式幾何距離來選取濾波器系數(shù)。另一部分是由像素間差值選取濾波器系數(shù)。

(6)

權(quán)重系數(shù)w(i,j,k,l) 取決于定義域核(公式(7))和值域核(公式(8))的乘積。

(7)

(8)

(9)

公式(9)中主要求取空間域與值域的差異。對原始圖像進(jìn)行預(yù)處理，本文使用雙邊濾波器，能夠保存原始圖像的邊緣信息，最大程度的保留了原始信息，有利于后續(xù)操作。

2.2　內(nèi)切降維

構(gòu)建DOG，然而經(jīng)過DOG檢測得到的特征點(diǎn)，存在一些不穩(wěn)定的特征點(diǎn)。使用擬和三維二次函數(shù)，從而確定關(guān)鍵點(diǎn)的位置信息和尺度信息，并且剔除低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以提高匹配穩(wěn)定性、增強(qiáng)抗噪聲的能力。得到特征集之后，需要給每個(gè)特征點(diǎn)賦值一個(gè)128維方向參數(shù)。如圖2所示，傳統(tǒng)SIF算法得到的是128維向量，在原算法的基礎(chǔ)上，本文采用的是16×16窗口的內(nèi)切圓，只保留圖中紅色標(biāo)記的小窗口中的種子點(diǎn)，去除了窗口的4角的種子點(diǎn)，共有12個(gè)種子點(diǎn)，每個(gè)種子點(diǎn)統(tǒng)計(jì)8個(gè)方向值。最后得到12×8=96維向量。為了進(jìn)一步的降低光照變化對處理結(jié)果的影響，可以對特征向量進(jìn)行歸一化處理，則可以這樣，96維向量中充分保留了特征點(diǎn)周圍的像素信息，一定程度上降低了遠(yuǎn)離中心點(diǎn)像素的計(jì)算復(fù)雜度。對后續(xù)進(jìn)行特征點(diǎn)匹配選取做準(zhǔn)備。

圖2　降維處理示意

2.3　相關(guān)系數(shù)評判匹配

本文經(jīng)過降維處理之后，得到了每個(gè)特征點(diǎn)各自的96維向量。采用特征向量的皮爾遜相關(guān)系數(shù)相似度作為兩幅圖像中特征點(diǎn)的相似度判定方式。取圖像1中的某個(gè)特征點(diǎn)，并找出其與圖像2中皮爾遜相關(guān)系數(shù)大于閾值ratio的關(guān)鍵點(diǎn)，則接受這一對匹配點(diǎn)。皮爾遜相關(guān)系數(shù)公式(10)中，

(10)

公式中，R(X,Y)代表的意義是向量X和Y所代表的特征向量線性相關(guān)的強(qiáng)弱程度，其中包含-1≤R(X,Y)≤1，若R(X,Y)=0,表示兩個(gè)特征向量非線性相關(guān)，若R(X,Y)<0表示兩個(gè)特征向量負(fù)相關(guān)，若R(X,Y)>0則表示兩個(gè)特征向量正相關(guān)，然而R(X,Y)的絕對值越大表明兩個(gè)特征向量相關(guān)性越強(qiáng)。一般會(huì)對計(jì)算之后的相關(guān)系數(shù)取絕對值。我們只考慮是否相關(guān)就行。只要滿足一定條件下的強(qiáng)相關(guān)條件就表示兩個(gè)特征向量相關(guān)。此處表明接收特征點(diǎn)匹配。

本文中通過計(jì)算相關(guān)系數(shù)，得到相關(guān)系數(shù)矩陣，每個(gè)特征點(diǎn)都會(huì)有一個(gè)和其他特征點(diǎn)相關(guān)的評判系數(shù)。對每一個(gè)特征點(diǎn)相關(guān)系數(shù)進(jìn)行降序排序，選取相關(guān)性最大的特征點(diǎn)，并且當(dāng)前相關(guān)系數(shù)大于閾值，此特征點(diǎn)作為當(dāng)前特征點(diǎn)的匹配結(jié)果，則接受這對特征匹配點(diǎn)。

3　實(shí)驗(yàn)結(jié)果與分析

以上步驟完成匹配后，得到的是兩幅圖像之間的特征點(diǎn)接收匹配的結(jié)果集合，我們根據(jù)最初匹配結(jié)果集選用RANSAC方法迭代尋找一個(gè)最佳單應(yīng)矩陣，包含盡可能多的數(shù)據(jù)點(diǎn)。這樣可以去除一些誤匹配點(diǎn)，本文選取無砟軌道板部分圖像，如圖3是左圖經(jīng)過雙邊濾波器處理的結(jié)果，圖4為右圖經(jīng)過雙邊濾波器處理的結(jié)果。圖5和圖6可以看出選取合適的閾值很重要，相關(guān)系數(shù)較小的閾值可能會(huì)存在誤匹配情況，較大閾值可能存在丟失一部分正確的匹配結(jié)果，經(jīng)過試驗(yàn)之后選取閾值為0.6可以看出結(jié)果理想。利用本文算法得到的匹配結(jié)果一致。提高了匹配精度和穩(wěn)定性。

圖3　左圖雙邊濾波器處理結(jié)果

圖4　右圖經(jīng)過雙邊濾波器處理結(jié)果

圖5　相關(guān)系數(shù)閾值為0.5

圖6　相關(guān)系數(shù)為0.6

實(shí)驗(yàn)結(jié)果證明，改進(jìn)之后的算法，當(dāng)閾值為0.5的時(shí)候，匹配結(jié)果會(huì)出現(xiàn)一些誤匹配點(diǎn)，當(dāng)閾值為0.6時(shí)，匹配結(jié)果沒有出現(xiàn)誤匹配特征點(diǎn)。所以改進(jìn)之后的算法，在保證特征點(diǎn)個(gè)數(shù)的情況下，也滿足特征匹配的要求，也經(jīng)過了多次試驗(yàn)，匹配結(jié)果穩(wěn)定。

4　結(jié)束語

本文首先通過雙邊濾波器處理輸入圖像，再進(jìn)行特征點(diǎn)檢測操作，利用內(nèi)切圈去除了遠(yuǎn)離中心點(diǎn)的像素值，減少了計(jì)算復(fù)雜度，得到特征點(diǎn)向量，最后通過皮爾遜相關(guān)性評價(jià)是否接受匹配。此方法減少了特征點(diǎn)的錯(cuò)誤匹配，通過降維的方法處理特征向量提高了整個(gè)系統(tǒng)的處理速度。進(jìn)行匹配時(shí)對相關(guān)系數(shù)進(jìn)行排序，選取相關(guān)性最大的作為新的特征匹配點(diǎn)。用RANSAC迭代的方法得到最優(yōu)的匹配結(jié)果集。本文中采用的96維向量不免會(huì)丟失一些圖像信息，實(shí)驗(yàn)結(jié)果表明，在相關(guān)系數(shù)閾值為0.6時(shí)，匹配結(jié)果不存在誤匹配的現(xiàn)象，滿足軌道板圖像匹配的要求。

[參考文獻(xiàn)]

[1] Chen Y, Xu M, Liu HL, et al. An improved image mosaic based on Canny edge and an 18-dimensional descriptor[J]. Optik-International Journal for Light and Electron Optics 2014,125(17):4745-4750.

[2] Wu ZG, Wang MJ, Wang YQ. Image mosaic technique based on the information of edge [J]. International Conference on Digital Manufacturing & AutomationMauceri, 2012:482-484.

[3] Zhang K, Li XZ, Zhang J. A Robust Point-Matching Algorithm for Remote Sensing Image Registration[J]. Geoscience & Remote Sensing Letters IEEE,2013,11(2):469-473.

[4] 曹世翔, 江潔, 張廣軍, 等. 邊緣特征點(diǎn)的多分辨率圖像拼接[J]. 計(jì)算機(jī)研究與發(fā)展,2011,48(9):1788-1793.

[5] 孟龍暉. 一種大壁虎腦圖譜三維重建的新方法及實(shí)現(xiàn)[D].南京:南京航空航天大學(xué),2011.

[6] 胡社教, 葛西旺, 陳宗海. 基于角點(diǎn)特征的KLT跟蹤全景圖像拼接算法[J]. 系統(tǒng)仿真學(xué)報(bào),2007,19(8):1742-1753.

[7] 高華. 基于SIFT圖像拼接技術(shù)研究[D]. 重慶:重慶交通大學(xué),2012.

[8] Yan K, Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors[J]. 2004,2(2):506-513.

[9] Bay H, Ess A, Tuytelaars T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision & Image Understanding 2008,110(3):346-359.

[10] 肖軼軍, 丁明躍. 基于B樣條模型的曲線特征點(diǎn)檢測法[J]. 數(shù)據(jù)采集與處理,2000,15(4):422-425.

[11] 常青. 基于SIFT和RANSAC的特征圖像匹配方法[J]. 華東理工大學(xué)學(xué)報(bào):自然科學(xué)版,2012,38(6):97-101.

[12] 尹春霞, 徐德, 李成榮, 等. 基于顯著圖的SIFT特征檢測與匹配[J]. 計(jì)算機(jī)工程,2012,38(16):189-191.

[13] 杜振龍, 楊凡, 李曉麗, 等. 利用SIFT特征的非對稱匹配圖像拼接盲檢測[J]. 中國圖象圖形學(xué)報(bào),2013,18(4):442-449.

(編輯李秀敏)