許志成

(黎明職業(yè)大學，福建 泉州 362000)

引言

720 度全景圖是通過普通數(shù)碼相機，采集60－150 幅甚至更多來自同一個場景有重疊的高清實景照片，運用SIFT 特征點的方法進行提取和重疊圖像的匹配，拼合成無縫的多維立體動感圖像。它最大的特點是給人如身臨其境般得感受。720 度全景圖沒有任何的視覺死角，可以清晰看到水平和垂直360度方向上任意一個角度的場景。通過互動功能，還能查看地圖知道我們所在地點以及跳轉(zhuǎn)到目的地，也能對場景界面進行控制，添加解說、廣告等等。運用SIFT 特征點的匹配算法是基于尺度空間的一種特殊的匹配算法。

SIFT 算法有很多優(yōu)點:

1)對圖像的不同角度、大小、亮度保持不變，穩(wěn)定噪聲、視角以及仿射的變換;

2)特征性極強，匹配過程“快”、“準”、“穩(wěn)”;

3)適用性強，簡單的圖像也能找到許多特征向量;

4)匹配速度極快，幾乎能夠?qū)崟r呈現(xiàn);

5)可擴展性，聯(lián)合其他特征向量可以更好地應用于科研。

1.SIFT 特征匹配算法流程

用兩個步驟來完成該算法流程:首先要把SIFT的特征點提取出來，在多個準備匹配的圖像里得到和圖像大小、角度、亮度變換沒有關(guān)聯(lián)的特征向量;然后就是對SIFT 特征點向量進行匹配。建立所需圖像的尺度空間，確定極值點并且獲取相關(guān)的方向參數(shù)，然后得到要匹配的關(guān)鍵點描述符。匹配圖像所需關(guān)鍵點的描述符獲取完畢之后，一般采用歐式距離的匹配法進行特征點向量的匹配。我們要在所有工作之前對圖像進行預處理，灰度化并改變圖像大小為兩倍;為了得到更好的效果還要高斯及平滑圖像。

2.SIFT 特征提取

2.1 構(gòu)建尺度空間

SIFT 特征點的計算首先要做的是構(gòu)建相應的尺度空間并將圖像數(shù)據(jù)特有的多尺度性演示出來。關(guān)于尺度空間的變換是唯一線性核，在這種情況下我們采用高斯卷積核來實現(xiàn)它:

L(x，y，σ)=G(x，y，σ)·I(x，y)

其中G(x，y，σ)是尺度可變高斯函數(shù)

利用細胞質(zhì)不育兩型系轉(zhuǎn)育保持系法選育，該方法的要點：1) 在新發(fā)現(xiàn)育性徹底的不育材料本行利用可育株授粉將新不育源保持下來，并育成1∶1的兩型系；2) 通過1∶1兩型系的可育株為橋梁，將新發(fā)現(xiàn)不育源的細胞核內(nèi)不育基因轉(zhuǎn)入可育細胞質(zhì)材料中，合成細胞質(zhì)可育而細胞核不育的新保持系。

(x，y)表示的即是空間又是尺度的坐標。σ數(shù)值的變換影響著尺度空間的特性。σ值越大，越能體現(xiàn)圖像的大概特征，σ值越小，圖像的細節(jié)部分體現(xiàn)得越清晰。也就是說，圖像的分辨率隨著σ的增大而降低。尺度空間概念的詳細解釋:2kσ里面一定要有2，并且尺度空間理論上必須連續(xù)。為了避免高斯平滑過程中信息的丟失，我們通常按比例放大圖像四倍，這樣不僅圖像信息不會丟失，特征點也增加了。這里將兩個極端的初始尺度值分別定為1.6 和0.5。采用高斯差分定義的尺度空間(DoG scale－space)在尺度空間中正確地查找出那些穩(wěn)定性強的關(guān)鍵點。特征點所在尺度及位置放在DoG 金字塔中做極值測試并獲得初步的確認。然后，再根據(jù)圖像卷積和高斯差分核尺度的不同進行生成。

2.2 精確確定位特征點位置

上面的任務完成之后，接下來將在圖像的尺度空間和二維圖像空間中找出相應的極值點。這里采用的方法是獲取DoG 中某個像素點，然后將它與同一尺度周邊毗鄰所有像素以及毗鄰的上下兩個尺度的18 個像素點進行對比。在所有的這些對比中，如果該像素是兩個端的極值即最大或者最小，那么就能將它確定為所在尺度空間的其中一個極值點。極值點檢測的原理如圖2.1 表示。

圖2.1 極值檢測原理圖

如圖所示的像素點，在所有進行對比的27 像素點中，它的DoG 值都最大異或是最小，那么這個像素點就是極值點，保存好相應尺度和所在的位置?，F(xiàn)在已經(jīng)得到尺度空間相應的極值點，但并不是所有的極值點都是穩(wěn)定的。例如，邊緣上面的像素點及對比度比較低的像素點都是不穩(wěn)定的。這些不穩(wěn)定的像素點在進行特征點匹配的時候，抗噪聲能力和穩(wěn)定性都比較差。而且經(jīng)過金字塔的處理，也模糊了極值點在原來圖像中所在的位置?？梢赃\用一個三維二次的數(shù)學函數(shù)得到某個尺度空間上極值點在原來圖像中的位置，同時把對比度比較低的不穩(wěn)定的極值點去掉。通常邊緣上的極值點抗噪聲能力較弱，想要獲得穩(wěn)定的極值點，還得消除邊緣上的影響。那么如何判定是否為邊緣上的極值點，邊緣上的極值點有兩個主方向，這兩個方向上的法曲率分別是極值點法曲率的兩個極值，垂直邊緣方向是極大值，沿著邊緣方向則為極小值。他們之間的值之比決定該極值點是否在邊緣，因為非邊緣的極值點該比值都比較小。

2.3 特征點主方向的確定

要滿足特征點主方向具有的旋轉(zhuǎn)不變性的特性，我們將計算出與特征點相鄰的那些點的梯度方向的呈現(xiàn)情況特征，并將其運用于直方圖中以確定每一個特征點的方向參數(shù)。在由與關(guān)鍵點相鄰像素點分布特征構(gòu)成的直方圖中進行梯度方向的統(tǒng)計，結(jié)果顯示圖表當中的極大值就是當前特征點的主方向。運用到實際案例中，采用梯度直方圖，分為36個柱子，每個柱占用10 個維度，共360 度。采樣與特征點相鄰區(qū)域的窗口，在梯度方向直方圖中統(tǒng)計這些像素的梯度方向，在統(tǒng)計結(jié)果中標明，梯度方向直方圖中的最大值就代表著特征點的主方向。如圖2.2 所示為梯度方向確定主方向。

圖2.2 確定主方向

有些情況下除了最大值之外，特征點還有另外一個值相當于80%能量的最大值，那么該方向可以作為特征點的輔方向。特征點輔方向的指定對匹配的穩(wěn)定性和魯棒性有著極其重要的作用。據(jù)統(tǒng)計，大概15%的特征點或許同時存在不同的方向，可以指定唯一的主方向和多個的輔方向。通過前面的步驟，獲取到特征點的位置、所在尺度空間以及方向。

2.4 生成SIFT 特征向量

一個特征點的SIFT 特征向量包含的數(shù)據(jù)有:位置，尺度，方向和SIFT 描述子。

要使旋轉(zhuǎn)維持不變，就要改變坐標軸的旋轉(zhuǎn)為特征點的主方向。主方向校正如圖2.3 所示。

圖2.3 旋轉(zhuǎn)為主方向

2.4.2 得到特征點的種子點

如圖2.4 左圖所示，正中間的原點為特征點，不計算特征點所在的行和列，以原點周圍的8 ×8 矩陣為窗口，在這個矩陣中每一個格子就是特征點所在尺度空間相鄰的一個像素點，而格子中的方向和長度則分別表示該像素點的梯度方向和模值，離原點越近則梯度方向的影響越大，在圖中高斯加權(quán)的范圍已經(jīng)用圓圈標出。再把特征點上下左右四個象限分為4 個4 ×4 的矩陣窗口，通過累計窗口內(nèi)存在的所有梯度方向的值，每個窗口可以得到對應的種子點，那么如圖2.4 右圖所描述，四個種子點拼合為一個特征點。采用8 ×8 的圖像數(shù)據(jù)塊，分解為2 ×2 ×8 的數(shù)據(jù)構(gòu)成方式，生成了32 維的特征點描述子來表示SIFT 的特征向量。這樣做的好處是在存在定位誤差的特征匹配中，容錯性大幅提升;并且大大地削弱了所受噪聲的影響。

在實際的運用過程中，我們可以擴大每個特征點的矩陣窗口使圖像匹配的穩(wěn)健性得到增強。例如，要構(gòu)成128 維的SIFT 特征點描述子，我們要采集16 ×16 矩陣的圖像數(shù)據(jù)窗口。一個種子點有8 個方向信息，由4 ×4 圖像數(shù)據(jù)構(gòu)成。那么每個特征點就可以通過16 個種子點進行描述。因此，圖像大小的變化，旋轉(zhuǎn)角度的變化等各個變形因素已不對SIFT特征向量產(chǎn)生實際影響。

2.4.3 SIFT 特征向量長度的歸一化處理

最后，通過歸一化特征向量也就是把向量單位化的辦法清除光照變化對特征向量的影響，這樣就生成了完全的SIFT 特征向量。

圖2.4 關(guān)鍵點鄰域方向及方向特征向量

3.SIFT 特征匹配

通常使用例如馬氏距離、歐氏距離等類似的距離函數(shù)來對特征的相似度進行判斷。本文重點介紹歐氏距離來對兩幅圖像的相似性進行度量和判斷。歐氏距離也叫做歐幾里得度量，它在一個構(gòu)建的m維空間中，采用對距離的定義計算點與點客觀存在的距離。匹配的流程圖如圖3.1 所示。

圖3.1 匹配算法流程圖

獲取進行匹配的兩幅圖像，并計算出所需的關(guān)鍵點，設(shè)定一個閾值Th。取圖像A 中的關(guān)鍵點K，找到與圖像A 距離最近的圖像B 中的前2 個關(guān)鍵點M和N。如果閾值Th 大于關(guān)鍵點K 與關(guān)鍵點M 和N距離的比，那么這對匹配點成立。閾值Th 的值越大，能夠得到的匹配點越多，但是匹配的穩(wěn)定性就越差。如圖3.2 所示為與不同的閾值相對應的正確與不正確匹配之間的比例關(guān)系圖。在實際的運用過程中，一般將閾值Th 設(shè)置為0.8，小于該閾值時匹配成立，通過這種方式可以消除90%的錯誤匹配，但只是5%的正確匹配被丟棄了。

通過這種方式得到的特征匹配，肯定會存在一些錯誤的匹配。要消除這些錯誤，提高特征點的魯棒性應附加其他的約束以及限制集合。通常采用極線約束關(guān)系進行常規(guī)的幾何約束，利用RANSAC 隨機抽樣特有的一致性算法去除外點。

圖3.2 不同閾值對應的匹配成功率

4.總結(jié)及改進

本文介紹了SIFT 特征的提取步驟和圖像的匹配步驟。SIFT 算法對特征進行的提取是局部的，構(gòu)建尺度空間來獲得極值點，定位極值點的準確位置、旋轉(zhuǎn)不變量以及尺度。SIFT 特征匹配算法可對拍攝過程中出現(xiàn)的不同亮度、尺寸以及角度保持不變，對穩(wěn)定視角和仿射也有一定的作用。因此，有效地使用SIFT 特征圖像匹配算法將多張來自同一個場景有重疊的高清實景照片拼接為一張完整的720 度全景圖，不僅效果好而且效率非常高。當然，SIFT 特征圖像匹配算法也有許多的不足之處，例如仿射和關(guān)照的魯棒性就不夠完全，而且也不能適應彈性變形的需要，所有這些問題都是未來我們努力的方向。

［1］ 文衛(wèi)民，江朝偉，童獻文.基于三維全景技術(shù)的虛擬校園漫游系統(tǒng)設(shè)計及藝術(shù)表現(xiàn)探究［J］.藝術(shù)與設(shè)計(理論)，2011(4):161－163.

［2］ 續(xù)園園，李曉明.一種通用的魚眼圖像全景拼接方法［J］.太原師范學院學報(自然科學版)，2011，10(1):19－23.

［3］ 鐘力，胡曉峰.重疊圖像拼接算法.中國圖象圖形學報，1998.5

［4］ 高超，張鑫，王云麗等.一種基于SIFT 特征的航拍圖像序列自動拼接方法［J］.計算機應用，2007，2l(11):2789－2792.

［5］ 劉煥敏，王華，段慧芬.一種改進的sIFT 雙向匹配算法［J］.兵工自動化，2009，28(6):89－91.