張紹榮 張聞宇 莫云 周巧文

1 桂林航天工業(yè)學(xué)院 電子信息與自動化學(xué)院，廣西 桂林 541004；2 桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林 541004

為應(yīng)對復(fù)雜的無人機任務(wù)和應(yīng)用環(huán)境，機載導(dǎo)航系統(tǒng)的準確性和可靠性需更出色。在GPS失效、故障或復(fù)雜電子環(huán)境中GPS精度下降等情況下，基于視覺的景象匹配輔助返航系統(tǒng)就如同無人機的眼睛，在關(guān)鍵時刻指導(dǎo)無人機安全返航。傳統(tǒng)的景象匹配技術(shù)，采用衛(wèi)星圖像作為基準圖進行匹配，但這種基準圖占用內(nèi)存大，更新慢，分辨率有限，給無人機數(shù)據(jù)處理模塊增加了很大的負擔(dān)[1]。針對這種情況，設(shè)計了無基準圖的返航方案，這屬于一種無地圖導(dǎo)航方法，即將飛行過程中的航拍視頻利用起來，在其中選取地物特征明顯，適合景象匹配的圖像幀作為航路點，而后采用景象匹配技術(shù)在實時圖中逐一尋找這些航路點，來完成原路安全返航。

國內(nèi)外基于航路點的景象匹配導(dǎo)航方式主要是在基準圖上人工選取航路點，通過航路點與實時圖進行景象匹配的方式，引導(dǎo)無人機完成航路選擇。李耀軍等[2]從實時圖序列中提取出含有自然地標的關(guān)鍵幀，通過與衛(wèi)星基準圖進行配準為關(guān)鍵幀定位，然后將實時圖與關(guān)鍵幀進行景象匹配，得到其相對關(guān)鍵幀的位置，以此間接實現(xiàn)當(dāng)前無人機在基準圖上的精確定位。公續(xù)平等[3]提出了一種自動提取出航路點的方法，將基準圖像分割成的小塊圖像作為航路點樣本，每個樣本的邊緣、灰度和互相關(guān)信息組成特征向量，并基于支持向量機完成航路點的分類，優(yōu)化和提取。但這些方法仍是以大幅基準圖為基礎(chǔ)做研究，沒有脫離對基準圖像的依賴。

為此，提出了一種基于模糊評價的航路點選取方法，其對航路點的提取方式完全基于視頻序列圖像，而非衛(wèi)星基準圖像。通過對大量視頻幀進行聚類操作、選定適配航路點的特征指標、航路點適配能力評價這三步，完成對航拍視頻中適配航路點的選取，并在最后進行仿真實驗證明了算法的有效性。

1 視頻幀的聚類

航拍視頻的圖像幀數(shù)量很大，若直接提取航路點，不僅運算復(fù)雜，還會出現(xiàn)提取的航路點多為相似幀的情況。為此，首先對視頻幀進行聚類，再于每一類內(nèi)進行后續(xù)操作。

1.1 顏色特征模型

HSV(H：色調(diào)，S：飽和度，V：亮度)顏色特征模型因與人類感知方式同步，所以更直觀，更易應(yīng)用于計算機視覺，因此選用HSV模型提取視頻幀間的色彩信息。相機獲取的圖像為RGB(R:紅色，G：綠色，B：藍色)顏色特征模型，但是RGB顏色特征模型容易受光照變化影響[4]，因此要將RGB模型轉(zhuǎn)換為HSV顏色特征模型[5]，轉(zhuǎn)換公式[6]如下：

(1)

(2)

(3)

(4)

(5)

則

(6)

式中R,G,B∈[0，255]；H∈[0，360]；S,V∈[0，1]。

1.2 HSV模型的彩色直方圖幀間聚類方法

經(jīng)過上述轉(zhuǎn)換，圖像像素所包含的信息都可以用HSV三個分量來表示，為反映一幅圖像與其他圖像的差異，引入了彩色直方圖的概念，統(tǒng)計單一分量中不同程度的像素與總像素數(shù)的比值，宏觀上描述圖像的顏色特性及分布。

上一節(jié)中的轉(zhuǎn)換方法使得H、S、V三者的范圍差距較大，直接生成直方圖矢量的維數(shù)過多，運算量大大增加，因此，要根據(jù)人眼的感知習(xí)慣對HSV顏色特征進行非等間隔量化。將色調(diào)分成8類，飽和度分成3類，亮度分成3類，這樣，HSV顏色空間劃為72個子空間[7]，如下式：

(7)

(8)

(9)

根據(jù)人眼對顏色的敏感度，對H、S、V分別賦予不同的量化級數(shù)[8]，合成一維特征矢量L，如式(10)所示，其中，QS=3，QV=3。

L=QSQVH″+QVS″+V″。

(10)

分別統(tǒng)計出視頻圖像幀所有像素，以及它們分布在這72個子空間的像素數(shù)，獲得視頻幀的HSV顏色直方圖。由于HSV權(quán)重為遞減的設(shè)置，使得顏色分布情況凸現(xiàn)出來，削弱亮度和飽和度的影響，并且統(tǒng)計結(jié)果不受圖像旋轉(zhuǎn)、尺度等變化的影響，因此HSV十分適合做圖像幀初級聚類。

得到所有視頻幀的HSV顏色直方圖后，本文計算它們的相關(guān)函數(shù)作為兩個圖像幀相似與否的依據(jù)，如式(11)所示，圖像直方圖越相關(guān)，表示圖像相似度越高。

(11)

(12)

式中，H1，H2表示兩幅圖像直方圖；D(H1,H2)表示直方圖的相似度；N為直方圖的條柄數(shù)目，為72。

在進行聚類操作時，設(shè)置幀間HSV直方圖相似度閾值為P，以第一幀為比較標準幀，計算后續(xù)圖像幀與其的直方圖相似度，當(dāng)相似度首次低于閾值P時，將比較標準幀至當(dāng)前幀的前一幀歸為一類，然后更新當(dāng)前幀為比較標準幀，重復(fù)以上步驟，進行后續(xù)的直方圖相似度計算，最終完成對整個視頻所有圖像幀的聚類工作。

2 航路點的特征指標

在景象匹配輔助返航技術(shù)中，匹配成功率往往依賴于圖像所攜帶的信息量，圖像中獨特、穩(wěn)定、有標志性的地貌景物越多，就越適合作為航路點實現(xiàn)匹配及導(dǎo)航。所建立的航路點自動選取機制依賴于計算機，如何讓計算機像人類一樣能判定一幅圖像是否適合作為航路點，便需要從圖像處理的角度引入一系列衡量圖像適配性的特征指標。為此選取了三項特征指標來評價圖像的適合導(dǎo)航能力，后續(xù)通過綜合考量這三項特征指標以選取出優(yōu)秀的航路點。

2.1 圖像熵

圖像熵源于信息論中信息熵的理論，是一種反映圖像灰度的非均勻程度和復(fù)雜程度的統(tǒng)計量，能夠一定程度的表示圖像中信息的豐富性。一幅大小為M×N的圖像，它的圖像熵S為：

(13)

(14)

上式中，f(i,j)表示像素點(i,j)的灰度值。

2.2 拉普拉斯響應(yīng)和

拉普拉斯算子表示梯度的散度，是n維Euclid空間中的二階微分算子，如式(15)。根據(jù)圖像處理的原理可知，在圖像的水平、豎直兩個方向上求導(dǎo)，計算拉普拉斯算子，能夠使灰度變化快的區(qū)域凸顯，變化慢的區(qū)域模糊，因此經(jīng)過拉普拉斯變換后保留下來的特征可以視作圖像中比較顯著的特征[9]。

(15)

對于數(shù)字化的圖像，單一像素點(x,y)處的拉普拉斯算子可進行差分近似：

(16)

將上式代入式(15)，得到：

(17)

為描述整幅圖像的景象變化程度，本文在圖像內(nèi)，通過拉普拉斯運算擴展模板掃描各像素，計算其8鄰域微分，并在整幅圖像內(nèi)對其絕對值求和，可以得到拉普拉斯響應(yīng)和Lp，如式(18)所示：

(18)

對于一幅圖像，若各像素周圍的灰度變化小，則Lp值?。蝗魣D像輪廓明顯，即使經(jīng)過噪聲平滑也不會消失，Lp的值就會顯著增大。此外，拉普拉斯算子對細節(jié)有較強的響應(yīng)，當(dāng)灰度變化相差不大時，對點的響應(yīng)強于對線的響應(yīng)，對線的響應(yīng)強于對梯度的響應(yīng)，能夠有效反映地貌景象的顯著特征。

2.3 完整輪廓數(shù)

完整輪廓的數(shù)量可以表征景象信息的穩(wěn)定性。首先，對圖像進行二值化。一般將不感興趣像素點的灰度值設(shè)為0，其余像素點的灰度值maxval設(shè)置為與0對比度較強的灰度值，如255，即黑色和白色。二值化公式如下：

(19)

然后，根據(jù)二值化的圖像提取景象輪廓，提取輪廓時先檢測出灰度突變的像素點，然后再將這些像素進行組合，形成完整的邊界。二值化圖像的灰度在兩個值之間迅速變化，用一階導(dǎo)數(shù)與閾值運算便可檢測邊緣。

最后，進行輪廓的跟蹤和擬合。通過邊緣提取得到輪廓是散亂無序的，這樣的輪廓線占用內(nèi)存大，而且不方便之后計算輪廓數(shù)。為此，采用輪廓跟蹤將雜亂的邊緣點轉(zhuǎn)化為有序點列，進而用多邊形進行擬合，顯現(xiàn)出獨立的輪廓。輪廓的擬合采用了動態(tài)二分法[10]。

3 基于模糊綜合評價的航路點適配能力評定

在上一節(jié)中，選定了圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)作為評價視頻幀是否適合做航路點的三項特征指標，接下來，要依據(jù)每一個候選航路點特征指標的表現(xiàn)，選出綜合素質(zhì)最優(yōu)秀的作為航路點，為此，提出了基于模糊綜合評價的航路點適配能力評定方法。

3.1 模糊綜合評價

模糊綜合評判屬于模糊決策的一種，指當(dāng)被評價事物具有模糊性時，綜合考慮多種因素對其整體性進行評判。每幀圖像是否適合做航路點是一個模糊的概念，沒有明確的界限，因此應(yīng)該給出適合做航路點的程度作為評價結(jié)果。對于通過HSV直方圖進行聚類后的分組圖像，該問題即演變成對每組內(nèi)的圖像進行適配性的排序，最后選擇序列第一的圖像作為航路點。

最簡單的模糊綜合評價方法是對每一項指標單獨打分，再累加求總分的方法，然而單一特征指標獲得的評價存在片面性，在不同的景象圖像內(nèi)可能存在較大差異，簡單的累加特征指標的值，會使僅一個特征指標表現(xiàn)優(yōu)秀的圖像凸現(xiàn)出來，評價值難以被信任。此外，還有一種將每個指標乘以一定的權(quán)值，得到最后結(jié)果的加權(quán)平均法，在這種方法中權(quán)值的獲取多依賴于專家的經(jīng)驗值，極具主觀性和依賴性[11]。為此提出了一種改進的模糊綜合評價模型，采用灰色關(guān)聯(lián)評判方式，并以備選航路點對指標屬性的貢獻度為權(quán)重，來得到最終的綜合評價值。

3.2 改進的模糊綜合評價模型

本節(jié)提出的改進的模糊綜合評價模型首先要構(gòu)造綜合評價矩陣。設(shè)第2節(jié)聚類后的分組圖像每組有m個候選航路點，記作X1,X2,…Xm，每個候選航路點有3個特征指標，記作V1，V2，V3，第i個候選航路點的第j個因素的指標特征量，記作xij，則綜合評價矩陣為：

(20)

每幀圖像的適配性能與圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)這三個指標均呈現(xiàn)正相關(guān)，因此將其視為效益型指標，對綜合評價矩陣進行極差運算，得到規(guī)范化矩陣R=(rij)m×3，其中：

(21)

(22)

其中ρ為分辨系數(shù)，一般取值0<ρ<1，本章中ρ=0.5。

則灰色關(guān)聯(lián)度矩陣可表示為：

(23)

接下來，要根據(jù)每個候選航路點對應(yīng)指標的貢獻度計算評價權(quán)重。所有候選航路點對第j個特征指標的貢獻總量，用Ej來表示：

(24)

(25)

在各個指標下，根據(jù)每個候選航路點的貢獻度，求得特征指標的權(quán)重wj，方法如下：

gj=1-Ej(j=1,2,3)，

(26)

(27)

權(quán)重分配完畢后，將其與各候選航路點在三個指標下的關(guān)聯(lián)度矩陣相乘，便得到模糊綜合評價值一維矩陣：

(28)

對每個候選航路點的模糊綜合評價值進行比較和排序，候選航路點的模糊綜合評價值越大，說明其越適合作為返航過程中的航路點。這樣便完成了對航路點適配能力評定，選擇出了聚類后每組圖像中最適合作為航路點的那幀圖像。

4 仿真實驗與結(jié)果分析

實驗在Intel Corei5-4210U CPU，2.40 GHz，4 G內(nèi)存，Windows7操作系統(tǒng)和VS2012平臺下，搭配OpenCV2.4.8圖像視覺庫實現(xiàn)，完成對航路點的選取。為驗證算法的有效性，采用文獻[12]提出的景象匹配算法對航路點進行匹配定位實驗，計算定位誤差，以驗證航路點適配性能排序方法的有效性。

實驗中所用的航拍視頻，是通過Google Earth軟件的游覽功能，規(guī)劃并錄制的桂林市解放橋橋頭至日月雙塔路段的航行視頻，視角海拔高度穩(wěn)定在700 m左右。航行視頻錄制界面如圖1所示。

圖1 航行視頻錄制界面

按照前文的航路點選取算法步驟，首先采用HSV彩色直方圖幀間聚類方法對航拍視頻的所有幀進行分組，航拍視頻時長32 s，幀率25 fps，相鄰兩幀間變化較小，故取首幀進行后續(xù)聚類操作。這樣，待處理視頻圖像總共有400幀，聚類方法的幀間相似度閾值取為0.8，聚類結(jié)果如表1所示。

表1 HSV彩色直方圖幀間聚類結(jié)果

對每組中的圖像提取圖像熵、拉普拉斯響應(yīng)和、完整輪廓數(shù)這三項特征指標，并采用改進的模糊綜合評價方法評定各圖像的適配能力，對得出的綜合評價值進行排序，以第5組為例，第207幀-第220幀適合作為航路點程度排名結(jié)果如表2所示。

表2 適合作為航路點程度排名結(jié)果

由表2結(jié)果可見，在第五組的14幀圖像中，總幀數(shù)的第207幀獲得的模糊綜合評價值最高，它的拉普拉斯響應(yīng)和，以及完整輪廓數(shù)遠大于其他圖像，雖然圖像熵稍顯遜色，但總體看來，仍是最適合作為航路點的一幀圖像。此外，隨著綜合評價排名的降低，單一特征指標值逐漸減小，但其與評價排名之間并不是單調(diào)關(guān)系。這也說明了采用單一指標作為航路點選擇標準的局限性在于穩(wěn)定性較低，多指標模糊綜合評價方法則能夠獲得更合理的結(jié)果。

為驗證上述排名順序的可靠性，對第五組的14個候選航路點進行了匹配定位實驗，匹配算法采用文獻[12]提出的基于CenSurE-star的景象匹配定位方法，得到最終的經(jīng)緯度坐標。將每個待選航路點的基準經(jīng)緯度坐標與算法定位的得到經(jīng)緯度坐標做比較，計算出其定位誤差，如表3所示。

表3 各候選航路點定位誤差

按照表2中的排名順序，將候選航路點的定位誤差記錄在表3中，可見，排名靠前的候選航路點獲得了更小的定位誤差，定位誤差由小到大的順序基本上與排名順序吻合，只有在排名第八的211幀和排名第九的210幀之間出現(xiàn)排名反轉(zhuǎn)的情況，這可能是由于二者的綜合評價值很接近，地物特征相似，適配能力相差不大。該定位誤差的實驗結(jié)果表明了算法計算的候選航路點的模糊綜合評價值能夠有效地反映各候選航路點的適配能力，為無人機無基準圖的返航過程提供航路點。

6 結(jié)束語

本文提出了一種改進的模糊評價的無人機航路點選取方法，擺脫了對單一指標和專家經(jīng)驗值的依賴，為無人機無基準圖返航方案中航路點的選取提供了一個行之有效的方法。在未來的研究工作中，將提出一個穩(wěn)定性好、準確率高的景象匹配算法，在無人機衛(wèi)星信號不可靠時，實現(xiàn)當(dāng)前實時圖與航路點的成功匹配與定位。這樣無人機便能夠在穩(wěn)定飛行高度下，不斷尋找并航行至下一個航路點，完成原路安全返航。