陳蘇婷， 牛宇寧， 張 闖， 張艷艷

(南京信息工程大學(xué)a.江蘇省氣象探測與信息處理重點實驗室;b.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心，南京210044)

0 引言

近年來，隨著航拍技術(shù)的不斷發(fā)展，高分辨率航拍遙感相機(jī)相繼研制成功，航拍圖像在應(yīng)急救災(zāi)、數(shù)字城市建設(shè)、工程設(shè)計等重大需求領(lǐng)域得到了廣泛的應(yīng)用［1］;同時，隨著大數(shù)據(jù)技術(shù)的興起，為航拍圖像處理提供了新的思路。航拍圖像包含的豐富信息量覆蓋了各個尺度的物體，且分布密集，如何快速高效地實現(xiàn)航拍圖像目標(biāo)檢測至關(guān)重要。

航拍圖像具有大范圍、寬視角、高分辨率、數(shù)據(jù)量巨大等特點，這給目標(biāo)檢測帶來巨大的挑戰(zhàn)。文獻(xiàn)［2］中提出基于單像素特征動態(tài)貝葉斯網(wǎng)絡(luò)的目標(biāo)檢測法，該方法針對不同高度和不同角度所拍得的航拍圖像實驗均取得較好效果，然而當(dāng)有形狀與目標(biāo)相似或低對比度情況下容易造成誤報或漏檢;文獻(xiàn)［3］中使用超像素和稀疏編碼分割圖像并提取特征生成詞典，依據(jù)生成的字典訓(xùn)練航拍圖片實現(xiàn)目標(biāo)檢測，提高了識別能力和檢測效率，但計算復(fù)雜度較高;文獻(xiàn)［4］中提出一種時空顯著性方法，首先通過時間顯著性得到一個粗略的分割，再通過空間顯著性提取目標(biāo)的細(xì)節(jié)信息，最后通過加權(quán)線性融合的方法得到最終檢測結(jié)果，此方法雖簡單，但融合所用的加權(quán)系數(shù)需要預(yù)設(shè)或者訓(xùn)練。文獻(xiàn)［5］中提出一種面向超像素的目標(biāo)檢測算法，通過最小化能量函數(shù)的方式對超像素進(jìn)行標(biāo)記以達(dá)到目標(biāo)檢測的效果，和傳統(tǒng)的方法相比有更多的靈活性，但是需要更大的輸出空間和提前了解超像素的標(biāo)簽信息。

由上述分析可見，目前的研究主要是通過對整幅航拍圖像提取特征來實現(xiàn)對航拍圖像目標(biāo)的分割與檢測，沒有充分考慮到圖像中包含大量的背景以及特征區(qū)分能力不足的缺點［6］。航拍圖像中的物體形態(tài)隨著拍攝視角的不同變化較大，常規(guī)的提取單一特征的算法已難以從航拍圖像中檢測感興趣目標(biāo)。針對這些問題，本文提出了基于SFFS［7］多特征選擇的航拍圖像目標(biāo)檢測方法。在研究航拍圖像目標(biāo)紋理特征和形狀特征的基礎(chǔ)上，針對航拍相機(jī)鏡頭旋轉(zhuǎn)以及飛行姿態(tài)變化帶來仿射變換等問題，引入目標(biāo)檢測中對鏡頭畸變穩(wěn)健的 RIFF［8］特征，提出基于 BING［9］算法粗定位和SFFS算法的多特征描述，提高目標(biāo)檢測的準(zhǔn)確率，在降低維數(shù)的同時，提高檢測速度。

1 目標(biāo)檢測算法流程

本文所提出的算法整體流程圖如圖1所示。首先，用BING算法初步定位目標(biāo)，尋找出包含目標(biāo)可能性較大的區(qū)域，再進(jìn)行精確檢測。然后，提取感興趣區(qū)域中目標(biāo)的多種特征，增加對航拍圖像中目標(biāo)的描述能力;最后，利用SFFS算法對提取的多種特征進(jìn)行選擇，降低特征維數(shù)，并基于支持向量機(jī)實現(xiàn)目標(biāo)檢測。

圖1 算法整體流程圖

2 BING算法目標(biāo)粗定位

由于航拍圖像場景復(fù)雜多變，給特征提取帶來困難;同時，為解決在繁多的航拍特征信息中，精確提取有用特征信息，提高特征提取效率，本文提出基于感興趣區(qū)域的多特征目標(biāo)檢測方法。該方法首先利用BING算法進(jìn)行粗定位，提取出可能包含目標(biāo)的區(qū)域以減少計算量，然后利用多特征選擇進(jìn)行航拍圖像目標(biāo)檢測。粗定位具體步驟如下:

Step 1 使用模板［－1，0，+1］作用于航拍圖像，由此計算出航拍圖像的梯度值，bk，l∈{0，1}8×8，并進(jìn)行歸一化處理，通過尺度變換將梯度幅值歸一化到8×8的尺度，得到歸一化的梯度特征值(NG)。

Step 2 利用二進(jìn)制估計算法，對NG特征進(jìn)行估計，獲得最終的BING特征，表示為:

步驟1梯度特征值為［0，255］，那么8×8窗口上的每個點的NG特征值就可以用1 byte來存儲，即用一個8位的二進(jìn)制串來表示，本文中利用前Ng個位值對特征值進(jìn)行近似，Ng取4。

Step 3 SVM分類器訓(xùn)練過程。

(1)提取正負(fù)樣本的 BING特征，輸入到LinearSVM中進(jìn)行訓(xùn)練，到SVM分類器并將其歸一化，作為第1級分類器。

(2)將得到的SVM分類器作用于訓(xùn)練樣本所在的位置，得到待選目標(biāo)框，通過非極大值抑制，將剩下的一些較小的待選框作為第2級分類器的訓(xùn)練樣本正例，較大的待選框作為訓(xùn)練樣本負(fù)例。

(3)將第2步生成的正例和負(fù)例輸入LinearSVM中進(jìn)行訓(xùn)練得到的分類器作為第2級分類器。

Step 4 利用窮舉得到的待選區(qū)域，將上述訓(xùn)練得到的分類器作用于待選區(qū)域，每1個待選區(qū)域通過線性模型w∈R64打分機(jī)制得到最終的感興趣區(qū)域，得分為:

坐標(biāo)為l=(i，x，y)，其中:i為尺度，即一個保存了不同窗口大小的數(shù)組中挑出的第i個尺度;(x，y)表示待選區(qū)域的中心位置。

3 多特征提取和SFFS特征選擇

由于航拍圖像的復(fù)雜背景與目標(biāo)的多樣性，僅使用單一圖像特征對目標(biāo)進(jìn)行檢測精度不高，容易造成誤檢。局部二值模式通過一階統(tǒng)計特征來描述目標(biāo)的局部紋理信息，缺乏對航拍圖像結(jié)構(gòu)信息的描述，而傅里葉形狀特征能夠很好的描述目標(biāo)的輪廓，與紋理特征具有一定的互補(bǔ)性。綜合考慮紋理特征和形狀特征的特點和優(yōu)勢，并引入能夠克服航拍圖像鏡頭畸變的RIFF特征，提出一種基于SFFS多特征選擇的航拍圖像目標(biāo)檢測方法。

3.1 旋轉(zhuǎn)不變LBP特征提取

局部二值模式(Local Binary Pattern，LBP)是一種通過比較像素鄰域灰度值大小對圖像進(jìn)行描述的紋理特征，在紋理分類以及人臉檢測中得到廣泛應(yīng)用［10］。通過比較，得到掩膜中心8鄰域的無符號值，即為該掩膜中心像素的LBP值并用這個值來反映該區(qū)域的紋理信息，如圖2所示。

圖2 LBP特征示意圖

由于傳統(tǒng)LBP模式的窗口為3×3大小，對較大尺度的紋理描述能力較差，Ojala等將其擴(kuò)展到任意鄰域LBPP，R，即以中心像素點為圓心，在半徑為R的鄰域內(nèi)均勻取P個元素進(jìn)行比較［11］。常見的(P，R)取值有(8，1)、(16，2)、(24，3)。假設(shè)gc的坐標(biāo)為(a，b)，則gp的坐標(biāo)為(a+Rcos(2πp/P)，b+Rsin(2πp/P))。圖像的坐標(biāo)必須是整數(shù)，若按照上式計算得到的gp坐標(biāo)不是整數(shù)，則利用雙線性插值算法計算gp的像素灰度值。任意圓形鄰域集都可以得到一個LBP編碼，定義如下:

式中，2i為編碼權(quán)重值，

S(gi－gc)為每個采樣點gi與中心像素gc作灰度二值化運算。

LBP算子在實際應(yīng)用中常用兩種模式:旋轉(zhuǎn)不變模式和等價模式。針對航拍圖像的目標(biāo)檢測，本文采用的是LBP算子的旋轉(zhuǎn)不變模式。旋轉(zhuǎn)不變的LBP特征(RI-LBP)［12］可由擴(kuò)展的LBP特征通過數(shù)據(jù)的循環(huán)移為操作實現(xiàn)，取其最小值作為該鄰域的LBP值，計算公式為:

式中:ROR(x，k)表示對P位二進(jìn)制數(shù)x進(jìn)行向右循環(huán)以為k次(|k|＜P)。本文使用P=8，R=1，0時的旋轉(zhuǎn)不變LBP特征，示例如圖3所示，根據(jù)RI-LBP算法過程，可得其中最小的LBP值是15，即掩膜中心像素的RI-LBP值為15。

圖3 RI-LBP特征示意圖(P=8，R=1)

得到各個像素的RI-LBP值后，通過直方圖來描述旋轉(zhuǎn)不變的LBP特征。

3.2 輪廓法形狀特征提取

形狀特征可以用來描述圖像中目標(biāo)輪廓特征，彌補(bǔ)顏色特征和紋理特征對圖像含義表達(dá)的缺陷。形狀描述可分為三類:輪廓描述算法、區(qū)域描述算法和骨架描述算法［13］?？紤]到航拍圖像的特點以及目標(biāo)檢測的實時性要求，所使用的形狀描述子應(yīng)計算簡單，且具有平移、旋轉(zhuǎn)、尺度不變性及起始點的無關(guān)性。因此本文引入基于變換域的傅里葉描述法用于對形狀的輪廓描述FD［13］。設(shè)一維形狀標(biāo)識函數(shù)為u(t)，則其離散

由式(6)，通過{an}來描述形狀特征。若對目標(biāo)形狀選擇不同的起點可以得到不同的形狀標(biāo)識函數(shù)。在實際應(yīng)用中，若對圖像輪廓進(jìn)行起點改變、尺度縮放、平移或者旋轉(zhuǎn)，可得到新的標(biāo)識函數(shù)傅里葉變換:

式中:a0n為變換前的形狀標(biāo)識;exp(inτ)表示起點改變變化因子;exp(i)表示旋轉(zhuǎn)變化因子;s表示尺度變化因子。除了直流分量變化，其他因子不受影響，因此，形狀描述子{an}的具有不變性。

3.3 RIFF 特征提取

為了克服鏡頭畸變對檢測的影響，進(jìn)一步增加檢測的準(zhǔn)確度，引入RIFF特征，徑向梯度變換(Radial Gradient Transform，RGT)［14］是 RIFF 特征具有旋轉(zhuǎn)不變性的關(guān)鍵，通過對梯度旋轉(zhuǎn)適當(dāng)?shù)慕嵌?，實現(xiàn)旋轉(zhuǎn)不變性。RIFF特征提取的過程為:首先對輸入圖像的梯度進(jìn)行 RGT變換，然后通過盒式差分濾波核(Difference of Boxes filter kernel)進(jìn)行檢測，最后通過構(gòu)建金字塔尺度空間尋找出局部空間極值，并確定最終的特征描述子。具體實現(xiàn)如下:

Step 1 計算感興趣區(qū)域的梯度，并對其進(jìn)行RGT變換。如圖4所示，C為圓心，P為圓周上任意一點，r=CP/CP為點P的徑向單位向量，t=Rπ/2r為點P的切向單位向量，g為點P的梯度向量，RΘ為旋傅里葉變換表達(dá)式為:轉(zhuǎn)Θ角的旋轉(zhuǎn)矩陣。由文獻(xiàn)［16］可知，梯度向量g在r－t坐標(biāo)系上的坐標(biāo)表示為(gTr，gTt)。假設(shè)P旋轉(zhuǎn)角度Θ到達(dá)PΘ后，可得gΘ在rΘ－tΘ坐標(biāo)系上的坐標(biāo)表示為(

可得:

圖4 RGT示意圖

由上述可知，經(jīng)過RGT變換后的梯度具有旋轉(zhuǎn)不變性。

Step 2 利用盒式差分濾波核檢測塊區(qū)域。在檢測過程中，每個點的濾波器響應(yīng)值為不同大小的兩個盒式濾波器相減得到，在尺度參數(shù)s下，較小盒式濾波器的大小為2s+1，較大的則為4s+1，那么任意點的濾波器響應(yīng)為:

式中，B(x，y，s)為區(qū)域規(guī)范化的濾波器函數(shù)，具體為:

∑(x，y，s) 定義為以(x，y)為中心，寬度為 2s+1 的區(qū)域中所有像素和。

Step 3 為增加特征的尺度不變性并降低計算復(fù)雜度，利用金字塔尺度空間獲取不同尺度下的局部空間值，而后通過比較獲取局部空間極值。

Step 4 在給定尺度下獲取感興趣特征點，利用RGT產(chǎn)生魯棒性強(qiáng)，具有旋轉(zhuǎn)不變性的特征描述算子。

以感興趣特征點(x，y，s)為圓心，提取半徑為P的統(tǒng)計塊(bin)，處于統(tǒng)計塊內(nèi)(bin)的每個像素點可以以下坐標(biāo)表示:

式中:sp為局部塊的直徑大小;s*u，s*v分別對應(yīng)為x、y在尺度s下的離散值。計算bin內(nèi)的笛卡爾梯度，若梯度最大值與次大值相差超過10%，選擇梯度最大值的方向作為該bin的主方向;否則選取最大值與次大值中間方向作為鄰域主方向，同時將梯度值歸一化。使用文獻(xiàn)［8］中的方法生成描述子:D=［H1…Hnb］，其中nb表示為統(tǒng)計塊bin內(nèi)的n個特征。

3.4 SFFS多特征選擇

特征提取過程中分別提取出感興趣區(qū)域的RILBP特征、FD特征和RIFF特征，若只是對3種特征進(jìn)行簡單的串聯(lián)融合，會導(dǎo)致特征描述子維度過高，計算量大大增加，不能滿足實時檢測的需求。為此，本文提出使用SFFS算法對提取的多種特征進(jìn)行特征選擇以降低特征維數(shù)并減少計算復(fù)雜度，生成最終的特征描述子。

SFFS算法是一種浮動搜索策略，通過貝葉斯分類對不同的特征子集進(jìn)行分類評價。具體實現(xiàn)如下:

Step 1 SFFS從空集開始，在未選擇的特征中選擇一個子集x，并計算對應(yīng)的評價函數(shù)，使評價函數(shù)達(dá)到最優(yōu)。

Step 2 在已選擇的特征中選擇子集z，并使剔除子集z后評價函數(shù)達(dá)到最優(yōu)。

Step 3 在剔除子集z評價函數(shù)達(dá)到最優(yōu)的情況下，進(jìn)一步可得貝葉斯正確分類的精度為:式中:Z表示選擇后的特征子集;Tr表示錯分的集合;Dr表示訓(xùn)練集，這里為第4節(jié)所提取的LBP特征、FD形狀特征和RIFF特征的集合;ε(Z，Tr;Dr)表示貝葉斯分類錯分率。

Step 4 當(dāng)錯分概率的期望值達(dá)到最低值時，此時的集合為最優(yōu)集合解。

Step 5 在測試階段，確定特征子集依據(jù)Jnrep(Z)。對于兩個特征子集Z1，Z2，若Jnrep1(Z1) ＞Jnrep2(Z2)，選用特征子集Z1;反之，則選取特征子集Z2。

由上述分析可見，選擇后生成的最終特征描述子，在去除冗余無關(guān)特征之后，使得特征具有更好的表征能力與旋轉(zhuǎn)不變特性，并能夠較好地克服航拍過程中因鏡頭旋轉(zhuǎn)導(dǎo)致圖片發(fā)生扭曲形變的問題。

4 SVM目標(biāo)檢測

支持向量機(jī)(Support Vector Machine，SVM)［15］是一種適用于二分類的監(jiān)督學(xué)習(xí)算法，廣泛使用于小樣本、非線性及高維模式識別問題中，因此本文選擇使用SVM對圖像特征進(jìn)行訓(xùn)練分類，并在分類器后加上一個非極大值抑制的過程，用來過濾錯誤的分類。

設(shè)圖像特征輸入為{xi|i∈Z1}，輸出為{yi|i∈Z1}，其中:Z1表示特征子集;i為第i個特征;最大間隔為 max，以及核函數(shù)K(xi，x)，得到分類函數(shù):

式中:b為偏移量;為當(dāng)前特征距離分類平面的間隔;w為需要求取的檢測結(jié)果。將問題轉(zhuǎn)換為求取minw2/2的最小值;最后通過拉格朗日函數(shù)將約束條件融合到目標(biāo)函數(shù)中去，由此得到問題的最優(yōu)解即為最終的檢測結(jié)果。

5 實驗結(jié)果及分析

5.1 實驗樣本數(shù)據(jù)

目前，適用于目標(biāo)檢測的航拍場景數(shù)據(jù)庫較為匱乏，為了驗證本文目標(biāo)檢測算法的有效性，采集了GoogleEarth上的4類航拍圖像作為樣本，分別為汽車、飛機(jī)、船舶、道路，每類選取200個標(biāo)準(zhǔn)樣本，共計800個樣本，并在這800個樣本中隨機(jī)選擇600個作為訓(xùn)練樣本，其余200個作為測試樣本對檢測結(jié)果進(jìn)行評價。本文實驗基于VS2012+OpenCV2.4.9，運行環(huán)境是Win7，工作站配置為Intel Xeon E5-2650 CPU 2.60 Hz 2.60 Hz，64 GB 內(nèi)存。

5.2 實驗結(jié)果

圖5展示了本文算法目標(biāo)檢測的結(jié)果。從結(jié)果可以看出，目標(biāo)幾乎全部都被檢測出來，并用黃顏色方框進(jìn)行了標(biāo)示。

如圖5(a)所示的汽車檢測的實驗中，由于背景相對復(fù)雜，且存在大量與待檢測目標(biāo)像似的物體，如建筑、路牌等，影響了最后的檢測結(jié)果，誤檢率較高。如圖(b)和(c)所示的飛機(jī)和船舶檢測實驗中，由于待檢測目標(biāo)與背景差異較大，形狀特征較為明顯，誤檢率較低，最終的檢測結(jié)果較好。圖(d)所示的道路檢測實驗中，由于道路與背景混在一起，存在一定的誤檢。

圖5 航拍圖像目標(biāo)檢測結(jié)果圖

5.3 實驗分析

為進(jìn)一步說明本文算法的有效性，采用目標(biāo)檢測的準(zhǔn)確率與召回率對算法進(jìn)行性能評估，其中，查準(zhǔn)率是指被正確檢測出來的目標(biāo)占所有檢測出來的目標(biāo)的百分比，查全率是指正確檢測出來的目標(biāo)占總的樣本的百分比。

圖6分別給出了利用BING+RI-LBP，BING+FD，BING+RIFF，BING+RI-LBP+FD+RIFF+SFFS算法對汽車，飛機(jī)，船舶，道路進(jìn)行檢測的P-R(查準(zhǔn)率-查全率)曲線圖。從圖6可以看出，相比使用單一特征進(jìn)行目標(biāo)檢測的方法，融合旋轉(zhuǎn)LBP特征、FD特征和RIFF特征并使用SFFS算法進(jìn)行特征選擇后的目標(biāo)檢測方法性能更優(yōu)。使用BING+RI-LBP進(jìn)行檢測的性能明顯低于其他算法，因為RI-LBP算法只是提取圖像淺層紋理特征，所以單一的紋理特征不適用于航拍圖像的目標(biāo)檢測。

為驗證本文算法的先進(jìn)性，將本文算法與S-saliency［4］算法、LS［5］算法和 DAVE 算法［16］進(jìn)行比較，并用平均準(zhǔn)確率(mean Average Precision，mAP)對這4種算法進(jìn)行定量比較，如表1所示。mAP更能客觀地說明結(jié)果的全局性，而它的提出也是為了解決召回率與準(zhǔn)確率的單值局限性。4種算法中，LS算法效果較差;S-saliency算法的尺度旋轉(zhuǎn)不變特征性使得mAP比LS算法高出0.6% ～2.5%;而DAVE算法僅比S-saliency算法高1.3% ～3.0%，這是由于DAVE算法采用深度學(xué)習(xí)的方法進(jìn)行目標(biāo)檢測，能夠自動學(xué)習(xí)圖像的深層特征，而本文實驗航拍圖像訓(xùn)練集不足，限制了DAVE深度學(xué)習(xí)算法的性能，只能達(dá)到較高的水平;本文算法在上述幾種算法中，平均準(zhǔn)確率達(dá)到最高，這是因為本文算法在大大減少特征維數(shù)的同時，挖掘了具有相互補(bǔ)充和增強(qiáng)描述能力的潛在特征，提高了目標(biāo)檢測的平均準(zhǔn)確度。

圖6 目標(biāo)的P-R曲線圖

表1 目標(biāo)的平均檢測準(zhǔn)確率

圖7為本文算法與S-saliency算法、LS算法和DAVE算法的運行時間比較，在文獻(xiàn)［4］中，通過顯著性的方法進(jìn)行目標(biāo)檢測，摒棄傳統(tǒng)的分別計算空間和時間的顯著性，而是設(shè)計出一種分層的顯著性檢測方法，減少了時間代價，達(dá)到了實時的檢測效果;在文獻(xiàn)［5］中的實驗中，以超像素為計算目標(biāo)，通過最小化能量函數(shù)的方式對超像素進(jìn)行標(biāo)記以達(dá)到目標(biāo)檢測的效果，靈活性較好，但是檢測效率較低。DAVE使用多個網(wǎng)絡(luò)實現(xiàn)目標(biāo)檢測，算法不能滿足實時性要求。本文算法通過在感興趣區(qū)域提取特征，縮小了特征提取范圍，帶來了一定的速度提升，雖然在時間運行效率上落后于LS算法，但在滿足實時性的需求下，目標(biāo)檢測的準(zhǔn)確率更高。

圖7 算法運行時間比較

6 結(jié)語

本文針對高清航拍圖像視角變化大、目標(biāo)豐富、背景復(fù)雜的特點，提出基于多特征選擇的航拍目標(biāo)檢測方法，在滿足實時性的需求下，獲得了更高的準(zhǔn)確率。為提高航拍圖像的目標(biāo)檢測效率，本文利用BING算法提取航拍圖像中目標(biāo)的感興趣區(qū)域，并通過提取感興趣區(qū)域的多種特征，利用SFFS算法進(jìn)行特征選擇生成表述能力強(qiáng)的特征描述符，并將其融入到SVM訓(xùn)練檢測模型。經(jīng)過實驗表明，本文提出的多特征選擇檢測算法獲得了較好的檢測結(jié)果。由于數(shù)據(jù)集的獲取、準(zhǔn)備工作量較大，為了驗證本文算法的有效性，本文只采用了幾類目標(biāo)，為了使得算法具有泛化性，下一步可以擴(kuò)大數(shù)據(jù)集。