楊亞東，王曉峰，潘靜靜,2

(1.上海海事大學 信息工程學院，上海 201306；2.福建農(nóng)林大學 交通與土木工程學院，福建 福州 350002)

0 引 言

近年來，隨著船舶識別研究的不斷深入，船舶識別技術朝著多樣化、精準化方向發(fā)展。梁錦雄等[1]利用BP神經(jīng)網(wǎng)絡對包括航空母艦、客船、集裝箱在內(nèi)的6種船舶進行分類識別；殷雄等[2]提出一種基于結(jié)構(gòu)特征的兩階段船舶識別方法，該方法能根據(jù)船舶圖像有效地識別出油船和貨船；趙亮等[3]提出一種改進深度卷積神經(jīng)網(wǎng)絡算法，并將卷積神經(jīng)網(wǎng)絡和SVM分類器相結(jié)合有效地對船舶圖像進行分類識別；Nina ?degaard等[4]針對真實船舶SAR圖像不足情況，結(jié)合生成的模擬船舶SAR圖像構(gòu)成訓練集，進而通過訓練卷積神經(jīng)網(wǎng)絡對船舶圖像進行分類；Quentin Oliveau等[5]通過極坐標變換域產(chǎn)生船頭特征，進而基于船體對稱的方向梯度顯著性確定船舶邊緣，并通過SVM進行船舶檢測；XGLeng等[6]通過學習輸入圖像特征和屬性空間之間的非線性映射來構(gòu)建具有鑒別性質(zhì)的屬性，對SAR船舶圖像進行二元分類并對光學船舶圖像進行多元識別。

卷積神經(jīng)網(wǎng)絡通過逐步壓縮數(shù)據(jù)的長度和寬度、擴展數(shù)據(jù)的厚度(通道數(shù))，從而很好地適用于二維圖像數(shù)據(jù)處理。但是在復雜環(huán)境中，卷積神經(jīng)網(wǎng)絡很難既快速又準確地對目標進行識別。圖像目標檢測算法能很好地定位圖像中的前景部分，并從復雜背景中分離出前景圖像。因此本文將探索結(jié)合卷積神經(jīng)網(wǎng)絡和圖像目標檢測算法對船舶圖像進行分類識別。

1 卷積神經(jīng)網(wǎng)絡

1.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡(convolutional neural networks，CNN)是一種深度神經(jīng)網(wǎng)絡結(jié)構(gòu)，其“局部權值共享”和“下采樣”的設計在一定程度上保證了平移、縮放等形式的扭曲不變性。LeCun等[7]提出的LeNet-5在手寫字符識別中取得很好的效果。CNN一般由卷積層、下采樣層和全連接層構(gòu)成。

卷積層接收輸入層輸入圖像或其上一層輸入的特征圖，通過N個卷積核進行卷積操作，然后使用激活函數(shù)進行激活操作，并將得到N個新特征圖輸入到鄰接的下采樣層

(1)

下采樣層對輸入特征圖進行下采樣操作，其可以有效地抽取出代表性的局部特征并降低計算復雜度

(2)

全連接層包括輸入層、隱含層和輸出層，將上層的特征圖拼接成一維輸入，通過加權求和并激活得到最終的輸出結(jié)果

xl=f(lxl-1+bl)

(3)

CNN通過反向傳播誤差進行網(wǎng)絡訓練，在減小誤差的訓練中不斷進行卷積核的自適應調(diào)整。隨著卷積神經(jīng)網(wǎng)絡的發(fā)展，誕生了AlexNet[8]，VGG[9]，GoogLeNet[10]等不同結(jié)構(gòu)的網(wǎng)絡模型，在加深網(wǎng)絡層次的同時提出了Dro-pout、ReLU激活函數(shù)、互熵損失等技術，不斷地優(yōu)化卷積神經(jīng)網(wǎng)絡的性能。OberwegerM等[11]提出了多尺度卷積操作，例如分別對特征圖進行基于3×3和5×5的卷積核的卷積操作，在進行特征圖的融合；Chen-Yu Lee等[12]提出來多尺度池化操作，組合使用不同尺度或不同方法的池化。它們都在一定程度上提高了卷積神經(jīng)網(wǎng)絡的性能。

1.2 改進的卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡常用的池化操作包括平均池化、最大池化和多尺度混合池化，它們都是在圖像局部區(qū)域進行特征值的抽取，并沒有考慮到圖像前景對整體特征提取的影響。

1.2.1 中心-擴散池化卷積神經(jīng)網(wǎng)絡

“中心-擴散池化(center-diffusion pooling，CDP)”卷積神經(jīng)網(wǎng)絡，綜合考慮了局部特征和整體前景特征對圖像處理的影響。CDP思想是基于圖像的前景通常位于圖像靠中間位置的先驗條件(實驗時，結(jié)合顯著性檢測算法裁剪出以前景為中心的圖像)，讓圖像中間位置的特征均值按一定比例參與到圖像各個部分的池化過程中，越靠近中間位置其參與的比例越高，達到強調(diào)前景的效果，進而得到更穩(wěn)定的特征表征。假設由特征矩陣為A的m×m的特征圖經(jīng)過池化得到特征矩陣為B的n×n的特征圖，算法步驟如下：

(1)采用平均池方法進行特征抽取，由特征矩陣Am×m得到特征矩陣Bn×n；

(2)以矩陣A的中心為坐標原點，畫如圖1所示坐標軸。以第二象限為例，計算式(4)的值

(4)

式中：a=m-n，b=m+n，avgc2表示特征矩陣中心位置第二象限的均值，其余3個象限均值計算方法類似，mean(·)表示取算術平均值。

圖1 CDP方法

(4)分別計算完全包含在不同圓中的像素的值，公式如下

(5)

(6)

其中，avgch中h按在不同象限取{1，2，3，4}值，avg(i,j)即為最終求得的特征矩陣B第i行第j列的值。

如圖1所示，經(jīng)過CDP操作后的特征圖中每個像素都均化了上一層特征圖的中心區(qū)域值，這里相當于在一步操作中對同一幅特征圖做了不同尺度的池化操作，得到的特征圖不需要再進行數(shù)據(jù)融合操作。也因此，在進行下一層卷積的時候，相當于隱式地進行了不同尺度的卷積。

1.2.2 前景-擴散池化卷積神經(jīng)網(wǎng)絡

CDP將特征圖像中心位置的特征不同程度地擴散到整體圖像中，它是根據(jù)池化后的特征圖的尺寸來選擇上述的“中心位置”，其界定相對簡單粗糙。前景-擴散池化(foreground-diffusion pooling，F(xiàn)DP)卷積神經(jīng)網(wǎng)絡的提出可以解決這個問題。FDP區(qū)別于CDP之處在于：avgch替換為avgfh，即通過顯著性檢測(saliency region detection，SRD)算法得到對象顯著圖，在顯著圖矩陣中，計算大于給定閾值b(實驗中b取值為10)的像素值的平均值avgfh，其中h按在不同象限取{1，2，3，4}值。然后讓其按一定比例參與到圖像各個部分的池化過程中，越靠近前景位置其參與的比例越高。其在強調(diào)前景的同時，也進一步將前景的特征擴散到整個圖像中。

這里所有大于給定閾值b的像素所組成的像素集即為前景特征圖像。由于使用SRD方法得到的顯著圖存在邊界模糊的特性，這里采用FDP方法不同程度地吸收均值avgfh，從而最小化模糊邊界帶來的影響，如圖2所示。

圖2 FDP方法

2 改進CNN的性能測試

2.1 MNIST數(shù)據(jù)集

由于MNIST數(shù)據(jù)特征相對簡單，且其測試準確率已經(jīng)相當高，這里隨機將MNIST測試集分成6個部分，分別對每個部分圖像的前景做不同尺度的縮放或旋轉(zhuǎn)處理，MNIST訓練集保持不變，得到“新MNIST”集，如圖3所示。

圖3 新MNIST測試集示例

實驗選用Tensorflow框架，網(wǎng)絡采用稍作修改的類LeNet-5模型，其中每次卷積后進行ReLU激勵操作，第一個池化層分別進行平均池化、最大池化、CDP、FDP操作，全連接層進行dropout處理，最后一層采用softmax輸出。分別對MNIST集和“新MNIST”集進行實驗。

表1和圖4結(jié)果顯示，4種方法訓練誤差和預測誤差相差不大，這是因為MNIST數(shù)據(jù)特征簡單，而且無需進行SRD操作。其中，CDP和FDP操作的預測誤差高于最大池化方法卻略低于平均池化方法，是因為它們需要學習的特征模板更為復雜，也因此，前幾輪訓練CDP和FDP方法得到的正確率更低。

表1 4種方法在MNIST集上的訓練誤差和測試誤差

圖4 4種方法在MNIST集上的預測正確率

表2和圖5顯示，隨著訓練輪數(shù)的增加，CDP和FDP方法的預測誤差要優(yōu)于平均池化和最大池化方法，說明改進的CNN有助于提高分類準確率，其具有更好的尺寸、旋轉(zhuǎn)等扭曲不變性。

表2 4種方法在“新MNIST”集上的訓練誤差和測試誤差

圖5 4種方法在“新MNIST”集上的預測正確率

2.2 CIFAR-10數(shù)據(jù)集

SRD階段，本文選用“基于馬爾可夫吸收概率的顯著性檢測[13]”方法對CIFAR-10集圖像進行前景和背景分離?；隈R爾可夫吸收概率的顯著性檢測方法的基本思想是：首先，將圖像左側(cè)和上側(cè)邊界分別作為背景先驗，在其加權圖上計算馬爾科夫吸收概率得到初始顯著圖；然后對圖像元素與前景線索相關性排序來強調(diào)對象；最后，利用基于內(nèi)容擴散機制等方法進一步完善顯著圖。

CNN階段，針對SRD階段得到的顯著圖進行的處理，本階段采用的CNN算法流程如圖6所示。

圖6 測試CIFAR-10集CNN算法流程

上述操作中，卷積核大小均為5×5，池化的尺寸均為2×2，3個卷積層卷積核個數(shù)依次為16、32和64，訓練時：dropout取值0.5，batch_size取值50，初始學習率取值0.1，每訓練20輪學習率下降到原來的0.1倍。同等實驗條件下，第一個池化層分別進行平均池化、CDP、FDP操作。表3和圖7展示了使用不同方法得到的訓練誤差、預測誤差和預測正確率。

其中，CNN方法表示未進行SRD操作且使用平均池化方法，CNN+方法表示結(jié)合使用CNN和SRD且使用平均池化方法，同理，CDP+方法表示結(jié)合使用CDP和SRD方法，F(xiàn)DP+方法表示結(jié)合使用FDP和SRD方法。下文均作相同處理。

表3 4種方法在CIFAR-10集上的訓練誤差和測試誤差

圖7 4種方法在CIFAR-10集上的預測正確率

結(jié)合表3和圖7可以看出，對CIFAR-10數(shù)據(jù)集識別處理，結(jié)合SRD方法能減少訓練誤差和預測誤差，CDP+方法表現(xiàn)出了比CNN+方法具有更好的識別效果，而FDP+方法的識別能力要好于前兩者的原因有兩點：①使用SRD算法得到的顯著圖很大程度上避免了圖像復雜背景對識別結(jié)果的干擾；②采用FDP方法可以有效彌補顯著圖邊界損失，從而提高識別效果。

3 船舶識別

本文搜集用于船舶識別的圖像集包括帆船、摩托艇、集裝箱船、軍艦和客船共5類圖像(見表4)，每類均包含300張160×160像素的實景圖像共1500張圖像。隨機選取1200張為訓練圖像，剩余300張作為測試圖像。為了提高系統(tǒng)的識別能力，這里分別對圖像訓練集和測試集進行擴充，首先對船舶前景做兩個尺度的縮放處理，然后分別對其順時針、逆時針旋轉(zhuǎn)15°和30°，得到18 000張訓練圖像和4500張測試圖像。

船舶識別的SRD階段和CNN階段所選用的模型和參數(shù)與測試CIFAR-10數(shù)據(jù)集使用的模型和參數(shù)相同。進行SRD操作可以有效地減小包括海水顏色、天氣狀況、浪花等背景對識別結(jié)果造成的影響。采用CNN和SRD算法相結(jié)合的方法進行船舶分類識別的算法框架如圖8所示。

同等實驗條件下，第一個池化層分別進行平均池化、CDP、FDP操作。實驗參數(shù)和方法同2.2節(jié)，實驗結(jié)果見表5、表6。

表4 船舶識別數(shù)據(jù)集

圖8 船舶識別系統(tǒng)框架

表5 4種方法用于船舶識別的訓練誤差和預測誤差

從表5可以看出，單獨使用CNN方法很難正確識別出背景復雜的船舶圖像的類型，經(jīng)過訓練學習，其識別正確率保持在68%左右；CNN結(jié)合SRD方法則大大提高了船舶識別正確率，但是其正確率仍未達到90%，這是因為船舶圖像集中存在著大量具有復雜背景的圖像；為了解決由SRD在復雜背景圖像中獲取的顯著圖存在邊界模糊的問題，CDP和FDP分別從不同層面去彌補邊界損失。相比較CDP方法，F(xiàn)DP方法更是依據(jù)SRD獲得的顯著圖的本身屬性進一步地降低了邊界損失，其識別正確率高達92.8%。表6則顯示出不同類別的船舶最終的預測誤差，摩托艇和帆船的誤差率最小，集裝箱船和客船的誤差率次之，軍艦的誤差率最大。這是因為前兩者的特征更明顯，區(qū)分度最大，而數(shù)據(jù)集中的軍艦包括了不同類型的軍用船舶，特征最為復雜。

4 結(jié)束語

為了改善卷積神經(jīng)網(wǎng)絡在實際場景的圖像識別中易于受到圖像背景干擾的問題，文中提出了CDP和FDP兩種改進方法，并在分別在MNIST數(shù)據(jù)集、調(diào)整了測試集的新MNIST數(shù)據(jù)集以及CIFAR-10數(shù)據(jù)集上證明了其比傳統(tǒng)卷積神經(jīng)網(wǎng)絡具有更加穩(wěn)定的表征能力和更好的泛化能力。通過將顯著性檢測算法和改進的卷積神經(jīng)網(wǎng)絡相結(jié)合應用于船舶識別中，大大提高了船舶識別的準確率。同時，從實驗結(jié)果可以看出系統(tǒng)的識別性能仍有提升空間，這主要局限于有限的船舶數(shù)據(jù)集上，下一步研究可擴展數(shù)據(jù)集和通過引入“遷移學習”來優(yōu)化網(wǎng)絡性能，從而進一步提升網(wǎng)絡的識別能力。