甘澄　丁學文

摘要：為了解決傳統車輛檢索方法中準確性和區(qū)分度較低的問題，本文提出了一種基于卷積神經網絡（CNN）的車輛檢索方法。該方法利用CNN稀疏連接和權值共享的優(yōu)點，針對車輛前臉圖像關鍵特征位置的相對不變性，設計了一個七層的網絡結構，可以合理提取車輛的有效特征，并將低級結構特征組合成為高一級的特征，既簡化了模型的復雜度，也克服了旋轉平移等因素對檢測結果的影響。該方法最終通過相似度排序的方法得到檢索結果。實驗結果表明，本文所提出的方法相對于基于局部不變特征方法具有更高的準確度。

關鍵詞：車輛檢測；圖像檢索；卷積神經網絡

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2016）30-0191-03

The Research of Vehicle Image Retrieval Based on Convolutional Neural Network

GAN Cheng， DING Xue-wen

（School of Electronic Engineering，Tianjin University of Technology and Education， Tianjin 3000222 ， China）

Abstract：In order to solve the problem of the traditional vehicle retrieval methods which has low degree of differentiation and accuracy， it is proposed in this paper that a vehicle retrieval method based on convolution neural network （CNN）.This methods builds a seven layers network structure which utilizes the advantages of CNN which called sparse connecting and weights sharing， and the key feature location invariance for vehicle former face image. This structure can extract effective features of vehicle which is reasonable， and combine the low scale feature into higher scale one. It not only simplifies the complexity of the model， but also overcome the influence of rotating shift on the result with effect. Finally， it get the retrieve result through similarity ranking. By comparing with the methods which based on local invariant features， the experimental results show that the presented method has a higher accuracy.

Key words： vehicle detection； image retrieval； CNN

1引言

隨著生活水平和工業(yè)水平的提高，機動車數量迅速增長，車輛的品牌也有所增加，傳統的人工基于視頻圖像對交通信息的判斷工作已經無法滿足當前的發(fā)展狀況，有效判別某一輛汽車具體品牌型號對于交通管理領域，特別是對車輛違章、無牌照車輛等公安稽查領域有著非常重要的意義[1]。

當前對于車輛型號信息的提取主要有以下幾種方法：

1）基于車牌識別的車型識別方法。該方法對車牌進行字符識別，通過識別到的車牌信息查詢交通管理數據庫，以此獲得車主信息與車輛型號。該方法簡單高效，應用廣泛，然而遇到套牌車輛會失去作用。

2）基于特征匹配的車型識別方法。通過提取車輛圖像的局部特征來進行車型識別。該方法需要選擇合適的局部特征，合適的匹配算法，是目前比較熱門的研究方向之一。

3）基于3D模型匹配的車型識別方法。該方法需要建立標準車型的三維模型庫，雖然識別精度高，但算法復雜，難度較大。

綜上所述，基于車輛外觀的圖像特征的車型識別與車輛檢索方法更為有效。若選取局部特征，可以有效降低計算的復雜度，提高系統效率與精度。選取全局特征則可以保留車型的全部信息，大幅提高檢測精度，但計算的復雜度也隨之升高。車輛的前臉特征，它包含了車型的重要信息，如車燈，格柵，車標等，這些局部特征可以有效地區(qū)分各種車型。

2當前的車輛檢索方法

傳統的車輛檢測方法選取車輛的局部信息進行檢測。但這種方法面臨的問題是對于車輛的局部信息，檢測的速度雖然比較快，但仍然存在不少缺點。

文獻[2]采用具有嚴格意義的仿射不變性特征的MSER進行特征檢測，將檢測到的特征點用SIFT描述子描述為特征向量。通過“詞袋模型”，將所有的圖像量化為“碼書”。將每一類車型的所有“碼書”訓練為該類車型的分類器，以此來對輸入圖像進行車型識別。

文獻[3]在車輛視頻關鍵幀提取的基礎上，根據改進SURF算法完成車輛圖像的特征提取及匹配，其中包含改進FAST特征點檢測、SURF特征向量提取以及最近鄰查詢方法來進行特征點的匹配，并通過計算相似度，完成圖像篩選并反饋檢索結果。

文獻[4，5]運用改進的Adaboost方法進行車臉定位，提取SIFT、SURF不變性特征，提出改進的特征匹配策略，并結合車臉區(qū)域分割的車標與車燈不變矩特征、散熱器隔欄紋理等多特征，根據車型標準特征模型庫的數據，提出了多特征融合的自適應分布車型分類識別算法。

綜上所述，目前的車輛檢索方法主要經過車輛前臉定位和車臉特征匹配兩個步驟，對于大部分的圖像可以取得較好的檢索效果。但是對于圖1所示的四副圖像，圖中黃色框內為車輛的中網區(qū)域，紅色框內為車燈區(qū)域。僅僅使用這兩個特征區(qū)域來進行檢測，是無法將這四輛捷豹車型區(qū)分開的。

針對傳統基于不變特征對車輛識別的不足之處，本文采用深度卷積神經網絡，通過對車輛圖像全局特征的自動提取，從而獲得更準確的檢索結果。

3本文采用的方法

隨著深度學習的發(fā)展，卷積神經網絡在圖像領域有了廣泛的用途。其工作方式仿生于人類辨識事物的過程，獲取事物的全局特征，自動地與已有知識進行比較辨認，從而得到結果。此外，它具有強大的非線性表示能力，能夠理解圖像更深層次的信息。

卷積神經網絡相對于傳統的機器學習方法具有更多的優(yōu)勢。其主要體現在兩點：

1） 特征提取和模式識別與分類同時在訓練中運行，并且可以直接處理灰度圖像，不需對圖像進行過度的預處理，造成不必要的細節(jié)損失。

2） 輸入圖像與網絡的拓撲結構能夠很好地吻合，特別是多維輸入的圖像可以直接輸入卷積神經網絡進行識別，避免了特征提取、識別過程和分類過程中數據重建所造成的重復計算。

3.1模型設計

本文采用LeNet-5卷積神經網絡結構。LeNet-5是一個典型的卷積神經網絡應用案例，準確性高、可用性強，已被美國多家銀行用于支票手寫數字的識別。對車輛的識別與手寫數字類似，都是對某一未知圖像進行識別和匹配。相對于手寫數字在整個圖像中的相對位置不確定，車輛的各個部位的固定結構使得其在一定區(qū)域具有結構位置不變性?；谝陨戏治觯谲囕v圖像的特點，本文構建一個適用于車輛圖像的卷積神經網絡。

在進行網絡訓練之前，首先對圖片進行處理。將獲取的輸入圖片大小歸一化為32×32，并轉換為灰度圖像，最終將圖像轉換為LMDB格式，進行標簽處理，直接用于網絡的輸入層[8]。設計的網絡如圖2所示。

網絡層C1是由四個特征圖組成的卷積層。每個神經元與輸入圖像的一個5×5的領域相連接，得到的卷積后的特征圖大小為28×28。網絡層S2由4個大小為14×14的特征圖組成的次抽樣層，其來源于對C1層池化操作。每個特征圖上的神經元與C1層的一個大小為2×2的鄰域相連。網絡層C3是由10個大小為10×10的特征圖組成的卷積層。特征圖的每個神經元與S2層的特征圖的5×5的鄰域連接。表1顯示了S2層的特征圖與C3的特征圖之間的聯接關系。列代表S2層，行代表C3層，X代表之間相連。例如，由表1可知C3的第二個特征圖由S2的第二個、第三個、第四個結合而得，通過這種選擇性連接，降低了特征的維度，加快了計算，卻保留了有用的信息。

網絡層S4是由10個5×5的特征圖組成的次抽樣層。特征圖中的每個神經元與C3層的一個2×2大小的鄰域相連接。網絡層C5是由200個特征圖組成的卷積層。每個神經元與S4網絡層的特征圖的5×5大小的領域相連接。網絡層F6，包括100個神經元，與網絡層C5進行全連接，采用softmax進行分類。最后，輸出層有10個神經元，是由徑向基函數單元（RBF）組成，輸出層的每個神經元對應一個特征類別。

在前向傳播的過程中，需要判斷是否得到神經元的輸出，這時就需要激活函數。常用的激活函數有Sigmoid、Tanh、ReLU等[9]，本文選擇ReLU。其數學表達式為f（x）=max（0，x）。可以看出，輸入信號<0時，輸出為0；輸入信號>0時，輸出等于輸入。其收斂速度大于傳統的Sigmoid和Tanh，且計算也相對簡單。

在C5層原始輸出的特征圖的細節(jié)，包括了圖像的邊緣特征的方向和粗細。加入編碼器，將這些邊緣特征進行組合，通過不同的組合，可以得到圖像的一些主題特征，將這些特征用于分類器中，會有很好的學習表達能力。

在整個神經網絡的設計過程中，主要從卷積核的個數大小、池化方法、網絡的層數的選擇來綜合考慮。越多的卷積核可以獲得更多的特征且卷積核越小則可以獲得更詳細的特征，但卻增加了處理的時間和產生較高的空間復雜度；較小的池化核會造成過擬合，較大的池化核則會由于下采樣的噪音太多造成誤差增大；層次越多，會產生更加詳細的細節(jié)特征，同時也會增加空間和時間的復雜度，對于車輛圖像而言，不需要更加精細的細節(jié)特征。因此，綜合考慮，本文設計的網絡如表2所示，采用7層網絡結構，卷積核選用5×5，池化過程選擇均值池化且池化核尺寸為2×2，分類器選用softmax能夠達到較好的分類效果。

3.2相似度量

經過卷積網絡對圖像的學習，將圖像的特征進行了抽象化，理論上在網絡模型中層數越高表示的特征越抽象，越能更好地表征圖像的內容。

本文采用簡單的最小距離分類器進行特征的相似計算，公式如下：

這里q表示查詢圖像的特征向量，m表示檢索庫中第i張圖像的特征向量，Di表示特征之間的距離差，n表示檢索庫中一共有多少張圖片。值越小說明兩幅圖像的相似度越高。最后，通過排序算法返回相應的特征索引并查找出對應的圖像庫，就能檢索出所需要的相似圖像。

4 試驗結果與分析

本文實驗電腦配置為Intel Core i5 CPU，在Linux環(huán)境下使用深度學習庫Caffe來訓練本文設計的模型。

圖3顯示了輸入圖像在卷積神經網絡LeNet-5各層輸出神經元的處理結果，最左邊是輸入圖像。從圖3可以看出，隨著層數的增加，車輛的細節(jié)特征被逐漸提取出來

本文實驗采用的圖像數據來源于互聯網。實驗圖像選取了50個常見的汽車品牌，并選取其中典型的車型進行訓練，訓練集中的圖片數目為5000張，數據按照車輛品牌及車輛具體型號進行標注。

如圖4為一次檢索的示例。其中，左邊是輸入的查詢圖像，右邊是對應的檢索到圖像標號所對應的圖像。

檢索測試圖像為捷豹XJ車型，檢索出三個相似的車型。其中NO.3924的相似度為92%，確實為目標檢測車輛。NO.3901圖像為捷豹F-TYPE車型，具有75%的相似度，這是因為家族化的設計因素造成的。NO.3957圖像為捷豹XE車型，有82%的相似度。因此認為NO.3924為所要求的結果。在檢索中，即使是同一款車型，由于拍攝角度的問題以及車輛經過個性化的改裝，造成檢索相似度難以達到100%的準確度。如果最高相似結果低于75%，則認為檢索不成功。

測試進行了200次試驗，其中有175次檢索結果正確。同時，與文獻[2]等傳統方法進行了性能對比，如表3所示。

通過表3的數據，可以看出本文的方法相對于其他文獻采用的方法，準確率有了較大的提高，但平均使用的時間相對較高。這是因為經過卷積網絡的學習，得到的是整個圖像的全部特征，同時受限于硬件的運算速度，造成相對運算時間較高的情況。

5 結論

本文將卷積神經網絡應用到車輛圖像的檢索工作中。根據車輛的特征對LeNet網絡結構進行改進，通過對圖像自動地進行“學習”，提取到足夠豐富且準確的車輛細節(jié)特征。以便有效區(qū)分不同車輛。與基于局部特征的車輛檢索方法相比，檢索的準確率得到了明顯的提升，綜合測試檢索的準確率達到87.5%。該方法在道路交通信息管理方面具有廣泛的應用前景。

但本文的工作依然存在一些不足。與傳統方法的對比可以看出，雖然檢索的精度有提高，但檢索的時間卻比較長，這受制于網絡的復雜度和硬件的運算速度。在下一步的工作中，將會采集統一的圖像數據，并且對網絡結構進行優(yōu)化，進一步提高檢索的精度和速度。

參考文獻：

[1] 陳明明.視頻中的車輛檢測及車型識別研究[D].南京：南京郵電大學，2013.

[2] 賈曉.套牌車輛的車型識別與檢索技術研究[D].大連：大連海事大學，2016.

[3] 張子龍.基于改進SURF算法的交通視頻車輛檢索方法研究[J].西北工業(yè)大學學報，2014，32（2）：297-302.

[4] 陳伊.基于圖像多特征的車輛對象識別方法研究[D].昆明：昆明理工大學，2014.

[5] 李全武.車臉定位及識別方法研究[J].計算機科學與探索.2015，9（6）：726-733.

[6] 盧宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016（31）：1-17.

[7] 孫君頂，原芳.基于內容的圖像檢索技術[J].計算機系統應用，2011（8）：240-244.

[8] 姜磊，趙漢理.基于卷積神經網絡的鞋類圖像檢索研究[J].現代計算機，2016（5）：39-43.

[9] 趙志宏.基于卷積神經網絡LeNet_5的車牌字符識別研究[J].系統仿真學報，2010（3）：638-641.