李致金，張 亮，武 鵬，丁春健

(南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044)

0 引 言

目前，國內(nèi)外的一些研究人員在針對車型精細(xì)識別問題上已經(jīng)研究了可靠的分類器以及具有描述性的特征描述符。文獻(xiàn)[1,2]提出基于特征匹配的車型識別方法，如SIFT、Gabor特征，這類方法通常需要人工提取特征，且在視角改變以及識別要求太詳細(xì)時表現(xiàn)不佳。文獻(xiàn)[3]提出構(gòu)建3D模型用以識別車型，這類方法計算成本高，同時建模難度大，因此難以在實際應(yīng)用中實施。文獻(xiàn)[4]構(gòu)建了一個名為CompCars的車輛圖像數(shù)據(jù)庫，并且在傳統(tǒng)的AlexNet、Overfeat、GoogLeNet網(wǎng)絡(luò)模型上進(jìn)行了車型識別實驗，但并沒有針對車型精細(xì)識別問題對現(xiàn)有網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。文獻(xiàn)[5]提出一種基于由粗到細(xì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的細(xì)粒度車輛模型識別方法，這類方法構(gòu)建的網(wǎng)絡(luò)模型在訓(xùn)練和測試時速度很慢，同時參數(shù)規(guī)模大，過擬合風(fēng)險高。文獻(xiàn)[6]提出基于多尺度躍層卷積神經(jīng)網(wǎng)絡(luò)的車型精細(xì)識別方法，該方法中所用數(shù)據(jù)過少無法同網(wǎng)絡(luò)模型的深度達(dá)成一致性，同樣容易導(dǎo)致過擬合。

如上所述，現(xiàn)有的車型精細(xì)識別方法仍然存在諸多局限性。其一，傳統(tǒng)的基于特征匹配的車型識別方法，這類方法過多依賴人工提取特征，且需要大量的計算以及無法達(dá)到精細(xì)識別要求。其二，基于改進(jìn)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的車型識別方法，這類方法相較于人工提取特征識別方法雖然能夠達(dá)到更好的識別效果[7,8]，但是仍然存在著諸多缺點，例如：①提取到的車輛特征不具有代表性，未能綜合考慮低層的局部特征和高層的全局特征；②網(wǎng)絡(luò)模型參數(shù)規(guī)模大，容易導(dǎo)致過擬合。為了克服現(xiàn)有車型精細(xì)識別技術(shù)存在的局限性，本文針對交通卡口監(jiān)控下多類型車型精細(xì)識別問題，構(gòu)建了一種基于特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)。該模型設(shè)計有兩個獨立網(wǎng)絡(luò)(UpNet、DownNet)分別用于提取車輛正面圖像上部和下部的局部以及全局特征，以及設(shè)計有融合網(wǎng)絡(luò)(FusionNet)用于將兩個獨立網(wǎng)絡(luò)提取到的特征進(jìn)行上下組合，從而提高識別精度；同時采用小尺寸卷積核以及全局平均池化用于優(yōu)化網(wǎng)絡(luò)，以壓縮模型參數(shù)規(guī)模，從而降低過擬合風(fēng)險。

1 基于特征融合卷積神經(jīng)網(wǎng)絡(luò)模型

1.1 特征分析

目前，在交通卡口監(jiān)控系統(tǒng)下捕獲到的車輛正面圖像可沿著中心線劃分為兩個區(qū)域，分別為：上部和下部。上部又稱車輛非面部具體包括發(fā)動機引擎蓋一部分、擋風(fēng)玻璃以及車頂一部分；下部又稱車輛表面部具體包括車牌、車標(biāo)、前大燈以及霧燈。這兩部分表現(xiàn)出的特征存在明顯的差異，例如：①車輛表面部本身存在獨特、豐富的紋理以及前大燈、霧燈等部件形狀明顯，與之對比的車輛非面部僅有很少與輪廓、形狀相關(guān)的特征，而這些特征與車輛表面部特征形成互補；②車輛表面部和非表面部不同位置的部件由于所用材料不同因而呈現(xiàn)亮度特征有所差異。

1.2 模型構(gòu)建

基于車輛正面圖像的特征分布，構(gòu)建了一種基于特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)，該模型用于解決交通卡口監(jiān)控下車型精細(xì)識別問題。此特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)如圖1所示。從圖1可以看出該模型在組成結(jié)構(gòu)上主要包括3個部分分別為：上部網(wǎng)絡(luò)(UpNet)、下部網(wǎng)絡(luò)(DownNet)以及融合網(wǎng)絡(luò)(FusionNet)。上部網(wǎng)絡(luò)(UpNet)、下部網(wǎng)絡(luò)(DownNet)分別用于提取車輛非面部和車輛表面部的局部以及全局特征，融合網(wǎng)絡(luò)(FusionNet)用來將上部網(wǎng)絡(luò)(UpNet)以及下部網(wǎng)絡(luò)(DownNet)提取到的特征圖進(jìn)行上下組合以提取到完整的車輛正面特征圖，之后通過全局平均池化層(GAP)進(jìn)行輸出，最終把得到的特征圖輸入到SVM分類器進(jìn)行識別。

圖1 FF-CNN網(wǎng)絡(luò)模型

從圖1中可以看出上部網(wǎng)絡(luò)(UpNet)被設(shè)計成淺層網(wǎng)絡(luò)，主要用于提取車輛非面部的局部以及全局特征。上部網(wǎng)絡(luò)(UpNet)主要設(shè)計有1個輸入層、1個TraConv1_0層、2個特殊結(jié)構(gòu)單元MlpConv1_1、MlpConv1_2。為保留更多的輪廓信息，在TraConv1_0層中使用5*5大尺寸卷積核用于提取車輛非面部粗糙輪廓特征，同時使用1*1小尺寸卷積核用于進(jìn)一步細(xì)粒度特征提取以及使用最大池化層進(jìn)行降維操作。兩個特殊結(jié)構(gòu)單元MlpConv1_1、MlpConv1_2具有相同的結(jié)構(gòu)，不同之處在于MlpConv1_1層中的第一個卷積層的步長以及填充分別設(shè)為2和0，而在MlpConv1_2中第一個卷積層的步長以及填充分別被設(shè)計為1和1。具體網(wǎng)絡(luò)參數(shù)見表1。為便于理解，下文將以MlpConv1_1作為闡述對象用來分析這種特殊結(jié)構(gòu)單元的組成和作用。

MlpConv1_1結(jié)構(gòu)單元由4個部分組成，其中第一個卷積層(conv1_1)的卷積核為3*3，步長和填充分別為2和0，另外兩個分別為conv1_1_1、conv1_1_2的小卷積層，其卷積核均為1*1，步長和填充分別為1和0，使用3*3、1*1小尺寸卷積核有助于細(xì)粒度特征提取，同時能夠有效壓縮模型參數(shù)規(guī)模。此外，在每個卷積層后都設(shè)計有用于非線性特征映射的ReLU層，以及在3個卷積層后設(shè)計有用于特征維度減少的最大池化層[9]。結(jié)構(gòu)單元如圖2所示。

表1 上部網(wǎng)絡(luò)(UpNet)的網(wǎng)絡(luò)參數(shù)

圖2 MlpConv1_1結(jié)構(gòu)單元

借鑒文獻(xiàn)[10]提出的NIN網(wǎng)絡(luò)模型，使用形如MlpConv1_1這種結(jié)構(gòu)單元能夠有效增加網(wǎng)絡(luò)的非線性特征表達(dá)能力。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在ReLU激活函數(shù)作用下，特征圖的計算公式為

(1)

在式(1)中，(i,j) 表示圖片像素點的位置索引，xi,j表示卷積窗口的特征塊，k表示要提取特征圖的索引。而在以MlpConv1_1結(jié)構(gòu)單元構(gòu)成的特征融合卷積神經(jīng)網(wǎng)絡(luò)模型中，在ReLU激勵函數(shù)的作用下，特征圖的計算公式為

(2)

其中，n代表多層感知器(MLP)中層的編號，根據(jù)式(2)可以看出，在該上部網(wǎng)絡(luò)(UpNet)中，特征圖fn的計算與前者fn-1存在依賴關(guān)系，從而實現(xiàn)多個特征圖的線性組合，以達(dá)到跨通達(dá)信息整合目的。

此外，在圖1中下部網(wǎng)絡(luò)(DownNet)被設(shè)計成深層網(wǎng)絡(luò)用于提取車輛面部特征。下部網(wǎng)絡(luò)(DownNet)相較于上部網(wǎng)絡(luò)(UpNet)多增加一個特殊結(jié)構(gòu)單元MlpConv2_3?？紤]到下部網(wǎng)絡(luò)(DownNet)提取的是車輛面部特征，而車輛面部本身存在獨特、豐富的紋理特征以及明顯的部件形狀差異，因此，多增加一個特殊結(jié)構(gòu)單元能夠進(jìn)一步抽象和提取車輛面部特征，并提高網(wǎng)絡(luò)的表達(dá)能力。具體網(wǎng)絡(luò)參數(shù)見表2。

表2 下部網(wǎng)絡(luò)(DownNet)的網(wǎng)絡(luò)參數(shù)

在上部網(wǎng)絡(luò)(UpNet)和下部網(wǎng)絡(luò)(DownNet)中，都使用了形如MlpConv1_1這種結(jié)構(gòu)單元進(jìn)行堆疊，并且在各自網(wǎng)絡(luò)中都兼顧了靠近輸入層(低層)對車輛局部特征的學(xué)習(xí)以及輸出層(高層)對車輛全局特征的學(xué)習(xí)。同時，由于在每個特殊結(jié)構(gòu)單元中使用形如1*1卷積核[11]，能夠有效降低網(wǎng)絡(luò)模型的參數(shù)規(guī)模，從而降低過擬合風(fēng)險。

在該特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)中另一個關(guān)鍵是特征融合。如圖1所示，融合網(wǎng)絡(luò)(FusionNet)用于將兩種子網(wǎng)絡(luò)(UpNet、DownNet)提取到的特征進(jìn)行上下組合以形成兩個完整的車輛正面特征圖，在該組合過程中采取了低水平(靠近輸入層)特征和高水平(靠近輸出層)特征相互融合的策略[12]。具體表現(xiàn)為：其一，融合網(wǎng)絡(luò)(FusionNet)將從上部網(wǎng)絡(luò)(UpNet)的第一個特殊結(jié)構(gòu)單元(MlpConv1_1)與下部網(wǎng)絡(luò)(DownNet)的第二個特殊結(jié)構(gòu)單元(MlpConv2_2)提取到的特征進(jìn)行上下組合成第一個完整的車輛正面特征圖(大小為6*6*96)；其二，將上部網(wǎng)絡(luò)(UpNet)與下部網(wǎng)絡(luò)(DownNet)兩者最后一個特殊結(jié)構(gòu)單元(MlpConv1_2、MlpConv2_3)提取到的特征進(jìn)行上下組合成第二個完整的車輛正面特征圖(大小為3*3*128)。在得到兩個完整的車輛正面特征圖后，首先將第二個完整的車輛正面特征圖與經(jīng)過形如MlpConv1_1這種結(jié)構(gòu)單元處理后的第一個完整的車輛正面特征圖(處理后大小為3*3*128)進(jìn)行組合(組合后尺寸大小為3*3*256)，之后再將組合后的特征圖經(jīng)過1*1卷積核進(jìn)行進(jìn)一步的特征提取，進(jìn)而將得到的特征圖輸入到全局平均池化層(GAP)，最終通過SVM分類器獲得網(wǎng)絡(luò)輸出。

2 實驗結(jié)果與分析

2.1 平臺與數(shù)據(jù)集

為驗證本文提出的特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN) 在車型精細(xì)識別方面的有效性，因此將此模型在基準(zhǔn)數(shù)據(jù)集CompCars下進(jìn)行實驗。CompCars數(shù)據(jù)集包含來自互聯(lián)網(wǎng)和交通卡口實時監(jiān)控下的281個車輛精細(xì)型號的44 481張車輛正臉圖片。在本文實驗中，將CompCars數(shù)據(jù)集分為測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)兩個部分，且兩者比例為3∶7。實驗平臺CPU型號為Intel Core i7-6700K，內(nèi)存容量為32 GB，并且使用內(nèi)存為12GB的NVIDIA GEFORCE GTX TITAN X顯卡用于加快訓(xùn)練過程，實驗所用模型均在開源caffe框架下實現(xiàn)。

2.2 實驗設(shè)置

由于融合網(wǎng)絡(luò)(FusionNet)最終要將兩個子網(wǎng)絡(luò)(UpNet、DownNet)提取到的特征進(jìn)行上下組合，因此兩個子網(wǎng)絡(luò)生成的特征映射圖的大小必須匹配。因而，將此特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)的輸入圖片大小設(shè)為256*256，同時，兩個子網(wǎng)絡(luò)所用圖片大小均設(shè)為224*224。實驗中使用的優(yōu)化策略是帶有沖量的隨機梯度下降法，初始沖量設(shè)置為0.9，批量大小設(shè)為128，初始學(xué)習(xí)率設(shè)置為0.001，每經(jīng)過100 000迭代后，學(xué)習(xí)率降低10倍，迭代總數(shù)為300 000次。

2.3 結(jié)果與分析

實驗結(jié)果主要從模型識別準(zhǔn)確率以及模型參數(shù)兩個方面進(jìn)行闡述，同時與現(xiàn)有幾種車型識別模型進(jìn)行對比分析，以驗證本文提出的特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)在車型精細(xì)識別方面的高效性。

2.3.1 模型識別準(zhǔn)確率

表3給出了在基準(zhǔn)數(shù)據(jù)集CompCars下，本文提出的特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)與其它幾種模型的識別準(zhǔn)確率。由于在CompCars數(shù)據(jù)集中每個類別的圖片數(shù)量不盡相同，其表現(xiàn)為類別最少的圖片數(shù)量僅為14張，而類別最多的圖片數(shù)量卻高達(dá)565張。因此，為降低這種不平衡類別圖片數(shù)目對識別結(jié)果的影響，我們使用以下兩種方法來評估實驗結(jié)果的準(zhǔn)確性，兩種方法具體公式為

(3)

(4)

其中，ti表示每個類中正確預(yù)測的樣本數(shù)，ni表示每個類中的樣本數(shù)，N表示類的數(shù)量。從表3給出的識別結(jié)果可以看出，第1行是文獻(xiàn)[13]提出的經(jīng)典GoogLeNet模型的識別效果，其Acc1和Acc2分別為98.32%，97.81%；第2行是文獻(xiàn)[14]提出的使用來自后視圖像汽車標(biāo)志的幾何形狀的車輛模型識別方法，其識別效果較其它兩種方法有所下降；第3行是文獻(xiàn)[15]提出的MS-CNN模型在基準(zhǔn)數(shù)據(jù)集CompCars下對281種車輛類型進(jìn)行細(xì)粒度分類得到較高的準(zhǔn)確率，其中，Acc1與Acc2分別達(dá)到了98.83%，98.43%。

表3 FF-CNN與其它幾種模型的識別準(zhǔn)確率

2.3.2 模型參數(shù)

表4給出了在caffe框架下幾種識別模型生成的參數(shù)大小。從表4可以看出，NIN網(wǎng)絡(luò)模型生成的參數(shù)量最大，則導(dǎo)致過擬合的可能性最大。相較于其它兩種網(wǎng)絡(luò)模型，本文提出的特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)參數(shù)量僅為4.9 MB，遠(yuǎn)遠(yuǎn)低于其它兩種網(wǎng)絡(luò)模型的參數(shù)量。因此，使用FF-CNN網(wǎng)絡(luò)模型能夠有效壓縮模型參數(shù)規(guī)模，從而降低過擬合風(fēng)險。

表4 FF-CNN與其它幾種識別模型生成的模型參數(shù)

3 結(jié)束語

本文基于車輛正面圖像的特征分布，構(gòu)建了一種特征融合卷積神經(jīng)網(wǎng)絡(luò)模型(FF-CNN)，該模型主要用于解決交通卡口監(jiān)控下車型精細(xì)識別問題。在FF-CNN模型中，設(shè)計有兩個子網(wǎng)絡(luò)模型(UpNet、DownNet)分別用于提取車輛正面圖像的非表面部以及表面部特征，同時設(shè)計有融合網(wǎng)絡(luò)(FusionNet)用以實現(xiàn)兩個子網(wǎng)絡(luò)模型(UpNet、DownNet)提取到的特征融合，從而進(jìn)一步抽象以及提取最終的車輛特征?；贑ompCars基準(zhǔn)數(shù)據(jù)集的實驗結(jié)果表明，F(xiàn)F-CNN模型通過使用更少的參數(shù)量能夠更加有效提取車輛正面圖像的細(xì)粒度特征，具體識別準(zhǔn)確率高達(dá)98.94%。