李大湘，張 玥

(1.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121;2.西安郵電大學(xué) 電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121)

國(guó)畫是使用毛筆和墨在絹、宣紙及帛上作畫。作為中國(guó)傳統(tǒng)繪畫形式之一，國(guó)畫特有的筆墨繪畫技巧為人們展示了對(duì)象的神色、形態(tài)和風(fēng)韻。國(guó)畫的分類方式多樣，按照內(nèi)容可分為花鳥畫、古樹畫、江南水鄉(xiāng)、人物畫和水墨畫等[1]。早期的國(guó)畫圖像檢索局限在人工標(biāo)注，工作量龐大且標(biāo)注精度不高。隨著圖像檢索技術(shù)的不斷發(fā)展，圖像分類作為其重要組成部分，可以通過(guò)計(jì)算機(jī)自動(dòng)分析國(guó)畫圖像內(nèi)容，從而實(shí)現(xiàn)對(duì)國(guó)畫的數(shù)字化管理。

目前，國(guó)畫分類算法可分為基于淺層特征和基于深度學(xué)習(xí)兩種。基于淺層特征分類算法的相關(guān)研究主要包括基于顏色的統(tǒng)計(jì)計(jì)算提取圖像全局特征，并通過(guò)分隔繪畫對(duì)象提取圖像結(jié)構(gòu)特征實(shí)現(xiàn)分類[2]。采用蒙特卡洛凸殼特征選擇模型整合基礎(chǔ)特征描述子，再使用支持向量機(jī)對(duì)不同藝術(shù)家的作品實(shí)現(xiàn)分類[3]。融合尺度不變特征變換(Scale-Invariant Feature Transform，SIFT)特征檢測(cè)子和邊緣檢測(cè)得到國(guó)畫關(guān)鍵區(qū)域，對(duì)關(guān)鍵區(qū)域視覺(jué)特征及內(nèi)部領(lǐng)域差異性進(jìn)行描述得到圖像特征，再采用融合不同維度特征，級(jí)聯(lián)分類策略實(shí)現(xiàn)分類[4]。建立對(duì)中國(guó)畫分類的通用框架，用混合二維多分辨率馬爾科夫模型(2-Dimensional Multi-resolution Hidden Markov Model,MHMM)表示不同藝術(shù)家的筆畫屬性實(shí)現(xiàn)分類[5]。在小波域內(nèi)利用不同分辨率及頻帶的圖像結(jié)構(gòu)所展現(xiàn)的不同藝術(shù)風(fēng)格的表現(xiàn)形式，獲得國(guó)畫藝術(shù)深度信息，再利用3種不同的分類器進(jìn)行分類[6]。利用直方圖的局部特征表示國(guó)畫圖像風(fēng)格，并給出一種窗口和熵平衡的融合方案，優(yōu)化分類結(jié)果[5]。但是，上述分類算法通常是利用人工經(jīng)驗(yàn)或特征轉(zhuǎn)換抽取特征，限制了算法性能，而基于深度學(xué)習(xí)分類算法可以改善此類問(wèn)題。結(jié)合離散余弦變換和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)提出的分類模型，將CNN提取的部分離散余弦系數(shù)作為原始像素提取圖像特征，從而實(shí)現(xiàn)分類[7]。在繪畫數(shù)據(jù)集上訓(xùn)練一個(gè)深度卷積自動(dòng)編碼器，將其用于初始化分類階段的監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)，從而解決了單類樣本中樣本數(shù)量較小的問(wèn)題[8]。通過(guò)構(gòu)造國(guó)畫圖像的多尺度金字塔，學(xué)習(xí)稀疏混合卷積神經(jīng)網(wǎng)絡(luò)(Sparse Hybrid Convolutional Neural Networks,SH-CNN)模型，并返回多個(gè)標(biāo)簽，采用自適應(yīng)融合方法實(shí)現(xiàn)分類[9]?；谙∈杈幋a混合深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法，從中國(guó)水墨畫的筆劃中提取不同畫家作畫風(fēng)格特征，從而實(shí)現(xiàn)分類[10]。將國(guó)畫對(duì)象通過(guò)最大相似度區(qū)域合并分割成藝術(shù)目標(biāo)，利用深度卷積神經(jīng)網(wǎng)絡(luò)(Object-based Convolutional Neural Network,O-CNN)描述其語(yǔ)義特征，引入支持向量機(jī)對(duì)藝術(shù)目標(biāo)進(jìn)行分類[11]。然而，基于深度學(xué)習(xí)分類算法雖然在分類精度和速度有所提高，但是對(duì)國(guó)畫圖像局部表現(xiàn)手法的分析研究較少。

針對(duì)該問(wèn)題，擬提出一種基于多尺度CNN特征的國(guó)畫圖像分類算法。通過(guò)改進(jìn)AlexNet網(wǎng)絡(luò)模型[12]，得到精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型，降低網(wǎng)絡(luò)深度與參數(shù)規(guī)模；在國(guó)畫數(shù)據(jù)集上，利用非對(duì)稱空間分塊方法增加國(guó)畫圖像的數(shù)量，訓(xùn)練具有特征提取能力的CNN網(wǎng)絡(luò)模型，提取國(guó)畫圖像的多尺度CNN特征；采用前向搜索選擇方法對(duì)多尺度CNN特征選擇，減少冗余，結(jié)合SVM分類器實(shí)現(xiàn)國(guó)畫圖像的自動(dòng)分類。

1 多尺度CNN特征提取

1.1 精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型

在國(guó)畫圖像分類問(wèn)題中，采用深度學(xué)習(xí)分類算法捕獲畫中的表現(xiàn)手法，通常需要大量的訓(xùn)練樣本，而在原AlexNet網(wǎng)絡(luò)模型中，含有大量的待定參數(shù)，當(dāng)訓(xùn)練樣本數(shù)量不足時(shí)，極易導(dǎo)致過(guò)擬合而失去泛化能力的現(xiàn)象[13-14]。因此，在原AlexNet網(wǎng)絡(luò)模型基礎(chǔ)上，刪除原網(wǎng)絡(luò)中的第4層卷積層和第7層全連接層，以降低網(wǎng)絡(luò)參數(shù)規(guī)模。精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型示意圖如圖1所示。

圖1 精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型

精簡(jiǎn)網(wǎng)絡(luò)的前向傳播過(guò)程為：將輸入圖像的尺寸大小調(diào)整為227×227×3，經(jīng)過(guò)96個(gè)大小為11×11×3卷積核進(jìn)行卷積，生成55×55×96的數(shù)據(jù)圖，該特征圖經(jīng)2×2的最大池化處理后，得到27×27×96的特征圖，即為第1層卷積層的輸出；將27×27×96的數(shù)據(jù)圖輸入第2層，經(jīng)過(guò)128個(gè)5×5×96的卷積核進(jìn)行計(jì)算，再經(jīng)過(guò)2×2的池化層處理，輸出13×13×128的特征圖；將13×13×128的特征圖輸入第3層卷積層，與192個(gè)3×3×128的卷積核進(jìn)行卷積，最終輸出13×13×192的特征圖；將13×13×192的特征圖作為輸入與第4層卷積層的256個(gè)大小為3×3×192卷積核進(jìn)行卷積，再經(jīng)過(guò)2×2的最大池化層，輸出6×6×256的特征圖；隨后與第5層2 048個(gè)神經(jīng)元進(jìn)行全連接，經(jīng)由ReLU激活函數(shù)和Dropout處理輸出2 048維向量；將該特征向量輸入第6層softmax層，該層通過(guò)5個(gè)神經(jīng)元進(jìn)行全連接，最終輸出歸一化預(yù)測(cè)概率值。

1.2 非對(duì)稱圖像分塊及CNN模型訓(xùn)練

國(guó)畫圖像數(shù)量較少，很難支撐對(duì)AlexNet網(wǎng)絡(luò)模型的訓(xùn)練，可利用非對(duì)稱空間分塊方法對(duì)國(guó)畫圖像集進(jìn)行擴(kuò)充。對(duì)于每幅國(guó)畫圖像I，在上、下、左和右等4個(gè)方位處分別截取原圖像I的75%大小作為一幅新圖像，并賦予與原圖像相同的類別標(biāo)簽，記為I1、I2、I3與I4。以這種方法對(duì)圖像集內(nèi)的每幅圖像進(jìn)行處理，得到擴(kuò)充后的數(shù)據(jù)集[14]。非對(duì)稱空間分塊示意圖如圖2所示。

圖2 非對(duì)稱空間分塊

對(duì)樣本集進(jìn)行數(shù)據(jù)擴(kuò)充后，訓(xùn)練樣本數(shù)量將變成原來(lái)的4倍。在獲得擴(kuò)充后的數(shù)據(jù)集后，對(duì)所有訓(xùn)練圖像進(jìn)行預(yù)處理,即調(diào)整圖像大小為227×227×3，然后將數(shù)據(jù)輸入圖1中進(jìn)行訓(xùn)練，從而獲得具有特征提取能力的CNN網(wǎng)絡(luò)模型，其過(guò)程如圖3所示。

圖3 基于空間分塊的網(wǎng)絡(luò)訓(xùn)練過(guò)程

1.3 多尺度CNN特征提取

訓(xùn)練精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型，利用該模型對(duì)國(guó)畫圖像進(jìn)行多尺度CNN特征提取。

設(shè)I表示任意一幅國(guó)畫圖像，對(duì)其進(jìn)行非對(duì)稱空間分塊，得到I1、I2、I3與I4等4個(gè)圖像子塊；將原圖像與4個(gè)圖像子塊分別輸入精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型中，提取網(wǎng)絡(luò)中第5層全連接層輸出向量作為相應(yīng)圖像的CNN特征，分別記為FI、FI1、FI2、FI3與FI4。將所獲得的5個(gè)CNN特征向量級(jí)聯(lián)起來(lái)，即為圖像I的多尺度CNN特征，可表示為

F=[FIFI1FI2FI3FI4]

(1)

2 特征選擇及分類器設(shè)計(jì)

2.1 特征選擇

對(duì)于任意圖像I，其多尺度CNN特征F的維度為10 240(即2 048×5)維。對(duì)于國(guó)畫圖像分類問(wèn)題而言，高維度的CNN特征中通常含有大量的冗余信息和噪聲干擾信息，因此，采用前向搜索方法[15]對(duì)多尺度CNN特征進(jìn)行特征選擇，以降低數(shù)據(jù)的維度而提高分類精度與效率。

設(shè)T={(Ii,yi):i=1,2,…,N}表示訓(xùn)練圖像集,其中：N表示訓(xùn)練圖像的數(shù)量；Ii和yi∈{1,2,…,C}分別表示第i幅訓(xùn)練圖像及其類別標(biāo)簽，C表示圖像類別數(shù)。利用式(1)提取T中每幅圖像的多尺度CNN特征，得到訓(xùn)練圖像的特征矩陣FN×D，其中，D為圖像多尺度CNN特征的維度。圖像均帶有標(biāo)簽，定義矩陣FN×D的第d列為{fd:1≤d≤D}。

(2)

從FN×D中選取L(L

步驟1將特征子集G初始化為空集，即G=?。

步驟2將FN×D中每列數(shù)據(jù)作為特征子集，分別采用式(2)計(jì)算對(duì)應(yīng)的特征評(píng)價(jià)值，記fmax為特征評(píng)價(jià)值最大者，即

R(fmax)=max{R(fd)}

(3)

將fmax加入特征子集G得到第一次選擇的特征向量。

步驟3將G與剩余未入選的D-1個(gè)特征依次進(jìn)行組合，得到N-1個(gè)新的特征子集(G∪f(wàn)t)，其中，1≤t≤D-1，并利用式(2)計(jì)算其特征評(píng)價(jià)函數(shù)值R(G∪f(wàn)t)。假設(shè)使得R最高的特征為fa，將fa加入目標(biāo)特征子集，即可得到

G=G∪f(wàn)a

(4)

步驟4重復(fù)步驟3，每次迭代最多向G內(nèi)添加一列元素，直到G滿足特征子集的目標(biāo)維度L，最終獲得經(jīng)特征選擇之后的特征子集G。

2.2 SVM分類器

SVM作為一種面向小樣本的有監(jiān)督學(xué)習(xí)方法，其通過(guò)對(duì)有限樣本進(jìn)行學(xué)習(xí)而構(gòu)建分類超平面，進(jìn)而獲得對(duì)目標(biāo)樣本的分類能力。設(shè)Xi=[xi,x2,…,xL]為第i幅訓(xùn)練圖像經(jīng)特征選擇之后的CNN特征向量。為了利用SVM方法在降維之后的CNN特征空間得到最優(yōu)分類面，可將原問(wèn)題轉(zhuǎn)化為對(duì)偶二次規(guī)劃問(wèn)題[16]，即

(5)

其中，λ為懲罰因子。若a*為問(wèn)題(5)的一個(gè)解，則分類器為

(6)

(7)

綜上所述，基于多尺度CNN特征的國(guó)畫圖像分類算法的具體步驟如下。

1)訓(xùn)練階段

輸入訓(xùn)練圖像集T={(Ii,yi):i=1,2,…,N}，AlexNet網(wǎng)絡(luò)模型訓(xùn)練參數(shù)，特征選擇目標(biāo)子集維度L。

輸出AlexNet網(wǎng)絡(luò)模型、特征選擇位置序號(hào)PG及SVM分類器(a*,b*)。

步驟1采用非對(duì)稱空間分塊方法對(duì)訓(xùn)練圖像集T進(jìn)行分塊數(shù)據(jù)擴(kuò)充，訓(xùn)練精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型，并將其作為圖像CNN特征提取器。

步驟2利用式(1)提取訓(xùn)練圖像集T中所有圖像的多尺度CNN特征，得到訓(xùn)練特征矩陣FN×D。

步驟3利用式(2)對(duì)訓(xùn)練數(shù)據(jù)的特征矩陣FN×D進(jìn)行特征選擇得到GN×L，記錄特征選擇的位置信息PG。

步驟4利用經(jīng)特征選擇之后的數(shù)據(jù)集GN×L，訓(xùn)練SVM分類器(a*,b*)。

2)分類測(cè)試階段

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為Windows 10系統(tǒng)，Intel(R)Xeon(R)CPU E3-1220四核處理器，NVIDA Quadro K600顯卡，8 GB內(nèi)存，Python 3.6+Tensorflow仿真環(huán)境。AlexNet網(wǎng)絡(luò)模型訓(xùn)練時(shí)，迭代次數(shù)與學(xué)習(xí)率分別設(shè)置為500與0.001，算法中的SVM分類器選用徑向基核函數(shù)(Radial Basis Function，RBF)，在訓(xùn)練集中使用“2-fold交叉檢驗(yàn)”尋找最優(yōu)的SVM參數(shù)，即懲罰因子與核函數(shù)控制因子。

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證所提算法的性能，建立一個(gè)由1 000幅國(guó)畫圖像組成的圖像庫(kù)，該庫(kù)包含5類圖像，其中，古樹200幅、人物200幅、花鳥200幅、江南水鄉(xiāng)200幅和水墨畫200幅。部分樣圖示例如圖4所示。

圖4 國(guó)畫數(shù)據(jù)集部分樣圖圖像

將每類的所有圖像隨機(jī)分成二等份，一份用于組成訓(xùn)練集，另一份用于組成測(cè)試集，每個(gè)實(shí)驗(yàn)均重復(fù)10次，統(tǒng)計(jì)準(zhǔn)確率和混淆矩陣的平均值。準(zhǔn)確率主要用于評(píng)價(jià)總體分類準(zhǔn)確度；混淆矩陣主要反映了樣本具體的分類情況，其對(duì)角線代表該類分類準(zhǔn)確率，其值越大代表分類準(zhǔn)確率越高。

3.2 分類結(jié)果及分析

3.2.1 特征選擇及分塊性能分析

為了驗(yàn)證特征選擇在基于多尺度CNN特征國(guó)畫圖像分類中的有效性，在200與1 200之間，以步長(zhǎng)為50，分別選取不同維度的特征子集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 不同維度特征子集對(duì)分類精度的影響

由圖5結(jié)果可見(jiàn)，特征選擇的維度對(duì)分類精度結(jié)果有影響。當(dāng)特征子集維度由低變高時(shí)，分類精度呈先提升后下降的趨勢(shì)，且峰值位于特征維度為800～900維之間。這說(shuō)明高維度CNN特征內(nèi)含有很多各個(gè)類都會(huì)出現(xiàn)的冗余信息和噪聲信息，過(guò)多的冗余和噪聲反而使得不同類之間的區(qū)分度變小。通過(guò)特征選擇算法減少大量冗余和噪聲信息后，不同類之間的區(qū)分度反而變大了，從而有利于分類性能的提高，同時(shí)，當(dāng)選擇的特征維數(shù)較少時(shí)，也會(huì)丟失特征的區(qū)分度而降低分類精度，因此，在后續(xù)實(shí)驗(yàn)中，特征選擇的維數(shù)均固定為850。

為了驗(yàn)證非對(duì)稱空間分塊在國(guó)畫圖像分類中的有效性，基于精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型，在使用相同數(shù)據(jù)樣本進(jìn)行訓(xùn)練的情況下，將不進(jìn)行空間分塊整幅圖像的全局CNN特征、多尺度CNN特征與特征選擇后的CNN特征進(jìn)行對(duì)比實(shí)驗(yàn)，特征維度對(duì)算法分類精度的影響如表1所示。

表1 特征維度對(duì)算法分類精度的影響

由表1可以看出，提取非對(duì)稱空間分塊之后圖像子塊的CNN特征并進(jìn)行級(jí)聯(lián)，生成的高維度多尺度CNN特征對(duì)實(shí)驗(yàn)結(jié)果有積極作用；對(duì)高維度的CNN特征進(jìn)行特征選擇在降低數(shù)據(jù)維度的同時(shí)，對(duì)實(shí)驗(yàn)結(jié)果也有積極影響，說(shuō)明獲取更多的多尺度圖像信息能提高圖像分類準(zhǔn)確率。圖像分塊在一定程度上帶來(lái)了圖像內(nèi)容的空間位置信息。另外，對(duì)高維度特征進(jìn)行選擇后，并沒(méi)有因?yàn)閬G掉部分特征信息而使得分類效果下降，特征選擇算法去除了高維度特征中包含的大量冗余信息和噪聲信息，只保留了真正具有鑒別能力的信息，使得類間區(qū)分度變大，提升了算法精度。

3.2.2 網(wǎng)絡(luò)性能分析

為了驗(yàn)證精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型的有效性，分別基于原圖像與分塊擴(kuò)充的訓(xùn)練集，與原AlexNet網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)，不同神經(jīng)網(wǎng)絡(luò)的分類精度如表2所示。

表2 不同神經(jīng)網(wǎng)絡(luò)的分類精度

由表2實(shí)驗(yàn)結(jié)果可知，進(jìn)行非對(duì)稱空間分塊訓(xùn)練樣本擴(kuò)充對(duì)分類精度有影響。這說(shuō)明，一方面，訓(xùn)練數(shù)據(jù)集的規(guī)模是影響神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵因素之一，在訓(xùn)練樣本不足的情況下對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，可以有效地提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，提升其特征提取能力。另一方面，進(jìn)行非對(duì)稱空間分塊，可以獲取圖像的多尺度特征且?guī)в幸欢臻g位置信息，使得網(wǎng)絡(luò)能提取到更多的圖像特征信息。

當(dāng)空間分塊的條件不變時(shí)，精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型對(duì)CNN網(wǎng)絡(luò)性能提升具有積極作用。這說(shuō)明減少網(wǎng)絡(luò)層數(shù)與參數(shù)規(guī)模后，雖然不利于網(wǎng)絡(luò)提取更豐富和更具尺度多樣性的圖像特征，但其在訓(xùn)練數(shù)據(jù)規(guī)模較小時(shí)能有效避免網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象，提升網(wǎng)絡(luò)在面對(duì)監(jiān)控視頻目標(biāo)時(shí)的特征提取能力。

3.2.3 常用圖像分類算法性能比較

為了進(jìn)一步驗(yàn)證所提算法的有效性，基于數(shù)據(jù)擴(kuò)充之后的訓(xùn)練集，與其他傳統(tǒng)算法在同樣的訓(xùn)練集和測(cè)試集上進(jìn)行對(duì)比實(shí)驗(yàn)。對(duì)比方法分別為“SIFT+SVM”分類方法、方向梯度直方圖(Histogram of Oriented Gradient,HOG)提取特征結(jié)合SVM分類器分類方法“HOG+SVM”、詞袋模型(Bag of Word，BOW)描述圖像結(jié)合SVM分類器分類方法“BOW+SVM”[17]、LeNet-5網(wǎng)絡(luò)分類方法[18]和原AlexNet網(wǎng)絡(luò)模型分類方法[12]，重復(fù)10次實(shí)驗(yàn)，不同算法的平均分類精度如表3所示。

表3 不同算法分類精度比較

表3結(jié)果表明，所提算法在國(guó)畫圖像分類任務(wù)上表現(xiàn)更優(yōu)，比傳統(tǒng)算法提升約為8%～12%，比原AlexNet網(wǎng)絡(luò)分類算法提升了4%以上。同時(shí)，為了觀察5類國(guó)畫圖像的具體分類精度，所提算法的混淆矩陣如表4所示。

表4 5類目標(biāo)分類結(jié)果的混淆矩陣

從表4可以看出，5類圖畫圖像主要目標(biāo)總體分類精度較高，主要分類錯(cuò)誤出現(xiàn)在目標(biāo)古樹與水墨、人物與江南水鄉(xiāng)之間。從直觀上也可以發(fā)現(xiàn)這幾類目標(biāo)之間有很多相同點(diǎn)，這導(dǎo)致了相互之間出現(xiàn)誤判的情況；同時(shí)，在混淆矩陣中還可以看出對(duì)花鳥的分類效果較好。

4 結(jié)語(yǔ)

基于多尺度CNN特征的國(guó)畫圖像分類算法在原AlexNet模型的基礎(chǔ)上，刪除卷積層和全連接層，改進(jìn)為精簡(jiǎn)AlexNet網(wǎng)絡(luò)模型；利用非對(duì)稱空間分塊方法擴(kuò)充國(guó)畫數(shù)據(jù)集數(shù)據(jù)，將其輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到具有特征提取能力的CNN模型，并利用該模型提取圖像多尺度CNN特征；采用前向搜索選擇算法的特征選擇方法，對(duì)多尺度CNN特征進(jìn)行選擇降維處理；最后，利用SVM對(duì)特征選擇后的國(guó)畫圖像進(jìn)行分類。對(duì)比實(shí)驗(yàn)結(jié)果表明，該算法較全局CNN算法分類精度提高了2.12%，且與經(jīng)典的分類算法相比，精度也有所提升。