楊旺功，淮永建,2

(1.北京林業(yè)大學(xué) 信息學(xué)院，北京 100083；2.國(guó)家林業(yè)和草原局林業(yè)智能信息處理工程技術(shù)研究中心，北京 100083)

基于機(jī)器學(xué)習(xí)的植物圖像分類方法克服了人工分類方法的局限性。傳統(tǒng)細(xì)粒度分類算法，采用尺度不變特征變換(scale invariant featuretrans form，SIFT)[1]或方向梯度直方圖(histogram of oriented gradient，HOG)[2]提取局部特征手段，利用局部聚集描述符向量(vector of locally aggregated descriptors，VLAD)[3]或Fisher vector[4]等編碼模型進(jìn)行特征編碼。張娟等[5]按照紋理、形狀、顏色等手工特征對(duì)梅花進(jìn)行分類，方法不具有通用性。Nilsback等[6]提出了基于花卉幾何形狀的自動(dòng)分割算法。周偉等[7]提出了基于顯著圖的花卉分類算法，為避免分割的依賴關(guān)系，將顯著圖融入特征提取過程，融合顏色和尺度不變特征變換，并采用支持向量機(jī)(support vector machines,SVM)進(jìn)行分類。主流細(xì)粒度分類方法基于卷積神經(jīng)網(wǎng)絡(luò)[8-12]。本文提出了基于多層特征融合及興趣區(qū)域的花卉圖像分類方法。該方法基于VGG16[13]框架，提出基于興趣區(qū)域的特征強(qiáng)化算法，抑制無效信息區(qū)域，強(qiáng)化細(xì)微特征提取。融合多層網(wǎng)絡(luò)特征圖，采用全局平均池化取代全連接層[14]達(dá)到降維目的，從而防止過擬合。采用改進(jìn)的損失函數(shù)pre_softmax完成分類任務(wù)，提高了訓(xùn)練網(wǎng)絡(luò)的識(shí)別率。

1 圖像預(yù)處理

使用深度學(xué)習(xí)進(jìn)行圖像分類任務(wù)時(shí)，要求輸入的圖像尺寸固定，采用圖像縮放的方法直接將圖像縮放至神經(jīng)網(wǎng)絡(luò)可輸入的圖像尺寸。圖像的寬高不等，導(dǎo)致圖像不同程度的變形，有效形態(tài)特征信息被壓縮，從而引起圖像細(xì)節(jié)信息損失，影響圖像的分類結(jié)果。為了強(qiáng)化圖像有效信息，抑制邊界信息的干擾，提高神經(jīng)網(wǎng)絡(luò)模型的泛化能力，本研究針對(duì)花卉的特性，設(shè)計(jì)的圖像預(yù)處理流程如圖1所示。

圖1 圖像預(yù)處理流程Fig.1 Process of image preprocessing

1.1 圖像剪切算法

由于花卉數(shù)據(jù)集圖像的長(zhǎng)寬并非全部相等，若采用非等比率縮放圖像，會(huì)導(dǎo)致圖像變形，導(dǎo)致識(shí)別目標(biāo)的細(xì)粒度特征變形，從而影響模型的性能。若采用按最短邊截取的方法使用圖像，相對(duì)于模型訓(xùn)練階段，自動(dòng)拋棄未被截取的圖像信息，影響模型的泛化能力。在模型訓(xùn)練階段，需要更有效的利用細(xì)粒度特征信息；在測(cè)試階段，需要準(zhǔn)確截取圖像中具有細(xì)粒度特征的部分。本研究采用分而治之的策略，訓(xùn)練階段采用隨機(jī)截取函數(shù)截取圖像；測(cè)試階段采用中心截取函數(shù)截取圖像。這樣在模型階段具有數(shù)據(jù)擴(kuò)充的功能，在測(cè)試階段具有識(shí)別目標(biāo)精準(zhǔn)定位的作用。截取函數(shù)的關(guān)鍵算法如圖2所示。

圖2 圖像截取流程Fig.2 Flow chart of image clipping

中心剪切是在圖像的中心位置以原圖像寬、高的最短邊，截取正方形圖像。中心剪切可以獲取花卉圖像的主要信息，用于模型驗(yàn)證和測(cè)試階段。

(1)

式中：函數(shù)box是對(duì)原圖O截取子圖，其4個(gè)參數(shù)分別表示子圖左邊界距原圖左邊界的距離、子圖上邊界距原圖上邊界的距離、子圖右邊界距原圖左邊界的距離、子圖下邊界距原圖上邊界的距離。

隨機(jī)剪切是在圖像區(qū)域范圍內(nèi)，按正態(tài)隨機(jī)概率分布的形式，截取以原圖像短邊長(zhǎng)度為邊長(zhǎng)的正方形圖像。隨機(jī)剪切可以有效豐富圖像信息，提升訓(xùn)練模型的泛化能力，其數(shù)學(xué)表示為：

(2)

式中：frandom(x)表示可產(chǎn)生[0,x]隨機(jī)數(shù)的隨機(jī)函數(shù)。具有識(shí)別度的有用信息通常位于圖像中間，背景及無用信息位于圖像邊沿。為了強(qiáng)化圖像中間的有用信息，抑制原始圖像中的邊緣背景信息和噪聲信息，frandom(x)采用符合正態(tài)分布概率的隨機(jī)生成函數(shù)。

1.2 插值及圖像歸一化

深度學(xué)習(xí)的圖像預(yù)處理常采用圖像縮放的方法。圖像縮放過程中需要使用使用插值算法來確定坐標(biāo)像素值。常用的插值算法有最近鄰插值、雙線性插值、雙立方插值、Lanczos插值算法等。相比較而言，最近鄰插值算法效率最高，效果最差；雙立方插值和Lanczos插值算法的效果較好，但比較耗時(shí)。雙線性插值算法是性能和效果介于中間的算法。本研究從性能和效果上綜合考慮，采用雙線性插值縮小圖像。圖像歸一化處理可使得神經(jīng)網(wǎng)絡(luò)最優(yōu)解的尋優(yōu)過程更加平穩(wěn)，更容易收斂于最優(yōu)解。圖像歸一化處理最常用的是最大最小值歸一化[15]方法。計(jì)算過程是將原像素值[0,255]進(jìn)行線性變換，使結(jié)果落到[0,1]：

(3)

式中xi表示圖像像素值。

2 基于多特征融合的分類方法

基于多層特征融合的花卉細(xì)粒度圖像分類是基于VGG16的結(jié)構(gòu)，增加了block5_rio和GAP層。block5_rio層是對(duì)block5_conv2特征圖的判別性區(qū)域的提取和強(qiáng)化。block5_rio與block5_conv2維度保持一致。通過全局平均池化的方法對(duì)block5_pool和block5_rio降維，并將二者融合拼接成新的張量，再使用1 024個(gè)節(jié)點(diǎn)的全連接層，通過opt_softmax損失函數(shù)分類?；诙鄬犹卣魅诤霞芭d趣區(qū)域的花卉細(xì)粒度圖像分類系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 多層特征融合網(wǎng)絡(luò)總結(jié)構(gòu)Fig.3 General structure of multi-layer feature fusion network

2.1 特征圖分析

卷積神經(jīng)網(wǎng)絡(luò)由多個(gè)卷積層和池化層構(gòu)成。每個(gè)卷積層包含若干個(gè)卷積核，經(jīng)由這些卷積核進(jìn)行從左到右，上從往下進(jìn)行卷積運(yùn)算，得到的數(shù)據(jù)稱為特征圖。卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程保持著圖像的空間結(jié)構(gòu)，即特征圖與原始圖像在空間上保持對(duì)應(yīng)關(guān)系。

池化層是對(duì)卷積層的特征圖以某種方式進(jìn)行壓縮，縮小特征圖的維度、降低網(wǎng)絡(luò)復(fù)雜度，使得神經(jīng)網(wǎng)絡(luò)具有更高的魯棒性，防止過擬合現(xiàn)象。池化層是仿照人的視覺系統(tǒng)處理信息的抽象過程，降低特征維度，并夠保留顯著信息，從而增加了卷積核的感受野。池化層的特征圖與上一層的卷積層特征圖的抽象信息保持一致，如圖4所示，block5_pool與block5_conv3特征圖的信息保持一致。

為了更好理解卷積神經(jīng)網(wǎng)絡(luò)的特征提取的特點(diǎn)，本文通過可視化的方法對(duì)不同的卷積層和池化層的特征圖進(jìn)行可視化。圖4是VGG16的部分卷積層和池化層的特征圖疊加可視化效果。

圖4分析可知，隨著網(wǎng)絡(luò)層數(shù)的增加，特征圖的分辨率越小，對(duì)圖像的抽象能力越高。淺層特征提取的是紋理、細(xì)節(jié)特征；而深層特征提取的是輪廓，形狀，更顯著的特征。相比較而言，淺層特征包含的細(xì)節(jié)信息更多，也具有一定類別區(qū)分的能力；深層特征具有判別性，具有明確的分類的能力。以深層特征的分類能力為基礎(chǔ)，輔以淺層網(wǎng)絡(luò)的細(xì)節(jié)特征，有利于提高分類任務(wù)的準(zhǔn)確率。

注：b2_2表示block2_conv2卷積層，b5_p表示block5_pool池化層。圖4 VGG16網(wǎng)絡(luò)層特征圖可視化Fig.4 Visualization of feature maps in VGG16 network layers

2.2 興趣區(qū)域提取

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程就是訓(xùn)練卷積核參數(shù)的過程，是圖像特征不斷提取的過程。神經(jīng)網(wǎng)絡(luò)越優(yōu)秀，卷積核的特征提取能力越強(qiáng)。通過神經(jīng)網(wǎng)絡(luò)提取出的特征越重要，其連接權(quán)重越大，表現(xiàn)為強(qiáng)激活區(qū)域。圖5是本文所設(shè)計(jì)的多層特征融合網(wǎng)絡(luò)特征圖的部分強(qiáng)激活區(qū)域可視化。

注：b5_2表示block2_conv2卷積層，b5_p表示block5_pool池化層，b5_r表示block5_roi自定義層，其他簡(jiǎn)稱類似。圖5 block5_conv2和block5_pool部分通道、及高響應(yīng)區(qū)域特征圖可視化Fig.5 Visualization of partial channel and feature maps of block5_conv2,block5_pool and high response area

相較于池化層block5_pool，其他層特征圖的抽象性較低，為了提升其他層信息表達(dá)能力，本文設(shè)計(jì)了興趣區(qū)域?qū)?，用于?qiáng)化關(guān)鍵特征。block5_roi層是對(duì)block5_conv2特征的提取，并對(duì)特征圖的強(qiáng)化，抑制背景及噪聲干擾，具有提取關(guān)鍵特征的能力。此法可充分融合多層的不同特征，提升網(wǎng)絡(luò)性能。block5_roi的特征圖大小是14×14×512，與block5_conv2保持一致。

為了盡最大可能提取關(guān)鍵區(qū)域特征，強(qiáng)化block5_conv2和block5_pool層特征融合效果，將在block5_conv2的特征圖中提取興趣區(qū)域。block5_conv2的輸入為Iinput：

Iinput=Finput(x,y,z)，1≤x,y≤W，1≤z≤c

(4)

式中：Finput為c表示特征圖的通道數(shù)。輸出定義為Ioutput：

Ioutput=Iinput·Imask

(5)

式中：·表示逐位相乘；特征圖的長(zhǎng)、寬及通道數(shù)保持不變；Imask表示矩陣蒙版，用于截取興趣區(qū)域。

所有通道疊加的平均值稱為特征圖疊加平均圖，記作Istack。與特征圖相比，長(zhǎng)寬保持不變，通道壓縮為1，可表示為：

(6)

Istack特征圖疊加平均圖的所有像素點(diǎn)的平均數(shù)為：

(7)

Imask矩陣蒙版的切片，即單層蒙版可記作Islice為：

Islice=Fslice(x,y) 1≤x,

(8)

Imask矩陣蒙版與蒙版切片Islice的關(guān)系為：

Imask=Fmask(x,y,z)，1≤x,y≤W;

1≤z≤C=Islice(x,y,z)，1≤z≤C

(9)

式中Imask是Islice堆疊C次張量，其張量的形狀為(W,W,C)。

2.3 全局平均池化及優(yōu)化損失函數(shù)

用傳統(tǒng)全連接層連接特征圖層，會(huì)產(chǎn)生龐大的參數(shù)，不可避免導(dǎo)致過擬合現(xiàn)象。GAP層將特征圖的每一個(gè)通道與GAP層的點(diǎn)相對(duì)應(yīng)，從而賦予通道的意義[14]。因此，在特征圖之后，使用GAP代替全連接層，可以將特征圖與分類的關(guān)系更加清晰，還能大幅降低參數(shù)，防止網(wǎng)絡(luò)過擬合。

softmax函數(shù)是logistic函數(shù)的擴(kuò)展。logistic函數(shù)只能處理二分問題，softmax可以處理多分類任務(wù)，其輸出是每一個(gè)類的概率值。每一個(gè)樣本對(duì)應(yīng)的k個(gè)概率估計(jì)值為式：

(10)

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程是損失函數(shù)尋找最優(yōu)解的過程，使得損失函數(shù)達(dá)到最小值。softmax損失函數(shù)為：

(11)

在神經(jīng)網(wǎng)絡(luò)輸出層選用softmax分類函數(shù)，其采用交叉熵作為損失函數(shù)。由于其計(jì)算分類的結(jié)果非0即1，必然會(huì)引起過擬合，而實(shí)踐中又無法設(shè)置閾值。為了防止過擬合，本文提出了聯(lián)合樣本均勻分布的交叉熵?fù)p失方法。樣本均勻分布的交叉熵?fù)p失Lmean為：

(12)

式中：m表示訓(xùn)練樣本的數(shù)量;xi∈Rd表示第i個(gè)訓(xùn)練樣本;yi表示xi的標(biāo)記。聯(lián)合樣本交叉熵?fù)p失與均勻分布交叉熵?fù)p失作為總損失：

L=(1-λ)S+λmean

(13)

式中：LS表示softmax 損失；Lmean表示均勻分布的交叉熵?fù)p失；λ表示用于平衡2個(gè)損失函數(shù)的系數(shù)，本文中λ取值為0.1。

3 花卉圖像分類實(shí)驗(yàn)及分析

本研究采用Oxford Flowers 102數(shù)據(jù)集[6]和Plum Flowers 17。后者是為研究梅花細(xì)粒度分類所采集梅花圖像數(shù)據(jù)集，包含17個(gè)梅花品種。

本研究的實(shí)驗(yàn)電腦配置為PC Intel(R) Core(TM) i7-6700 CPU@3.40 GHz的CPU、8 GB的Nvidia Geforce GTX 1070 GPU和16 GB的運(yùn)行內(nèi)存。所有的程序均是由Python語言編寫并調(diào)用CUDA、Cudnn、OPENCV庫(kù)并在Windows10系統(tǒng)下運(yùn)行。

為了保持實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)的統(tǒng)一性，將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集按70∶15∶15隨機(jī)劃分。訓(xùn)練時(shí)所有模型的優(yōu)化器采用Adam，批樣本數(shù)量設(shè)置為64，并且都設(shè)定了學(xué)習(xí)率10-3，學(xué)習(xí)率衰減10-9，每次訓(xùn)練50輪。防止過擬合，實(shí)驗(yàn)采用EarlyStopping方法記錄到目前為止最好的驗(yàn)證集精度，當(dāng)連續(xù)10次Epoch沒達(dá)到最佳精度時(shí)，則可停止訓(xùn)練。

3.1 數(shù)據(jù)增強(qiáng)效用評(píng)價(jià)

為了消除其他因素影響，本實(shí)驗(yàn)使用block5_pool層提取的特征，采用VGG的標(biāo)準(zhǔn)降維方法Flatten，連接有1 024個(gè)點(diǎn)的全連接層，輸出層的激勵(lì)函數(shù)采用softmax。

圖像輸入給神經(jīng)網(wǎng)絡(luò)之前，需要對(duì)其進(jìn)行尺寸歸一化操作。傳統(tǒng)方法是將圖像直接壓縮為輸入圖像尺寸，為了防止訓(xùn)練的過擬合，會(huì)采用數(shù)據(jù)增強(qiáng)技術(shù)。實(shí)驗(yàn)的數(shù)據(jù)增強(qiáng)方法采用水平翻轉(zhuǎn)圖像、圖像歸一化處理等操作。為了預(yù)防直接壓縮而引起的細(xì)粒度信息的丟失，本文提出了一種圖像預(yù)處理方法，防止破壞圖像的細(xì)粒度特征。為了比較直接壓縮、本文圖像處理及數(shù)據(jù)增強(qiáng)的影響，本階段設(shè)計(jì)4個(gè)子實(shí)驗(yàn)，分別是直接壓縮、直接壓縮+數(shù)據(jù)增強(qiáng)、本文圖像處理、本文圖像處理+數(shù)據(jù)增強(qiáng)。在Oxford flowers 102上的數(shù)據(jù)增強(qiáng)效果評(píng)估實(shí)驗(yàn)結(jié)果如表1所示。

表1 本文壓縮方法及數(shù)據(jù)增強(qiáng)對(duì)準(zhǔn)確率的影響Table 1 Impact of compression method and data augmentation on accuracy

由表1可以看出，比較Top-1的結(jié)果，以直接壓縮的方法作為基準(zhǔn)，本文圖像處理方法對(duì)于分類準(zhǔn)確率提升明顯。本文圖像處理+數(shù)據(jù)增強(qiáng)的分類精度最好，Top-1是84.95%。

3.2 全局池化層效用評(píng)估

全連接層致命的弱點(diǎn)是參數(shù)量過大，尤其是與最后1個(gè)卷積層相連的全連接層。全連接層增加網(wǎng)絡(luò)訓(xùn)練和測(cè)試的計(jì)算量，并且由于參數(shù)量大，容易引起過擬合。為了比較壓平操作和全局池化的差異，本階段設(shè)計(jì)2個(gè)子實(shí)驗(yàn)，在Oxford flowers 102的實(shí)驗(yàn)結(jié)果如表2所示。

表2 壓平操作與全局池化比較實(shí)驗(yàn)Table 2 Comparison experiments of GAP and Fllaten

本實(shí)驗(yàn)使用block5_pool層提取特征，降維方法分別使用壓平操作和全局池化，連接有1 024個(gè)點(diǎn)的全連接層，輸出層的激勵(lì)函數(shù)采用softmax。

如表2所示，采用壓平操作方法的訓(xùn)練參數(shù)是25 795 686，全局池化的可以訓(xùn)練參數(shù)只有629 862，不可訓(xùn)練參數(shù)相同，都是14 714 688。由于壓平操作方法的訓(xùn)練參數(shù)大，最終的模型文件大小為351 MB，遠(yuǎn)遠(yuǎn)超過全局池化方法的模型大小63.4 MB，并且在識(shí)別率上，全局池化的識(shí)別率明顯高于壓平操作。實(shí)驗(yàn)表明，全局池化取代與最后一個(gè)卷積層相連接的全連接層，有效地解決參數(shù)過大引起的過擬合問題。

3.3 特征融合評(píng)估實(shí)驗(yàn)

不計(jì)最后3層的全連接層，VGG16包含16層。整體結(jié)構(gòu)上包含5組卷積層，卷積層之后連一個(gè)最大池化層，池化層的特征圖是對(duì)上一池化層的壓縮，特征信息保持一致。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程就是訓(xùn)練卷積核參數(shù)的過程，是圖像特征不斷抽象的過程。為了提升分類準(zhǔn)確率，多層特征融合時(shí)，對(duì)特征圖的選擇尤為關(guān)鍵。隨著網(wǎng)絡(luò)層數(shù)的增加，特征圖的分辨率越小，對(duì)圖像的抽象能力越高，block5_pool必不可少。淺層特征提取的是紋理、細(xì)節(jié)特征，block5_pool特征的基礎(chǔ)上融合其他層的特征提升了效果，需要通過實(shí)驗(yàn)驗(yàn)證。本實(shí)驗(yàn)分別采取5組卷積層的最后一層卷積層與block5_pool融合訓(xùn)練。由于高層的抽象能力強(qiáng)，識(shí)別率高，還開展了block5_conv1、block5_conv2與block5_pool融合的實(shí)驗(yàn)。圖6是VGG16多層特征融合在Oxford flowers 102上的實(shí)驗(yàn)結(jié)果。

圖6 VGG16 block5_pool與其他層特征融合實(shí)驗(yàn)Fig.6 Multi-layer feature fusion experiment of VGG16

本實(shí)驗(yàn)使用block5_pool層融合其他層的特征圖，采用GAP降維，然后連接有1 024個(gè)點(diǎn)的全連接層，輸出層的激勵(lì)函數(shù)采用softmax。

圖6可見，添加了block5_rio層的融合效果較佳，并且block1_conv2、block2_conv2、block3_conv3與block5_pool的融合嚴(yán)重影響基準(zhǔn)識(shí)別率，不及單獨(dú)使用block5_pool的識(shí)別率88.60%。block4_conv3、block5_conv1、block5_conv3與block5_pool的融合都能夠提升圖像的分類準(zhǔn)確率。在此基礎(chǔ)上添加了block5_rio，block5_conv2+block5_pool的融合效果最理想，分類準(zhǔn)確率達(dá)91.78%。

3.4 優(yōu)化損失函數(shù)評(píng)估實(shí)驗(yàn)

為了提升分類效果，提出聯(lián)合均勻分布的交叉熵?fù)p失函數(shù)。為了對(duì)比優(yōu)化函數(shù)的有效性，開展了softmax損失函數(shù)與本文優(yōu)化損失函數(shù)的比較實(shí)驗(yàn)。

實(shí)驗(yàn)使用block5_conv2、block5_pool特征圖，并分別使用GAP降維，將降維后的2個(gè)張量融合，然后連接有1 024個(gè)點(diǎn)的全連接層，輸出層的激勵(lì)函數(shù)分別采用softmax和opt_softmax方法。聯(lián)合交叉熵?fù)p失函數(shù)在Oxford flowers 102上的實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 優(yōu)化損失函數(shù)比較實(shí)驗(yàn)Fig.7 Comparative experiment of optimized Loss Function

本文提出聯(lián)合均勻分布的交叉熵?fù)p失函數(shù)opt_softmax可以緩解傳統(tǒng)采用交叉熵?fù)p失函數(shù)softmax過于自信而導(dǎo)致的過擬合問題，測(cè)試準(zhǔn)確率從91.78%提升到93.57%，表現(xiàn)良好。

未經(jīng)過融合的VGG16分類精度只有80.07%。其他研究的分類準(zhǔn)確率分別為72.80%[6]、79.10%[15]和84.02%[16]。借助本文提出的圖像預(yù)處理方法、多層特征融合、及損失函數(shù)優(yōu)化都提升了花卉圖像的細(xì)粒度分類精度，達(dá)到93.57%。

3.5 梅花品種分類實(shí)驗(yàn)

上述實(shí)驗(yàn)已證明本文提出的多層特征融合細(xì)粒度分類方法的有效性。最后將該方法應(yīng)用于梅花品種數(shù)據(jù)集Plum Flowers 17進(jìn)行實(shí)驗(yàn)。VGG16的實(shí)驗(yàn)采用數(shù)據(jù)增強(qiáng)，使用Fllaten連接block5_pool，和softmax分類器進(jìn)行實(shí)驗(yàn)。本文采用block5_pool和block5_conv2多層特征融合細(xì)粒度分類方法，結(jié)構(gòu)如圖3所示。

VGG16和本文方法在梅花數(shù)據(jù)集上的分類準(zhǔn)率分別為71.22%和85.47%。實(shí)驗(yàn)結(jié)果表明，本文提出的基于多層特征融合的分類方法，不僅適用于標(biāo)準(zhǔn)花卉數(shù)據(jù)集，還適應(yīng)于梅花數(shù)據(jù)集，對(duì)分類性能提升明顯，因此該方法針對(duì)小規(guī)模花卉分類具有參考價(jià)值。

4 結(jié)論

1)本文提出的圖像預(yù)處理方法，能夠防止直接壓縮圖像引起的破壞圖像細(xì)粒度特征，有利于神經(jīng)網(wǎng)絡(luò)提高分類準(zhǔn)確率。

2)多層特征融合方法充分融合淺層特征包含的細(xì)節(jié)信息，深層特征包含的抽象信息，對(duì)分類準(zhǔn)確率提升有益。

3)全局池化層替代Flatten層方法降低特征圖的維度，使特征圖與分類的關(guān)系更加清晰，還大幅降低參數(shù)，防止網(wǎng)絡(luò)過擬合。

4)聯(lián)合均勻分布的交叉熵?fù)p失函數(shù)可以緩解傳統(tǒng)交叉熵?fù)p失函數(shù)過于自信而導(dǎo)致的過擬合問題。