李 靜 卯福啟,2

(1.北方工業(yè)大學(xué)，北京 100144；2.中國(guó)地質(zhì)大學(xué)(北京)，北京 100083)

0 引言

晶界屬于晶體缺陷的面缺陷之一，它是結(jié)構(gòu)相同而取向不同的晶粒之間的界面，晶界面上的原子排列處于2個(gè)取向之間的過(guò)渡狀態(tài)。晶界的存在會(huì)嚴(yán)重影響晶體材料的強(qiáng)度、塑性和抗拉程度等性能指標(biāo)。高分辨率電子顯微鏡(High Resolution Transmission Electron Microscope，HRTEM)的出現(xiàn)為晶界提供了納米級(jí)別下原子排布的清晰圖像，也為晶體缺陷的智能化檢測(cè)奠定了基礎(chǔ)。隨著計(jì)算機(jī)視覺(jué)的發(fā)展，基于圖像處理的深度學(xué)習(xí)技術(shù)推動(dòng)了晶體缺陷高分辨率圖像的研究。目標(biāo)檢測(cè)網(wǎng)絡(luò)EfficientDet模型[1]5在通用大型目標(biāo)檢測(cè)數(shù)據(jù)集上獲得了優(yōu)異的檢測(cè)精度和速度性能，筆者將其作為晶界缺陷檢測(cè)的基礎(chǔ)模型，但由于EfficientDet網(wǎng)絡(luò)結(jié)構(gòu)具有模型縮放等特征，導(dǎo)致模型結(jié)構(gòu)存在冗余、參數(shù)量大等問(wèn)題，若通過(guò)神經(jīng)網(wǎng)絡(luò)芯片對(duì)專用硬件加速，則會(huì)帶來(lái)高昂費(fèi)用的應(yīng)用成本負(fù)擔(dān)。模型壓縮技術(shù)能夠通過(guò)對(duì)原有模型進(jìn)行參數(shù)壓縮、維度縮減和重新設(shè)計(jì)簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)等操作來(lái)加快網(wǎng)絡(luò)訓(xùn)練和推理時(shí)間，有效降低結(jié)構(gòu)和參數(shù)冗余，從而減少空間存儲(chǔ)占用和計(jì)算復(fù)雜度，有助于深度學(xué)習(xí)技術(shù)的應(yīng)用和部署。這種技術(shù)不僅應(yīng)用成本低，而且可以與硬件加速方法相互加成。

目前，在模型壓縮和加速方面大致分為剪枝與量化、低秩因子分解、遷移或壓縮卷積濾波器、蒸餾學(xué)習(xí)等4類方法[2]。其中，網(wǎng)絡(luò)剪枝主要指在網(wǎng)絡(luò)訓(xùn)練過(guò)程中尋求一種評(píng)判重要性的機(jī)制，剔除不重要的連接、節(jié)點(diǎn)甚至是卷積核，達(dá)到精簡(jiǎn)網(wǎng)絡(luò)結(jié)構(gòu)的目的。相比于其他模型壓縮的方法，網(wǎng)絡(luò)剪枝算法不僅原理簡(jiǎn)單且操作方便，還可以在不影響性能的前提下，通過(guò)設(shè)定恰當(dāng)?shù)募糁?zhǔn)則去除網(wǎng)絡(luò)中對(duì)輸出特征貢獻(xiàn)小的無(wú)用部分。筆者旨在通過(guò)尋找合適的剪枝策略機(jī)制對(duì)晶界檢測(cè)EfficientDet網(wǎng)絡(luò)進(jìn)行模型壓縮，采用權(quán)重剪枝和BN層通道剪枝的方法，使網(wǎng)絡(luò)模型結(jié)構(gòu)更加精簡(jiǎn)，參數(shù)量減少，加快運(yùn)行速度，達(dá)到實(shí)時(shí)應(yīng)用的標(biāo)準(zhǔn)。

1 神經(jīng)網(wǎng)絡(luò)剪枝算法相關(guān)研究

隨著搜索算法中剪枝策略的廣泛應(yīng)用，剪枝算法也逐步應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)中。許多學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)中不重要的連接權(quán)重進(jìn)行剪枝操作。如2015年SONG H.等[3]先通過(guò)訓(xùn)練網(wǎng)絡(luò)確定重要連接，然后修剪不重要連接，最后重新訓(xùn)練并微調(diào)剩余網(wǎng)絡(luò)連接的權(quán)重，實(shí)現(xiàn)了將經(jīng)典網(wǎng)絡(luò)AlexNet和VGG等模型參數(shù)壓縮幾十倍。SONG H.等[4]提出了用EIE方法將壓縮模型與硬件加速結(jié)合，實(shí)現(xiàn)了CPU和GPU的速率及功耗性能的大幅改善。LI H.等[5]通過(guò)對(duì)卷積核中權(quán)值絕對(duì)值之和進(jìn)行排序，裁剪重要性低的卷積層，減少卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算成本，這種方法不需要使用稀疏庫(kù)或?qū)Ｓ糜布铀?。WEI W.等[6]采用一種類似于L1正則化的Group Lasso方式，在不損失精度的前提下將網(wǎng)絡(luò)學(xué)習(xí)的參數(shù)盡可能地結(jié)構(gòu)化稀疏。SONG H.等[7]則混合使用了剪枝、量化和編碼3種壓縮技巧，將經(jīng)過(guò)剪枝后的模型進(jìn)行量化操作再整合霍夫曼編碼，使網(wǎng)絡(luò)在保持相同準(zhǔn)確率的基礎(chǔ)上達(dá)到最高49倍的壓縮比。

通道剪枝也是模型壓縮和加速領(lǐng)域的一個(gè)重要分支。通道剪枝同權(quán)重剪枝相似，在保證網(wǎng)絡(luò)的剪枝率和剪枝結(jié)構(gòu)確定的前提下，對(duì)每個(gè)通道的重要性進(jìn)行評(píng)估，剪掉重要性排序最低的通道，并使得剪枝后網(wǎng)絡(luò)模型的精度損失最小。HE Y.H.等[8]首先用通道選擇機(jī)制添加L1范數(shù)，約束權(quán)重，使權(quán)重更加稀疏，并把稀疏的通道裁減掉，然后基于最小二乘法約束剪枝前后輸出的特征圖。LIU Z.等[9]提出一種針對(duì)BN層通道剪枝的方法，該方法利用BN層的權(quán)重評(píng)估輸入通道的重要性分?jǐn)?shù)，過(guò)濾掉分?jǐn)?shù)低的通道，在通道裁剪的同時(shí)，減少網(wǎng)絡(luò)對(duì)應(yīng)的卷積核以及卷積通道個(gè)數(shù)，逐層剪枝達(dá)到壓縮效果。LI B.等[10]采用了自適應(yīng)批量歸一化的簡(jiǎn)單有效的評(píng)估技術(shù)方法，揭示不同剪枝子網(wǎng)絡(luò)與其微調(diào)收斂精度之間的強(qiáng)相關(guān)性，該方法不需要對(duì)子網(wǎng)絡(luò)進(jìn)行實(shí)際微調(diào)，就能在候選子網(wǎng)絡(luò)中快速找到具有最高潛在準(zhǔn)確率的網(wǎng)絡(luò)。GUO S.等[11]提出DMCP方法，該方法通過(guò)交叉熵?fù)p失和預(yù)算正則化的梯度下降直接優(yōu)化網(wǎng)絡(luò)，搜索最優(yōu)通道子結(jié)構(gòu)。LIU N.等[12]提出基于神經(jīng)網(wǎng)絡(luò)自動(dòng)化結(jié)構(gòu)剪枝的框架，使用混合型的結(jié)構(gòu)化剪枝維度和高效的交替乘子優(yōu)化算法對(duì)訓(xùn)練過(guò)程中的正則項(xiàng)動(dòng)態(tài)更新，利用啟發(fā)式搜索方式進(jìn)行抽樣。

2 EfficientDet算法

2020年，在EfficientNet分類網(wǎng)絡(luò)的基礎(chǔ)上[13]，Google Brain團(tuán)隊(duì)提出了一種結(jié)合新型雙向特征金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Network，BiFPN)和縮放原理的EfficientDet目標(biāo)檢測(cè)網(wǎng)絡(luò)。該網(wǎng)絡(luò)共有8個(gè)不同版本，從EfficientDet-D0到EfficientDet-D7。其中，EfficientDet-D7在COCO數(shù)據(jù)集上的mAP(mean Average Precision)高達(dá)51%，超過(guò)了現(xiàn)有大部分目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能，網(wǎng)絡(luò)的模型框架如圖1所示。

圖1 EfficientDet網(wǎng)絡(luò)

EfficientDet網(wǎng)絡(luò)是兼?zhèn)錂z測(cè)精度和速度的優(yōu)秀目標(biāo)檢測(cè)算法，該網(wǎng)絡(luò)利用對(duì)骨干網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的縮放原理，增加特征提取網(wǎng)絡(luò)的深度，并結(jié)合注意力機(jī)制原理，考慮不同特征層的重要程度，以實(shí)現(xiàn)優(yōu)異的檢測(cè)效果。但是由于模型縮放的特征，網(wǎng)絡(luò)存在一定的結(jié)構(gòu)復(fù)雜性，使得模型參數(shù)量不斷增加。為減少缺陷檢測(cè)模型的冗余參數(shù)量，提高模型檢測(cè)速度，同時(shí)確保網(wǎng)絡(luò)性能，可對(duì)EfficientDet網(wǎng)絡(luò)進(jìn)行必要的剪枝操作，以降低模型參數(shù)量和計(jì)算復(fù)雜度，提高模型運(yùn)行速度，縮短運(yùn)行時(shí)間，便于晶界檢測(cè)模型的應(yīng)用和部署。

2.1 非結(jié)構(gòu)化權(quán)重剪枝

由EfficientDet網(wǎng)絡(luò)中BiFPN結(jié)構(gòu)可知，由于不同分辨率的輸入特征對(duì)融合輸出特征的貢獻(xiàn)不同，因此該網(wǎng)絡(luò)采用了一種類似于計(jì)算機(jī)視覺(jué)領(lǐng)域注意力機(jī)制結(jié)構(gòu)的加權(quán)雙向特征金字塔網(wǎng)絡(luò)BiFPN結(jié)構(gòu)。該結(jié)構(gòu)在融合不同層輸入特征的過(guò)程中采用了大量權(quán)重參數(shù)，這無(wú)疑會(huì)帶來(lái)權(quán)重參數(shù)的冗余，因此剪枝網(wǎng)絡(luò)權(quán)重是必要的。BiFPN結(jié)構(gòu)采用的快速歸一化加權(quán)融合策略如式(1)[1]4：

(1)

式(1)中，O為輸出特征；∑i，∑j分別為第i層和第j層求和；ωi，ωj分別為第i層和第j層的權(quán)重參數(shù)，用來(lái)作為判斷輸入到下一層網(wǎng)絡(luò)的特征重要程度的標(biāo)準(zhǔn)；ε為一個(gè)極小的值，用來(lái)避免數(shù)值不穩(wěn)定，ε=0.000 1；Ii為第i層的輸入特征。

通過(guò)網(wǎng)絡(luò)參數(shù)自動(dòng)學(xué)習(xí)以后，根據(jù)權(quán)重值的大小進(jìn)行排序，然后對(duì)應(yīng)剪枝比例確定權(quán)重閾值，便可以進(jìn)行EfficientDet模型的權(quán)重剪枝。

此外，由于L1正則化傾向于產(chǎn)生更少的特征，使得網(wǎng)絡(luò)部分冗余參數(shù)在訓(xùn)練過(guò)程中盡可能變?yōu)?，從而生成一個(gè)稀疏化的網(wǎng)絡(luò)模型。L2正則化在權(quán)重更新過(guò)程中使參數(shù)盡可能小，使網(wǎng)絡(luò)模型結(jié)構(gòu)更加簡(jiǎn)單，泛化能力更強(qiáng)。在網(wǎng)絡(luò)剪枝過(guò)程中，引入L1正則化和L2正則化，促使網(wǎng)絡(luò)中冗余參數(shù)趨近很小的數(shù)，可以提升權(quán)重剪枝的推理速度，同時(shí)降低誤剪枝的風(fēng)險(xiǎn)。因此，筆者通過(guò)L1正則化和L2正則化的方法對(duì)權(quán)重和通道參數(shù)矩陣進(jìn)行選擇。

L1范數(shù)是向量中各個(gè)元素絕對(duì)值之和，可以進(jìn)行特征選擇，即讓特征的系數(shù)變?yōu)?。L1正則化方法如式(2)所示[14]252，它相對(duì)要比 L2 正則化更容易產(chǎn)生稀疏解。

(2)

式(2)中，C為正則化后的損失函數(shù)；Co為神經(jīng)網(wǎng)絡(luò)原來(lái)的損失函數(shù)，在原始損失代價(jià)后面加入一個(gè)L1正則化項(xiàng)，即所有權(quán)重ω的絕對(duì)值之和；n為訓(xùn)練集的樣本大??；λ是正則項(xiàng)系數(shù)，用來(lái)權(quán)衡正則項(xiàng)與Co項(xiàng)的比重。

L2范數(shù)是向量各元素的平方和再求平方根，它可以使網(wǎng)絡(luò)在再訓(xùn)練過(guò)程中保留下來(lái)的參數(shù)數(shù)值逐漸減小，以防止網(wǎng)絡(luò)過(guò)擬合，提升模型的泛化能力，也有利于模型保持原有精度。L2正則化方法如式(3)所示[14]253。

(3)

式(3)中，C為正則化后的損失函數(shù)；Co代表神經(jīng)網(wǎng)絡(luò)原來(lái)的損失函數(shù)，在原始損失代價(jià)后面加入一個(gè)L2正則化項(xiàng)，即所有權(quán)重ω的平方之和；n為訓(xùn)練集的樣本大小，為使求導(dǎo)方便增加系數(shù)1/2；λ是正則項(xiàng)系數(shù)，用來(lái)權(quán)衡正則項(xiàng)與Co項(xiàng)的比重。

然而，權(quán)重剪枝標(biāo)準(zhǔn)在非結(jié)構(gòu)化剪枝的情況下，通常僅將不重要的特征權(quán)重置0，生成的權(quán)重張量可以稀疏，但卻保持其原始形狀，因而得到的只是稀疏化網(wǎng)絡(luò)。雖然通過(guò)減小權(quán)重張量的尺寸能減少浮點(diǎn)運(yùn)算的數(shù)量，但非結(jié)構(gòu)化修剪會(huì)產(chǎn)生許多帶有0的權(quán)重張量，且不會(huì)自動(dòng)減小此類張量的大小。非結(jié)構(gòu)化剪枝最主要的缺點(diǎn)是數(shù)據(jù)結(jié)構(gòu)的加速稀疏需要硬件設(shè)備支持額外的存儲(chǔ)開(kāi)銷，但目前對(duì)于稀疏操作進(jìn)行加速支持的庫(kù)非常有限，大多數(shù)框架和硬件無(wú)法加速稀疏矩陣的計(jì)算，這就意味著無(wú)論用多少0填充參數(shù)張量，都不會(huì)對(duì)實(shí)際訓(xùn)練成本產(chǎn)生實(shí)質(zhì)的影響，僅僅是一種直接改變網(wǎng)絡(luò)架構(gòu)進(jìn)行剪枝的方式，而不是對(duì)任何框架都適用的方法，在應(yīng)用上效果不盡人意。因此，人們開(kāi)始嘗試將不重要的權(quán)重對(duì)應(yīng)的特征層直接進(jìn)行剪枝，通過(guò)改變網(wǎng)絡(luò)架構(gòu)方式的修剪方法，真正達(dá)到網(wǎng)絡(luò)模型壓縮的目的，降低模型結(jié)構(gòu)的冗余，實(shí)現(xiàn)參數(shù)量和計(jì)算力的減少，這種方法稱為結(jié)構(gòu)化剪枝。

2.2 結(jié)構(gòu)化BN層通道剪枝

筆者使用的網(wǎng)絡(luò)模型中特征提取部分采用了多尺度縮放原理，通過(guò)結(jié)合殘差網(wǎng)絡(luò)增加神經(jīng)網(wǎng)絡(luò)的深度，通過(guò)改變特征提取的層數(shù)和提高輸入圖像分辨率，使網(wǎng)絡(luò)能夠?qū)W習(xí)和表達(dá)更豐富的特征。因此，特征矩陣的通道數(shù)量相較于其他網(wǎng)絡(luò)更多，剪枝網(wǎng)絡(luò)通道數(shù)對(duì)于該網(wǎng)絡(luò)模型的壓縮也是必要的。在結(jié)構(gòu)化通道剪枝算法中，最常用的一種算法是BN(Batch Normalization)層通道剪枝算法。BN層[15]2指批量歸一化層，在神經(jīng)網(wǎng)絡(luò)中通常位于卷積層和激活函數(shù)之間，它的作用是在網(wǎng)絡(luò)中按照輸出通道的數(shù)目對(duì)同一批次訓(xùn)練的數(shù)據(jù)樣本進(jìn)行歸一化的操作，使輸入數(shù)據(jù)符合同一分布。在網(wǎng)絡(luò)中增加BN層已經(jīng)成為目前卷積神經(jīng)網(wǎng)絡(luò)廣泛使用的一種加速網(wǎng)絡(luò)收斂，以獲得更好的泛化性能和魯棒性的方法。具體見(jiàn)式(4)[15]3：

(4)

針對(duì)在卷積層后的批量歸一化層中的縮放系數(shù)γ進(jìn)行L1正則化，即通過(guò)訓(xùn)練BN層的γ參數(shù)，使其作為每一層的稀疏因子，在訓(xùn)練完成之后對(duì)所有的BN層通道的該系數(shù)進(jìn)行排序，然后通過(guò)預(yù)先設(shè)置的剪枝比例確定γ系數(shù)的閾值，再將閾值以下的對(duì)應(yīng)通道剪掉。由于每個(gè)縮放系數(shù)對(duì)應(yīng)于特定的卷積通道或全連接層中的神經(jīng)元，為了保持通道數(shù)匹配，相應(yīng)的卷積層和線性層也對(duì)應(yīng)裁剪，達(dá)到更高的通道級(jí)別剪枝。由于額外的正則化方法很少會(huì)使性能有所損失，相反某些情況下會(huì)導(dǎo)致更高的泛化精度，修剪不重要的通道可能會(huì)暫時(shí)降低性能，但這種影響可以通過(guò)在修剪網(wǎng)絡(luò)后進(jìn)行微調(diào)來(lái)補(bǔ)償。

由于EfficientNet網(wǎng)絡(luò)中的MBConvBlock結(jié)構(gòu)卷積層、深度可分離卷積層、殘差連接層和BiFPN結(jié)構(gòu)都采用了BN層結(jié)構(gòu)，因此對(duì)EfficientDet網(wǎng)絡(luò)進(jìn)行BN層通道結(jié)構(gòu)化剪枝具有可行性。假設(shè)模型中BN層結(jié)構(gòu)共有L層，通過(guò)剪枝不重要的BN層通道，實(shí)現(xiàn)模型壓縮的目標(biāo)。基于BN層通道剪枝的EfficientDet模型壓縮算法如表1所示。

表1 基于BN層通道剪枝的EfficientDet模型壓縮算法

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)標(biāo)準(zhǔn)

晶界缺陷的HRTEM圖像數(shù)據(jù)集從2個(gè)金屬納米晶體視頻中分解而來(lái)[16]，由于分解后的圖像存在過(guò)于相似的問(wèn)題，若只用這些圖像作為網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果和網(wǎng)絡(luò)的應(yīng)用及泛化能力將受到極大影響。為了使模型更好地應(yīng)用于晶界缺陷的檢測(cè)，對(duì)每個(gè)缺陷位置的一些具有代表性的原始圖像進(jìn)行旋轉(zhuǎn)、平移剪切、亮度對(duì)比度、椒鹽噪聲和直方圖均衡化等數(shù)據(jù)擴(kuò)充操作，形成共2 000 張圖像，作為晶界數(shù)據(jù)集，如圖2所示。其中，測(cè)試集占10%，共200 張圖像用于測(cè)試模型的性能；訓(xùn)練和驗(yàn)證集占90%，共1 800 張。在訓(xùn)練和驗(yàn)證集中，驗(yàn)證集占20%，共360張。

(a)晶界原圖1 (b)晶界原圖2 (c)晶界原圖3 (d)晶界原圖4

(e)旋轉(zhuǎn)操作 (f)平移剪切操作 (g)亮度對(duì)比度色度操作 (h)直方圖均衡化操作圖2 原始晶界缺陷樣本圖像和處理后的晶界樣本圖像

對(duì)于檢測(cè)精度的定義，實(shí)驗(yàn)中采用與COCO數(shù)據(jù)集[17]評(píng)價(jià)標(biāo)準(zhǔn)相同的AP(Average Precision)指標(biāo)和AR(Average Recall)指標(biāo)[18]。AP是閾值為0.5～0.95之間的平均準(zhǔn)確率，主要反映預(yù)測(cè)結(jié)果的誤檢率，AP50和AP75分別指閾值為0.5和0.75時(shí)模型的準(zhǔn)確率。AR是平均召回率，反映預(yù)測(cè)結(jié)果的漏檢率。P是指準(zhǔn)確率，即模型正確識(shí)別的晶界缺陷個(gè)數(shù)占模型識(shí)別的所有晶界缺陷個(gè)數(shù)之比；R是召回率，即模型正確識(shí)別的晶界缺陷個(gè)數(shù)占總體晶界缺陷圖像個(gè)數(shù)之比，定義見(jiàn)式(5)式(6)。P-R曲線即準(zhǔn)確率-召回率曲線，每個(gè)AP計(jì)算過(guò)程為P-R曲線下的面積，AR計(jì)算過(guò)程為每個(gè)圖像中檢測(cè)到固定數(shù)量的最大召回率在類別和交并比上的平均值。

(5)

(6)

式(5)和式(6)中，TP是實(shí)際正樣本預(yù)測(cè)為正樣本的個(gè)數(shù)；FP是負(fù)樣本預(yù)測(cè)為正樣本的個(gè)數(shù)；TN是負(fù)樣本預(yù)測(cè)為負(fù)樣本的個(gè)數(shù)；FN是將正樣本預(yù)測(cè)為正樣本的個(gè)數(shù)。

此外，采用參數(shù)量和浮點(diǎn)運(yùn)算數(shù)(Floating Point Operations，F(xiàn)LOPs)等指標(biāo)來(lái)衡量算法和模型復(fù)雜度。對(duì)應(yīng)于某個(gè)卷積層的浮點(diǎn)運(yùn)算數(shù)的計(jì)算見(jiàn)式(7)：

FLOPsConv=(2×Ci×K2-1)×H×W×Co

(7)

式(7)中，Ci為輸入通道數(shù)；K為卷積核尺寸；H和W分別為輸出特征層的高和寬；Co為輸出通道數(shù)。對(duì)應(yīng)于全連接層的浮點(diǎn)運(yùn)算數(shù)的計(jì)算見(jiàn)式(8)：

FLOPsFC=(2×I-1)×O

(8)

式(8)中，I為輸入神經(jīng)元數(shù)量；O為輸出神經(jīng)元數(shù)量。

3.2 實(shí)驗(yàn)結(jié)果分析

首先，使用非結(jié)構(gòu)化剪枝的方法對(duì)EfficientDet進(jìn)行剪枝實(shí)驗(yàn)，所采用的模型為EfficientDet-D0。在晶界數(shù)據(jù)集上對(duì)未壓縮的模型進(jìn)行完整訓(xùn)練直到收斂，在模型完成完整訓(xùn)練的基礎(chǔ)上，將一定數(shù)量小于閾值的權(quán)重進(jìn)行置0操作，使權(quán)重矩陣稀疏化，對(duì)壓縮后的模型進(jìn)行重新訓(xùn)練使權(quán)重微調(diào)，使其盡量恢復(fù)最優(yōu)性能，降低剪枝對(duì)模型精度造成的損失。由于卷積層和全連接層對(duì)剪枝的靈敏度反映不同，即卷積層相比全連接層對(duì)剪枝有更高的靈敏度，實(shí)驗(yàn)采用將所有卷積層和全連接層的權(quán)重分別減去20%和40%的L1非結(jié)構(gòu)化剪枝方法，其中正則項(xiàng)系數(shù)λ的值采用10-5。剪枝后進(jìn)行微調(diào)迭代訓(xùn)練20，50，100，200個(gè)epoch，實(shí)驗(yàn)結(jié)果如表2所示，不同微調(diào)訓(xùn)練epoch數(shù)目的實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 不同微調(diào)訓(xùn)練epoch數(shù)目的實(shí)驗(yàn)結(jié)果圖

表2 不同微調(diào)程度的EfficientDet模型非結(jié)構(gòu)化剪枝實(shí)驗(yàn)結(jié)果

由圖3可知，不同微調(diào)訓(xùn)練epoch數(shù)目也對(duì)晶界缺陷檢測(cè)的精度存在影響，當(dāng)剪枝結(jié)束后微調(diào)網(wǎng)絡(luò)模型訓(xùn)練100個(gè)epoch時(shí)，訓(xùn)練損失已經(jīng)達(dá)到收斂，且壓縮后模型的測(cè)試平均精度、平均召回率最優(yōu)，甚至略微超過(guò)基礎(chǔ)未壓縮前模型的精度，測(cè)試所用時(shí)間耗時(shí)最少。因此后續(xù)實(shí)驗(yàn)均用微調(diào)訓(xùn)練100個(gè)epoch的結(jié)果，作為最終訓(xùn)練模型的參數(shù)預(yù)測(cè)晶界缺陷的位置。

由于L1正則化和L2正則化對(duì)網(wǎng)絡(luò)權(quán)重參數(shù)具有稀疏的作用，筆者對(duì)EfficientDet-D0模型分別進(jìn)行L1范數(shù)和L2范數(shù)不同剪枝比例的權(quán)重剪枝，具體實(shí)驗(yàn)結(jié)果如表3所示。

表3 基于權(quán)重剪枝的EfficientDet模型非結(jié)構(gòu)化剪枝實(shí)驗(yàn)結(jié)果

通過(guò)表3可以看出，隨著權(quán)重剪枝比例的上升，模型檢測(cè)效果并沒(méi)有明顯的下降，而是保持在原有的精度性能水平上，這說(shuō)明模型中存在大量冗余權(quán)重，通過(guò)修剪冗余權(quán)重，使模型學(xué)習(xí)到較優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，因此性能有略微的提升。非結(jié)構(gòu)剪枝方法使晶界模型測(cè)試時(shí)間有明顯的縮短，可由原來(lái)的23 s降低為12 s，大大縮短了模型運(yùn)行測(cè)試的時(shí)間。不同通道剪枝比例和剪枝策略的EfficientDet-D0網(wǎng)絡(luò)非結(jié)構(gòu)化剪枝模型的AP和AR指標(biāo)結(jié)果圖如圖4所示。

(a)不同剪枝策略AP指標(biāo) (b)不同剪枝策略AR指標(biāo)圖4 不同通道剪枝比例的AP和AR實(shí)驗(yàn)結(jié)果圖

通過(guò)圖4可以看出，選擇不同的正則化對(duì)網(wǎng)絡(luò)修剪后的性能指標(biāo)存在略微的差異。在剪枝過(guò)程的訓(xùn)練中，正則化程度通過(guò)影響權(quán)值大小來(lái)決定剪枝的結(jié)構(gòu)。從圖4中不同通道剪枝比例的AP指標(biāo)和AR指標(biāo)總體情況來(lái)看，L1正則化的剪枝效果比L2正則化優(yōu)秀，且當(dāng)權(quán)重剪枝比例為30%時(shí)，網(wǎng)絡(luò)模型的性能最優(yōu)。

結(jié)構(gòu)化剪枝實(shí)驗(yàn)采用的算法見(jiàn)表1，采用BN層通道剪枝的方式，將不重要的BN層通道裁剪掉，使網(wǎng)絡(luò)模型參數(shù)量和計(jì)算量顯著減少。對(duì)于BN層通道結(jié)構(gòu)化剪枝分別采取不同剪枝比例的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4 基于BN層通道剪枝的EfficientDet模型結(jié)構(gòu)化剪枝實(shí)驗(yàn)結(jié)果

由表4可知，隨著B(niǎo)N層通道的剪枝比例逐漸增加，模型參數(shù)量大幅減少，且浮點(diǎn)運(yùn)算數(shù)指標(biāo)也明顯降低。但是與剪枝算法前相比，若BN層通道剪枝達(dá)到80%，AP指標(biāo)也會(huì)大幅下降2.4%，僅當(dāng)BN層通道剪枝比例為40%時(shí)，算法模型性能最好?？梢?jiàn)，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)裁剪過(guò)多時(shí)，很有可能造成最優(yōu)結(jié)構(gòu)的破壞，引起模型精度的下降。因此，并不能用簡(jiǎn)單地提高剪枝比例去降低模型的復(fù)雜度，而應(yīng)綜合評(píng)估模型的性能指標(biāo)。對(duì)模型剪枝前后參數(shù)量和FLOPs的縮減比例進(jìn)行計(jì)算，不同剪枝比例的模型參數(shù)量和FLOPs縮減比例如圖5所示。若AP指標(biāo)下降2.4%，在模型可接受范圍內(nèi)，結(jié)構(gòu)化剪枝可使模型參數(shù)量降低達(dá)到70%，模型的計(jì)算量降低達(dá)到60%。

圖5 不同BN層通道剪枝率的參數(shù)和FLOPs縮減比例

4 結(jié)論

針對(duì)晶界缺陷檢測(cè)模型EfficientDet算法推理時(shí)間較慢、參數(shù)量大以及結(jié)構(gòu)冗余導(dǎo)致模型應(yīng)用成本高的問(wèn)題，筆者提出了基于權(quán)重剪枝和BN層通道L1正則化剪枝的EfficientDet晶界檢測(cè)模型壓縮算法。非結(jié)構(gòu)化剪枝的稀疏網(wǎng)絡(luò)雖能較高程度保證網(wǎng)絡(luò)模型的精度，減少模型推理時(shí)間，但是并不能帶來(lái)參數(shù)量和浮點(diǎn)計(jì)算量的減少，需要硬件設(shè)備支持加速。因此，筆者還采用對(duì)BN層的縮放因子重要性排序的方法，確定剪枝網(wǎng)絡(luò)的結(jié)構(gòu)化通道剪枝，對(duì)EfficientDet模型進(jìn)行了真正意義上的剪枝操作。實(shí)驗(yàn)結(jié)果表明：通過(guò)剪枝方法可以大幅縮減模型的推理時(shí)間、參數(shù)量和浮點(diǎn)計(jì)算量，具有較好的實(shí)際應(yīng)用意義。

然而，筆者僅針對(duì)EfficientDet算法深度網(wǎng)絡(luò)模型采用常規(guī)的剪枝操作策略，即根據(jù)相關(guān)參數(shù)的絕對(duì)值大小確定是否需要對(duì)網(wǎng)絡(luò)進(jìn)行權(quán)重和BN層通道剪枝，該算法在剪枝比例達(dá)到較高后，模型性能會(huì)大幅度下降。因此，如何設(shè)計(jì)更優(yōu)的剪枝策略，使網(wǎng)絡(luò)模型在更精簡(jiǎn)的同時(shí)，模型精度不會(huì)受到嚴(yán)重影響是后續(xù)研究的內(nèi)容之一。