黃 烜, 孫 晗, 林博生, 殷明駿, 楊志軍

(1.廣東工業(yè)大學 省部共建精密電子制造技術(shù)與裝備國家重點實驗室, 廣東 廣州 510006；2.佛山市華道超精科技有限公司, 廣東 佛山 528225)

0 引 言

自2011年起，中國纖維加工產(chǎn)品的產(chǎn)量就已經(jīng)超過了世界總產(chǎn)量的50%。如今，中國是全球最大的紡織品生產(chǎn)和出口國，是紡織產(chǎn)業(yè)鏈最完備，出口產(chǎn)品種類最多的國家，是世界紡織服裝產(chǎn)業(yè)保持穩(wěn)定運轉(zhuǎn)的支撐力量[1]。在天然纖維服裝產(chǎn)品生產(chǎn)過程中，部分廠商存在以次充好的現(xiàn)象，而普通消費者肉眼難以區(qū)分面料材質(zhì)，需要借助專業(yè)的檢測機構(gòu)進行檢測。

目前，纖維成分的檢測有多種方法。楊桂芬等分別使用掃描電子顯微鏡和光學顯微鏡對山羊絨纖維和綿羊毛纖維進行鑒別，給出了2種樣本在顯微鏡下的外觀形態(tài)，并以此區(qū)分2類樣本[2]。李好磊等使用聚合酶鏈式反應(yīng)-限制性片段長度多態(tài)技術(shù)(PCR-RFLP)進行羊絨和羊毛的分類實驗。結(jié)果表明，羊絨和羊毛的DNA存在約2%的差異，可以據(jù)此準確判斷樣本的種類[3]。趙國樑等使用近紅外光譜技術(shù)進行羊絨和羊毛的分類實驗。通過采集各種纖維的紅外光譜并建立矯正模型，能夠?qū)w維成分進行可靠的定性、定量分析[4]。近年來，深度學習發(fā)展迅速，諸如AlexNet[5]、VGGNet[6]、GoogLeNet[7]、ResNet[8]等網(wǎng)絡(luò)模型大量運用于圖像分類領(lǐng)域，如字符識別[9]、纖維分類等。朱耀麟等提出改進的B-CNN模型對羊絨羊毛纖維進行分類，準確率達到98.06%[10]。楊文柱等使用3種不同的多類支撐向量機模型(MSVM)對棉花異性纖維進行分類，最高正確率達到93.5%[11]。王雯等對掃描電子顯微鏡下拍攝的纖維圖像樣本，利用Mask R-CNN模型進行訓(xùn)練得到纖維分割模型。使用該模型預(yù)測纖維，預(yù)測正確率最高達到86%[12]。侍瑞峰等分別使用貝葉斯分類器、BP神經(jīng)網(wǎng)絡(luò)、SVM支持向量機對羊毛和羊絨進行分類，準確率依次為88.7%、84.8%和92.7%，并認為SVM分類器在準確率和耗時上更具優(yōu)勢[13]。杜玉紅等使用改進的ResNet提取異性纖維圖像的特征，并基于k-means++算法對候選框尺寸和數(shù)量進行改進。實現(xiàn)了小尺寸、大長寬比和密集分布等情況下異性纖維的自動化識別和定位，在驗證集上的準確率達到94.24%[14]。巫明秀等構(gòu)建改進的MobileNets-YOLOv3模型，對棉纖維中的異性纖維圖片進行實時檢測，平均準確率達到了84.8%[15]。

綜上所述，目前常見的纖維成分檢測研究主要集中于羊毛和羊絨的鑒別以及在棉花異性纖維的檢測，缺乏對其他毛發(fā)種類的鑒別研究，特別是微觀結(jié)構(gòu)相似的樣本。因此，本文訓(xùn)練集樣本使用4種在微觀結(jié)構(gòu)上極為相似，非專業(yè)人員難以鑒別的栗鼠、水貂、紫貂、獺兔的毛發(fā)纖維顯微圖片，以TensorFlow和Keras為框架[16-17]訓(xùn)練添加數(shù)據(jù)增強策略[18]以擴充樣本量。通過改進結(jié)構(gòu)后的ResNet-50神經(jīng)網(wǎng)絡(luò)分類器結(jié)合遷移學習[19]方法，調(diào)整優(yōu)化網(wǎng)絡(luò)參數(shù)，利用SoftMax函數(shù)[20]輸出預(yù)測的類別概率。

1 改進的ResNet-50模型框架

1.1 恒等殘差塊和卷積殘差塊

如圖1所示，恒等殘差塊(ID Block)左側(cè)為2或3個權(quán)重層的疊加，右側(cè)為捷徑通道(short cut)。卷積殘差塊(CONV Block)結(jié)構(gòu)與之類似，區(qū)別在于其捷徑上也有一個權(quán)重層。

卷積計算過程為

(1)

式中：xl,m為輸入矩陣；wl,m為卷積核參數(shù)；l和m為輸入矩陣和卷積核的寬高；b為偏置向量；yc為該次卷積的輸出；*為卷積運算符號。本文在網(wǎng)絡(luò)初期采用7×7卷積，盡可能保留原始圖像的信息；在殘差塊內(nèi)使用1×1卷積用于數(shù)據(jù)的升維和降維，使用3×3卷積用于提取特征。另外，以非線性函數(shù)ReLU[21]作為網(wǎng)絡(luò)的激活函數(shù)。

1.2全連接層FC

在ResNet-50中，待所有卷積運算完成后，將輸出的大量特征張量展平成一維向量作為全連接層的輸入，由全連接層進行分類并使用SoftMax函數(shù)進行歸一化,最終輸出分類概率。

全連接層的計算過程為

(2)

1.3 Adam優(yōu)化

網(wǎng)絡(luò)計算出損失值后，通過反向傳播算法和Adam優(yōu)化算法迭代各個卷積層和全連接層的權(quán)值。Adam是自適應(yīng)梯度優(yōu)化(AdaGrad)和均方根傳播優(yōu)化(RMSProp)2種算法優(yōu)點的結(jié)合[22]。隨著訓(xùn)練的進行，Adam能夠為網(wǎng)絡(luò)中每個權(quán)值都匹配一個學習率；同時，基于梯度一階矩均值和梯度二階矩均值，為每個權(quán)值計算更合適的學習率。

1.4 Dropout隨機失活層

Dropout是指深度網(wǎng)絡(luò)在訓(xùn)練過程中，對于神經(jīng)網(wǎng)絡(luò)單元按照一定的概率暫時從網(wǎng)絡(luò)中隨機失活。隨機失活層與網(wǎng)絡(luò)前后結(jié)構(gòu)的組合使得網(wǎng)絡(luò)具有一定的稀疏性，從而有效地減少神經(jīng)元之間復(fù)雜的共適應(yīng)性，提升了網(wǎng)絡(luò)的精度和魯棒性。Dropout層的計算過程為

rl～B(p)

(3)

式中：B(·)表示伯努利函數(shù)；p表示失活概率；rl表示在第l層神經(jīng)元之前使用伯努利函數(shù)以概率p生成的一組由0、1隨機數(shù)組成的向量。

(4)

1.5評價指標

針對本文的實際任務(wù)需求，使用混淆矩陣(confusion matrix)[23]評估模型的分類性能，同時評估模型對于每一類纖維的查準率(P)、查全率(R)及F1分數(shù)(F1)[24]。

(5)

(6)

(7)

式中：PT為真正類數(shù)量;PF為假正類數(shù)量;NF為真負類數(shù)量。F1分數(shù)是查準率和查全率的加權(quán)調(diào)和平均值，能夠綜合反映模型的分類性能。

1.6 模型結(jié)構(gòu)

綜上所述，對ResNet-50模型進行調(diào)整優(yōu)化后的結(jié)構(gòu)如圖2所示。

圖 2 結(jié)構(gòu)改進的ResNet網(wǎng)絡(luò)模型Fig.2 Structure ResNet-improved network

2 實驗與結(jié)果分析

2.1 實驗準備

使用華道超精科技有限公司的光學顯微平臺拍攝纖維顯微圖像。平臺的X、Y、Z軸分辨率均達到0.1 μm，搭載600萬像素工業(yè)相機、奧林巴斯CXPL40X平場消色差物鏡(孔徑0.65，放大倍數(shù)40倍)、阿貝聚光鏡等器件組成光學成像系統(tǒng)。用于模型訓(xùn)練和評估的計算機CPU為Intel i7-10700F，內(nèi)存32 GiB；GPU為NVIDIA GeForce RTX 3080，顯存10 GiB。編程語言為Python，代碼運行環(huán)境為PyCharm。

2.2 數(shù)據(jù)集準備和圖像預(yù)處理

使用上述光學顯微平臺設(shè)備拍攝纖維。圖像放大倍數(shù)為40倍，曝光時間6 ms，曝光增益為500%，輸出大小為1 536×1 024×3的RGB圖片。共采集4 016張栗鼠、水貂、紫貂、獺兔的毛發(fā)纖維圖片作為數(shù)據(jù)集。每種纖維圖片約為1 000張，在數(shù)量上保證了樣本的均衡性。隨機選取其中每種纖維圖片的60%作為訓(xùn)練集，20%作為驗證集，20%作為測試集。訓(xùn)練集的4種樣本示例如圖3所示。

(a) 栗鼠毛 (b) 水貂毛

(c) 獺兔毛 (d) 紫貂毛圖 3 4種纖維樣本的顯微圖像Fig.3 Microscopic images of four sample fibers

對數(shù)據(jù)集進行的預(yù)處理包括圖片縮放、歸一化像素值和添加數(shù)據(jù)增強等策略：圖片尺寸由1 536×1 024×3縮放為224×224×3；同時把像素值從0～255歸一化，方便輸入網(wǎng)絡(luò)進行運算；數(shù)據(jù)增強可以增加數(shù)據(jù)集的樣本數(shù)量，提升模型的泛化能力和魯棒性。本文采用的數(shù)據(jù)增強策略包括隨機平移圖片、隨機剪切拉伸以及隨機水平翻轉(zhuǎn)，并設(shè)定每種策略的發(fā)生概率為10%。數(shù)據(jù)增強示例如圖4所示。

(a)原圖像 (b)平移

(c)剪切拉伸 (d)水平翻轉(zhuǎn)圖 4 數(shù)據(jù)增強示例Fig.4 Data augmentation examples

2.3 基礎(chǔ)模型驗證

以TensorFlow和Keras為框架搭建神經(jīng)網(wǎng)絡(luò)，利用GPU加速提高網(wǎng)絡(luò)訓(xùn)練效率。使用ResNet-50基礎(chǔ)模型和VGG-16基礎(chǔ)模型，不改變網(wǎng)絡(luò)結(jié)構(gòu)進行訓(xùn)練并計算其在測試集的平均查準率、平均查全率和平均F1分數(shù)，結(jié)果如表1所示。

表1 基礎(chǔ)模型驗證結(jié)果

表1中，因ResNet-50本身的網(wǎng)絡(luò)層數(shù)更深，理論上可以比VGG-16網(wǎng)絡(luò)學習到更多的特征參數(shù)，故ResNet-50網(wǎng)絡(luò)有相對更好的查準率。但是，表1中2種基礎(chǔ)模型的F1分數(shù)只E 92%左右，預(yù)測的圖片樣本分類中誤檢漏檢的概率較大，泛化能力差，不能滿足纖維檢測的要求(市場上要求>98.5%)，需要進一步優(yōu)化。因此選用ResNet-50網(wǎng)絡(luò)基礎(chǔ)模型結(jié)合Dropout層進一步調(diào)整優(yōu)化。

2.4 Dropout和結(jié)構(gòu)改進測試

參照調(diào)試經(jīng)驗,設(shè)置新增的神經(jīng)網(wǎng)絡(luò)FC層節(jié)點單元個數(shù)(De)為(0,64,128,256,512,1 024)，Dropout層失活概率p設(shè)置為(0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9)。當FC層與失活率都為0時，則為一般的深度學習網(wǎng)絡(luò)結(jié)構(gòu)，即本文的基礎(chǔ)模型；當FC層神經(jīng)元的個數(shù)設(shè)置為0時，即為不設(shè)置額外的FC層的結(jié)構(gòu)；當 Dropout層的概率設(shè)置為0時，即為不對網(wǎng)絡(luò)輸出層的前一層單元執(zhí)行隨機失活。通過上述參數(shù)設(shè)置，經(jīng)實驗，結(jié)果較佳的前6個超參數(shù)設(shè)置組合如表2所示。從表2可以看出，不同參數(shù)對網(wǎng)絡(luò)整體表現(xiàn)存在明顯影響。最終選擇的De參數(shù)為256，Dropout失活概率p=0.5。

表2 結(jié)構(gòu)改進對比Tab.2 Structure improvement comparison

2.5 訓(xùn)練結(jié)果

使用優(yōu)化后的ResNet-50模型，加載基于ImageNet預(yù)訓(xùn)練的ResNet-50模型權(quán)重，添加數(shù)據(jù)增強策略，設(shè)定訓(xùn)練輪次epochs為25，批量大小batch size為16，損失函數(shù)為交叉熵損失，優(yōu)化算法為Adam，初始學習率為10-4。訓(xùn)練該模型后得到訓(xùn)練集-驗證集精度曲線以及損失曲線,如圖5所示。圖5中藍色曲線代表訓(xùn)練集曲線，橙色曲線代表驗證集曲線，橫軸代表訓(xùn)練輪次。

(a) 精度曲線

(b) 損失曲線圖 5 優(yōu)化后ResNet-50精度曲線和損失曲線Fig.5 ResNet-50 accuracy curve and loss curve after optimization

從圖5可以看出，優(yōu)化后的ResNet遷移學習策略適用性更好，訓(xùn)練集在第1個輪次就能夠達到92%的精度，損失值為0.25。到第10個訓(xùn)練輪次時精度達到99.5%，收斂速度快。經(jīng)過25個訓(xùn)練輪次，模型得到有效收斂。最終訓(xùn)練集的精度為99.95%，損失值為0.003 3；驗證集的精度為99.63%，損失值為0.007 0。

2.6 混淆矩陣評估

加載已訓(xùn)練完成的ResNet-50網(wǎng)絡(luò)權(quán)重，對測試集中804張樣本進行預(yù)測并與其真實標簽對比，得到改進后的ResNet-50模型在測試集上進行預(yù)測的混淆矩陣，如圖6所示。

圖 6 優(yōu)化后ResNet-50預(yù)測混淆矩陣Fig.6 ResNet-50 confusion matrix

矩陣的橫軸代表分類器對測試圖片的預(yù)測標簽，縱軸代表圖片的真實標簽。從圖6可以看出，改進后的ResNet-50模型對804張樣本可以實現(xiàn)正確分類。其中，水貂毛和紫貂毛識別查準率100%，栗鼠毛和獺兔毛的查全率為100%，整體的平均分類準確率為98.88%。計算測試集中4個類別共804張樣本圖片下的查準率、查全率和F1分數(shù)，結(jié)果見表3。

表3 改進ResNet-50在測試集上的查準率(P)、 查全率(R)、F1分數(shù)匯總Tab.3 Summary of P, R and F1 of ResNet-50on the test set 單位：%

從表3可以看出，改進模型在測試集上的性能表現(xiàn)較為優(yōu)秀，各指標比ResNet-50基礎(chǔ)網(wǎng)絡(luò)模型的結(jié)果(表1)均有顯著提高，查準率超過98.5%，查全率提高8.15%，F(xiàn)1綜合評估分數(shù)提高了6.77%。可見，基于ResNet-50改進的深度學習神經(jīng)網(wǎng)絡(luò)的纖維分類方法能有效分類結(jié)構(gòu)相近的不同種類的動物毛發(fā)纖維。

3 結(jié) 語

本文給出了一種針對4種顯微結(jié)構(gòu)上高度相似的動物毛發(fā)纖維識別方法。使用ResNet-50網(wǎng)絡(luò)進行多組超參數(shù)實驗，找到最優(yōu)的Dropout層和FC層超參數(shù)，對網(wǎng)絡(luò)結(jié)構(gòu)進行改進。再通過圖像增強和數(shù)據(jù)增強方式解決了背景干擾強、樣本數(shù)量較少的問題。結(jié)果表明：改進后的ResNet-50網(wǎng)絡(luò)精度得到明顯提高，對4種動物毛發(fā)纖維的平均分類準確率達到98.88%，F(xiàn)1分數(shù)為98.98%。但混淆矩陣評估中，栗鼠毛和獺兔毛測試存在一定的誤檢率，后續(xù)工作還存在一定的提升空間。