馮一凡 師 昕 趙雪青

（西安工程大學(xué)計算機(jī)科學(xué)學(xué)院 西安 710048）

1 引言

我國作為世界上最大的紡織產(chǎn)品生產(chǎn)貿(mào)易國家，紡織行業(yè)是我國現(xiàn)代經(jīng)濟(jì)中非常重要的一部分，但在紡織產(chǎn)品大量生產(chǎn)的現(xiàn)代社會，仍然存在大量的紡織產(chǎn)品疵點，不同程度的紡織產(chǎn)品疵點以及不同種類的紡織產(chǎn)品疵點，會對紡織產(chǎn)品造成不同的影響［1～2］。目前，紡織產(chǎn)品疵點的檢測主要還是人工依靠視覺離線檢測來完成的，該方法存在檢測速度低，檢測結(jié)果要依靠檢驗人員主觀印象，導(dǎo)致檢驗結(jié)果誤檢率以及漏檢率高等缺點［3］。

基于統(tǒng)計的方法，針對紡織產(chǎn)品疵點區(qū)域與正常區(qū)域的顏色統(tǒng)計上存在一定的差異性，對于紡織產(chǎn)品正常區(qū)域特征穩(wěn)定且區(qū)域統(tǒng)一，而存在疵點現(xiàn)象的區(qū)域其特征變現(xiàn)在與正常區(qū)域存在誤差，因此傳統(tǒng)的基于統(tǒng)計方法的紡織產(chǎn)品疵點檢測主要利用灰度共生矩陣，形態(tài)學(xué)處理等方法［4～6］。但由于紡織產(chǎn)品疵點存在的位置不確定，以及紡織產(chǎn)品紋理具有隨機(jī)性，因此很難準(zhǔn)確地使用統(tǒng)計方法對特征進(jìn)行疵點檢測，進(jìn)行分類。基于頻域分析的紡織產(chǎn)品疵點檢測方法，主要是通過將紡織產(chǎn)品疵點圖像從空間域轉(zhuǎn)換為頻域，在頻域中對圖像進(jìn)行分析處理，常見的有是用數(shù)學(xué)方法的小波變換、Gabor變換、傅里葉變換等［7～9］。基于機(jī)器學(xué)習(xí)的紡織產(chǎn)品疵點檢測方法［10～13］，主要包含基于字典與基于深度學(xué)習(xí)的方法，字典學(xué)習(xí)是利用正常紡織產(chǎn)品圖像塊學(xué)習(xí)出字典集，進(jìn)而通過稀疏矩陣重構(gòu)正常紋理圖像，根據(jù)正常圖像與測試圖像的統(tǒng)計進(jìn)行分類；基于深度學(xué)習(xí)的方法，主要是利用深度卷積學(xué)習(xí)網(wǎng)絡(luò)相應(yīng)的參數(shù)以解決相對應(yīng)的問題，但是基于深度學(xué)習(xí)的方法雖然在結(jié)果上有一定的優(yōu)勢，但是在模型訓(xùn)練過程中需要大量的數(shù)據(jù)集進(jìn)行參數(shù)的訓(xùn)練，耗費大量的時間成本，并且在基于小樣本數(shù)據(jù)時，準(zhǔn)確率較低。

基于此，本文提出了基于遷移學(xué)習(xí)的紡織產(chǎn)品疵點分類方法，通過利用原始模型在ImageNet數(shù)據(jù)集［14］上進(jìn)行預(yù)訓(xùn)練得到的參數(shù)，將其遷移到本文所使用的AlexNet模型中，進(jìn)行實驗，本文的結(jié)果不管是在準(zhǔn)確率方向還是在時間方向，與傳統(tǒng)的方法例如小波變換，人工神經(jīng)網(wǎng)絡(luò)以及基于機(jī)器學(xué)習(xí)的方法DenseNet［15］還是ResNet［16］或 者Xception［17］方法對比，都有一定的耗時、準(zhǔn)確率優(yōu)勢。

2 基于遷移學(xué)習(xí)的AlexNet模型

2.1 遷移學(xué)習(xí)

在一些領(lǐng)域，如生物信息學(xué)，機(jī)器人技術(shù)，紡織產(chǎn)品識別技術(shù)，由于數(shù)據(jù)獲取過程的困難以及獲取價格昂貴，構(gòu)建一個大規(guī)模數(shù)據(jù)集是一個困難的過程，這在很大程度上限制了其開發(fā)。

遷移學(xué)習(xí)的誕生，讓小數(shù)據(jù)模型有了很大的發(fā)展，放寬了訓(xùn)練數(shù)據(jù)必須是獨立的和同分布的假定，利用遷移學(xué)習(xí)的方法來解決訓(xùn)練數(shù)據(jù)不足的問題［18］。2010年P(guān)an等［19］提出了遷移學(xué)習(xí)的概念，即利用現(xiàn)有領(lǐng)域的知識來提高目標(biāo)領(lǐng)域解決訓(xùn)練數(shù)據(jù)稀缺和過擬合相關(guān)問題的能力。換句話說，將先前獲取的知識用于學(xué)習(xí)未知知識，以避免對學(xué)習(xí)未知領(lǐng)域的巨大投資，從而減少過度的資源浪費。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的遷移學(xué)習(xí)可分為基于映射的深度遷移學(xué)習(xí)［20］、基于實例的深度遷移學(xué)習(xí)［21～22］、基于對抗學(xué)習(xí)的深度遷移學(xué)習(xí)［23～25］以及基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)［26～27］。遷移學(xué)習(xí)的網(wǎng)絡(luò)模型的優(yōu)點是數(shù)據(jù)依賴小、網(wǎng)絡(luò)訓(xùn)練速度快、學(xué)習(xí)效率高。遷移學(xué)習(xí)是將在源域訓(xùn)練的模型參數(shù)遷移到新模型中，并應(yīng)用到目標(biāo)域，以幫助新模型的訓(xùn)練和求解。

2.2 模型結(jié)構(gòu)

如圖1 所示，將AlexNet 卷積神經(jīng)網(wǎng)絡(luò)在大型數(shù)據(jù)集ImageNet上進(jìn)行充分的訓(xùn)練，在ImageNet數(shù)據(jù)集上學(xué)習(xí)到圖像分類識別所需要的大量特征知識，參數(shù)框架等信息遷移到AlexNet，應(yīng)用在紡織產(chǎn)品疵點分類問題。本文使用的遷移方式是參數(shù)遷移，重新初始化網(wǎng)絡(luò)中的部分層數(shù)，保留原有卷積層結(jié)構(gòu)，并搭建新全連接層和歸一化層，使用網(wǎng)絡(luò)預(yù)訓(xùn)練好的權(quán)重參數(shù)，如表1 所示，應(yīng)用在新數(shù)據(jù)集的分類過程中。本文提出的模型是基于AlexNet的遷移學(xué)習(xí)模型，應(yīng)用在紡織產(chǎn)品疵點檢測分類，簡稱FDAT 模型（fabric defect classification based on AlexNet using transfer learning）。相較于傳統(tǒng)的分類識別方法，通過遷移學(xué)習(xí)的方法實現(xiàn)紡織產(chǎn)品疵點的分類識別，無需人工在數(shù)據(jù)中挖掘相關(guān)數(shù)據(jù)特征。通過ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)，避免網(wǎng)絡(luò)過擬合，或陷入局部最優(yōu)解。

表1 FDAT模型網(wǎng)絡(luò)參數(shù)

表2 參數(shù)設(shè)置

圖1 遷移學(xué)習(xí)模型框架圖

3 實驗結(jié)果與分析

本文采用了TILDA紡織產(chǎn)品疵點數(shù)據(jù)集，如圖2 所示，TILDA 數(shù)據(jù)集包含飛來物、破洞、紗疵、油污、竹節(jié)等五種類別的紡織產(chǎn)品疵點現(xiàn)象，每個類別包含50 張圖像，每張圖像的大小不一，共250 張圖像，隨即分80%為訓(xùn)練集，20%為測試集。為測試本文提出的FDAT 模型的性能，對比了DenseNet，ResNet，Xception，小波變換，人工神經(jīng)網(wǎng)絡(luò)等方法在不同評價指標(biāo)下的實驗結(jié)果。實驗平臺為Matlab R2019a，Intel Core，i7，CPU 2.60GHz。

圖2 數(shù)據(jù)集

3.1 評價指標(biāo)

為了量化比較本文提出的方法與其他分類方法的性能。研究人員使用通用評估標(biāo)準(zhǔn)（準(zhǔn)確率）來衡量模型的性能。P 是分類結(jié)果為正樣本的數(shù)目，N 是分類結(jié)果為負(fù)樣本的結(jié)果，為了計算該指數(shù)，使用真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN）。Accuracy（準(zhǔn)確率）表示所有樣本中可以準(zhǔn)確預(yù)測的百分比，描述了分類方法的整體性能。

3.2 參數(shù)設(shè)置

為了提高模型準(zhǔn)確率，縮短模型訓(xùn)練時間，減少資源消耗，本文提出模型的具體參數(shù)設(shè)置如下表1 所示。其中，Epoch 是指對所有圖像進(jìn)行完整的訓(xùn)練訓(xùn)練期間選擇的數(shù)據(jù)集。Batch size 是指批次的數(shù)量樣本，即每次發(fā)送到訓(xùn)練的圖像數(shù)量。Learning rate決定著目標(biāo)函數(shù)能否收斂到局部最小值以及何時收斂到最小值，代表了神經(jīng)網(wǎng)絡(luò)中隨時間推移，信息累積的速度。

3.3 結(jié)果分析

本文提出的FDAT 模型在TILDA 數(shù)據(jù)集上訓(xùn)練時的準(zhǔn)確率曲線如圖3 所示，準(zhǔn)確率越高模型越準(zhǔn)確，其中迭代次數(shù)在40 次時模型準(zhǔn)確率穩(wěn)定在98%；模型訓(xùn)練時的損失函數(shù)曲線如圖4所示，損失值越低越好，其中迭代次數(shù)在40次后趨于0。

圖3 FDAT模型的準(zhǔn)確率曲線

圖4 FDAT模型的損失函數(shù)曲線

本文提出的FDAT 模型在TILDA 數(shù)據(jù)集上訓(xùn)練時訓(xùn)練集和測試集的比例為8∶2，即每個類別包含10 張測試集圖像，本文使用準(zhǔn)確率以及時間兩個評價指標(biāo)來評價本文提出的FDAT 模型與DenseNet，ResNet，XceptionNet，小波變換，人工神經(jīng)網(wǎng)絡(luò)等方法的性能對比，如圖5 所示，DenseNet準(zhǔn)確率為96.00%，ResNet 準(zhǔn)確率為98.00%，XceptionNet 準(zhǔn)確率為96.00%，人工神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率為88.00%，小波變換準(zhǔn)確率為94.00%，ResNet 準(zhǔn)確率與本文提出的FDAT方法的準(zhǔn)確率皆為98.00%，但是在時間維度上，相較于其他算法，本文提出方法在同等數(shù)據(jù)集下用時9min，本文提出的FDAT 算法在時間，準(zhǔn)確率上與同等模型相比具有一定的優(yōu)越性。模型測試的混淆矩陣結(jié)果如圖6 所示，由于破洞與紗疵圖像存在一定的相似性，在破洞的分類預(yù)測結(jié)果中，只有90%的正確率，有一張圖像被預(yù)測為紗疵。但飛來物、紗疵、油污竹節(jié)的分類準(zhǔn)確率均為100%，說明本文提出的FDAT 模型在準(zhǔn)確率方面有一定的優(yōu)越性。

圖5 不同算法在TILDA數(shù)據(jù)集上的時間與準(zhǔn)確率對比

圖6 混淆矩陣結(jié)果

4 結(jié)語

本文提出基于AlexNet遷移學(xué)習(xí)的紡織產(chǎn)品疵點分類方法，將在Image Net 上進(jìn)行預(yù)訓(xùn)練好的AlexNet模型參數(shù)遷移到到數(shù)據(jù)量較小的目標(biāo)數(shù)據(jù)集，保留原有卷積層結(jié)構(gòu)并搭建新全連接層和歸一化層對數(shù)據(jù)進(jìn)行分類。訓(xùn)練集和測試集均使用TILDA 數(shù)據(jù)集，不同圖像類別間疵點的差異較小，經(jīng)過遷移學(xué)習(xí)后的FDAT 方法準(zhǔn)確率高達(dá)98%且耗時較小，具有較強(qiáng)的普適性，并在時間維度相對于其他算法耗時較小。