谷 遷， 袁 理， 楊亞莉， 劉軍平

(1. 武漢紡織大學 電子與電氣工程學院， 湖北 武漢 430200； 2. 武漢紡織大學 湖北省功能纖維加工及檢測 工程技術(shù)研究中心， 湖北 武漢 430200； 3. 武漢紡織大學 數(shù)學與計算機學院， 湖北 武漢 430200)

隨著信息化技術(shù)的發(fā)展，圖像數(shù)據(jù)量隨之增加。如何利用數(shù)字圖像處理技術(shù)對大量的紡織品圖像進行高效地檢索與數(shù)字化管理，是目前紡織企業(yè)亟待解決的問題。

圖像檢索可分為基于文本和基于內(nèi)容的2種檢索方法。其中，基于內(nèi)容的圖像檢索方法是當前研究的主流方向。方珍紅等[1]提出了利用模糊C均值聚類的方式構(gòu)造加權(quán)主顏色直方圖實現(xiàn)圖像檢索方法，在Corel圖像庫上的實驗結(jié)果表明，該算法檢索性能優(yōu)于基于傳統(tǒng)顏色直方圖的檢索方法；崔紅靜等[2]提出基于分塊顏色直方圖和邊緣方向直方圖的檢索算法，該算法對織物圖像的檢索準確率達80.83%；向忠等[3]針對織物印花花型存在同形不同色和同形異構(gòu)的特點，提出了一種融合花型邊緣和顏色特征的圖像檢索算法，結(jié)果表明，該算法對圖片的平移、縮放、旋轉(zhuǎn)具有魯棒性，平均準確率可達93.17%。上述圖像檢索算法均是基于圖像的淺層視覺特征進行相似性度量從而進行圖像檢索，但根據(jù)淺層視覺特征無法完整地表征紡織品的圖像信息；同時，由于這種檢索方式缺少自主學習能力，且非常依賴特征提取模型的架構(gòu)設計和優(yōu)化[4]，因此，當圖像語義屬性和樣本數(shù)量增加時，檢索效果不佳。

近年來利用深度學習的方式能夠克服淺層特征的局限性，消除圖像特征與高級語義特征之間存在的“語義鴻溝”[5]，并廣泛應用于復雜模型的表征與圖像檢索。孫潔等[6]對淺層特征以及高級語義特征在織物圖像檢索中的應用進行了對比分析，指出深度卷積神經(jīng)網(wǎng)絡可以克服淺層視覺特征在大樣本數(shù)據(jù)集檢索中存在的局限性，具有理想的魯棒性；徐慧等[7]提出了基于多尺度特征融合的服裝款式檢索與推薦系統(tǒng)，該系統(tǒng)在圖像語義分割的基礎上，利用深度卷積神經(jīng)網(wǎng)絡(CNN)提取服裝款式語義信息，并結(jié)合空洞空間金字塔池化(ASPP)對圖像進行多尺度特征提取，很大程度上提高了服裝相似性語義推薦的效率。上述基于深度學習的方式在一定程度上提升了圖像檢索的效果，但缺失了對于圖像淺層視覺特征的描述。

值得注意的是，色紡織物因其特殊的織造工藝[8-9]，同時具備表征色紡織物顏色、形狀以及紋理等特性的淺層視覺特征和描述色紡織物宏觀風格等特性的高級語義特征。為全面表征色紡織物所具備的多層特征，本文提出一種融合淺層視覺特征和高級語義特征的圖像檢索算法；同時，為提高檢索系統(tǒng)的時效性，采用二進制哈希編碼對高級語義特征進行降維處理。在此基礎上，構(gòu)建層次化特征分類器，充分利用2類特征的描述特性對織物圖像進行檢索，以期為色紡織物圖像數(shù)字化管理以及產(chǎn)品開發(fā)提供技術(shù)支持。

1 融合特征提取算法及檢索流程

1.1 淺層紋理特征提取算法

局部二值模式(LBP)[10]是描述圖像局部紋理特征的經(jīng)典算法，其基本原理是比較中心像素與其鄰域像素的灰度值大小，鄰域像素值大于或等于中心像素值則編碼為1，小于則編碼為0，具體定義為：

(1)

(2)

式中：LP,R為編碼后的二進制值；gc為中心像素點的灰度值；gi為其鄰域像素點的灰度值；P為鄰域像素點個數(shù)；R為鄰域半徑；s(x)為符號函數(shù)。通過調(diào)整LBP的參數(shù)及編碼規(guī)則可以獲得不同的紋理特征。

與此同時，提取織物的方向梯度直方圖(HOG)特征。具體過程為：首先將圖像轉(zhuǎn)化為灰度圖，對整個圖像進行Gamma壓縮來降低圖像局部的陰影和光照變化；然后，將織物圖像分割為若干個像素的單元，并按照梯度方向平均劃分為9個區(qū)間進行直方圖統(tǒng)計，每相鄰的若干個單元構(gòu)成1個塊。色紡織物典型淺層特征如圖1所示。

圖1 色紡織物淺層特征Fig.1 Low order characteristics of colored spun fabrics.(a) Original image of fabric; (b) LBP pseudo gray spectrum; (c) HOG feature map

1.2 高級語義特征提取算法

卷積神經(jīng)網(wǎng)絡(CNN)具備理想的高級語義特征提取能力，被廣泛應用于圖像分類與目標檢測等復雜模式識別場景。本文采用經(jīng)典的AlexNet網(wǎng)絡提取色紡織物圖像的高級語義特征。需要指出的是，該網(wǎng)絡含65萬個神經(jīng)元，數(shù)千萬個參數(shù)，模型收斂過程很慢。針對此問題，采用遷移學習策略[11-12]，將預訓練的網(wǎng)絡作為一個特征提取器，指定AlexNet網(wǎng)絡的第2個全連接層fc7的輸出結(jié)果作為輸入圖片的特征向量，實現(xiàn)CNN網(wǎng)絡結(jié)構(gòu)的優(yōu)化。

在此基礎上，使用深度學習二進制哈希(DLBH)算法對提取的高級語義特征進行降維，從而提高檢索效率。高級語義特征提取過程如圖2所示。

網(wǎng)絡模型的損失函數(shù)為SoftMax損失函數(shù)，見下式：

(3)

注：fc6、fc7、fc8均為卷積神經(jīng)網(wǎng)絡的全連接層。圖2 高級語義特征提取過程Fig.2 Advanced semantic feature extraction

1.3 基于融合特征的檢索流程

檢索流程分為2個階段：第1階段為初步檢索，使用深度哈希網(wǎng)絡得到查詢樣本和數(shù)據(jù)庫圖像的哈希編碼，并按照漢明距離查找最相似的圖像得到Top-20；第2階段將分別提取查詢樣本和Top-20的淺層特征和高級語義特征，進行特征融合后排序，得到最終的檢索結(jié)果Top-10。

同時，為了保證特征間的有效融合，需要對Top-20樣本特征進行歸一化處理，見下式：

(4)

在此基礎上，根據(jù)式(5)進行特征相似度融合：

(5)

式中：ωi為3種特征的權(quán)重；sij為Top-20圖像中第j張圖像與樣本第i種特征之間的相似度。

(6)

最后根據(jù)式(5)得到Top-20中第j張圖像與樣本的最終距離，排序得到Top-10，見下式：

(7)

式中，Dj表示Top-20中第j張圖像與樣本的最終距離。

2 實驗與結(jié)果

2.1 實驗樣本及系統(tǒng)參數(shù)

委托合作企業(yè)提供了684份色紡針織物樣本用于測試分析，織造過程中的工藝參數(shù)和樣本具體數(shù)量如表1所示。

表1 樣本參數(shù)Tab.1 Sample parameter

全部樣本在相對濕度為65%狀態(tài)下平衡后，通過DigiEye Digital Imaging System系統(tǒng)進行圖像采集，并在采集前通過白板和標準色卡對DigiEye系統(tǒng)相機進行白平衡和顏色校正。每份織物樣本獲取其不同區(qū)域的3張標準圖像；同時，對采集到的圖像進行水平鏡像翻轉(zhuǎn)，得到4 104張色紡織物圖像，其中3 800張圖像作為訓練集，304張圖像作為測試集。部分樣本圖像如圖3所示。

圖3 部分色紡織物樣本圖Fig.3 Sample drawing of colored spun fabrics.(a)Budding heather yarn；(b)Home spun heather yarn；(c)Mirage mini heather yarn;(d)Siro heather yarn

實驗測試系統(tǒng)為Windows10操作系統(tǒng)；算法開發(fā)環(huán)境為Python3.7與MATLAB2016a，并安裝Tensor Flow-gpu1.14.0、CUDA Toolkit10.0與cuDNN7.4。

2.2 實驗結(jié)果評估標準

本文選擇查全率與平均準確率(mAP)對檢索結(jié)果進行評估。查全率定義如下：

(8)

式中：P為查全率，%；b為檢索結(jié)果中正確查詢到的圖片數(shù)量；a為相似的圖片數(shù)量。查全率只能反映有多少正確的結(jié)果被檢索出，而平均準確率能補充對檢索位置信息的評估，計算公式為

(9)

式中：Q1為平均準確率，%；m為檢索樣本的數(shù)量；i表示第i張；Q2為每次查詢的檢索精度，其計算公式為

(10)

式中：ni表示第i張圖像的返回結(jié)果中正確查詢到的圖片總數(shù);x為正確查詢到的圖片在相似圖片中的位置;y為正確查詢到的圖片在返回的檢索結(jié)果中的位置。

2.3 參數(shù)優(yōu)化

能夠影響檢索系統(tǒng)性能的參數(shù)很多，包括哈希碼的長度、LBP算子以及HOG算子參數(shù)等。以訓練集為基礎，對檢索系統(tǒng)核心參數(shù)進行優(yōu)化，結(jié)果如表2～4所示。

表2 哈希碼長度與Top-10檢索結(jié)果Tab.2 Hash codes length and Top-10 search results

表3 LBP算子參數(shù)與Top-10檢索結(jié)果Tab.3 LBP operator parameters and Top-10 search results

從表2可以看出，哈希碼的長度越大，其檢索效果越好。但考慮到系統(tǒng)的實時性要求，本文將fc7層的特征映射為128位二進制哈希碼，可以兼顧其查全率與執(zhí)行效率。

表4 HOG算子參數(shù)與Top-10檢索結(jié)果Tab.4 HOG operator parameters and Top-10 search results

由表3可知，旋轉(zhuǎn)不變統(tǒng)一模式的LBP算子參數(shù)R和P，即算子的領域像素點數(shù)量與可變區(qū)域大小會對識別結(jié)果產(chǎn)生影響。當P=8,R=2時，算子的紋理表征能力可以達到最優(yōu)。

從表4可以看出，當c=64,b=4時，檢索系統(tǒng)的查全率和平均準確率都為最高。

綜上分析，檢索系統(tǒng)的關(guān)鍵參數(shù)設定為哈希碼長度128位；LBP算子P=8,R=2；HOG算子c=64,b=4。

2.4 實驗結(jié)果與分析

對304張具有不同風格類型的色紡織物圖像進行檢索測試，結(jié)果如表5所示?？梢钥闯?，對于9種不同風格的色紡織物圖像，本文檢索方法的查全率均能達到95%及以上，平均準確率均在85%以上，說明本文融合淺層視覺特征和高級語義特征的算法能夠?qū)哂袕碗s顏色和紋理特性的色紡織物圖像進行有效檢索。

表5 檢索實驗結(jié)果Tab.5 Search experimental results

迷你幻影紗Top-10檢索結(jié)果如圖4所示，編號越小說明與原圖越相似?？梢钥闯?，與檢索樣本相似的待檢圖片均已返回，且排名均靠前。

需要指出的是，在上述Top-10檢索結(jié)果中，第5號樣本圖像(水紋蠅帶紗)與檢測樣本不屬于同一類，屬于異常結(jié)果。經(jīng)過對比分析，發(fā)現(xiàn)該樣本存在大量的褶皺區(qū)域，從而導致特征提取出現(xiàn)偏差，如圖5所示。

圖4 相似色紡織物檢索結(jié)果Fig.4 Retrieval results of similar colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

圖5 色紡織物褶皺圖像Fig.5 Colored spun fabric wrinkle image

為進一步驗證織物褶皺對檢索結(jié)果的影響，對褶皺樣本進行檢索測試，結(jié)果如圖6所示。可以看出，在返回的Top-10結(jié)果中，只有Top-3、Top-6、Top-7與檢索樣本較為相似，其他返回結(jié)果差異較大。說明褶皺影響了圖像本身的平整度，進而導致圖像的特征發(fā)生改變，影響了最終的實驗結(jié)果。

2.5 對比實驗結(jié)果

為充分驗證融合高級語義特征檢索方法的有效性與實用性，建立對比實驗Ⅰ。其中:將未微調(diào)的AlexNet卷積神經(jīng)網(wǎng)絡，記為方法1；將使用遷移學習并微調(diào)AlexNet卷積神經(jīng)網(wǎng)絡模型參數(shù)，記為方法2；將直接提取圖像HOG特征進行檢索，記為方法3；將利用LBP與HOG融合特征進行檢索，記為方法4。對比實驗結(jié)果如表6所示。

圖6 異常色紡織物檢索結(jié)果Fig.6 Retrieval results of abnormal colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

從表6可以看出，本文檢索方法查全率和平均準確率分別為97.37%，87.54%。相較于單一淺層特征，對多特征進行融合能提高系統(tǒng)的檢索性能，但由于缺乏對織物圖像風格屬性的語義表征，檢索結(jié)果還有待提高。與其他方法對比，本文將淺層特征與高級語義特征相融合能有效提高檢索系統(tǒng)的查全率和平均準確率。

表6 對比實驗Ⅰ結(jié)果Tab.6 Contrast experiment Ⅰ results

同時，為驗證本文系統(tǒng)的實時性，結(jié)合對比方法建立對比實驗Ⅱ。其中，對比方法為在圖像數(shù)據(jù)庫中直接提取圖像的淺層視覺特征及高級語義特征，并將2種特征融合后進行圖像檢索。結(jié)果發(fā)現(xiàn),本文方法的檢索時間為0.8 ms，對比方法的檢索時間為605 ms，執(zhí)行效率提升約750倍?？梢钥闯觯疚膶⒏呔S特征量化為二進制哈希碼，能有效提高檢索系統(tǒng)的執(zhí)行效率，具有顯著優(yōu)勢。

3 結(jié) 論

為提高色紡織圖像檢索系統(tǒng)的有效性與實時性，本文建立了一種融合淺層紋理特征與高級語義特征的檢索系統(tǒng)。該系統(tǒng)利用深度卷積神經(jīng)網(wǎng)絡對色紡織物圖像的花型風格等語義特征進行表征，同時融合圖像的局部二值模式與方向梯度直方圖等淺層紋理特征，從而構(gòu)建層次化檢索系統(tǒng)。在此基礎上，通過二進制哈希編碼對高維特征向量進行降維，降低檢索特征的匹配時間。對具有9種不同紋理風格的色紡織物樣本圖像進行檢索發(fā)現(xiàn)，該檢索系統(tǒng)的Top-10查全率與平均準確率分別達到了97.37%和87.54%；同時，執(zhí)行效率提升約750倍，能夠滿足實時性要求。但該檢索系統(tǒng)對織物圖片褶皺區(qū)域的抗干擾能力較弱，如何提升其抗干擾能力將是下一步研究的重點內(nèi)容。