張霞 向軍 張寧 潘如如

摘要： 傳統(tǒng)的色紡面料檢索方法效率低下、精度低，針對色紡面料顏色種類豐富、紋理復(fù)雜多變的特點，文章提出一種基于顏色矩和改進(jìn)的小波變換結(jié)合的圖像檢索算法。采集色紡面料圖像并建立標(biāo)準(zhǔn)圖像數(shù)據(jù)庫;分別采用顏色矩和改進(jìn)的小波變換的方法提取色紡面料圖像的顏色特征和紋理特征，使用歐氏距離測度的方法計算兩種特征的子相似度;采用加權(quán)求和的方式獲得圖像的總體相似度，排序得到檢索結(jié)果。試驗中分別討論了不同特征權(quán)重對檢索結(jié)果的影響，驗證了當(dāng)顏色特征權(quán)重占0.8紋理特征權(quán)重占0.2時，檢索結(jié)果最優(yōu)。對比試驗表明，該算法可兼顧顏色特征和紋理特征對檢索結(jié)果的影響，平均檢索精度mAP達(dá)到80.8%，優(yōu)于現(xiàn)有方法。

關(guān)鍵詞： 面料檢索;特征提取;顏色矩;小波變換;色紡面料

中圖分類號： TS941.26

文獻(xiàn)標(biāo)志碼： A

文章編號： 1001-7003（2021）12-0034-06

引用頁碼： 121107

DOI： 10.3969/j.issn.1001-7003.2021.12.007（篇序）

Abstract： In view that traditional retrieval methods of colored spun fabrics are inefficient and inaccurate， while colored spun fabrics are characterized by rich colors and complex textures， an image retrieval algorithm combining color moment and modified wavelet transform was proposed. Firstly， colored spun fabric images were collected to establish a standard image database. Secondly， the color features and texture features of the colored spun fabric images were extracted using color moments and modified wavelet transform method respectively. The sub-similarity of color features and texture features were measured using Euclidean distance measurement method. Finally， the overall similarity of the images was obtained through weighted summation and the retrieval results were obtained by sorting.In the experiment， the influence of different feature weights on the retrieval results was discussed， and it was verified that when the color feature weights accounted for 0.8 and texture feature for 0.2 respectively， the retrieval result was optimal. The results of contrast experiment have shown that the algorithm can take into account the effects of color features and texture features on retrieval results， with an average retrieval precision ratio of 80.8% which is superior to the existing method.

Key words： fabric retrieval; feature extraction; color moment; wavelet transform; colored spun fabric

色紡面料是指由色紡紗織成的面料，具有獨特的顏色和紋理效果，廣泛應(yīng)用于各類服飾、家紡產(chǎn)品。由于其豐富的顏色和紋理種類，紡織企業(yè)如何快速從中查找所需面料數(shù)據(jù)指導(dǎo)生產(chǎn)變得困難，圖像檢索是解決這一問題的有效方法。相比基于文本的圖像檢索，基于內(nèi)容的圖像檢索是利用計算機(jī)視覺和圖像處理技術(shù)提取圖像的視覺特征（顏色、紋理及空間特征等）并映射為特征向量，根據(jù)特征向量之間的距離來衡量圖像之間的相似度進(jìn)行匹配[1]，避免了人工文本標(biāo)注的主觀性和工作量，檢索結(jié)果更加準(zhǔn)確和快速，能夠及時準(zhǔn)確獲取已有產(chǎn)品的工藝單用于指導(dǎo)生產(chǎn)，縮短產(chǎn)品的生產(chǎn)周期，提高生產(chǎn)效率。

目前基于內(nèi)容的織物圖像檢索主要包括兩種：一種是基于低層視覺特征的圖像檢索，二是基于高層語義特征的圖像檢索[2]?；诟邔诱Z義特征的圖像檢索不需要人為選取特征，可以自動提取到多種特征，具有良好的泛化性和魯棒性[3]。Zha[4]提出與低階特征相比，神經(jīng)網(wǎng)絡(luò)可以更好地表達(dá)圖像特征;Deng等[5]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的度量嵌入方法進(jìn)行織物檢索，基于深度學(xué)習(xí)的方法對訓(xùn)練樣本的數(shù)量要求較高，而本文針對實際應(yīng)用，而且色紡面料的樣本數(shù)量較少，采用此類方法容易產(chǎn)生過擬合現(xiàn)象，從而使得檢索效果不佳。因此，本文采用提取低層視覺特征的方法對色紡面料圖像進(jìn)行檢索。常見的基于內(nèi)容的織物圖像低層特征提取方法有顏色矩[6]、灰度共生矩陣[7]、小波變換[8-9]、局部二值模式（local binary patterns，LBP）[10]等。單一的特征描述算法往往無法描述織物圖像的全部信息，導(dǎo)致檢索準(zhǔn)確率不高。Liu等[10]使用顏色直方圖和LBP融合的方法提取圖像的顏色和紋理特征，克服了LBP不適合檢索具有豐富顏色信息的彩色圖像的問題;向忠等[11]提出結(jié)合顏色和邊緣特征的圖像檢索算法，能夠針對織物印花花型進(jìn)行有效檢索，但該方法并不適用于紋理復(fù)雜的色紡面料圖像的檢索;李琦[12]提取了織物圖像的顏色、紋理及空間特征進(jìn)行融合，實現(xiàn)對織物花型的圖像檢索，該方法只對具有規(guī)則花紋圖案的織物效果顯著。Zhang等[13]提出基于交互式遺傳算法的色織格子布圖案檢索，提出了5種針對色織格子布的視覺特征，但并不適用于色紡面料，因為色紡面料中主要特征為顏色和精細(xì)紋理。

與普通圖像不同，色紡面料圖像中很少含有3-D形狀和輪廓信息，主要特征為顏色和紋理。色紡面料具有色彩豐富、紋理隨機(jī)不規(guī)則的特點，因此可以忽略其空間特征，利用顏色和紋理特征來實現(xiàn)對不同色紡面料圖像的檢索。本文提出顏色矩和改進(jìn)的小波變換結(jié)合的色紡面料圖像檢索方法。該方法首先采集色紡面料圖像并建立標(biāo)準(zhǔn)圖像數(shù)據(jù)庫;然后分別采用顏色矩和小波變換的方法提取色紡面料圖像的顏色特征和紋理特征;最后綜合兩種特征信息實現(xiàn)色紡面料圖像的檢索。

1?圖像采集

為了避免無關(guān)因素的影響，減少算法的復(fù)雜度，圖像采集需要在一個統(tǒng)一、標(biāo)準(zhǔn)的環(huán)境下進(jìn)行，因此本試驗的圖像采集采用DigiEye數(shù)慧眼圖像顏色管理系統(tǒng)。該系統(tǒng)配備尼康D7000相機(jī)（日本尼康）、AF 35mm f/2D專用攝像頭（日本尼康）及標(biāo)準(zhǔn)型圖像采集光源D65標(biāo)準(zhǔn)照明體（VeriVide標(biāo)準(zhǔn)光源箱）。圖像采集裝置如圖1所示。

本試驗采用從工廠收集的平針組織的緯編針織面料建立數(shù)據(jù)集。邀請工廠專家根據(jù)紗線種類、織物外觀風(fēng)格等對色紡面料進(jìn)行標(biāo)注和分類，根據(jù)標(biāo)簽從中選取50類共466張圖像作為原始圖像數(shù)據(jù)庫。使用Matlab軟件對原始采集圖像進(jìn)行裁剪操作，在每張圖像的不同位置隨機(jī)截取10張圖像以擴(kuò)充圖像數(shù)據(jù)。原始圖像為3 750像素×2 500像素，分辨率為96 dpi，截取后圖像尺寸為512像素×512像素，對應(yīng)的物理尺寸為41 mm×41 mm。原始采集圖像及裁剪后圖像實例如圖2所示。

2?算法介紹

2.1?顏色特征提取

顏色矩作為一種全局特征，可簡單有效地表征圖像的顏色信息。顏色矩[14]由Stricker和Orengo提出，圖像中任何的顏色分布均可用其矩來表示。顏色分布信息主要集中在低階矩，因此可采用顏色的一階矩（均值，mean）、二階矩（方差，variance）及三階矩（斜度，skewness）表達(dá)圖像的顏色分布。與顏色直方圖相比，顏色矩?zé)o需量化顏色空間。

一階顏色矩采用一階原點矩，反映圖像整體的顏色傾向;二階矩采用二階中心矩的平方根，反映圖像顏色的分布范圍;三階顏色矩采用三階中心距的立方根，反映圖像顏色分布的對稱性。本文中顏色的三個低階矩由下式計算得到：

式中：pij表示圖像第i（i=L，a，b）個顏色通道分量中灰度為j的像素出現(xiàn)的概率;N表示圖像中像素的個數(shù)。

本文采集的圖像為RGB圖像，但RGB顏色空間結(jié)構(gòu)不符合人們對顏色相似性的主觀感知，因此將其轉(zhuǎn)換為更接近人們對顏色主觀認(rèn)識的Lab顏色空間。由此圖像包含L（亮度）、a（紅綠色度）、b（黃藍(lán)色度）三個顏色分量，每個顏色分量有3個低階矩，得到9維特征向量[EL，σL，sL，Ea，σa，sa，Eb，σb，sb]，每幅色紡織物圖像的顏色特征將由這個9維向量表示并用于后續(xù)檢索。

2.2?紋理特征提取

紋理特征提取是要獲得每個像素點能夠用于區(qū)分不同種類紋理的特征向量。小波變換[15]具有多分辨率、多尺度特性，是常用的紋理特征提取方法。

以二維圖像信號為例，小波變換是以某一函數(shù)ψ（x1，x2）通過平移、伸縮產(chǎn)生的函數(shù)族ψa;b1，b2（x1，x2）為基底，對圖像（x1，x2）進(jìn)行分解，得到圖像在函數(shù)族（即不同尺度小波）下的系數(shù)。函數(shù)族及小波變換如下式所示：

對于二維信號，通常采用二維離散小波變換進(jìn)行處理，即對二維圖像信號在水平和垂直方向作一維小波變換，得到低頻分量和水平、垂直、對角線方向的高頻分量。對低頻分量不斷重復(fù)上述分解過程，就能得到信號在任意尺度的低頻和高頻部分，然后使用分解得到的系數(shù)進(jìn)行處理，重構(gòu)出紋理結(jié)構(gòu)信息。三層小波變換過程如圖3所示。

本文采用金字塔結(jié)構(gòu)的二維Haar小波變換進(jìn)行紋理特征提取。首先，要確定保留色紡面料圖像紋理的小波分解頻域;然后，修改小波系數(shù)以抑制非紋理部分（例如織物組織結(jié)構(gòu)）特征的噪聲。表1為3～6層高頻重構(gòu)圖像。從表1可以看出，第四層和第五層更能表征織物表面的紋理信息，因此試驗中使用這兩層信息對織物進(jìn)行特征表達(dá)。

最終得到6維特征向量[mH4，mV4，mD4，mH5，mV5，mD5]，每個色紡面料圖像的紋理特征將由這個6維向量表示并用于后續(xù)檢索。

2.3?相似性度量

相似性度量一般通過計算待檢索圖像特征與數(shù)據(jù)庫圖像特征之間的距離實現(xiàn)。本文使用圖像檢索中常用的歐式距離和皮爾遜相關(guān)系數(shù)進(jìn)行相似性度量。假設(shè)待檢索圖像特征向量X=（x1，x2，…，xn），數(shù)據(jù)庫圖像特征向量Y=（y1，y2，…，yn），則皮爾遜相關(guān)系數(shù)r（X，Y）及歐式距離ρ（X，Y）計算公式分別如下式所示：

式中：ρ（X，Y）的值越小表示相似度越高。

要結(jié)合顏色和紋理特征，需要對二者的圖像相似度進(jìn)行綜合。由于顏色特征和紋理特征的相似度取值范圍存在較大差異，因此對于歐式距離需采用標(biāo)準(zhǔn)離差化的方法將二者分別歸一化至[0，1]，然后進(jìn)行加權(quán)求和處理。綜合后的圖像總體相似度如下式所示：

3?檢索算法流程及評價標(biāo)準(zhǔn)

3.1?檢索算法流程

本試驗分別采用顏色矩和改進(jìn)的小波變換提取色紡面料的顏色和紋理特征，并分別計算二者的相似度。將提取的顏色矩特征與小波特征相似度進(jìn)行加權(quán)綜合得到總相似度，對總相似度進(jìn)行排序返回結(jié)果，實現(xiàn)對色紡面料圖像的檢索。整個檢索流程如圖4所示。

3.2?評價標(biāo)準(zhǔn)

利用查準(zhǔn)率（precision）、召回率（recall），以及每張圖片的查詢檢索精度（average precision，AP）和4 660次檢索的平均檢索精度（mean average precision，mAP）作為試驗性能評價標(biāo)準(zhǔn)。計算公式如下式所示：

式中：Q表示檢索到的相似圖片數(shù)量;P表示檢索到的不相似圖片數(shù)量;N表示未被檢索到的相似圖片數(shù)量;K表示假設(shè)經(jīng)過檢索系統(tǒng)返回K個相似圖像;x1，x2，…，xK表示K個相似圖像的位置;M表示檢索次數(shù)即檢索的圖片總量。

4?結(jié)果與分析

為了驗證本文提出算法的可行性，試驗在Matlab R2016b軟件平臺運行實現(xiàn)。計算機(jī)硬件配置為Intel Core i3-4030U處理器，CPU主頻1.90 GHz，4 GB內(nèi)存，操作系統(tǒng)為Windows10專業(yè)版64位。從采集的圖像中根據(jù)分類標(biāo)簽選取50類共4 660張圖片。試驗時對每張圖片進(jìn)行檢索，即進(jìn)行4 660次查詢。

4.1?權(quán)重參數(shù)分析

為了在色紡面料圖像檢索中得到最佳試驗方案，分別用歐氏距離和皮爾遜相關(guān)系數(shù)兩種相似性度量方法對顏色和紋理特征融合的權(quán)值進(jìn)行討論，結(jié)果如圖5所示。其中縱坐標(biāo)表示色紡面料圖像檢索結(jié)果的平均檢索精度（mAP），橫坐標(biāo)表示顏色相似度所占的權(quán)重，步長為0.05。

檢索結(jié)果表明，當(dāng)采用歐式距離測度的方法，顏色權(quán)重為0.8時，該檢索算法的mAP最高，達(dá)到80.8%。顏色權(quán)重為0，即只用紋理特征檢索圖像時，mAP不到30%;而顏色權(quán)重為1時，mAP達(dá)到76.6%。說明顏色是判定色紡面料是否相似最重要的視覺特征?？椢飯D像通常由多個視覺特征來表示，根據(jù)人的視覺感知，色紡面料圖像的相似首先是顏色相似，其次是紋理相似。因此，顏色特征權(quán)重更高，而紋理是僅次于顏色的另一個重要視覺特征。部分色紡面料圖像檢索效果如圖6所示。前三張檢索結(jié)果理想，第四張最后兩個結(jié)果出現(xiàn)誤檢。出現(xiàn)誤檢是由于人為對圖像進(jìn)行分類時是以顏色為主，在顏色相似的前提下考慮紋理，而檢索過程不分先后，是綜合計算顏色和紋理相似性的結(jié)果。

4.2?不同檢索算法比較

顏色直方圖和LBP是織物圖像檢索中常用的顏色和紋理特征提取方法。為驗證本文算法“顏色矩（CMC）+改進(jìn)的小波變換（WAV）”的優(yōu)越性，對比“CMC+改進(jìn)前WAV”“CMC+LBP”“顏色直方圖（HIST）+WAV”“HIST+LBP”這四種“顏色+紋理”的組合算法及文獻(xiàn)[4]中“顏色矩×主色”、文獻(xiàn)[7]中“LBP×傅里葉變換”、文獻(xiàn)[11]中“CIF+LBP”、文獻(xiàn)[16]中“分塊顏色矩+Gist”的方法進(jìn)行檢索。其中LBP采用旋轉(zhuǎn)不變模式，半徑R=1，采樣點P=8。為保證試驗結(jié)果的客觀性，五種顏色和紋理組合算法的相似性度量方法采用歐式距離，特征權(quán)值均采用wc=0.8、wt=0.2。上述八種算法的總mAP及返回結(jié)果的前20張、50張、100張的mAP及單張圖像檢索時間如表2所示。結(jié)果表明，隨著返回圖像數(shù)量的增加，平均檢索精度逐漸降低，其中本文提出算法的檢索結(jié)果前20張的mAP達(dá)到98.25%，高于其他算法。不同算法檢索效率大致相同，其中文獻(xiàn)[4]采用了歐氏距離和改進(jìn)的二次相似度函數(shù)進(jìn)行相似性度量，檢索效率有所提高;文獻(xiàn)[16]采用了分塊顏色矩，并分別計算不同顏色通道的相似度，導(dǎo)致計算量增加，檢索效率較低。本文更關(guān)注檢索精度而非檢索時間，綜合來看本文提出的算法是有效的。

圖7為不同檢索算法的平均查準(zhǔn)率和召回率關(guān)系曲線。對比“CMC+WAV”和“CMC+改進(jìn)前WAV”兩條曲線，可以看出本文提出的小波變換改進(jìn)方法對色紡面料圖像紋理的表征效果有所提升;對比“CMC+WAV”和“CMC+LBP”這兩條算法曲線，可以看出小波變換方法對于色紡面料圖像紋理特征表達(dá)的效果優(yōu)于LBP;對比“CMC+WAV”和“HIST+WAV”兩條算法曲線，可以看出相對于顏色直方圖，基于顏色矩的方法更適用于色紡面料圖像顏色特征的提取。文獻(xiàn)[4]和文獻(xiàn)[7]針對具有格紋、印花等規(guī)則圖案的毛織物分別提出了基于顏色和紋理特征的檢索算法，結(jié)果表明單個特征的描述算法會導(dǎo)致檢索準(zhǔn)確度不高。文獻(xiàn)[11]提出的顏色信息特征提取本質(zhì)上仍是基于統(tǒng)計特性的特征描述子，不能反映顏色的空間分布情況，因此檢索效果不佳;文獻(xiàn)[16]提出采用分塊顏色矩和Gabor濾波后的Gist特征提取印花面料的顏色和空間特征，而色紡面料幾乎不含有空間特征，因此該方法并不適用于色紡面料的檢索。而文本算法對色紡面料圖像檢索有更高的針對性，能獲得較好的檢索效果。

5?結(jié)?論

本文針對色紡面料顏色豐富、紋理復(fù)雜的特點，提出了一種基于顏色矩和小波變換相結(jié)合的色紡面料圖像檢索算法。該算法分別采用顏色矩和改進(jìn)的小波變換的方法提取色紡面料圖像的顏色特征和紋理特征，加權(quán)綜合兩種特征的相似度進(jìn)行圖像檢索。試驗結(jié)果表明，該算法可兼顧顏色特征和紋理特征對檢索結(jié)果的影響，克服了單一特征算法檢索準(zhǔn)確率不高的問題，對色紡面料圖像的檢索具有較高的檢索精度，對比試驗突出了算法的優(yōu)越性，可以為企業(yè)的色紡面料檢索提供參考，節(jié)省大量的人力和物力。

參考文獻(xiàn)：

[1]王妙. 基于深度學(xué)習(xí)的印花織物圖像檢索系統(tǒng)設(shè)計[D]. 西安： 西安工程大學(xué)， 2019.

WANG Miao. Design of Printed Fabric Image Retrieval System Based on Deep Learning[D]. Xi’an： Xi’an Polytechnic University， 2019.

[2]XIANG J， ZHANG N， PAN R， et al. Fabric image retrieval system using hierarchical search based on deep convolutional neural network[J]. IEEE Access， 2019， 7： 35405-35417.

[3]XIANG J， ZHANG N， PAN R， et al. Fabric retrieval based on multi-task learning[J]. IEEE Transactions on Image Processing， 2021， 30： 1570-1582.

[4]ZHA T. Application comparison of textile fabric image retrieval algorithms based on content[J]. Journal of Textile Science & Fashion Technology， 2020， 7（2）： 659.

[5]DENG D， WANG R， WU H， et al. Learning deep similarity models with focus ranking for fabric image retrieval[J]. Image & Vision Computing， 2017， 70： 11-20.

[6]ZHANG N， XIANG J， WANG L， et al. Image retrieval of wool fabric Part Ⅱ： Based on low-level color features[J]. Textile Research Journal， 2019， 90（7）： 797-808.

[7]張寧， 潘如如， 高衛(wèi)東. 采用圖像處理的織物縫紉平整度自動評估[J]. 紡織學(xué)報， 2017， 38（4）： 145-150.

ZHANG Ning， PAN Ruru， GAO Weidong. Automatic seam-puckering evaluation using image processing[J]. Journal of Textile Research， 2017， 38（4）： 145-150.

[8]何孟永， 潘如如， 張寧， 等. 基于SVM方法的色紡花式紗面料自動分類[J]. 東華大學(xué)學(xué)報（自然科學(xué)版）， 2020， 46（4）： 542-548.

HE Mengyong， PAN Ruru， ZHANG Ning， et at. Automatic classification of colored spun fancy yarn fabric based on SVM method[J]. Journal of Donghua University（Natural Science）， 2020， 46（4）： 542-548.

[9]羅戎蕾. 基于復(fù)小波變換的紡織品圖案檢索方法研究[J]. 浙江理工大學(xué)學(xué)報， 2015， 33（1）： 46-50.

LUO Ronglei. Study on textile pattern retrieval method based on complex wavelet transformation[J]. Journal of Zhejiang Sci-Tech University， 2015， 33（1）： 46-50.

[10]LIU P， GUO J M， CHAMNONGTHAI K， et al. Fusion of color histogram and LBP-based features for texture image retrieval and classification[J]. Information Sciences， 2017， 390： 95-111.

[11]向忠， 何旋， 錢淼， 等. 基于邊緣和顏色特征的織物印花花型檢索[J]. 紡織學(xué)報， 2018， 39（5）： 137-143.

XIANG Zhong， HE Xuan， QIAN Miao， et al. Fabric printing pattern retrieval based on edge and color characteristics[J]. Journal of Textile Research， 2018， 39（5）： 137-143.

[12]李琦. 基于圖像處理的織物花型檢索系統(tǒng)的研究[D]. 西安： 西安工程大學(xué)， 2016.

LI Qi. Research on Fabric Pattern Retrieval System Based on Image Processing[D]. Xi’an： Xi’an Polytechnic University， 2016.

[13]ZHANG Ning， PAN Ruru， WANG Lei， et al. Pattern retrieval of yarn-dyed fabric based on modified interactive genetic algorithm[J]. Color Research & Application， 2020， 45（6）： 1143-1152.

[14]STRICKER M A， ORENGO M. Similarity of color images[J]. Proceedings of SPIE-The International Society for Optical Engineering， 1995， 2420： 381-392.

[15]SUN J， YAO M， XU B， et al. Fabric wrinkle characterization and classification using modified wavelet coefficients and support-vector-machine classifiers[J]. Textile Research Journal， 2012， 81（9）： 902-913.

[16]JING J， LI Q， LI P， et al. A new method of printed fabric image retrieval based on color moments and gist feature description[J]. Textile Research Journal， 2016， 86（11）： 1137-1150.