錢月晶
(浙江工貿(mào)職業(yè)技術(shù)學(xué)院 信息傳媒分院,浙江溫州 325003)
人們的日常生活離不開(kāi)各種各樣的織物類產(chǎn)品,比如衣物、床單等。隨著生活水平的提高,人們對(duì)這些產(chǎn)品的質(zhì)量要求也越來(lái)越高。衡量織物類產(chǎn)品質(zhì)量好壞的一個(gè)重要指標(biāo)就是織物的抗磨損性能,即織物表面的起毛和起球的程度。傳統(tǒng)的評(píng)價(jià)織物起球程度的方法是樣照比對(duì)法,即安排專門的測(cè)試人員將待檢測(cè)的織物與標(biāo)準(zhǔn)的樣照進(jìn)行對(duì)比,根據(jù)測(cè)試人員的主觀判斷來(lái)決定待測(cè)織物的起球程度。對(duì)于同一個(gè)待測(cè)的織物樣品,不同的測(cè)試人員可能得出不同的檢測(cè)結(jié)果,因此,客觀準(zhǔn)確地對(duì)織物起球程度進(jìn)行自動(dòng)評(píng)價(jià)是近年來(lái)比較熱門的研究課題。
文獻(xiàn)[1]次將圖像處理的方法用于客觀評(píng)價(jià)織物起球程度,該文采用近切向光源照射樣本來(lái)獲取毛球與織物背景對(duì)比較為明顯的圖像,然后采用兩個(gè)不同的閾值對(duì)該圖像進(jìn)行二值化處理,最后將該二值化圖像與標(biāo)準(zhǔn)樣照的二值化圖像進(jìn)行比較來(lái)得出最后的評(píng)級(jí)結(jié)果。采用圖像處理和分析的方法來(lái)客觀評(píng)價(jià)織物起球程度也是近年來(lái)較為流行和實(shí)用的一類方法,比如周圓圓等提出利用傅里葉頻譜分析和增強(qiáng)的OTSU局部閾值法對(duì)織物表面的毛球進(jìn)行提取和分析[2],Eldessouki等提出將計(jì)算機(jī)視覺(jué)和軟計(jì)算系統(tǒng)相結(jié)合用于織物表面毛球分析的方法[3],Technikova 等提出了基于梯度場(chǎng)的圖案面料起球評(píng)價(jià)方法[4],Caijuan Ren 等提出了基于Hough 變換和Gabor 濾波的織物起球等級(jí)評(píng)判方法[5],Chin-Ling Lee 等提出了基于模糊小腦模型清晰度控制器(Fuzzy CMAC)的針織物起球分類方法[6]。這些方法大致分為四個(gè)步驟[7]:織物表面圖像的獲取、毛球檢測(cè)和分割、毛球特征提取、毛球等級(jí)評(píng)定和分類。
毛球檢測(cè)和分割的過(guò)程就是從復(fù)雜的織物背景中將毛球提取出來(lái)。精確地對(duì)毛球進(jìn)行分割是準(zhǔn)確對(duì)織物的起球程度進(jìn)行評(píng)估的關(guān)鍵一步。常用的分割方法有[8]:基于閾值的方法,基于邊緣的方法,基于區(qū)域的方法,基于小波的方法,基于遺傳算法的方法,基于人工神經(jīng)網(wǎng)絡(luò)的方法,基于主動(dòng)輪廓模型的方法以及基于聚類的方法等等。文獻(xiàn)[1]采用基于閾值的方法來(lái)對(duì)樣本圖像進(jìn)行二值化處理,從而獲得毛球分割后的圖像。這種方法簡(jiǎn)單可行,但是對(duì)樣本圖像要求較高,即獲取的樣本圖像需要毛球與背景有較為明顯的區(qū)別。為了解決這個(gè)問(wèn)題,可以通過(guò)對(duì)原始圖像進(jìn)行一些預(yù)處理操作來(lái)增強(qiáng)毛球和背景的對(duì)比度,常用的方法有:對(duì)原始圖像進(jìn)行去噪和邊緣增強(qiáng)處理[9],對(duì)原始圖像的背景采用形態(tài)學(xué)的方法進(jìn)行膨脹和腐蝕處理[10],對(duì)原始圖像的紋理采用傅里葉變換的方法[11]或小波變換的方法[12]進(jìn)行剔除等等。
文獻(xiàn)[2]利用傅里葉變換技術(shù)在頻域?yàn)V除織物的紋理結(jié)構(gòu),然后采用增強(qiáng)的OTSU 局部閾值法來(lái)對(duì)織物表面的毛球進(jìn)行分割,進(jìn)而提取毛球的特征用于對(duì)織物的起球程度進(jìn)行自動(dòng)評(píng)級(jí)。但是在光照不均勻或者強(qiáng)度不夠時(shí),織物表面的毛球的像素值與織物紋理的像素值非常接近,諸如OTSU 法之類的閾值分割法就不能獲得滿意的分割效果。為了解決該問(wèn)題,本文結(jié)合毛球的局部特性,提出了基于最大穩(wěn)定極值區(qū)域的毛球分割方法。該方法可以描述為:首先,對(duì)于樣本圖像的每一個(gè)通道,在傅里葉變換域內(nèi)利用頻譜濾波的方法對(duì)毛球進(jìn)行粗分割,并對(duì)粗分割的結(jié)果采用直方圖均衡化的方法進(jìn)行增強(qiáng);其次,利用MSER算法提取增強(qiáng)后的圖像的極小值區(qū)域,并利用形態(tài)學(xué)的方法剔除那些明顯不是毛球的小區(qū)域,以此得到毛球的精分割結(jié)果;最后對(duì)樣本圖像的三個(gè)通道的檢測(cè)結(jié)果進(jìn)行“或”操作,得到最終的毛球區(qū)域。實(shí)驗(yàn)結(jié)果顯示,在二維OTSU 分割法無(wú)法準(zhǔn)確分割出毛球區(qū)域的情況下,基于最大穩(wěn)定極值區(qū)域的方法能有效地對(duì)織物表面的毛球進(jìn)行分割,具有一定的實(shí)用性。
最大穩(wěn)定極值區(qū)域(Maximally stable extremal regions,MSER)的概念是Matas[13]在2004 年提出的。基于最穩(wěn)定極值區(qū)域的方法不用對(duì)圖像進(jìn)行平滑處理,具有多尺度檢測(cè)功能,相比傳統(tǒng)的閾值方法具有更好的穩(wěn)定性、更高的計(jì)算效率、更強(qiáng)的抗噪能力,已經(jīng)廣泛應(yīng)用于圖像配準(zhǔn)[14]、車牌識(shí)別[15]、道路障礙物檢測(cè)[16]、圖像特征提取與檢測(cè)[17]等領(lǐng)域。
最大穩(wěn)定極值區(qū)域的基本思想可以描述為[18]:對(duì)于一幅灰度圖像,假定其灰度值范圍為[0,1,…,255]。對(duì)于每一個(gè)閾值t=0,1…255,都對(duì)應(yīng)一幅閾值分割圖像It,其中高于閾值的像素被設(shè)置成白色像素,低于閾值的像素被設(shè)置成黑像素。所有的圖像It構(gòu)成一個(gè)序列圖像It=0:255,在這個(gè)序列圖像中,我們可以發(fā)現(xiàn),對(duì)于某些特定的區(qū)域,在一個(gè)很大的閾值范圍內(nèi),其結(jié)構(gòu)(即二值化結(jié)果)非常穩(wěn)定,這些特定的區(qū)域就是最大穩(wěn)定極值區(qū)域。圖1是經(jīng)過(guò)預(yù)處理的織物毛球圖像在閾值從5開(kāi)始,以5 為步長(zhǎng)變化到25 的分割結(jié)果。圖中可以看到,在閾值從10到20的變化過(guò)程中,黑色區(qū)域的分割結(jié)果的差別不是非常明顯,這些變化不明顯的區(qū)域即為最大穩(wěn)定極值區(qū)域,也就是毛球區(qū)域。
圖1 不同閾值的分割結(jié)果
文獻(xiàn)[2]和文獻(xiàn)[19]采用傅里葉變換獲取織物圖像的頻譜圖,再對(duì)頻譜圖中的峰點(diǎn)及其周圍區(qū)域進(jìn)行適當(dāng)?shù)奶幚砗髞?lái)獲取織物表面的紋理結(jié)構(gòu)。本文采用該方法來(lái)剔除織物圖像的紋理結(jié)構(gòu),進(jìn)而得到織物圖像的粗分割結(jié)果,具體實(shí)現(xiàn)步驟如下[2]:
(1)對(duì)輸入圖像進(jìn)行對(duì)數(shù)拉伸:
其中c是一個(gè)常數(shù),本文設(shè)置為1。
(2)計(jì)算待測(cè)圖像的頻譜;
(3)設(shè)定一個(gè)閾值thr,根據(jù)頻譜幅值的大小與閾值的關(guān)系來(lái)濾除代表織物紋理的頻率信號(hào);
(4)恢復(fù)頻譜中心點(diǎn)周圍半徑為r 的區(qū)域R內(nèi)的代表毛球的頻率信號(hào),其中r大小的確定參閱第4節(jié)粗分割所述;
(5)傅里葉反變換得到分割結(jié)果。
(6)對(duì)分割結(jié)果進(jìn)行對(duì)比度拉伸,得到最終的粗分割結(jié)果:
其中m是圖像均值,e是控制曲線斜率的參數(shù),本文設(shè)置為2。
采用基于頻域?yàn)V波的方法對(duì)織物毛球粗分割后,毛球區(qū)域仍然不是十分明顯,也無(wú)法對(duì)毛球的大小、數(shù)量等信息做出準(zhǔn)確的估計(jì),因此需要在粗分割的基礎(chǔ)上進(jìn)一步進(jìn)行精分割。基于極小值區(qū)域檢測(cè)的織物毛球精分割的算法實(shí)現(xiàn)步驟如下:
(1)對(duì)粗分割結(jié)果采用直方圖均衡化進(jìn)行增強(qiáng):
其中,sk是直方圖均衡化的輸出灰度級(jí),rk是輸入灰度級(jí),nj是第j 個(gè)灰度級(jí)像素的總個(gè)數(shù),N是所有像素的總個(gè)數(shù);
(2)增強(qiáng)后的圖像的所有像素點(diǎn)進(jìn)行排序,并采用并查集算法(union-find algorithm)計(jì)算并更新連通分量結(jié)構(gòu)和連通分量面積;
(3)對(duì)所有的連通區(qū)域R1,R2…Rn,其中第一個(gè)區(qū)域是后一個(gè)區(qū)域的子區(qū)域,即Ri∈Ri+1,用公式(8)計(jì)算連通分量面積的變化率,進(jìn)而獲取最大穩(wěn)定極小值區(qū)域。
開(kāi)運(yùn)算是態(tài)學(xué)中的一個(gè)重要運(yùn)算,是由膨脹和腐蝕組合而成的復(fù)運(yùn)算。開(kāi)運(yùn)算可以去掉圖像上細(xì)小的突出部分,斷開(kāi)狹窄的連接。
經(jīng)過(guò)形態(tài)學(xué)開(kāi)運(yùn)算得到的毛球區(qū)域與實(shí)際毛球區(qū)域會(huì)存在一定的偏差,這是由于光照的影響,實(shí)際檢測(cè)出來(lái)的應(yīng)該是毛球陰影的區(qū)域,為了得到真實(shí)的毛球區(qū)域,需要對(duì)檢測(cè)區(qū)域進(jìn)行校正。本文將檢測(cè)區(qū)域分別沿x軸和y軸平移一定的距離,并剔除邊界的一些誤檢區(qū)域,以此來(lái)完成對(duì)區(qū)域的修正。
為了驗(yàn)證該分割方法的準(zhǔn)確性,在Pentium 3.2 GHz,內(nèi)存16GB 的PC 上 利用MATLAB-R2014a 軟件進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)毛球區(qū)域較為明顯的樣本進(jìn)行毛球區(qū)域的分割,以此來(lái)驗(yàn)證本文提出方法的準(zhǔn)確性。包含圖像預(yù)處理、粗分割、精分割、形態(tài)學(xué)處理、結(jié)果對(duì)比等五個(gè)環(huán)節(jié),實(shí)驗(yàn)的測(cè)試圖片如圖2a和圖2b。
圖2 (a)測(cè)試圖1;(b)測(cè)試圖2
當(dāng)圖像的傅里葉譜的范圍過(guò)高時(shí),會(huì)導(dǎo)致頻譜中低亮度值的可視細(xì)節(jié)丟失,通過(guò)對(duì)數(shù)變換可以避免這個(gè)問(wèn)題。圖3a 和圖3b 分別是圖2a 的原始灰度圖像和進(jìn)行對(duì)數(shù)變換后的灰度圖像。對(duì)比變換前后圖片可以看到,經(jīng)過(guò)對(duì)數(shù)變換后的圖片的紋理更清晰,也更有利于后面的進(jìn)一步處理。
圖3 (a)對(duì)數(shù)變換前的圖像;(b)對(duì)數(shù)變換后的圖像
開(kāi)運(yùn)算是形態(tài)學(xué)中的一個(gè)重要粗分割過(guò)程,公式(4)中用于恢復(fù)毛球頻率信號(hào)的半徑r 的確定步驟如下:
(1)對(duì)于功率譜圖Sp的每一個(gè)像素點(diǎn)p(i,j),計(jì)算以該像素點(diǎn)為中心,大小為21×21的窗口內(nèi)的功率譜對(duì)應(yīng)的最大值,如果該窗口最大值等于該像素點(diǎn)的值,則該像素點(diǎn)是Sp的一個(gè)局部最大值點(diǎn);
(2)以功率譜圖最大像素值的80%為閾值對(duì)所有局部最大值點(diǎn)進(jìn)行進(jìn)一步取舍,僅保留對(duì)應(yīng)像素點(diǎn)的像素值大于該閾值的局部最大值點(diǎn);
(3)計(jì)算除功率譜中心點(diǎn)以外的所有局部最大值點(diǎn)與功率譜中心點(diǎn)的距離,取其中的最小值作為半徑r;
圖4a 和4b 分別是圖2a 的灰度圖得到的粗分割圖和對(duì)比度拉伸后的粗分割圖:
圖4 (a)未經(jīng)過(guò)對(duì)比度拉伸處理的粗分割結(jié)果;(b)經(jīng)過(guò)對(duì)比度拉伸處理后的粗分割結(jié)果圖
由圖4 可以看出,經(jīng)過(guò)對(duì)比度拉伸后的粗分割圖中的毛球區(qū)域比未經(jīng)過(guò)處理的粗分割圖的毛球區(qū)域更為明顯,因此有必要對(duì)粗分割圖進(jìn)行對(duì)比度拉伸變換的處理。
開(kāi)運(yùn)算時(shí)形態(tài)學(xué)中的一個(gè)重要實(shí)驗(yàn)精分割過(guò)程中,分別采用二維OSTU 方法和最大穩(wěn)定極值區(qū)域方法對(duì)毛球粗分割后的圖像進(jìn)行精分割,圖5a 和5b 分別是圖2a 和圖2b 的兩種方法的精分割結(jié)果圖,左邊為采用極小值區(qū)域檢測(cè)的分割方法,右邊為采用二維OTSU方法的分割結(jié)果。
圖5 (a)采用極小值區(qū)域檢測(cè)分割方法的精分割結(jié)果;(b)采用二維OTSU分割方法的精分割結(jié)果
由結(jié)果可知,基于二維OTSU 的方法不能將毛球從織物表面合理分割出來(lái),這是由于毛球與織物過(guò)于相似,在很大一個(gè)的基于像素值的閾值范圍內(nèi),毛球與織物表面都具有很接近的像素值,因此,傳統(tǒng)的基于像素值的單一閾值分割方法也就不能獲得滿意的分割效果?;谧畲蠓€(wěn)定極值區(qū)域的方法是基于毛球的局部特征性,不依靠單一的閾值,能獲得較好的分割效果。
采用極小值區(qū)域檢測(cè)方法得到的精分割圖像中存在很多細(xì)小的區(qū)域,這些區(qū)域明顯的不屬于毛球區(qū)域,需要對(duì)這些區(qū)域進(jìn)行剔除。另外,由于光照的影響,檢測(cè)的區(qū)域?qū)嶋H為球陰影的區(qū)域,有必要對(duì)毛球區(qū)域進(jìn)行修正。圖6a 和6b 分別是圖2a 和2b單通道的最終檢測(cè)效果圖。
圖6 (a)測(cè)試圖1對(duì)應(yīng)的形態(tài)學(xué)處理后的分割結(jié)果圖;(b)測(cè)試圖2對(duì)應(yīng)的形態(tài)學(xué)處理后的分割結(jié)果圖
實(shí)際的樣本為RGB三通道的彩色圖,為了提高檢測(cè)精度,實(shí)驗(yàn)對(duì)三個(gè)通道分別進(jìn)行檢測(cè),并對(duì)檢測(cè)后的結(jié)果采取“或”操作來(lái)確定最終的毛球區(qū)域。為了進(jìn)一步驗(yàn)證基于最大穩(wěn)定極值區(qū)域的分割方法的有效性,實(shí)驗(yàn)將樣本中的毛球區(qū)域與原始圖片融合在一起進(jìn)行視覺(jué)比對(duì),比利用檢測(cè)準(zhǔn)確率和漏檢率來(lái)衡量該方法的準(zhǔn)確性。其中檢測(cè)準(zhǔn)確率Det_Ratio和漏檢率Loss_Ratio分別定義為:
檢測(cè)結(jié)果與人工標(biāo)注結(jié)果的對(duì)比如圖7 所示,其中圓圈包含的區(qū)域代表人工標(biāo)注的毛球區(qū)域,檢測(cè)準(zhǔn)確率和漏檢率如表1所示:
圖7 (a)測(cè)試圖1對(duì)應(yīng)的檢測(cè)結(jié)果與人工標(biāo)注對(duì)比圖;(b)測(cè)試圖2對(duì)應(yīng)的檢測(cè)結(jié)果與人工標(biāo)注對(duì)比圖
結(jié)果表明,本文提出的基于最大穩(wěn)定極值區(qū)域的方法能將大部分的毛球區(qū)域準(zhǔn)確分割出來(lái)。圖2b的檢測(cè)效果明顯優(yōu)于圖2a的檢測(cè)效果,主要是因?yàn)閳D2b 中的毛球區(qū)域更為明顯,而圖2a 中有大量的起毛而非起球區(qū)域,所以導(dǎo)致誤檢和漏檢較多。
表1 毛球分割結(jié)果統(tǒng)計(jì)
對(duì)于獲取的織物圖像,織物毛球的灰度值與織物紋理的灰度值非常接近,傳統(tǒng)的基于閾值的分割方法難以獲得滿意的分割效果。本文首先采用對(duì)數(shù)變換對(duì)圖像進(jìn)行預(yù)處理,并通過(guò)頻譜分析對(duì)織物進(jìn)行粗分割,再利用最大穩(wěn)定極值區(qū)域檢測(cè)算子對(duì)經(jīng)過(guò)對(duì)比度拉伸后的粗分割結(jié)果進(jìn)行精分割,最后對(duì)三個(gè)通道的檢測(cè)結(jié)果進(jìn)行“或”操作來(lái)獲取最終的毛球區(qū)域。實(shí)驗(yàn)結(jié)果表明,該方法能夠準(zhǔn)確將織物表面的毛球區(qū)域進(jìn)行分割,具有一定的實(shí)用性和參考價(jià)值,能夠進(jìn)一步將其用于基于機(jī)器視覺(jué)的織物起毛起球等級(jí)評(píng)價(jià)系統(tǒng)。