陳躍,張曉光
1.中國礦業(yè)大學(xué)機(jī)電學(xué)院,江蘇徐州 221008
2.徐州工程學(xué)院機(jī)電學(xué)院,江蘇徐州 221008
帶鋼表面缺陷圖像的可拓分類算法
陳躍1,2,張曉光1
1.中國礦業(yè)大學(xué)機(jī)電學(xué)院,江蘇徐州 221008
2.徐州工程學(xué)院機(jī)電學(xué)院,江蘇徐州 221008
鋼板表面的缺陷檢測(cè)是鋼板質(zhì)量控制的重要一環(huán),檢測(cè)的方法也有很多,如渦流檢測(cè)法、紅外檢測(cè)法、漏磁檢測(cè)法等。而隨之激光技術(shù)、CCD技術(shù)、圖像處理技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展,利用圖像處理技術(shù)的機(jī)器視覺檢測(cè)技術(shù)越來越受到科技人員的重視,人們也進(jìn)行了大量研究[1-7]。
機(jī)器視覺檢測(cè)缺陷即是獲取鋼板表面視頻或圖像,通過圖像處理的方法確定表面有無缺陷,如有缺陷則是什么缺陷即缺陷的識(shí)別和分類,以便對(duì)軋鋼工藝的改進(jìn)給出參考。
人們對(duì)缺陷分類采用了多種方法,李琪等使用基于1-分類的支持向量機(jī)和RBF核函數(shù)對(duì)每一類缺陷樣本生成一個(gè)超球面,然后通過二重網(wǎng)格搜索的方法對(duì)核函數(shù)的參數(shù)尋優(yōu),最后對(duì)實(shí)際采集的缺陷圖像自動(dòng)尋找缺陷位置并進(jìn)行分類[8]。王成明等提出了基于改進(jìn)支持向量機(jī)的冷軋帶鋼典型表面缺陷分類識(shí)別方法,設(shè)計(jì)了一種冷軋帶鋼表面缺陷圖像模式識(shí)別的分類器,很好地克服了傳統(tǒng)支持向量機(jī)中存在的推廣性能差以及當(dāng)類別距離過近時(shí)準(zhǔn)確率下降的問題[9]。B.Samanta和Zhang Xiao-guang等人將支持向量機(jī)(SVM)應(yīng)用于故障和缺陷檢測(cè),取得了較好的檢測(cè)效果[10-11]。張國翊等提出了一種歸一化轉(zhuǎn)動(dòng)慣量特征和不變矩特征相結(jié)合的時(shí)域分析方法來構(gòu)建缺陷圖像的統(tǒng)計(jì)特征量,同時(shí)增加缺陷矩形框區(qū)域內(nèi)壓縮度、距離極值比和線度特征量作為缺陷分類的依據(jù),整體識(shí)別率達(dá)到90%以上,在一定程度上解決了缺陷圖像分類難的問題[12]。王成明等提出了基于小波變換和遺傳算法的模式識(shí)別方法,對(duì)四種典型冷軋帶鋼表面缺陷圖像進(jìn)行了實(shí)驗(yàn)研究等[13]。研究人員采用不同的理論或方法均能針對(duì)一類圖像取得較好的成果,帶鋼圖像由于成像環(huán)境惡劣,成像質(zhì)量易受環(huán)境影響,進(jìn)行分割也比較困難,本文從帶鋼表面自身紋理特性出發(fā),考慮缺陷對(duì)紋理灰度共生矩陣的相關(guān)參數(shù)影響,利用可拓理論對(duì)缺陷進(jìn)行總體上的分類。
2.1 可拓集構(gòu)建
可拓學(xué)[14]是由我國學(xué)者蔡文教授于1983年提出的,通過引進(jìn)物元并對(duì)其進(jìn)行變換和運(yùn)算,從而從定性和定量兩個(gè)角度去研究和解決不相容問題。結(jié)合本文的具體內(nèi)容,應(yīng)用過程包含如下幾步:
(1)根據(jù)對(duì)缺陷分類所選擇的特征參數(shù),將特征參數(shù)用特征物元表示,即待評(píng)物元:
式中p為某一缺陷,F(xiàn)i為缺陷特征參數(shù)名稱,νFi為各特征參數(shù)的值。
(2)經(jīng)典域是指缺陷圖像各缺陷特征參數(shù)分量所取值的范圍,如式(1)表示:
(3)節(jié)域(拓展域)是指全部缺陷特征參數(shù)量值的總體范圍,如式(2)表示:
式中P為各缺陷特征參數(shù)量值的總體范圍,C為缺陷特征參數(shù)名稱,Vp為P關(guān)于C所取值的范圍,包括不同缺陷的特征參數(shù)量值取值范圍,Vp為P的節(jié)域。
2.2 關(guān)聯(lián)隸屬度函數(shù)及特征權(quán)系數(shù)確定
i表示缺陷特征參數(shù)個(gè)數(shù),j表示缺陷的個(gè)數(shù)。
設(shè)wi,i=1,2,…,n為不同特征的加權(quán)向量,則待分類的缺陷關(guān)于某類缺陷的加權(quán)關(guān)聯(lián)度方程為:
2.3 缺陷分類步驟
對(duì)某一缺陷分類步驟:
(1)根據(jù)待分類缺陷某一特征參數(shù)值νFi,計(jì)算出加權(quán)關(guān)聯(lián)度K(pj)(j=1,2,…,m),m是圖像缺陷分類數(shù)。
(2)如果隸屬度函數(shù)K(pk)〈0,則待分缺陷不屬于k類缺陷。
(3)對(duì)于大于0的K(pj),找出其中的最大值即K(pθ)= max(K(pj))(j=1,2,…,m,j≠k),則θ就是待分類缺陷所屬的缺陷類別。
3.1 帶鋼表面缺陷分析
軋制鋼板表面缺陷類型因?yàn)殇摪灞旧聿牧系牟煌④堉乒に囈约巴饨缫蛩氐挠绊懚兴鶇^(qū)別,表現(xiàn)形式也有很大不同,總體的缺陷特征相差較大。
鋼板軋制缺陷根據(jù)其在鋼板表面分布情況、視覺表現(xiàn)、尺寸大小、產(chǎn)生原因等可以分為三類:單一缺陷、面狀缺陷和周期缺陷。不同類型的缺陷對(duì)軋制以及后續(xù)工藝的影響是不一樣的,因此對(duì)缺陷的處理過程也有所區(qū)別。即使是同一類型的缺陷其視覺表現(xiàn)形式也各有不同。除了以上這些類型的缺陷外,偽缺陷也會(huì)被視覺系統(tǒng)檢測(cè)到,盡管偽缺陷不是鋼板表面的真正缺陷,但從圖像表現(xiàn)角度來說,其和鋼板背景也有較大差異,如水印和臟物等,檢測(cè)系統(tǒng)也會(huì)對(duì)其進(jìn)行檢測(cè)和判斷。
單一缺陷如軋壞、孔洞、劃傷、突起、M形缺陷等,面狀缺陷如重型鱗皮、壓入鐵鱗、M狀鐵鱗、椒鹽鱗狀缺陷等,周期性缺陷如瘀傷、輥印等。對(duì)識(shí)別缺陷類別有影響的因素有影像的幾何形狀、影像的黑度分布、影像的位置。另外還應(yīng)分析缺陷位置、影像的延伸方向、影像輪廓清晰程度、影像細(xì)節(jié)特征等??梢圆捎枚喾N參數(shù)對(duì)缺陷進(jìn)行描述,如圓度、質(zhì)心、方向角等,獲取這些參數(shù)需要對(duì)圖像進(jìn)行復(fù)雜的處理和計(jì)算,尤其是對(duì)圖像進(jìn)行精確的分割必不可少,而軋鋼表面圖像由于軋制環(huán)境惡劣,再加上鋼板表面自身色差,表面圖像質(zhì)量較差,提取這些特征量非常困難,因此本文從整體出發(fā),選取M形缺陷、鱗皮缺陷和輥印缺陷樣本,通過整個(gè)圖像的特征來反映所包含的缺陷,并對(duì)缺陷進(jìn)行分類。
3.2 缺陷特征選擇
一幅圖像的灰度共生矩陣能夠反映圖像灰度關(guān)于方向、相鄰間隔和變化幅度的綜合信息,它是分析圖像局部模式和排列規(guī)則的基礎(chǔ)[15]。灰度共生矩陣主要用于對(duì)圖像紋理進(jìn)行分析,一般用于紋理較為清晰的圖像分析,而鋼板表面圖像由于材料本身的色差,圖像上也表現(xiàn)出一定的紋理特征,缺陷的存在對(duì)灰度紋理特征產(chǎn)生一定的影響,因此本文利用灰度共生矩陣提取鋼板表面圖像的紋理特征,用來對(duì)缺陷進(jìn)行分類。
灰度共生矩陣反映圖像中兩個(gè)像素之間存在的灰度關(guān)系,即圖像中灰度的空間相關(guān)性[16],其實(shí)質(zhì)是從灰度為i(其位置為(x,y))的像素出發(fā),統(tǒng)計(jì)與其距離為d灰度為j的像素(x+Dx,y+Dy)同時(shí)出現(xiàn)的次數(shù)p(i,j,d,θ),數(shù)學(xué)表達(dá)式為:
式中x,y=0,1,…,N-1為像素坐標(biāo),i,j為圖像灰度級(jí),Dx,Dy是位移偏移量,d為生成灰度共生矩陣的步長,θ為生成方向,一般取0°,45°,90°,135°以獲取不同的灰度共生矩陣。
灰度共生矩陣可以計(jì)算多達(dá)14個(gè)紋理特征參數(shù),根據(jù)各參數(shù)間的相關(guān)性和分析圖像的實(shí)際需要,選取如下四個(gè)特征參數(shù)作為分類依據(jù):
熵(BNΤ):圖像隨機(jī)量的表示,反映圖像的復(fù)雜程度,熵值越大,圖像所包含的信息越多;相關(guān)(COR):衡量共生矩陣中元素在行和列上的相似程度,矩陣元素相差越大,相關(guān)程度越??;能量(ASM):反映圖像灰度分布均勻程度和紋理粗細(xì)程度,是灰度共生矩陣元素值的平方和;轉(zhuǎn)動(dòng)慣量(I):良好的縮放、旋轉(zhuǎn)和平移不變性,計(jì)算量小等特點(diǎn)。其計(jì)算方法見文獻(xiàn)[17]。
選擇這四個(gè)參數(shù)作為缺陷圖像分類特征量,結(jié)合上文提到的可拓方法,計(jì)算出經(jīng)典域、節(jié)域以及權(quán)系數(shù),便可以對(duì)某一圖像進(jìn)行分類。
4.1 可拓經(jīng)典域和節(jié)域的獲取
本文對(duì)鱗皮缺陷(scale)、輥印缺陷(roll_mark)和M形缺陷分別選取20幅典型的缺陷圖片,經(jīng)過濾波增強(qiáng)后,計(jì)算出灰度共生矩陣,根據(jù)灰度共生矩陣計(jì)算以上四個(gè)參數(shù)的均值和標(biāo)準(zhǔn)差,部分結(jié)果如表1(取小數(shù)點(diǎn)后4位)。
由以上部分結(jié)果可以看出,參數(shù)量值具有一定的隨機(jī)性,一些參數(shù)的范圍是相互重合的,盡管對(duì)大量數(shù)據(jù)的分析能夠看出數(shù)據(jù)分布存在差別,但并不能把每個(gè)缺陷的某個(gè)特征參數(shù)量值范圍清晰地同其他缺陷的量值范圍區(qū)分開來,然而利用可拓理論在對(duì)這種問題分析時(shí),盡管不同缺陷的某一個(gè)或幾個(gè)參數(shù)取值范圍會(huì)重合,但是針對(duì)某一具體缺陷來說,可以通過計(jì)算該缺陷的多個(gè)參數(shù)與不同缺陷類別的關(guān)聯(lián)度并最后計(jì)算該缺陷與某一缺陷類別的關(guān)聯(lián)度來確定該缺陷隸屬于哪個(gè)缺陷類別。因此盡管參數(shù)有重合區(qū)域,但對(duì)具體缺陷參數(shù)量值來說,與不同的參數(shù)范圍關(guān)聯(lián)度不同,可以用來計(jì)算缺陷與缺陷類別的隸屬度。
表1 缺陷圖像灰度共生矩陣的四個(gè)參數(shù)部分值
通過對(duì)數(shù)據(jù)的統(tǒng)計(jì),各參數(shù)的取值范圍確定下來,從而確定不同類別缺陷中各參數(shù)的經(jīng)典域?yàn)椋?/p>
4.2 待分類缺陷相對(duì)于三類缺陷的關(guān)聯(lián)度
分別選擇鱗皮缺陷、輥印缺陷、M形缺陷各5幅,另外選擇5幅其他類型缺陷(包含瘀傷、劃傷、椒鹽缺陷)來進(jìn)行分類驗(yàn)證,實(shí)際缺陷圖像如圖1所示(每種缺陷圖像給出1個(gè))。
經(jīng)過計(jì)算,5幅鱗皮缺陷圖像的各參數(shù)如表2。
5幅M形缺陷圖像各參數(shù)如表3。
5幅輥印缺陷圖像的參數(shù)如表4。
5幅其他缺陷圖像的參數(shù)如表5。
圖1 待分類的部分缺陷圖像
表2 鱗皮缺陷圖像的參數(shù)
表3 M形缺陷圖像的參數(shù)
表4 輥印缺陷圖像的參數(shù)
表5 其他缺陷圖像參數(shù)
以物元表示每個(gè)待分類缺陷,即待評(píng)物元為(每種缺陷以1個(gè)說明):
分別計(jì)算每個(gè)缺陷的四個(gè)參數(shù)相對(duì)于三類缺陷的關(guān)聯(lián)度,計(jì)算結(jié)果如表6所示(每種缺陷列出1個(gè))。
表6 缺陷圖像的參數(shù)關(guān)聯(lián)度
由前面的權(quán)系數(shù)計(jì)算方法計(jì)算出的權(quán)系數(shù)矩陣為:
由四個(gè)參數(shù)相對(duì)于三類缺陷的關(guān)聯(lián)度和權(quán)系數(shù)矩陣,計(jì)算每個(gè)缺陷相對(duì)于三類缺陷的加權(quán)關(guān)聯(lián)度值如表7。
利用2.3節(jié)中的分類判別方法,只要確定待分類缺陷相對(duì)三種缺陷類別的關(guān)聯(lián)度最大值,即可以確定待分類缺陷所屬缺陷類別。由表中數(shù)據(jù)可知,5個(gè)鱗皮缺陷的關(guān)聯(lián)度最大值均對(duì)應(yīng)scale類別,分類全部正確;輥印缺陷的第二個(gè)圖像(Roll_2)的關(guān)聯(lián)度最大值對(duì)應(yīng)scale類別,分類錯(cuò)誤,其他關(guān)聯(lián)度最大值均對(duì)應(yīng)roll_mark,分類正確;M形缺陷的M_4關(guān)聯(lián)度最大值對(duì)應(yīng)scale,分類錯(cuò)誤,其他關(guān)聯(lián)度最大值均對(duì)應(yīng)M_defect,分類正確。作為對(duì)比用的其他缺陷關(guān)聯(lián)度計(jì)算的結(jié)果最大值也和不同的缺陷類別相對(duì)應(yīng),但是有的結(jié)果非常大(如49 916),這是由于本文的分類實(shí)驗(yàn)將缺陷類別分成了三類(樣本數(shù)量所限,其他缺陷樣本較少,暫時(shí)無法得到較為可靠的統(tǒng)計(jì)數(shù)據(jù)),盡管其他缺陷不屬于這三類,但是只要給出數(shù)據(jù)參與計(jì)算,也可以得到相應(yīng)的值,如果把其他缺陷也作為一個(gè)類別,判別結(jié)果會(huì)傾向所屬類別。
表7 缺陷圖像相對(duì)于缺陷類別的加權(quán)關(guān)聯(lián)度值
本文將可拓理論引入到帶鋼表面缺陷圖像分類中,對(duì)帶鋼缺陷中的鱗皮缺陷、輥印缺陷和M形缺陷進(jìn)行了分類識(shí)別,經(jīng)過實(shí)驗(yàn)分析,得到如下結(jié)論:
(1)采用對(duì)缺陷圖像的灰度共生矩陣計(jì)算出的能量、熵、慣性矩和相關(guān)性作為缺陷分類參數(shù),實(shí)驗(yàn)結(jié)果說明這些參數(shù)可以實(shí)現(xiàn)對(duì)缺陷的分類。如果結(jié)合圖像缺陷區(qū)域的質(zhì)心、方向等更多的參數(shù),分類結(jié)果會(huì)更好。
(2)利用可拓理論的關(guān)聯(lián)度分類方法,通過對(duì)每種缺陷20個(gè)樣本圖像進(jìn)行統(tǒng)計(jì)分析,確定了參數(shù)的經(jīng)典域和節(jié)域。通過計(jì)算關(guān)聯(lián)度值對(duì)待分類缺陷進(jìn)行分類,實(shí)驗(yàn)結(jié)果顯示可拓理論在缺陷圖像分類中是有效的,而且缺陷樣本越多,確定的經(jīng)典域和節(jié)域用于分類計(jì)算越準(zhǔn)確。
可拓理論應(yīng)用于缺陷圖像的分類中,即使缺陷的部分特征參數(shù)相互重疊或差別較小,也可以通過加權(quán)關(guān)聯(lián)度的計(jì)算進(jìn)行類別判斷,特征參數(shù)越多分類越準(zhǔn)確,但是數(shù)據(jù)計(jì)算量也越大。
在分類過程中出現(xiàn)個(gè)別缺陷圖像誤分的情況,經(jīng)分析原因如下:
鋼板表面的缺陷圖像中,背景的紋理對(duì)圖像的相關(guān)數(shù)據(jù)計(jì)算有較大的影響,鱗皮缺陷圖像中缺陷所占的范圍較大,一定程度上抵消了背景對(duì)參數(shù)計(jì)算的影響,而對(duì)于輥印缺陷和M形缺陷,缺陷區(qū)域較小,背景區(qū)域?qū)τ?jì)算結(jié)果影響較大,因此出現(xiàn)了誤分類情況。另外由于受到缺陷圖像樣本數(shù)量的影響,再加上缺陷的隨機(jī)性較大,圖像質(zhì)量不高,計(jì)算出的參數(shù)有些重合度較高,導(dǎo)致分類計(jì)算時(shí),關(guān)聯(lián)度值出現(xiàn)偏差,從而會(huì)引起誤分類。通過對(duì)細(xì)分缺陷樣本的大量收集和良好的前期處理后進(jìn)行統(tǒng)計(jì)分析,再綜合缺陷圖像中缺陷自身的質(zhì)心、紋理方向等參數(shù),可以使分類準(zhǔn)確性提高。
[1]孔月萍,王亞安,王快社.基于不變矩的帶鋼數(shù)字圖像的缺陷檢測(cè)算法[J].無損檢測(cè),2010,32(1):6-8.
[2]Li Xiaohao,Huang Ying,Zhao Qunchao.Recognition and extraction algorithm design for defect characteristics of armorplate flaw detection image[C]//2010 Τhird International Conference on Information and Computing,2010:288-291.
[3]李煒,黃心漢,王敏,等.基于機(jī)器視覺的帶鋼表面缺陷檢測(cè)系統(tǒng)[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2003,31(2):72-74.
[4]劉偉嵬.冷軋帶鋼表面缺陷檢測(cè)中非缺陷信息濾除問題的研究[D].沈陽:東北大學(xué),2009.
[5]楊永敏,李戈,趙杰.冷軋帶鋼缺陷表面形狀恢復(fù)新算法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2012,44(5):52-57.
[6]湯勃,孔建益,王興東.基于數(shù)學(xué)形態(tài)學(xué)的帶鋼表面缺陷檢測(cè)研究[J].鋼鐵研究學(xué)報(bào),2010,22(10):56-59.
[7]Pernkopfa F,O’Leary P.Image acquisition techniques for automatic visual inspection of metallic surfaces[J].Manufacturing Engineering,2004,133(4):35-38.
[8]李琪,盧榮勝,陳成.基于1-分類支持向量機(jī)的機(jī)器視覺缺陷分類方法[J].合肥工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版,2012,35(10):1311-1315.
[9]王成明,顏云輝,陳世禮.基于改進(jìn)支持向量機(jī)的冷軋帶鋼表面缺陷分類識(shí)別[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,2007,28(3):410-413.
[10]Samanta B,Balushi K R,Araimi S A.Artificial neural networks and support vector machines with genetic algorithm for bearing fault detection[J].Engineering Applications of Artificial Intelligence,2003,16(7/8):657-665.
[11]Zhang X G,Xu J J,Ge G Y.Defects recognition on X-ray images for weld inspection using SVM[C]//Proc of 2004 International Conference on Machine Learning and Cybernetics.New York:IEEE,2004:3721-3725.
[12]張國翊,胡錚,徐婷.基于特征提取的缺陷圖像分類方法[J].北京工業(yè)大學(xué)學(xué)報(bào),2010,36(4):450-457.
[13]王成明,顏云輝,韓英莉,等.一種新的冷軋帶鋼表面缺陷圖像模式識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(13):207-209.
[14]蔡文.物元模型及其應(yīng)用[M].北京:北京科學(xué)技術(shù)文獻(xiàn)出版社,1994:8-9.
[15]唐銀鳳,黃志明,黃榮娟,等.基于多特征提取和SVM分類器的紋理圖像分類[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(6):22-25.
[16]薄華,馬縛龍,焦李成.圖像紋理的灰度共生矩陣計(jì)算問題的分析[J].電子學(xué)報(bào),2006(1).
[17]鐘樺,楊曉鳴,焦李成.基于多分辨共生矩陣的紋理圖像分類[J].計(jì)算機(jī)研究與發(fā)展,2011,48(11):1991-1999.
CHEN Yue1,2,ZHANG Xiaoguang1
1.School of Mechatronics Engineering,China University of Mining and Τechnology,Xuzhou,Jiangsu 221008,China
2.School of Mechatronics Engineering,Xuzhou Institute of Τechnology,Xuzhou,Jiangsu 221008,China
In the light of difficulty in recognition and classification of steel strip surface defects,extenics theory is applied to classifying defects image of steel strip.Four parameters of defects image’s GLCM are calculated and selected as eigenvector.Τhen classical and extensional ranges of eigenvector are determined by statistical analysis of a number of data.Weight-added dependent degrees are calculated between unclassified defect image and each category of preclassified defects,and the maximum illuminates which category the unclassified defect image beongs to.Results of simulation declare the effectiveness by selecting unclassified steel strip surface defects image for experiments.
extenics theory;classification of defect images;selection of eigenvector
針對(duì)帶鋼表面缺陷難以識(shí)別和分類的問題,將可拓集合理論應(yīng)用于帶鋼表面缺陷圖像的分類,由缺陷圖像的灰度共生矩陣計(jì)算出的能量、熵、慣性矩和相關(guān)性作為分類的特征向量,通過對(duì)大量圖像數(shù)據(jù)的統(tǒng)計(jì)分析,確定不同缺陷類別的各參數(shù)經(jīng)典域和節(jié)域,計(jì)算出待分類缺陷相對(duì)于各缺陷類別的加權(quán)關(guān)聯(lián)度值,由最大值確定待分類缺陷所屬類別。選擇實(shí)際圖像進(jìn)行分類實(shí)驗(yàn),仿真結(jié)果顯示能夠取得較好的分類效果。
可拓理論;缺陷圖像分類;特征參數(shù)選擇
A
ΤP274
10.3778/j.issn.1002-8331.1304-0026
CHEN Yue,ZHANG Xiaoguang.Classification of surface defect images of steel strip by extenics theory.Computer Engineering and Applications,2013,49(21):24-28.
江蘇省高?;A(chǔ)研究基金(No.10KJD510010)。
陳躍(1975—),男,在讀博士研究生,副教授,研究領(lǐng)域?yàn)閳D像處理,缺陷圖像檢測(cè);張曉光(1963—),男,博士,教授,博士生導(dǎo)師,研究領(lǐng)域?yàn)閳D像處理和模式識(shí)別。E-mail:snake9521@163.com
2013-04-03
2013-07-01
1002-8331(2013)21-0024-05
CNKI出版日期:2013-07-10http://www.cnki.net/kcms/detail/11.2127.ΤP.20130710.1448.006.html