王 璐,王新房

(西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院,西安 710048)

X射線焊縫圖像缺陷檢測(cè)和識(shí)別在無損檢測(cè)領(lǐng)域十分重要.實(shí)驗(yàn)前期對(duì)焊縫以及焊接技術(shù)進(jìn)行大量研究發(fā)現(xiàn),國內(nèi)很多學(xué)者使用的方法是單個(gè)逐次提取樣本特征,被使用頻次較多的是缺陷的灰度特征和形態(tài)特征,如楊川與羅來齊使用的識(shí)別方法,二者不同點(diǎn)在于構(gòu)建特征參數(shù)的計(jì)算公式.采用樣本形態(tài)和灰度特征的好處在于,可以根據(jù)所研究對(duì)象的特點(diǎn),構(gòu)建出與缺陷特點(diǎn)相對(duì)應(yīng)的特征參數(shù)[1,2],但是這種方法能提取到的特征參數(shù)數(shù)量有限,因此其適用范圍有一定的局限性.

HOG特征即方向梯度直方圖特征,大量地被使用做物體檢測(cè)的特征描述子,其主要思想是一幅圖像中的局部目標(biāo)可以很好地被梯度分布描述.HOG特征提取結(jié)合支持向量機(jī)SVM的分類思想,近些年被廣泛的應(yīng)用在行人檢測(cè)和車輛識(shí)別等領(lǐng)域,尤其是在行人檢測(cè)領(lǐng)域,取得了很大的進(jìn)步.該方法最大的優(yōu)點(diǎn)在于,識(shí)別結(jié)果對(duì)光照所產(chǎn)生的環(huán)境變化,敏感程度很低,目標(biāo)圖像發(fā)生小幅度的旋轉(zhuǎn)時(shí),識(shí)別結(jié)果也較為穩(wěn)定.然而當(dāng)目標(biāo)圖像旋轉(zhuǎn)幅度很大或發(fā)生尺度變化時(shí),HOG特征將不再適用.這也是HOG特征在焊接領(lǐng)域未被大量應(yīng)用的原因.本文將根據(jù)HOG的局限性和X射線焊縫圖像采集系統(tǒng)的成像特點(diǎn),提出一種具有旋轉(zhuǎn)不變性的HOG特征提取方法.

1 圖像采集

1.1 采集系統(tǒng)

本文的實(shí)驗(yàn)對(duì)象來源于某鋼管廠實(shí)際生產(chǎn)過程中采集的焊縫缺陷圖像.該廠使用的硬件圖像采集設(shè)備是以X射線[3,4]為基礎(chǔ)的DR成像系統(tǒng)(見圖1),軟件設(shè)備為DR成像與缺陷檢測(cè)軟件系統(tǒng).工業(yè)探傷過程中,焊接工件缺陷處與正常區(qū)域處的厚度、密度不同,利用X射線對(duì)焊接工件進(jìn)行掃描,射線透射工件后的能量變化也不同,所以可根據(jù)生成圖像各點(diǎn)灰度值的不同來判斷工件中是否有缺陷以及估計(jì)缺陷區(qū)域的厚度.DR成像系統(tǒng)的工作原理是X射線透射過焊接工件后,與DR面板上的熒光介質(zhì)相互作用產(chǎn)生光信號(hào),再經(jīng)光電反應(yīng)轉(zhuǎn)換為電信號(hào),并通過A/D轉(zhuǎn)換后得到數(shù)字圖像,傳送至DR成像與缺陷檢測(cè)軟件系統(tǒng)中顯示后,可做分析和處理.DR成像系統(tǒng)分辨率高,環(huán)境適應(yīng)性好.

圖1 DR成像系統(tǒng)

本文以DR成像缺陷檢測(cè)系統(tǒng)為基礎(chǔ)采集實(shí)驗(yàn)數(shù)據(jù)集,利用微軟公司提供的基礎(chǔ)類庫MFC、消息機(jī)制、多線程等相關(guān)技術(shù),以及C++面向?qū)ο蠹澳K化的思想,設(shè)計(jì)并實(shí)現(xiàn)了DR成像與缺陷檢測(cè)軟件系統(tǒng)的缺陷類型識(shí)別功能.

1.2 ROI區(qū)域的截取

DR系統(tǒng)采集到的焊縫圖像大小為1024*1024,ROI區(qū)域即實(shí)驗(yàn)對(duì)象,是焊縫圖像的一部分,是通過DR成像缺陷檢測(cè)系統(tǒng)截取出來的缺陷區(qū)域.

以圖2標(biāo)準(zhǔn)測(cè)試管中的缺陷為例,一張焊縫圖片上出現(xiàn)兩個(gè)氣孔類型缺陷,即兩個(gè)ROI區(qū)域,則需要將其依次截取出來作為實(shí)驗(yàn)對(duì)象.從大量的焊縫圖像中截取多個(gè)ROI缺陷區(qū)域構(gòu)成實(shí)驗(yàn)數(shù)據(jù)集.對(duì)于不同的缺陷,其形狀、亮度、區(qū)域大小不完全相同.

圖2 ROI截取過程示意圖

2 實(shí)驗(yàn)對(duì)象分析

參照國家標(biāo)準(zhǔn)文獻(xiàn)GB 6417-86金屬熔化焊焊縫缺陷分類及說明,生產(chǎn)過程中共定義出六種缺陷如圖.

圖3 各種缺陷類型原圖像

下面就已經(jīng)掌握的焊縫缺陷類型來說明使用傳統(tǒng)HOG特征在本次研究中的優(yōu)勢(shì)和弊端.

通過對(duì)缺陷圖像的觀察發(fā)現(xiàn),X射線采集系統(tǒng)所采集到的圖片光照強(qiáng)度有所差異,HOG特征對(duì)圖像幾何的和光學(xué)的形變都能保持很好的不變性,這一優(yōu)點(diǎn)可以解決實(shí)驗(yàn)過程中由于光照不同而引起的特征差異問題.

對(duì)于本次實(shí)驗(yàn)的操作對(duì)象,傳統(tǒng)HOG也有其不足之處.HOG在行人檢測(cè)領(lǐng)域得到廣泛應(yīng)用的原因是,行人運(yùn)動(dòng)時(shí),始終與地面保持垂直姿態(tài),也就是說,目標(biāo)在一定范圍內(nèi)的旋轉(zhuǎn)幅度很小.而本文中提到的操作對(duì)象,自身角度差異很大,如圖4所示,同一類型的缺陷可能以不同旋轉(zhuǎn)姿態(tài)出現(xiàn),同時(shí)在實(shí)際檢測(cè)過程中,焊縫或焊道本身也具有很大的方向差異,如圖5所示.

圖4 同類型不同方向缺陷

圖5 不同方向焊縫

小范圍的角度差異對(duì)HOG特征的影響較小,但是焊縫缺陷的角度差異是很大的.本次研究的目的是通過對(duì)HOG特征提取方法的改進(jìn),來得到一種對(duì)目標(biāo)旋轉(zhuǎn)角度不敏感的HOG特征.可同時(shí)保證HOG特征的幾何、光照、旋轉(zhuǎn)不變性.

3 旋轉(zhuǎn)不變HOG特征提取

HOG特征本身不具有尺度不變性和旋轉(zhuǎn)不變性,為解決其尺度不變性的局限,我們將得到的目標(biāo)圖像統(tǒng)一尺度變換為32*32像素大小.

針對(duì)HOG旋轉(zhuǎn)不變性的局限,有學(xué)者提出過相關(guān)的改進(jìn)算法.羅濱[5]提出基于主方向旋轉(zhuǎn)不變的HOG特征,通過算法,找到能夠描述被識(shí)別對(duì)象的主方向,然后將目標(biāo)沿主方向旋轉(zhuǎn).這種方法在被識(shí)別對(duì)象有規(guī)律性且層次豐富時(shí),有很好的識(shí)別效果,但對(duì)于焊縫缺陷的識(shí)別效果并不顯著.湯彪[6]通過改變HOG特征細(xì)胞劃分方法,使得當(dāng)物體發(fā)生旋轉(zhuǎn)時(shí),每個(gè)細(xì)胞所包含的像素點(diǎn)不變,重新構(gòu)建梯度矩陣和梯度方向,從而使HOG具有旋轉(zhuǎn)不變性.本次研究的基本思想以此為基礎(chǔ),并加以深度研究和改進(jìn).

3.1 圖像的劃分

傳統(tǒng)HOG特征使用的是方形模板劃分方式,劃分方向從左到右,從上到下,本文采用圓形劃分方式,由內(nèi)而外地劃分目標(biāo)圖像.

以圖像中心點(diǎn)為圓心,w為圓環(huán)寬度,向外劃分出一系列同心圓環(huán)區(qū)域.這里的每一個(gè)圓環(huán)為一個(gè)細(xì)胞cell,第一個(gè)cell為圓,其余cell為環(huán)形區(qū)域.相鄰的兩個(gè)圓環(huán)構(gòu)成一個(gè)block塊,如圖6陰影部分為一個(gè)block.掃描方向由內(nèi)向外.

圖6 目標(biāo)圖像的劃分方法

經(jīng)過圓形區(qū)域劃分之后,被識(shí)別目標(biāo)發(fā)生旋轉(zhuǎn)時(shí),每一個(gè)圓環(huán)區(qū)域內(nèi)包含的像素點(diǎn)是不變的.

3.2 梯度與梯度方向計(jì)算

傳統(tǒng)的HOG特征計(jì)算是基于像素點(diǎn)固定的水平和垂直方向位置灰度值的計(jì)算,如式(1),其中g(shù)radient X,gradient Y分別表示像素點(diǎn)在水平和垂直方向上的梯度,V表示梯度幅值,a為梯度方向角度.

若目標(biāo)旋轉(zhuǎn),則對(duì)應(yīng)每個(gè)像素點(diǎn)水平和垂直方向的鄰點(diǎn)便會(huì)發(fā)生改變.為了獲得旋轉(zhuǎn)不變的梯度,對(duì)梯度進(jìn)行近似RGT變換.

圖7 近似RGT變換示意圖

向量g,r,t分別表示像素p的梯度向量,徑向方向單位向量和切向方向單位向量.為提高運(yùn)算效率和計(jì)算過程的簡(jiǎn)便性,不用對(duì)每一點(diǎn)像素求r,t.以45度為分割節(jié)點(diǎn),將目標(biāo)圖像劃分為八個(gè)區(qū)域,region1～region8,region i的像素點(diǎn)使用r[i],t[i]方向分別作為該像素點(diǎn)的徑向和切向單位方向向量.

表1 各向量的表示

經(jīng)過對(duì)梯度的重新定義,像素點(diǎn)RGT梯度幅值和角度的計(jì)算公式如下.

3.3 旋轉(zhuǎn)不變HOG特征提取

旋轉(zhuǎn)不變HOG特征的提取過程與傳統(tǒng)方法類似,分為以下幾步:

Step1.圖像通過尺度變換,得到32*32大小的目標(biāo)圖像;

Step2.將目標(biāo)圖像進(jìn)行圓形劃分;

Step3.計(jì)算經(jīng)過RGT變換后的各像素點(diǎn)的梯度幅值和方向;

Step4.相鄰兩個(gè)圓環(huán)的HOG特征連接為一個(gè)block特征,并對(duì)其進(jìn)行歸一化;

Step5.所有block特征連接,構(gòu)成缺陷圖像的HOG特征.

在湯彪[6]的研究中,作者使用的目標(biāo)圖像大小為100*100,影響HOG特征維數(shù)的參數(shù)有三個(gè):binNum角度的等級(jí)劃分?jǐn)?shù)、Angel角度范圍、width環(huán)寬.作者令binNum為9,Angel為180度,width為10,經(jīng)過這樣的定義,一幅實(shí)驗(yàn)?zāi)繕?biāo)圖可劃分為10個(gè)cell區(qū)域,從而可得到一個(gè)90維的HOG特征向量.這樣劃分的缺點(diǎn)在于,圖像固定區(qū)域劃分,各個(gè)block之間并無重疊,也就是說,一個(gè)像素點(diǎn)的梯度只影響一個(gè)block的HOG特征組成.在此,本文定義了一個(gè)全新的能反映block重疊程度的參數(shù)P,以便在統(tǒng)計(jì)結(jié)果時(shí)更直觀地觀察到block重疊對(duì)正確率的影響.

P值越大,則表明各相鄰block之間的重疊面積越大.

block有重疊,意味著同一像素點(diǎn)會(huì)出現(xiàn)在不同block的特征描述子中,所反映的信息量便會(huì)更多.

引入另外一個(gè)參數(shù)skipStep掃描步長(zhǎng),可以很好地控制各個(gè)block重疊范圍的大小.環(huán)寬width越大,掃描步數(shù)skipStep越小,block之間的重疊區(qū)域越大,得到的HOG特征維數(shù)就越多.維數(shù)計(jì)算公式為式(4),其中height表示目標(biāo)圖像寬度,本次實(shí)驗(yàn)中height為32個(gè)像素大小.

本文提取的HOG特征維數(shù)與四個(gè)參數(shù)的選擇有關(guān),梯度方向等級(jí)劃分?jǐn)?shù)binNum、角度范圍Angel、環(huán)寬width、掃描步長(zhǎng)skipStep.本次實(shí)驗(yàn)選擇binNum=9,Angel=180,得到的各方向梯度幅值圖像如圖8至圖12所示.

圖8 尺度變換后32*32的圖像

圖9 水平方向梯度圖像

圖10 垂直方向梯度圖像

圖11 徑向方向梯度圖像

圖12 切向方向梯度圖像

4 PCA降維

為剔除冗余信息并提高運(yùn)算效率,在使用支持向量機(jī)進(jìn)行分類之前,需要對(duì)提取到的HOG特征進(jìn)行PCA降維,PCA降維即主成分分析法[7].這里需要注意的是,PCA降維是對(duì)所有類型樣本統(tǒng)一進(jìn)行降維,包括各類訓(xùn)練樣本和測(cè)試樣本.PCA降維過程分為以下幾步:

Step1.計(jì)算HOG矩陣不同維度的協(xié)方差矩陣;

Step2.計(jì)算協(xié)方差矩陣的特征向量和特征值,并將特征值按照從大到小的順序排列;

Step3.選擇前n維特征,使其貢獻(xiàn)率剛好高于或等于95%.

當(dāng)binNum=9,Angel=180時(shí),多次改變掃描步數(shù)和環(huán)寬的大小,PCA降維后的HOG特征維數(shù)如表2所示.

5 LSSVM缺陷類型識(shí)別

選取各類樣本的3/5作為訓(xùn)練樣本,2/5作為測(cè)試樣本,采用LSSVM模型進(jìn)行識(shí)別.

表2 PCA降維后的維數(shù)

為說明HOG特征的相對(duì)性優(yōu)點(diǎn),我們將基于形態(tài)特征和灰度特征的識(shí)別結(jié)果與本次實(shí)驗(yàn)結(jié)果做對(duì)比.

5.1 基于形態(tài)特征和灰度特征的識(shí)別結(jié)果

提取所有樣本的六維形態(tài)和灰度特征,計(jì)算公式如表3所示.

表3 樣本形態(tài)與灰度特征提取

實(shí)驗(yàn)樣本數(shù)目分配、輸出編碼方式以及實(shí)驗(yàn)結(jié)果如下表所示.

表4 樣本分配與實(shí)驗(yàn)結(jié)果

根據(jù)實(shí)驗(yàn)結(jié)果,未熔合,燒穿的識(shí)別正確率最高.誤識(shí)別率較高的情況有,夾渣和氣孔混淆識(shí)別,氣孔和咬邊混淆識(shí)別.雖然實(shí)驗(yàn)結(jié)果較好,但是隨著數(shù)據(jù)集的擴(kuò)大,樣本差異性的減小,在實(shí)際使用過程中的識(shí)別率相比較實(shí)驗(yàn)結(jié)果會(huì)更小.

5.2 基于旋轉(zhuǎn)不變HOG特征的識(shí)別結(jié)果

將經(jīng)過PCA降維后的樣本使用LSSVM模型進(jìn)行識(shí)別.選取binNum=9,Angel=180變化掃描步數(shù)和環(huán)寬,所對(duì)應(yīng)的識(shí)別結(jié)果如表5所示.

表5 基于旋轉(zhuǎn)不變HOG特征的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

由實(shí)驗(yàn)結(jié)果可知,在一定范圍內(nèi),block重疊范圍越大,整體識(shí)別正確率越高,當(dāng)block重疊率達(dá)到75%時(shí),所提取到的HOG特征所包含的信息量足夠豐富,整體識(shí)別的正確率較高.繼續(xù)升高重疊率會(huì)導(dǎo)致信息冗余過大,正確率下降.因此,整體而言,本文所提到的方法相比較傳統(tǒng)的提取缺陷灰度和形態(tài)特征的識(shí)別方法更具有優(yōu)勢(shì).

6 結(jié)論

通過改變細(xì)胞劃分方式在傳統(tǒng)HOG特征的基礎(chǔ)上提出一種改進(jìn)的特征提取方法,使其具有旋轉(zhuǎn)不變性特征,并在此理論的基礎(chǔ)上使用LSSVM模型對(duì)缺陷進(jìn)行識(shí)別.通過與灰度和形態(tài)特征識(shí)別方法的對(duì)比,以及對(duì)該方法參數(shù)變化與識(shí)別正確率關(guān)系的分析,得到以下結(jié)論.

(1)相比較基于缺陷灰度和形態(tài)特征的缺陷識(shí)別方法,本文提出的算法可根據(jù)各參數(shù)的設(shè)置來提高其適用范圍.

(2)尺度歸一化方法,和圓形細(xì)胞的劃分方式,打破了傳統(tǒng)HOG特征不具有尺度不變性和旋轉(zhuǎn)不變性的局限.

(3)在對(duì)旋轉(zhuǎn)不變HOG特征的研究過程中發(fā)現(xiàn),在一定范圍內(nèi),block快重疊范圍P越大,正確率小幅度上升,當(dāng)塊重疊率達(dá)到75%時(shí),識(shí)別率最高.

在今后的實(shí)際使用過程中,可通過調(diào)節(jié)各個(gè)參數(shù)來達(dá)到缺陷類型識(shí)別的目的.

1楊川.焊縫缺陷圖像特征提取研究[碩士學(xué)位論文].武漢:武漢理工大學(xué),2010.

2羅來齊.管道缺陷檢測(cè)與識(shí)別方法研究與實(shí)現(xiàn)[碩士學(xué)位論文].鎮(zhèn)江:江蘇大學(xué),2016.

3Cui WC,Chen S,Yu TS,et al.Feature extraction of X-ray chest image based on KPCA.Proceedings of the 2nd International Conference on Computer Science and Network Technology (ICCSNT).Changchun,China.2012.1263-1266.

4Daum W,Rose P,Heidt H,et al.Automatic recognition of weld defects in X-ray inspection.British Journal of Nondestructive Testing,1987,29(2):79-81.

5羅濱,朱長(zhǎng)仁,任云,等.基于主方向的旋轉(zhuǎn)不變HOG特征.現(xiàn)代電子技術(shù),2015,38(22):84-87,90.

6湯彪,左崢嶸,李明.基于旋轉(zhuǎn)不變HOG特征的圖像匹配算法.中國科技論文在線,http://www.paper.edu.cn/releasepaper/content/201301-1025.

7Ashour MW,Khalid F,Halin AA,et al.Machining process classification using PCA reduced histogram features and the support vector machine.Proceedings of 2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA).Kuala Lumpur,Malaysia.2015.414-418.