盧 明,王 程,謝永芳

(1.湖南科技大學(xué) 信息與電氣工程學(xué)院,湖南 湘潭 411100;2.中南大學(xué) 自動(dòng)化學(xué)院,湖南 長(zhǎng)沙 410083)

1 引言

大量的傳統(tǒng)圖像處理算法僅能處理二維圖像,如被灰度化或二值化的圖像.對(duì)于一個(gè)像素具有不同測(cè)量值的多元圖像,這類圖像處理算法會(huì)忽略其多個(gè)通道間的關(guān)系.多元圖像分析(multivariate image analysis,MIA)是一種由學(xué)者Paul Geladi于1989年提出的處理多元圖像的算法,該算法可以對(duì)多元圖像的多個(gè)變量進(jìn)行分析[1].對(duì)于RGB圖像,多元圖像分析可以分析其顏色信息.多元圖像分析將三維的RGB圖像數(shù)據(jù)展開成一個(gè)二維的矩陣后,使用主成分分析法(principal component znalysis,PCA)進(jìn)行分析,然后使用PCA分析的結(jié)果進(jìn)行分割、分類、缺陷檢測(cè)或預(yù)測(cè).一些學(xué)者探索了MIA在多元統(tǒng)計(jì)過程控制中的應(yīng)用[2],并將其應(yīng)用于休閑食品工業(yè)[3-4]、定量視覺建模[5]和玉米缺陷百分比測(cè)定[6].隨著MIA理論的發(fā)展,國(guó)內(nèi)學(xué)者開始將MIA應(yīng)用在工業(yè)領(lǐng)域:盧明等人[7]將多元圖像分析技術(shù)在銅礦粗選方面進(jìn)行了應(yīng)用,并使用實(shí)驗(yàn)驗(yàn)證了其有效性;盧紹文等人[8]使用多元圖像分析技術(shù)代替人眼,在電熔鎂爐欠燒工況分類中對(duì)鎂爐火焰進(jìn)行特征提取.

紋理是圖像的一種重要特征,在圖像分割、特征提取等領(lǐng)域發(fā)揮著舉足輕重的作用.而多元圖像分析在圖像展開的過程會(huì)丟失像素的空間信息,使得分析過程僅涉及獨(dú)立的像素,未包含圖像的紋理信息.為在多元圖像分析中納入圖像的紋理信息,一些學(xué)者[9-11]提出了顏色-紋理圖像分析法(color-texture MIA,ct-MIA),該方法將每個(gè)通道的圖片向周圍8個(gè)方向平移,疊加平移后的圖像構(gòu)造多元圖像,然后再對(duì)構(gòu)造的圖像應(yīng)用多元圖像分析.ct-MIA 在鋼材表面檢測(cè)[9-11]和人造石缺陷檢測(cè)[10]中進(jìn)行了應(yīng)用,實(shí)驗(yàn)顯示,其相比MIA對(duì)圖像紋理特征更加敏感,計(jì)算精準(zhǔn)度更高.雖然ct-MIA嘗試對(duì)圖像的紋理特征進(jìn)行分析,但采用像素平移的方法所體現(xiàn)的紋理特征較為單一,在背景復(fù)雜或紋理特征較弱的圖像上應(yīng)用效果并不理想.在數(shù)字圖像處理領(lǐng)域被應(yīng)用于處理紋理特征的另一種算法是灰度共生矩陣(gray level co-occurrence matrix,GLCM),其通過像素的強(qiáng)度和位置對(duì)紋理特征進(jìn)行描述[12],在圖像分割[13]、特征提取[14]和圖像分類[15]等領(lǐng)域得到廣泛應(yīng)用.灰度共生矩陣充分提取了圖像的紋理信息,但其忽略了圖像多個(gè)通道間的聯(lián)系,未利用圖像的顏色信息.

應(yīng)用多元圖像分析進(jìn)行圖像分割有兩種方法,分別是基于散點(diǎn)圖和基于偏最小二乘法判別分析(partial least squares discrimination analysis,PLS-DA)的分割方法.基于散點(diǎn)圖的分割方法使用多元圖像分析得到主成分作散點(diǎn)圖,對(duì)散點(diǎn)圖上的聚類進(jìn)行分析可以得到與感興趣區(qū)域相關(guān)聯(lián)的潛在空間;應(yīng)用潛在空間于原始圖像即可分割出感興趣的區(qū)域,將潛在空間投射到新圖像,也可以在新圖像上完成感興趣區(qū)域的分割[16].基于PLS-DA的分割方法則是聯(lián)合潛在空間和感興趣的得分圖像構(gòu)建PLS-DA模型,使用該P(yáng)LS-DA模型對(duì)圖像進(jìn)行像素級(jí)分類,即可完成對(duì)圖像感興趣區(qū)域的分割[17].這兩種方法均可以從圖像上分割出某一類感興趣的區(qū)域,但分割精度欠佳.

綜前所述,ct-MIA分析的紋理特征較為單一,且進(jìn)行分割應(yīng)用時(shí)的精度不高.本文方法提取圖像的紋理特征構(gòu)造多元圖像,對(duì)所得的多元圖像應(yīng)用多元圖像分析方法得到得分圖像,能分析圖像的多種紋理特征,進(jìn)行分割應(yīng)用時(shí)分割精度較高.

為解決以上問題,本文的主要貢獻(xiàn)是:

1)結(jié)合灰度共生矩陣和滑動(dòng)窗口法提出了一種新的多元圖像構(gòu)造方法,該方法將RGB圖像中的紋理信息概括為同質(zhì)性、對(duì)比度、能量和相關(guān)性,并集成在構(gòu)造的多元圖像的每個(gè)通道中;

2)在本文提出的多元圖像構(gòu)造方法的基礎(chǔ)上,結(jié)合多元圖像分析方法進(jìn)行圖像分割應(yīng)用,以綜合圖像的顏色與紋理特征對(duì)圖像進(jìn)行分割,提高分割精度;

3)在被油污污染的硅鋼片圖像數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文方法相比應(yīng)用ct-MIA進(jìn)行分割具有更高的精準(zhǔn)度,且本文方法+決策樹的分割方案也比ct-MIA+PLS-DA的分割方案計(jì)算精度更高.

4)在整個(gè)圖像數(shù)據(jù)集上對(duì)本文方法與其他圖像分割方法進(jìn)行對(duì)比實(shí)驗(yàn)并統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果,實(shí)驗(yàn)結(jié)果證明了本文方法的有效性與優(yōu)越性.

2 基于圖像紋理特征的多元圖像構(gòu)造

2.1 灰度共生矩陣及其統(tǒng)計(jì)

多元圖像是一組在空間上對(duì)應(yīng)一致的多通道圖像數(shù)據(jù),每個(gè)通道代表了同一個(gè)物體某種性質(zhì)的測(cè)量值,這些測(cè)量值可來源于不同的測(cè)量方法,幾乎所有的物理量均可以用來構(gòu)建多元圖像[18].本文使用灰度共生矩陣求取的紋理特征影像疊加以構(gòu)建多元圖像,所得的多元圖像的每個(gè)通道均包含原始圖像的某種顏色或紋理特征.

灰度共生矩陣是一種根據(jù)兩個(gè)像素點(diǎn)灰度值關(guān)系出現(xiàn)的頻率分布規(guī)律來闡述圖像紋理信息的矩陣[12],被用于圖像分類[19]、紋理提取[20]和特征提取[21].假設(shè)一張有限大小的圖像,其水平方向具有Nx個(gè)像素,垂直方向有Ny個(gè)像素.Lx=0,1,···,Nx-1和Ly=0,1,···,Ny-1分別為水平和垂直空間域.灰度為i和j的一對(duì)像素點(diǎn)位置方向?yàn)棣?距離d的概率記為Pi,j(d,θ),具體表示如式(1)所示.

對(duì)二維圖像上所有像素點(diǎn)求取Pi,j(d,θ),即可求得圖像在某個(gè)方向的灰度共生矩陣.可根據(jù)灰度共生矩陣求取的統(tǒng)計(jì)量一共有14種,但其中大多數(shù)統(tǒng)計(jì)量相互關(guān)聯(lián),僅有4種統(tǒng)計(jì)量是獨(dú)立的[22].因此,選取4種獨(dú)立的統(tǒng)計(jì)量計(jì)算紋理特征影像即可求取圖像的紋理特征.本文選擇對(duì)比度、相關(guān)性、能量和同質(zhì)性4種統(tǒng)計(jì)量用以計(jì)算紋理特征影像.

對(duì)比度反應(yīng)了一張圖像中每個(gè)像素與其周圍像素強(qiáng)度的關(guān)系,純色圖像對(duì)比度為0,其定義如式(2)所示,式中的i和j為不同的灰度等級(jí),p表示灰度共生矩陣中的不同元素.

相關(guān)性反應(yīng)了一張圖像中每個(gè)像素與其周圍像素的聯(lián)系,即紋理的相似程度,其值介于-1到1之間,紋理相似度越高其值越大.相關(guān)性的定義如式(3)所示,其中:μx和μy為灰度共生矩陣水平和垂直兩個(gè)方向的均值,σx和σy為灰度共生矩陣在水平和垂直方向的標(biāo)準(zhǔn)差.

能量為灰度共生矩陣中元素的平方和,其反映了圖像的清晰度和紋理的粗細(xì)程度,紋理越粗糙則值越大,如式(4)所示:

同質(zhì)性度量了圖像紋理局部變化的多少,圖像局部紋理變化越小,紋理越均勻則其同質(zhì)性越大,如式(5)所示:

本文基于灰度共生矩陣,以及以上4種統(tǒng)計(jì)量構(gòu)造多元圖像,下文將詳述多元圖像的構(gòu)造原理與步驟.

2.2 紋理特征影像求取與多元圖像構(gòu)造

對(duì)于一張r×c×3大小的RGB圖像,首先分離出其R,G,B通道圖像,每張圖像表現(xiàn)為大小為r×c的圖像矩陣I,如式(6)所示:

步驟1以圖像矩陣Ie的任一元素i(a,b)為中心,取其前后的行和其前后的列與其本身組成一個(gè)大小為n×n的矩陣W,n稱為滑動(dòng)窗口的尺寸,如式(8)所示:

步驟2為了能體現(xiàn)圖像在不同方向上的紋理特征,所以需要求取矩陣W在0°,45°,90°和135°這4個(gè)方向上的灰度共生矩陣.

步驟3根據(jù)灰度共生矩陣算出矩陣W在4個(gè)方向上的對(duì)比度、相關(guān)性、能量和同質(zhì)性統(tǒng)計(jì)量的值.然后求取每一種統(tǒng)計(jì)量的平均值,并以求得的平均值替換擴(kuò)充矩陣Ie中的元素i(a,b).

步驟4重復(fù)第1步到第3步,直到對(duì)圖像矩陣I中每一個(gè)元素執(zhí)行上述操作為止.

經(jīng)過以上4個(gè)步驟就得到了4個(gè)大小為(r+n-1)×(c+n-1)的統(tǒng)計(jì)量矩陣SCon,SCor,SEne和SHom.將求得的統(tǒng)計(jì)量矩陣與Ie相加,即得到了相應(yīng)的紋理影像矩陣ICon,ICor,IEne和IHom,如式(9)-(12)所示:

上述4種紋理影像矩陣以圖像形式顯示即為紋理特征影像.以上步驟僅僅求出了RGB圖像一個(gè)通道的4個(gè)紋理特征影像,對(duì)圖像的剩余兩個(gè)通道重復(fù)以上操作便求得了整個(gè)圖像的紋理特征影像,一共12張圖像.將圖像的12個(gè)紋理特征影像按照R,G,B的順序疊加得到多元圖像X(r+n-1)×(c+n-1)×12,其構(gòu)造過程如圖1所示.由此方法構(gòu)造的多元圖像X具有12個(gè)通道,每個(gè)通道為原RGB圖像的一種紋理特征影像,因此,構(gòu)造的多元圖像X的每個(gè)像素均具有12維特征.

圖1 多元圖像的構(gòu)造Fig.1 Construction of multivariate image

3 多元圖像分析與分割應(yīng)用

3.1 多元圖像分析方法

PCA可以將多元圖像數(shù)據(jù)分解成一系列相互正交的主成分,這些主成分是原始數(shù)據(jù)的線性組合,包含了原始數(shù)據(jù)的信息,按照方差從大到小排列.本文構(gòu)造的多元圖像X(r+n-1)×(c+n-1)×12具有12 個(gè)通道,在進(jìn)行PCA分析前需要將多元圖像數(shù)據(jù)展開成二維的矩陣.假設(shè)一個(gè)大小為(r+n-1)×(c+n-1)的單通道圖像S的列向量為e1,e2,e3,···,er+n-1,則其可以展開成一個(gè)大小為((r+n-1)×(c+n-1))×1的列向量S′,如式(13)所示:

對(duì)多元圖像矩陣X的每一個(gè)通道執(zhí)行上式處理后合并到一個(gè)矩陣,則完成了多元圖像矩陣的展開,得到展開矩陣X′,如式(14)所示:

多元圖像每一個(gè)通道的像素?cái)?shù)量即為展開矩陣X′的行數(shù),多元圖像的通道數(shù)量即為展開矩陣X′的列數(shù).得到展開矩陣X′后即可對(duì)其進(jìn)行PCA分析,將其分解成A(A≤12)個(gè)主成分的線性組合,如式(15)所示:

其中:ta(a=0,1,2,···,A)是相互正交,大小為((r+n-1)×(c+n-1))×1的分?jǐn)?shù)向量;Pa(a=0,1,2,···,A)是相互正交,大小為12×1的載荷向量;E是大小為((r+n-1)×(c+n-1))×12的殘差矩陣.

分?jǐn)?shù)向量ta中的元素與多元圖像中的每一通道的像素值一一對(duì)應(yīng),可以依照展開的順序?qū)⑵湔郫B成(r+n-1)×(c+n-1)的矩陣以恢復(fù)像素的空間信息,折疊后的矩陣以圖像形式顯示,被稱為得分圖像.使用兩個(gè)不同的分?jǐn)?shù)向量所畫出來的散點(diǎn)圖稱為得分圖,得分圖像和得分圖即可作為圖像的信息用于分割.將載荷向量以直方圖的形式呈現(xiàn)被稱為載荷直方圖,通過查看載荷直方圖可以獲知PCA對(duì)多元圖像各通道的分析情況.

3.2 圖像分割

圖像分割目的是從圖像中分割出感興趣的區(qū)域,多元圖像分析可以直接對(duì)一張圖像進(jìn)行分割,也可以對(duì)一種類型的圖像進(jìn)行分割.對(duì)于前者,從得分圖中選擇與圖像相關(guān)的感興趣區(qū)域的部分構(gòu)造蒙版矩陣,即可對(duì)圖像進(jìn)行分割,也可以直接挑選最能突出感興趣區(qū)域的得分圖像利用閾值進(jìn)行圖像分割.在成功的分割圖像之后,可以構(gòu)建PLS-DA模型對(duì)圖像上的像素進(jìn)行分類,稱為像素級(jí)分類.利用構(gòu)建的PLS-DA模型可以對(duì)具有同類型感興趣區(qū)域的圖像進(jìn)行像素級(jí)分類,將分類結(jié)果以圖像形式顯示即完成了對(duì)圖像的感興趣區(qū)域的分割.

使用PLS-DA模型對(duì)多元圖像進(jìn)行像素級(jí)分類準(zhǔn)確度欠佳,對(duì)一些特征不明顯的圖像進(jìn)行像素級(jí)分類會(huì)出現(xiàn)分類錯(cuò)誤,如導(dǎo)致感興趣的區(qū)域分割不完全或分割出背景部分.本文使用機(jī)器學(xué)習(xí)中的決策樹對(duì)圖像進(jìn)行像素級(jí)分類,以完成對(duì)圖像感興趣區(qū)域的分割.決策樹是一種使用對(duì)象的屬性數(shù)據(jù)遞歸構(gòu)建二叉決策樹進(jìn)行分類的機(jī)器學(xué)習(xí)算法[23].本文使用的ID3(iterative dichotomiser3)決策樹學(xué)習(xí)算法以信息增益為準(zhǔn)則來進(jìn)行屬性劃分以生成決策樹.假如一個(gè)隨機(jī)變量X取值為X=x1,x2,···,xn,每一種取到的概率分別是p1,p2,···,pn,X的信息熵,定義如下:

根據(jù)信息熵的定義可計(jì)算得到信息增益,如式(17)所示:

其中:S為全部樣本集合,valve(T)是屬性T所有取值的集合,v是T中一個(gè)屬性值,Sv是S中屬性T的值為v的樣例集合,|Sv|為Sv中所含樣例數(shù).

在完成圖像感興趣區(qū)域的分割之后,將分割出的感興趣部分的值令為1,其余部分令為0.使用式(13)進(jìn)行展開,作為決策樹的訓(xùn)練輸出數(shù)據(jù).選擇最能突出感興趣區(qū)域的得分圖像展開后作為決策樹的訓(xùn)練輸入數(shù)據(jù).訓(xùn)練得到的決策樹模型即可完成圖像的像素級(jí)分類.

本文將使用第2節(jié)所述方法構(gòu)造多元圖像后,再使用多元圖像分析進(jìn)行閾值分割的方法稱為GLCMMIA.

4 實(shí)驗(yàn)結(jié)果及討論

鋼鐵工業(yè)中的無損檢測(cè)系統(tǒng)會(huì)對(duì)硅鋼條的表面缺陷進(jìn)行檢測(cè),以把控產(chǎn)品質(zhì)量.本節(jié)選用有缺陷的被油污污染的硅鋼條表面數(shù)據(jù)集[24]作為實(shí)驗(yàn)對(duì)象,首先,以刮痕缺陷圖像為對(duì)象進(jìn)行圖像分割并展示實(shí)驗(yàn)細(xì)節(jié),然后,在整個(gè)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果并進(jìn)行分析.

4.1 圖像分割實(shí)驗(yàn)

圖像大小為640×480×3,圖像上有反射偽缺陷干擾,如圖2所示.選擇缺陷為感興趣區(qū)域,使用GLCMMIA對(duì)感興趣區(qū)域進(jìn)行分割.

圖2 帶有表面缺陷的被油污污染的硅鋼條表面Fig.2 Oil-contaminated silicon steel pieces with surface defect

選擇使用尺寸為9的滑動(dòng)窗口,求取原始圖像各通道的灰度共生矩陣的統(tǒng)計(jì)量矩陣,將其以圖像形式顯示即為灰度共生影像,如圖3所示.

圖3 灰度共生影像Fig.3 Gray-level co-occurrence image

第1行從左到右分別為RGB通道的對(duì)比灰度共生影像,其突出了表面缺陷和偽缺陷的邊緣;第2行從左到右分別為RGB通道的相關(guān)性灰度共生影像,其硅鋼條的刮痕像素強(qiáng)度與背景接近,偽缺陷較為突出;第3行從左到右分別為RGB通道的能量灰度共生影像,其刮痕和偽缺陷都較為突出,且刮痕與偽缺陷的像素強(qiáng)度相差較大;第4行從左到右分別為RGB通道的同質(zhì)灰度共生影像,其突出了刮痕和偽缺陷的邊緣.雖然這些圖像都在一定程度上突出了刮痕,但是圖像背景中散亂分布著大量與刮痕像素強(qiáng)度接近的像素點(diǎn).

將得到的灰度共生影像與各通道的圖像相加,得到紋理特征影像,如圖4所示.

圖4 紋理特征影像Fig.4 Texture feature image

紋理特征影像與圖像各通道的圖像相似,很難觀察出顯著區(qū)別.但紋理特征影像中同一物體的像素強(qiáng)度存在一定規(guī)律.使用PCA分析可以將這種規(guī)律具現(xiàn).

將得到的紋理特征影像按照RGB通道順序疊加,構(gòu)造大小為640×480×12的多元圖像.將得到的多元圖像展開后應(yīng)用PCA分析,得到分?jǐn)?shù)矩陣.分?jǐn)?shù)矩陣中前4個(gè)主成分的方差為99.9982%,包含了原圖的主要信息.將前4個(gè)主成分以原圖像的格式折疊,得到得分圖像如圖5所示.

圖5 GLCM-MIA的得分圖像Fig.5 Score image of GLCM-MIA

主成分(principal component,PC)中,PC1 的得分圖像保留了原圖的主要信息;PC2的得分圖像突出顯示了偽缺陷和刮痕,但二者的像素強(qiáng)度相近;PC3的得分圖像突出顯示了偽缺陷;PC4的得分圖像突出顯示了刮痕和偽缺陷,且二者的像素強(qiáng)度相差很大.

由此可見,PC1,PC2,PC3的得分圖像中均存在著大量與刮痕像素強(qiáng)度相接近的像素點(diǎn),若選擇它們作為分割對(duì)象可能會(huì)存在一定的誤分割,而PC4中刮痕像素強(qiáng)度與背景和偽缺陷的像素強(qiáng)度相差較大.因此,可選擇PC4 的得分圖像用作分割,使用閾值分割對(duì)PC4的得分圖像做分割,得到分割后的圖像,如圖6所示.

圖6 GLCM-MIA的分割結(jié)果Fig.6 Segmentation results of GLCM-MIA

對(duì)原圖應(yīng)用ct-MIA[8]得到的前4個(gè)得分圖如圖7所示.PC1的得分圖顯示了主要信息,PC2,PC3和PC4的得分圖像突出顯示了圖像中的輪廓信息,但均未對(duì)刮痕,背景和偽缺陷做出區(qū)分.

圖7 ct-MIA的得分圖像Fig.7 Score image of ct-MIA

選擇PC1和PC2作散點(diǎn)圖,選擇刮痕所在的集合做分割,得到分割后的圖像,如圖8所示.

圖8 ct-MIA的分割結(jié)果Fig.8 Segmentation results of ct-MIA

為度量分割精度,此處使用均像素精度(mean pixel accuracy,MPA)和均交并比(mean intersection over union,MIoU)來衡量分割精度[25].為便于解釋,做如下假設(shè): 圖像的像素共有k+1類,Pij為本應(yīng)屬于類i但被分類到類j的像素?cái)?shù)量.MPA是每個(gè)類內(nèi)被正確分類像素?cái)?shù)比例的和的平均值,定義如式(18)所示:

MIoU是每個(gè)類的預(yù)測(cè)值和真實(shí)值的交集和并集之比的和的平均值,定義如式(19)所示:

GLCM-MIA 和ct-MIA 分割結(jié)果的性能指標(biāo)如表1 所示,GLCM-MIA 的MPA 相比ct-MIA 提升了約15.31%,MIoU提升了約5.07%.

表1 GLCM-MIA和ct-MIA的分割性能表Table 1 Performance comparison between GLCMMIA and ct-MIA

研究載荷直方圖可以得出每一個(gè)主成分所反映的不同顏色通道或紋理特性之間的關(guān)系.本文構(gòu)造的多元圖像包含了3個(gè)顏色通道,每個(gè)顏色通道4種紋理特征影像,共3×4=12種圖像特征,GLCM-MIA的載荷直方圖中的12個(gè)柱與這12種特征一一對(duì)應(yīng),載荷直方圖中柱的長(zhǎng)度與對(duì)應(yīng)的特征在得分向量中的比重正相關(guān),使用GLCM-MIA得到的載荷矩陣分別畫出前4個(gè)主成分的載荷直方圖.如圖9所示.

圖9 GLCM-MIA得到的載荷直方圖Fig.9 Loading histogram of GLCM-MIA

分析GLCM-MIA的載荷直方圖可知: PC1的載荷圖中,12種圖像特征的值都較為接近,因此PC1包含了原始圖像平均的顏色特征信息和紋理特征信息;PC2的載荷圖中,紅、綠色通道特征為負(fù)值,藍(lán)色通道特征為正值,且綠色通道特征的絕對(duì)值較小,因此,PC2著重體現(xiàn)了紅色通道與藍(lán)色通道之間特征的差異;PC3的載荷圖中,紅、藍(lán)色通道特征為負(fù)值,綠色通道特征為正值,因此,PC3體現(xiàn)了綠色通道與紅、藍(lán)色通道之間特征的差異;PC4的載荷圖中,每個(gè)顏色通道的紋理特征都有相似的分布趨勢(shì),即對(duì)比度紋理特征為正值,能量、同質(zhì)性紋理特征為負(fù)值,相關(guān)性紋理特征的絕對(duì)值很小,因此,PC4體現(xiàn)了圖像對(duì)比度與能量,同質(zhì)性特征之間的差異,而GLCM-MIA的PC4得分圖像中突出顯示了刮痕,且與背景區(qū)別較為明顯,PC4對(duì)于原圖信息的提取實(shí)現(xiàn)了這種顯示方式.

為研究PC4所提取圖像信息的規(guī)律,建立PC4的得分圖像中像素與其最鄰近的8 個(gè)像素的強(qiáng)度圖像,如圖10所示.觀察圖10可知,PC4體現(xiàn)了右下到左上方向的像素強(qiáng)度變化.

圖10 像素強(qiáng)度分布圖Fig.10 Pixel intensity distribution grid

使用ct-MIA的載荷矩陣畫出前4個(gè)主成分的載荷直方圖,如圖11所示.分析ct-MIA的載荷直方圖可知:PC1包含了圖像的平均顏色信息,PC2,PC3和PC4則提取了圖像在某個(gè)方向的空間信息.

圖11 ct-MIA得到的載荷直方圖Fig.11 Loading histogram of ct-MIA

對(duì)載荷直方圖的分析可知,GLCM-MIA 相比ct-MIA更能提取圖像的顏色差異信息,且能提取更多的紋理信息.

使用前文的分割結(jié)果建立決策樹模型,該模型可以對(duì)具有同類型刮痕缺陷的圖像的像素進(jìn)行分類,稱為像素級(jí)分類.像素級(jí)分類會(huì)將圖像的像素分成缺陷和完好兩種類型,將分類結(jié)果以圖像形式顯示即完成了缺陷的分割.將GLCM-MIA 的得分矩陣的第4列作為決策樹的訓(xùn)練輸入數(shù)據(jù),將GLCM-MIA得到的分割結(jié)果圖像展開為(640×480)×1的列向量,作為決策樹的訓(xùn)練輸出數(shù)據(jù),采用五折交叉驗(yàn)證,訓(xùn)練得到?jīng)Q策樹模型.

使用訓(xùn)練好的決策樹模型對(duì)具有同類型表面缺陷的被油污污染的硅鋼條圖像進(jìn)行像素級(jí)分類.對(duì)該圖像應(yīng)用GLCM-MIA 進(jìn)行分析,該圖像及其第4得分圖像如圖12所示.該圖像的第4得分圖像同樣突出顯示了缺陷.選取對(duì)該圖像應(yīng)用GLCM-MIA后得到的得分矩陣的第4列作為模型的輸入數(shù)據(jù)以完成像素級(jí)分類.

圖12 原始圖像與應(yīng)用GLCM-MIA后的圖像Fig.12 Original image and image after applying GLCM-MIA

分類結(jié)果如圖13(a)所示,使用ct-MIA的結(jié)果建立PLS-DA 模型[26],對(duì)該圖像進(jìn)行像素級(jí)分類,結(jié)果如圖13(b)所示.對(duì)比發(fā)現(xiàn),應(yīng)用GLCM-MIA進(jìn)行像素級(jí)分類的結(jié)果分割出了一部分偽缺陷,但對(duì)于刮痕的分割相比ct-MIA完整很多.

圖13 不同方法進(jìn)行像素級(jí)分類的結(jié)果Fig.13 Results of pixel-level classification using different methods

為量化應(yīng)用GLCM-MIA 像素級(jí)分類進(jìn)行分割的精準(zhǔn)度,同樣使用均像素精度MPA 和均交并比MIoU來衡量對(duì)圖像進(jìn)行像素級(jí)分類的精度.應(yīng)用GLCMMIA和ct-MIA像素級(jí)分類的分割結(jié)果的性能指標(biāo)如表2所示,從表中可以看出:GLCM-MIA 的MPA 相比ct-MIA提升了約23.23%,MIoU提升了約19.95%.

表2 GLCM-MIA+決策樹與ct-MIA+PLS-DA圖像分割的性能對(duì)比Table 2 Performance comparison of GLCM-MIA+decision tree and ct-MIA+PLS-DA

4.2 對(duì)比實(shí)驗(yàn)

在整個(gè)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),數(shù)據(jù)集中包含硅鋼條的常見缺陷的圖像,即刮痕、小缺陷和擦痕,一共51張RGB圖像,圖像大小均為640×480×12.從數(shù)據(jù)集中選取3張具有不同缺陷的圖像作為示例進(jìn)行分割,選擇感興趣的區(qū)域?yàn)槿毕輩^(qū)域.3 種具有不同缺陷的硅鋼條表面圖像如圖14所示,圖14(a)-14(c)分別為具有刮痕、小缺陷和擦痕的被油污污染的硅鋼條.

圖14 具有不同缺陷的硅鋼片F(xiàn)ig.14 Silicon steel pieces with different defects

本節(jié)選擇與兩種方法做對(duì)比,一種是ct-MIA[8];另一種是Guan等人[27]提出的一種基于峰值圖的快速密度峰值聚類圖像分割算法(peak-graph-based fast density peak clustering,PGDPC)相比一些圖像分割算法具有一定優(yōu)勢(shì).對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如圖15所示.

圖15 對(duì)比實(shí)驗(yàn)結(jié)果圖Fig.15 Comparison of image segmentation results

對(duì)圖14(a)的分割結(jié)果如圖15第1列圖像所示,3種方法對(duì)于刮痕的分割都較為完整,但ct-MIA和PGDPC存在較多的誤分割.對(duì)圖14(b)的分割結(jié)果如圖15第2列所示,ct-MIA對(duì)小缺陷的分割不完整,本文所提方法和PGDPC對(duì)于小缺陷的分割較為完整,但PGDPC存在較多的誤分割.對(duì)圖14(c)分割結(jié)果如圖15第3列所示,PGDPC無法完成對(duì)擦痕的分割,ct-MIA和本文所提方法都分割出來了一部分的殘痕,但是本文所提方法的分割結(jié)果更加完整.

為量化3 種分割方法的分割精準(zhǔn)度,本節(jié)選擇均交并比(MIoU)作為性能指標(biāo).ct-MIA,PGDPC 和GLCM-MIA性能指標(biāo)如表3所示.

從表3中可以看出,本文所提方法對(duì)圖14所示3張圖像進(jìn)行分割,相較于ct-MIA有3%～30%的性能提升.圖14(c)中感興趣區(qū)域與背景的顏色差異不明顯,但具有一定的紋理特征差異,說明本文所提方法可處理圖像的紋理特征;圖14(a)-14(b)的背景較為復(fù)雜且有偽缺陷作為干擾,感興趣區(qū)域與背景和偽缺陷有一定顏色差異,證明GLCM-MIA 也可對(duì)圖像顏色進(jìn)行處理.對(duì)數(shù)據(jù)集中的所有圖像進(jìn)行對(duì)比實(shí)驗(yàn),統(tǒng)計(jì)ct-MIA,PGDPC和GLCM-MIA對(duì)3種類型缺陷進(jìn)行分割的MIoU如表4所示.

表4 性能對(duì)比表Table 4 Performance comparison table

綜上實(shí)驗(yàn)結(jié)果與分析表明,本節(jié)提出的分割方法綜合了圖像的紋理特征和顏色特征,在分割精度上有一定優(yōu)越性.

5 結(jié)論

本文基于圖像紋理特征提出了一種新的多元圖像構(gòu)造方法,該方法構(gòu)造的多元圖像既提取了圖像的顏色特征,也提取了圖像的紋理特征.結(jié)合本文提出的多元圖像構(gòu)造方法與多元圖像分析方法,進(jìn)行了圖像分割應(yīng)用,解決了應(yīng)用經(jīng)典多元圖像分析方法進(jìn)行圖像分割時(shí)無法分析圖像紋理特征的難題.針對(duì)需要對(duì)多張圖像進(jìn)行分割的任務(wù),使用GLCM-MIA與決策樹結(jié)合,可以簡(jiǎn)化分割流程.在不同類型的圖像數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)表明,GLCM-MIA相比其他圖像分割算法在計(jì)算精度上具有一定優(yōu)越性.