李嘯宇 張秋菊

(1. 江南大學(xué)機(jī)械工程學(xué)院，江蘇 無錫 214122； 2. 江蘇省食品先進(jìn)制造裝備與技術(shù)重點實驗室，江蘇 無錫 214122)

融合局部紋理特征的顆粒圖像SLIC超像素分割方法

李嘯宇1,2張秋菊1,2

(1. 江南大學(xué)機(jī)械工程學(xué)院，江蘇 無錫 214122； 2. 江蘇省食品先進(jìn)制造裝備與技術(shù)重點實驗室，江蘇 無錫 214122)

將SLIC超像素分割的方法引入顆粒圖像檢測的分割過程中，將顆粒圖像分割成感興趣的超像素塊，可降低后續(xù)圖像處理過程的復(fù)雜度。由于SLIC超像素分割在聚類過程中計算相似度時沒有考慮圖像的紋理特征，一定程度上會影響顆粒目標(biāo)外輪廓分割的細(xì)節(jié)。利用CRLBP局部紋理算子紋理特征，改進(jìn)SLIC分割中聚類相似度的計算，并按照符合顆粒形狀的圓形鄰域搜索相似點，保證了分割速度。通過對棉種顆粒圖像的分割試驗，與傳統(tǒng)分水嶺算法和SLIC超像素算法進(jìn)行比較，結(jié)果表明改進(jìn)的SLIC超像素分割方法能更有效地分割出顆粒目標(biāo)。

顆粒圖像；超像素分割；SLIC；局部紋理算子；CRLBP

在農(nóng)業(yè)生產(chǎn)過程中，經(jīng)常需要對顆粒狀農(nóng)產(chǎn)品進(jìn)行視覺檢測與品質(zhì)分選[1]。由于顆粒圖像中目標(biāo)物體數(shù)量多，圖像處理工作量大，所以快速而精確的圖像分割是正確在線視覺檢測分類的前提。顆粒狀物體圖像中還會經(jīng)常出現(xiàn)顆粒相互黏連重疊的情形，這對于顆粒圖像的分割帶來一定的困難。最常用的顆粒圖像分割方法一般運用形態(tài)學(xué)中的極限腐蝕與膨脹的方法或距離變換[2]的方法。但是這類算法計算量大、耗時長、占用內(nèi)存空間大，存在過分割的現(xiàn)象，分割結(jié)果與顆粒目標(biāo)的外輪廓有一定差異，無法實際運用到在線分類的場合。

超像素的概念是指具有相似紋理、顏色、亮度等特征的相鄰像素組合構(gòu)成的圖像塊。運用各像素特征的相似程度將像素分組，獲取圖像的冗余信息，以減少后續(xù)圖像處理的復(fù)雜度。超像素分割可分為基于圖論的方法和基于梯度上升的方法兩大類?；趫D論的方法則主要把圖像看作帶權(quán)無向圖，圖中的每個像素對應(yīng)一個節(jié)點，邊權(quán)值對應(yīng)像素間的相似性或者差異，利用分割準(zhǔn)則對圖像節(jié)點進(jìn)行分類，完成對圖像的分割?；趫D論的方法主要有歸一化分割(normalized cuts)方法[3-4]、基于圖的分割(graph-based)方法[5]和超像素網(wǎng)格(superpixel lattice)的方法[6]。基于梯度上升的方法主要采用了聚類的思想方法，通過迭代聚類直至收斂，得到分割結(jié)果?；谔荻壬仙姆椒ㄖ饕蟹炙畮X(watersheds)方法[7]、MeanShift方法[8]、QuickShift方法[9]、TurboPixels方法[10]和SLIC(simple linear iterative clustering)方法[11]。SLIC 算法是基于顏色和距離相似性的超像素分割，該方法主要使用局部計算比較和快速聚類，可以產(chǎn)生大小均勻和形狀規(guī)則的超像素，一般情況下具有良好的分割效果。

SLIC超像素分割只考慮了圖像的空間和色彩信息，沒有利用圖像紋理特征。本研究針對顆粒圖像提出一種融合局部紋理特征的SLIC圖像分割方法，利用簡單的CRLBP局部紋理算子紋理特征，按照符合顆粒形狀的圓形鄰域進(jìn)行搜索相似點，以更為有效地分割出所感興趣的顆粒目標(biāo)群體。

1 SLIC超像素分割

SLIC超像素分割是一種高效簡單并且易于實現(xiàn)的分割算法，其相比于其他超像素算法能夠更加有效地利用存儲空間，呈現(xiàn)出更好的分割邊緣貼合度，生成緊湊均勻的超像素，有效提高了分割算法的性能。SLIC超像素分割是K-means聚類算法的改型，主要思想是將彩色圖像轉(zhuǎn)換為CIELAB顏色空間，提取CIELAB色彩與空間坐標(biāo)的5維特征向量并構(gòu)造特征向量的相似度衡量標(biāo)準(zhǔn)，而后以此對圖像像素進(jìn)行局部聚類。SLIC超像素分割的具體步驟為：

(2) 計算相似度。計算圖像中每個像素點和與其距離最近的聚類中心之間的相似度，將最相似聚類中心的標(biāo)簽賦予該像素。通過多次迭代上述過程進(jìn)行聚類收斂，而相似度的表達(dá)式[11]為：

(1)

(2)

(3)

式中：

dc——像素點間的顏色差異；

ds——像素點間的空間距離；

D′——兩個像素的相似度；

i——聚類中心標(biāo)簽；

j——對應(yīng)聚類中心i的2S×2S大小鄰域的像素坐標(biāo)的一維索引值；

Nc——像素點間的色彩最大距離；

Ns——像素點間的空間最大距離。

(4)

m的取值可用于平衡色彩相似度和空間相似度之間的比重關(guān)系。D取值越小則表示兩個像素越相似。

圖1 SLIC圖像分割效果

2 CRLBP紋理特征表述

紋理特征的描述方法大致可以分為統(tǒng)計方法、結(jié)構(gòu)方法、模型方法和局部算子方法四類。而局部算子方法LBP(localbinarypattern)算子[12]是一種用于描述圖像局部紋理特征的算子，該算子計算簡單并具有很強(qiáng)的紋理表述能力。后續(xù)相繼出現(xiàn)了大量改進(jìn)LBP算法，具有代表性的有自對稱的LBP算子(CS-LBP)[13]，主要LBP算子(dominantLBP)[14]、局部三值模式算子(localternarypattern，LTP)[15]和完備的LBP算子(completedLBP)[16]等。本文采用完備魯棒的CRLBP[17]紋理特征表述方式，來描述局部紋理算子。CRLBP算子作為LBP算子的改進(jìn)方法，不但繼承了LTP和CLBP的優(yōu)點，而且解決了LTP和CLBP的缺陷，提高了LBP算子的對于亮度、旋轉(zhuǎn)和噪聲的魯棒性。

2.1RLBP(robustlocalbinarypattern)紋理特征描述

首先，為了提高局部紋理算子的魯棒性，定義一個對噪聲不敏感的局部平均灰度AL作為閾值，具體定義：

(5)

式中：

lc——算子中心像素灰度值；

li(i=0,1,…,8)——中心像素點周圍鄰域8個像素點的灰度值；

α——中心像素灰度的權(quán)值，α取值越大則代表中心像素的灰度信息保留越明顯，同時也更易受到噪聲的影響。

由此RLBP局部紋理算子公式：

(6)

(7)

式中：

lP(P=0,1,…,P-1)——中心像素點周圍鄰域的像素點灰度值；

P——鄰域像素點的總數(shù)；

R——鄰域像素的半徑。

2.2 CRLBP(completed robust local binary pattern)紋理特征描述

CRLBP紋理特征局部算子是RLBP的完備框架，主要包括3個部分：CRLBP_Sign(CRLBP_S)、CRLBP_Magnitude(CRLBP_M)和CRLBP_Center(CRLBP_C)。其中CRLBP_S就是RLBP算子本身，而CRLBP_M則是計算局部平均灰度差值mp與其全局平均值c進(jìn)行比較編碼生成的算子，具體公式：

(8)

(9)

(10)

同時定義CRLBP_C來表達(dá)局部灰度與全局平均灰度之間的關(guān)系：

(11)

(12)

式中：

ALc——每個中心像素的局部平均灰度值；

ci——全局平均灰度值。

最后將CRLBP_S，CRLBP_M，CRLBP_C直接銜接起來作為CRLBP紋理特征。

3 顆粒圖像超像素分割改進(jìn)方法

SLIC算法雖然具有良好的空間和色彩復(fù)雜度，但是其沒有利用圖像的局部紋理特征，當(dāng)背景和目標(biāo)色彩相近但是紋理不同的情況下，不能很好地分割出符合目標(biāo)輪廓的超像素，降低了分割精度。針對該情況，將CRLBP局部紋理特征算子引入SLIC算法的相似度計算中，更加全面準(zhǔn)確地分割圖像。同時由于CRLBP算子簡單高效，保證了SLIC算法原有分割速度快的特點。

3.1CRLBP局部紋理特征分量的選取

為了將CRLBP局部紋理特征算子引入SLIC算法的相似度計算中，本研究仍沿用SLIC算法中相似度計算的思路，計算初始聚類中心與鄰域像素點的CRLBP局部紋理特征之間的相似度，來作為改進(jìn)算法的紋理相似度分量。

首先，計算以聚類中心的中心i，定義一個半徑為r的圓形紋理單元，利用式(6)～(10)計算該紋理單元的CRLBP(P=8)直方圖，記為Ti(x)。同時計算以聚類中心i附近2S×2S大小鄰域中的像素點j為中心，半徑為r的圓形紋理單元的CRLBP直方圖，記為Lj(x)。然后，使用最常用的簡單高效的直方圖測度方法χ2統(tǒng)計，來計算兩個像素點所對應(yīng)的紋理單元直方圖之間的相似度。χ2統(tǒng)計距離的計算：

(13)

其中：

X——直方圖的bins值；

χ2——統(tǒng)計距離的取值越小，則代表兩個像素點附近的紋理越相似。

3.2 基于空間、顏色與紋理特征相似度融合的改進(jìn)SLIC分割方法

詳細(xì)的改進(jìn)SLIC分割方法步驟：

(2) 將聚類中心移動到以它為中心的3×3的窗口內(nèi)梯度值最小的位置。

(3) 計算每個聚類中心Ci周圍以S為半徑的鄰域中每個像素j到中心Ci的相似度距離Dist。在聚類中心圓形鄰域中搜索相似像素相比原來在2S×2S的區(qū)域，可以減少計算量，搜索范圍更加貼合顆粒圖像的類圓性質(zhì)，提高了聚類圖像的魯棒性。相似度距離Dist主要由顏色相似度分量dc、空間相似度分量ds與紋理相似度分量dχ2組成。具體的相似度分量與相似度距離D表達(dá)式：

(14)

(15)

(16)

(17)

式中：

m——顏色相似度分量的平衡參數(shù)；

t——紋理相似度分量的平衡參數(shù)，用來衡量顏色、空間與紋理三個特征分量在相似度計算中的比重。

(5) 重復(fù)執(zhí)行(4)和(5)兩步，完成整幅圖像的聚類工作。而后重新計算聚類后每個聚類顏色和空間特征的均值，來重新定義聚類中心，并計算相應(yīng)的紋理單元CRLBP直方圖。然后重復(fù)迭代直至達(dá)到設(shè)定閾值。

(6) 最后采用鄰近合并策略來合并孤立的小尺寸超像素，保證最終結(jié)果具有良好的緊密貼合度。

4 結(jié)果與分析

選用脫絨棉種顆粒圖像作為研究對象，顆粒目標(biāo)盡量選擇形狀和大小各異，具有裂紋和破損，且參有雜質(zhì)的棉種。使用常用的分水嶺方法、SLIC方法與本方法對1 024×1 024 分辨率的少量和大量棉種顆粒圖像進(jìn)行比較試驗，結(jié)果見圖2。本研究使用迭代次數(shù)代替殘錯度閾值來控制迭代過程，聚類重復(fù)迭代次數(shù)選擇為10，過多或者過少的迭代次數(shù)會影響聚類效果且耗時。本研究試驗中超像素個數(shù)K設(shè)為100和300，超像素個數(shù)過多過少會出現(xiàn)過分割與欠分割的現(xiàn)象。在式(17)中，m取值為20，t取值為10，用于控制超像素的緊密貼合程度和紋理分割細(xì)節(jié)。關(guān)于CRLBP局部紋理算子相關(guān)參數(shù)，中心像素灰度的權(quán)值∝取值為8，CRLBP半徑R取值為1，鄰域像素點總數(shù)為8，紋理單元大小半徑r取值為20。試驗平臺為Intel Core 2450 2.5 GHz主頻和4 GB內(nèi)存的計算機(jī)。

具體的試驗分割效果見圖3，分割效果細(xì)節(jié)對比見圖4。由圖4可知，改進(jìn)的SLIC超像素分割方法具有更好的紋理細(xì)節(jié)分割特征，其將尚未脫去的棉花絨與棉種分割出來，保留了輪廓細(xì)節(jié)，并且在黏連顆粒的地方可以有效地分割出不同的顆粒目標(biāo)。本方法在K取值為300的情況下，分割耗時為530 ms，保證了一定的分割速度。

圖2 脫絨棉種顆粒圖像

圖3 試驗分割效果圖

5 結(jié)論

本研究提出一種改進(jìn)的SLIC方法來對顆粒圖像進(jìn)行分割，利用局部紋理算子CRLBP重新融合計算相似度，改進(jìn)聚類中心相似像素的搜索方法，使得分割結(jié)果具有更好的紋理細(xì)節(jié)分割特征和更高的分割效率。試驗結(jié)果表明，與原方法相比，該方法的分割精確度有所提高。相對于其他常見顆粒圖像分割方法，本方法計算簡單，對局部噪聲敏感度低，有效地減少了過分割的現(xiàn)象。后續(xù)將在超像素分割的基礎(chǔ)上，對超像素進(jìn)行合并分類的工作，完成顆粒目標(biāo)檢測、篩選和分類等工作。

[1] 王衛(wèi)翼, 張秋菊. 基于機(jī)器視覺的蟲蝕葵花籽識別與分選系統(tǒng)[J]. 食品與機(jī)械, 2014, 30(2): 109-113.

[2] CUISENAIRE O. Distance transformations: fast algorithms and applications to medical image processing [D]. Louvain-la-Neuve, Belgium: Universit catholique de Louvain (UCL), 1999: 13-50.

[3] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [C]// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 731-737.

[4] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[5] FELZENSWALB P F，HUTTENLOCHER D P. Efficient graph-based image segmentation [J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[6] MOOREA, PRINCE S, WARRELL J, et al. Superpixel lattices [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE Computer Society, 2008: 1-8.

[7] VINCENT L, SOILLE P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[8] COMANICIU D, MEER P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[9] VEDALDI A, SOATTO S. Quick shift and kernel methods for mode seeking [C]// European Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2008: 705-718.

[10] LEVINSHTEIN A, STERE A, KUTULAKOS K N, et al. Turbopixels: fast superpixels using geometric flows [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2009, 31(12) : 2 290-2 297.

[11] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2 274-2 282.

[12] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[13] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with center-symmetric local binary patterns [J]. Computer Vision, Graphics and Image Processing, 2006, 4 338: 58-69.

[14] LIAO S, LAW W K Max, CHUNG C S Albert. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing, 2009, 18(5): 1 107-1 118.

[15] TAN Xiao-yang, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 635-1 650.

[16] GUO Zheng-hua, ZHANG Lei, ZHANG David. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 657-1 663.

[17] 趙洋. 基于局部描述子的紋理識別方法及其在葉片識別方面的應(yīng)用[D]. 合肥: 中國科技大學(xué), 2013: 37-40.

A SLIC-basedsuperpixel segmentation method by using local texture features for granular image

LI Xiao-yu1,2ZHANGQiu-ju1,2

(1.SchoolofMechanicalEngineering,JiangnanUniversity,Wuxi,Jiangsu214122,China; 2.JiangsuKeyLaboratoryofAdvancedFoodManufacturingEquipmentandTechnology,Wuxi,Jiangsu214122,China)

This paper adopts SLIC-based superpixel segmentation method in the granular image detection. SLIC method segments the granular image into superpixel block which will reduce the complexity of the subsequent image processing. As SLIC superpixel segmentation method doesn’t use the texture feature in the distance calculation, the detail of the outline for the granular object is lost. This paper adopts the CRLBP local texture operator as the texture feature to improve the SLIC segmentation’s distance calculation and searches the similar pixel in circle neighborhood pixels to guarantee the processing speed. The test on cotton seed image shows that the improved SLIC superpixel segmentation method is more efficient than watershed and original SLIC method.

granular image; superpixel segmentation; SLIC; local texture operator; CRLBP

10.13652/j.issn.1003-5788.2016.12.007

國家自然科學(xué)基金項目資助(編號：51575236)；教育部中央高?；究蒲袠I(yè)務(wù)專項基金資助(編號：JUSRP51316B)；江蘇省食品先進(jìn)制造裝備技術(shù)重點實驗室(江南大學(xué))資助

李嘯宇(1986—)，男，江南大學(xué)在讀博士研究生。 E-mail：anotherlxy@hotmail.com

2016—05—13