張亞亞,劉小偉,劉福太,張建廷
(海軍航空工程學(xué)院電子信息工程系,山東煙臺(tái)264001)
如何把目標(biāo)物體從圖像中有效地分割出來(lái)一直是計(jì)算機(jī)視覺(jué)和圖像理解中的經(jīng)典難題之一,它決定了圖像的最終分析質(zhì)量和模式識(shí)別的判別結(jié)果。圖像分割是指將圖像中具有特殊意義的不同區(qū)域分開,并使這些區(qū)域互不相交,每個(gè)區(qū)域滿足特定區(qū)域的一致性條件。圖像分割中尺度問(wèn)題是圖像處理一直關(guān)注的重點(diǎn),傳統(tǒng)的基于像元的方法都是在一個(gè)尺度上分析的,當(dāng)要同時(shí)描述、解釋或提取幾個(gè)尺度的地物類型時(shí),單一尺度的數(shù)據(jù)往往不能解決問(wèn)題。目前,較流行的超像素方法,利用尺度思想將圖像過(guò)分割生成多個(gè)同質(zhì)性區(qū)域,它捕捉圖像的冗余,更有利于從中計(jì)算圖像特征,并降低了后續(xù)圖像處理的復(fù)雜程度。因此,基于超像素[1]的圖像分割方法以其良好的分割邊界[2]、高效處理速度及較低的計(jì)算復(fù)雜度[3],廣泛應(yīng)用于圖像分割預(yù)處理過(guò)程中。
目前,產(chǎn)生超像素的方法主要分成2類:基于圖論的方法和基于梯度上升的方法[4]?;谔荻壬仙姆指罘椒ㄊ紫鹊玫揭粋€(gè)粗略聚類,利用梯度上升的方法改進(jìn)前一次迭代聚類的結(jié)果,直到收斂?;谔荻壬仙姆椒ㄖ饕芯灯?Mean Shift)[4]、快速漂移(Quick Shift)[5]及簡(jiǎn)單線性迭代聚類(Simple Linear Iterative Clustering,SLIC)[6]等?;趫D論的方法把圖像分割問(wèn)題關(guān)聯(lián)到最小割問(wèn)題,將圖像映射為帶權(quán)的無(wú)向圖,圖中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)于圖像每個(gè)像素,邊權(quán)值表示相鄰像素間相似度,分割的最優(yōu)原則是類內(nèi)間相似度最大,類類間相異度最大?;趫D論的分割方法主要有歸一化分割[7]、基于圖的分割[8]、圖分割[9]等。Mean Shift一個(gè)迭代的模式搜索程序,目的是定位找到密度函數(shù)的局部最大值,通過(guò)轉(zhuǎn)換后能應(yīng)用于模式識(shí)別中圖像的顏色或亮度的特征空間,聚集到相同模式的像素群能定義為超像素??焖倨埔彩抢媚J剿阉鞯姆指钏枷?,具有可控制的模態(tài)選擇和平衡“過(guò)分割”與“欠分割”的特點(diǎn),它利用一個(gè)Medoid Shift程序來(lái)初始化分割,然后將其移至每個(gè)點(diǎn)在特征空間中的最近鄰域,增加了Parzen密度估計(jì),其優(yōu)點(diǎn)是不需要迭代,但它不能固定產(chǎn)生超像素的形狀和數(shù)量,且緊湊程度較差。歸一化分割是典型的基于圖論的方法,它利用輪廓特征和紋理特征將一幅圖像中所有像素點(diǎn)組成的圖形反復(fù)分割,在分割邊界的邊緣上限定一個(gè)懲罰函數(shù),產(chǎn)生的超像素非常規(guī)律,可視效果較好。缺點(diǎn)是邊界命中率較差,分割速度相當(dāng)慢。基于圖的分割是基于圖節(jié)點(diǎn)聚類,它將生長(zhǎng)樹中路徑最短的節(jié)點(diǎn)歸為同一類聚集成超像素。優(yōu)點(diǎn)是速度較快、復(fù)雜度低,但是不能合理控制超像素的數(shù)目。
文獻(xiàn)[7]分析比較了各種生成超像素方法,得出生成超像素的最優(yōu)方法是SLIC方法,該方法通過(guò)改進(jìn)K均值聚類的方法,用LAB顏色空間及x,y像素坐標(biāo)對(duì)像素進(jìn)行聚類,有效生成具有較好的緊湊性和高精度分割邊界的超像素,且此方法能靈活控制超像素?cái)?shù)量,運(yùn)行速度快,只需要線性運(yùn)行時(shí)間和內(nèi)存,有效提高了分割方法的性能。但此方法中存在這樣一個(gè)問(wèn)題:在K均值迭代聚類方法中,若某次迭代時(shí)出現(xiàn)像素錯(cuò)誤分類,在之后的迭代過(guò)程中就會(huì)復(fù)制錯(cuò)誤點(diǎn),最終形成錯(cuò)誤的超像素。由于聚類方法條件有限,形成了許多小區(qū)域的超像素塊,并且小超像素塊也并非完全會(huì)包含邊界信息,因此如何減少迭代過(guò)程中的錯(cuò)誤分類,較小區(qū)域塊的超像素合并區(qū)域成為影響分割準(zhǔn)確度的重要因素之一。
本文針對(duì)SLIC方法中存在的不足,提出一種基于改進(jìn)SLIC方法的遙感圖像分割方法。利用非線性擴(kuò)散濾波器的保邊優(yōu)點(diǎn),對(duì)圖像進(jìn)行濾波,去除圖像的瑣碎細(xì)節(jié),減少噪聲且有效保留邊界,通過(guò)Sigma濾波器改進(jìn)SLIC方法,對(duì)圖像在顏色和距離空間內(nèi)完成聚類,獲得分割結(jié)果,并進(jìn)行仿真實(shí)驗(yàn)。
在運(yùn)用SLIC方法對(duì)圖像進(jìn)行分割時(shí),由于方法條件有限,在圖像細(xì)節(jié)區(qū)域會(huì)產(chǎn)生大量微小區(qū)域,而這些區(qū)域的存在會(huì)大大影響區(qū)域合并過(guò)程的速度及圖像分割效果,因此在對(duì)圖像進(jìn)行初始分割前,有必要對(duì)圖像進(jìn)行濾波處理,在平滑圖像和抑制噪聲的同時(shí)有效地保留邊界??紤]利用目前邊緣保持效果較好的非線性擴(kuò)散濾波器[10],非線性擴(kuò)散技術(shù)是考慮圖像中不連續(xù)部分(邊緣、輪廓等)的一種平滑技術(shù),它在運(yùn)算過(guò)程中考慮到圖像的邊緣和非邊緣區(qū)域的區(qū)別,采用不同的平滑策略,從而獲得不同的擴(kuò)散效果。
含噪聲圖像模型如下:
其中,u為真實(shí)場(chǎng)景的清晰圖像;u0為u的一個(gè)觀測(cè);n為噪聲。針對(duì)上述模型,其邊界條件和初始條件表示為:
一般的非線性擴(kuò)散方程表達(dá)式如下:
其中,α =α(x,y,t);β =β(x,y,t)為系數(shù)。
選取Sochen非線性擴(kuò)散方程[11]進(jìn)行求解:
系數(shù)表達(dá)式模型可表示為:
對(duì)于式(4)有k=1,k為正參數(shù)。在區(qū)域內(nèi)部,有▽u→0,αβ→1;在邊緣附近,▽u→∞,αβ→0。在梯度較小區(qū)域,通過(guò)CFL條件進(jìn)行均值平滑[10],在邊緣附近,梯度較大,保留清晰邊界,不進(jìn)行任何濾波。
傳統(tǒng)K均值聚類是一種非監(jiān)督實(shí)時(shí)聚類方法,基本思想是在最小誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K,方法的運(yùn)算過(guò)程是:先指定類數(shù)K,K個(gè)初始聚類中心初值、迭代次數(shù)或收斂條件等,然后根據(jù)一定的相似性度量準(zhǔn)則,將每一個(gè)數(shù)據(jù)分配到最近或“相似”的聚類中心,形成類,再以每一類的平均矢量作為這一類的聚類中心,進(jìn)行重新分配,通過(guò)反復(fù)迭代直到達(dá)到最大的迭代次數(shù)。其優(yōu)點(diǎn)是時(shí)間復(fù)雜度低,在處理大型數(shù)據(jù)集時(shí),具有相對(duì)伸縮性和高效性,對(duì)較密集區(qū)域且區(qū)域間區(qū)別明顯時(shí)分割結(jié)果較好。但是其缺點(diǎn)是無(wú)法克服的,即K均值方法聚類結(jié)果易局部收斂,對(duì)初始聚類中心選擇有很強(qiáng)的依賴性,若選取不當(dāng),將造成無(wú)法挽回的后果,K均值方法需要事先給定聚類類數(shù)K,而人為設(shè)定,無(wú)法避免主觀因素的影響,由于只考慮像素顏色距離,因此對(duì)噪聲和孤立點(diǎn)數(shù)據(jù)非常敏感,且只能用于均值被定義的數(shù)據(jù)集,不應(yīng)用與大小差別大的類。SLIC方法是對(duì)K均值聚類的改進(jìn),克服了上述類似問(wèn)題的出現(xiàn)。
SLIC方法是通過(guò)改進(jìn)傳統(tǒng)K均值方法,即考慮像素的顏色信息又充分利用像素的空間信息,將顏色相似、圖像空間距離接近的像素點(diǎn)聚集在一起的一種高效方法。在CIELAB顏色圖像空間存在2個(gè)特征向量:像素 i彩色值 Ci=[Li,ai,bi]和在二維空間中位置 Si=[xi,yi]T。
采用新的距離度量方法改進(jìn)超像素的形狀,與一般特征空間歐式距離有所不同,SLIC方法克服了傳統(tǒng)歐式距離在當(dāng)空間上點(diǎn)超越顏色距離極限時(shí)偏向于像素顏色的相似性,所導(dǎo)致的超像素不再考慮區(qū)域邊界的問(wèn)題。k從初始聚類中心 Ci=[li,ai,bi,xi,yi]T開始均勻地采樣,為避免出現(xiàn)超像素中心在邊界位置及噪聲像素冒充種子像素的現(xiàn)象,將聚類中心限定在最低梯度量的3×3鄰域內(nèi)移動(dòng),每一個(gè)像素通過(guò)與最近鄰聚類中心距離D來(lái)進(jìn)行聚類,具體如下:
其中,j是聚類中心下標(biāo),j=1,2,…,K;Nc和 Ns分別為彩色和空間距離的歸一化常數(shù),一旦像素聚集到最近鄰的中心像素后,更新中心φ,代替聚類中所有像素平均向量:
其中,Gj表示在φj位置的聚類區(qū)域;N表示在Gj內(nèi)所包含的像素?cái)?shù)量。
然而上述SLIC方法處理第一步迭代后的圖像沒(méi)有特別強(qiáng)調(diào)像素間的聯(lián)通性,結(jié)果可能會(huì)形成許多小的、孤立的分割點(diǎn)。而對(duì)于最后一步迭代后孤立的點(diǎn),SLIC形成形狀、大小一致的超像素作為下一步的應(yīng)用,將孤立點(diǎn)無(wú)限制地歸為孤立點(diǎn)所在位置的最大鄰域內(nèi),顯然這種做法對(duì)分割結(jié)果準(zhǔn)確率是有很大影響的。
針對(duì)SLIC方法存在的問(wèn)題,利用Sigma濾波器[12]來(lái)避免過(guò)多的錯(cuò)誤迭代。傳統(tǒng) Sigma濾波器[13]是建立在假設(shè)窗口內(nèi)像素灰度值與其中心像素的灰度值比較接近的基礎(chǔ)上的,將滑動(dòng)窗口中與中心像素偏差小于2δ的所有像素取平均,并設(shè)置平均像素的限制條件以濾除孤立的噪聲點(diǎn)。因此,在第一次迭代后,設(shè)定條件假設(shè)窗口內(nèi)像素的矢量值與其中心像素的矢量在αδ范圍內(nèi),滿足這個(gè)條件方能更新聚類中心模型,若不符合相似條件,則不能合并,需要尋找另一個(gè)與之亮度值相似的聚類中心,方能完成聚類。
取Gj范圍內(nèi)所有像素點(diǎn)的彩色矢量為 C1,C2,…,CN,首先計(jì)算它們的均值:
其中,δ表示在Gj內(nèi)所有樣本像素彩色的標(biāo)準(zhǔn)偏差;α為常數(shù);φ為更新后的聚類中心,通過(guò)此方法的迭代更新,改變了原來(lái)聚類時(shí)出現(xiàn)的錯(cuò)誤,增加限定條件使得后期迭代更新、聚類過(guò)程更準(zhǔn)確。
通過(guò)上述方法,對(duì)迭代前可能出現(xiàn)的錯(cuò)誤進(jìn)行了修正。但是對(duì)于最后一步迭代后孤立的點(diǎn),由于過(guò)度考慮超像素大小必須一致,SLIC將它們的標(biāo)簽歸為與之最近的聚類中心上,這種做法沒(méi)有充分考慮當(dāng)前孤立點(diǎn)與它最近鄰最大集群間的相似性,結(jié)果將導(dǎo)致生成的超像素不能有較好的圖像邊界??紤]增加條件利用兩集群間亮度的相似性衡量合并標(biāo)準(zhǔn)來(lái)代替相鄰集群間的尺寸關(guān)系[14],條件如下:
其中,Dm表示最小的集群G和它最近鄰最大集群Gm亮度距離,m=1,2,…,M;μ 和 μm分別表示最小集群平均亮度值和它最近鄰集群的平均亮度值;Ds表示 Dm最小值 min(Dm),s∈[1,M],當(dāng) Ds<T 時(shí),最小集群Ds合并到它在s處的鄰域Gs內(nèi);否則,這個(gè)最小集群繼續(xù)尋找最相近的區(qū)域進(jìn)行合并。
改進(jìn)SLIC方法步驟如下:
(2)將聚類中心點(diǎn)移至3×3鄰域內(nèi)的最低梯度位置。
(3)對(duì)每個(gè)聚類中心Ck的2S×2S鄰域,計(jì)算每個(gè)像素i到中心Ck的空間距離D,在更新聚類中心過(guò)程中加入條件式(13)。
(4)若D<d(i)且彩色距離在歸定范圍內(nèi),則將為D的值賦值給 d(i),通過(guò)標(biāo)簽記錄此時(shí)的位置。
(5)反復(fù)執(zhí)行步驟(3)和步驟(4),計(jì)算新的聚類中心和殘余誤差E,直到達(dá)到設(shè)定閾值。
(6)初步迭代結(jié)束后,利用條件式(14)中Dm合并孤立點(diǎn),完成分割。
本節(jié)使用一系列紋理和彩色信息豐富的自然彩色圖像進(jìn)行實(shí)驗(yàn),比較分析本文方法在各個(gè)方面相對(duì)于SLIC的性能優(yōu)勢(shì)。所有實(shí)驗(yàn)圖像來(lái)源于Berkeley自然圖像庫(kù)。實(shí)驗(yàn)平臺(tái)為 Inter Core i5 CPU 760 2.8 GHz主頻和4 GB內(nèi)存。改進(jìn)算法步驟如下:
第1步非線性濾波
濾波器參數(shù)設(shè)置如下:(1)最大迭代次數(shù),本文實(shí)驗(yàn)濾波迭代次數(shù)取為20,超過(guò)最大迭代次數(shù)濾波器效力不明顯,造成時(shí)間浪費(fèi),若迭代次數(shù)過(guò)小,濾波效果也不理想;(2)步長(zhǎng)設(shè)置,濾波器步長(zhǎng)取值影響保邊效果程度,受CFL條件[15]限制,實(shí)驗(yàn)觀察選取步長(zhǎng)為0.1;(3)濾波尺度,濾波尺度用于控制平滑程度,過(guò)大容易模糊必要細(xì)節(jié),過(guò)小濾波效果不明顯,本文實(shí)驗(yàn)濾波尺度設(shè)置為1.6。
第2步超像素分割
參數(shù)設(shè)置如下:(1)迭代最大次數(shù),本文實(shí)驗(yàn)控制迭代次數(shù)為10,迭代次數(shù)過(guò)大聚類達(dá)到飽和、浪費(fèi)時(shí)間、迭代次數(shù)過(guò)小、聚類效果不理想;(2)超像素個(gè)數(shù)(超像素個(gè)數(shù)=圖像全部像素個(gè)數(shù)∕每個(gè)超像素包含的像素個(gè)數(shù)),本文實(shí)驗(yàn)將原方法與改進(jìn)方法的超像素個(gè)數(shù)均設(shè)為K=400,超像素個(gè)數(shù)過(guò)多、過(guò)分割現(xiàn)象較嚴(yán)重,且不能體現(xiàn)超像素的高效率特點(diǎn)、超像素個(gè)數(shù)過(guò)少、邊界分割易出現(xiàn)錯(cuò)誤;(3)緊致度,緊致度用于控制超像素形狀,緊致度越大,超像素形狀更規(guī)則、統(tǒng)一,但超過(guò)某一臨界值會(huì)忽略某些邊界,過(guò)小則造成超像素較雜亂、無(wú)規(guī)則。為了使生成的超像素大小更均勻,且形狀更規(guī)則,本文取 Compactness=40合適;(4)在式(13)中,α影響迭代更新聚類的準(zhǔn)確度,本文實(shí)驗(yàn)α=5,若α增大,孤立點(diǎn)增多。
本文重點(diǎn)列出了3組圖像(來(lái)自Berkely分割數(shù)據(jù)庫(kù))的分割結(jié)果圖并進(jìn)行放大分析。如圖1所示,圖1(b)平滑后帽子和頭發(fā)等多余紋理得到消除,而邊界保留效果較好;圖1(c)中原方法陰影分割到帽子區(qū)域中;圖1(d)中本文方法將帽子和陰影清晰分割;圖1(e)中通過(guò)平滑再用本文方法分割,形成的超像素塊大小均勻,帽子、陰影頭發(fā)的邊界都分割出來(lái)。如圖2所示,圖2(b)平滑后小船的輪廓更加清晰;圖2(c)中原方法小船的船頭部分被合并到水中;圖2(d)中本文方法將船頭與水面清晰分割出來(lái);圖2(e)中既將船頭與水面邊界分割出來(lái),且超像素大小形狀更規(guī)則。如圖3所示,圖3(b)通過(guò)平滑后山坡和樹葉紋理得到消除,山坡和樹葉邊界更清晰;圖3(c)原方法中模糊了樹葉和天空的邊界,塔頂與山坡邊界也不清晰;圖3(d)本文方法將樹葉邊界與天空分割出來(lái),但山頂一小部分還需完善;圖3(e)平滑后在處理將樹葉與天空、山坡等邊界都分割出來(lái)。
圖1 BSD-15004分割結(jié)果比較
圖2 BSD-145079分割結(jié)果比較
圖3 BSD-126007分割結(jié)果比較
如表1所示,原方法和本文方法對(duì)上述3幅圖片的程序處理時(shí)間,對(duì)比發(fā)現(xiàn),在結(jié)果可視分割效果較好的基礎(chǔ)上,本文方法并沒(méi)有過(guò)大增加時(shí)間復(fù)雜度。
表1 程序處理時(shí)間比較 10-3s
如圖4所示,對(duì)Berkeley數(shù)據(jù)庫(kù)中300幅321×481像素的圖像進(jìn)行處理,利用原方法、本文方法及平滑后本文方法的分割結(jié)果分別與BSD中分割真值圖對(duì)比的邊界命中率統(tǒng)計(jì)結(jié)果,從圖中可以看到,隨著超像素個(gè)數(shù)的增加,相比原方法,本文方法邊界命中率斜率更大、分割命中率也更高。由于利用非線性濾波器平滑圖像后起到了銳化圖像邊界的效果,因此邊界命中率也更高。當(dāng)超像素?cái)?shù)量達(dá)到一定時(shí),3種方法邊界命中率趨于平穩(wěn)。
圖4 邊界命中率對(duì)比
以上實(shí)驗(yàn)結(jié)果分別從可視分割效果、時(shí)間復(fù)雜度和邊界命中率3個(gè)方面進(jìn)行分析得出,本文方法對(duì)于紋理和色彩邊界不明顯的區(qū)域比原方法分割效果更好,本文通過(guò)在迭代的過(guò)程中重新計(jì)算距離進(jìn)行分割聚類,在增加分割效果的同時(shí)處理時(shí)間沒(méi)有太大增加,利用非線性濾波器平滑圖像內(nèi)部的多余紋理區(qū)域,對(duì)邊界部分保留較好,并在此基礎(chǔ)上進(jìn)行分割,結(jié)果產(chǎn)生的超像素形狀大小和分割可視效果較好。邊界命中率是圖像分割邊界準(zhǔn)確度的重要判斷依據(jù),直接影響了分割精度,本文方法的邊界命中率比原方法更高,說(shuō)明本文方法處理結(jié)果更具優(yōu)勢(shì)。
本文提出一種改進(jìn)的SLIC方法。利用非線性濾波去除多余紋理,且保持較好的圖像邊界,結(jié)合Sigma濾波器特性增加聚類限定條件。實(shí)驗(yàn)結(jié)果表明,與原方法相比,該方法的分割精確度有所提高。如何將超像素的方法應(yīng)用到復(fù)雜遙感圖像處理中,進(jìn)一步提高分割效率和精度,減少計(jì)算復(fù)雜度,是今后的研究重點(diǎn)。
[1] 王春瑤,陳俊周,李 煒.超像素分割算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):6-12.
[2] Xiang Deliang,Tang Tao,Zhao Lingjun,et al.SuperpixelGenerating Algorithm Based on Pixel Intensity and Location Similarity forSAR Image Classification[J].Geoscience and Remote Sensing Litters,2013,10(6):1414-1418.
[3] 譚樂(lè)怡,王守覺(jué).基于雙重超像素集的快速路徑相似度圖像分割算法[J].自動(dòng)化學(xué)報(bào),2013,39(10):1653-1664.
[4] 饒 倩,文 紅,喻 文,等.超像素及其應(yīng)用綜述[J].電腦與信息技術(shù),2013,21(5):1-3.
[5] Comaniciu D,Meer P.Mean Shift:A Robust Approach Toward Feature Space Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[6] Vedaldi A,Soatto S.Quick Shift and Kernel Methods for Mode Seeking[C]//Proceedings of ECCV’08.Berlin,Germany:Springer-Verlag,2008:705-718.
[7] Achanta R,Shaji A,Smith K,et al.SLIC Superpixels Compared to State-of-the-art Superpixel Methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2281.
[8] Shi Jianbo,Malik J.Normalized Cuts and Image Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):888-905.
[9] Felzenszwalb P F,Huttenlocher D P.Efficient Graphbased Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.
[10] Li X,Sahbi H.Superpixel-based Object Class Segmentation Using ConditionalRandom Fields[C]//Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing.Washington D.C.,USA:IEEE Press,2011:1101-1104.
[11] 姚 偉,孫即祥.保護(hù)角點(diǎn)的非線性擴(kuò)散濾波[J].中國(guó)圖象圖形學(xué)報(bào),2010,15(4):577-581.
[12] Sochen N,Kimmel R,Malladi R.A General Framework for Low Level Vision[J].IEEE Transactions on Image Processing,1998,7(3):310-318.
[13] Lukac R,Smolka B,Plataniotis K N,et al.Vector Sigma Filters for Noise Detection and Removal in Color Images[J].Journal of Visual Communication and Image Representation,2006,17(1):1-26.
[14] Lee J S.DigitalImage Smoothing and the Sigma Filter[J]. Computer Vision Graphics and Image Progress,1983,24(2):255-269.
[15] Kim K S,ZhangDongni,KangMun-Cheon,et al.Improved SimpleLinearIterativeClustering Superpixels[C]//Proceedings of the 17th IEEE International Symposium on Consumer Electronics.Washington D.C.,USA:IEEE Press,2013:259-260.