鄒耀斌 張進(jìn)玉 周 歡* 孫水發(fā) 夏 平

①(三峽大學(xué)大數(shù)據(jù)研究中心 宜昌 443002)

②(湖北省水電工程智能視覺(jué)監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室(三峽大學(xué)) 宜昌 443002)

③(三峽大學(xué)計(jì)算機(jī)與信息學(xué)院 宜昌 443002)

1 引言

圖像分割是計(jì)算機(jī)視覺(jué)研究領(lǐng)域低層次視覺(jué)中重要的研究方向之一[1,2]。在已有的圖像分割方法中，例如閾值分割、區(qū)域分割、聚類分割、深度學(xué)習(xí)分割，閾值分割因其簡(jiǎn)單和易于實(shí)現(xiàn)的優(yōu)勢(shì)而被廣泛地應(yīng)用到不同圖像處理任務(wù)中[3]，其基本原則是將圖像中每個(gè)像素的灰度值與選取的閾值進(jìn)行大小比較，以此來(lái)決定該像素是屬于目標(biāo)還是背景，因而閾值分割的關(guān)鍵在于如何確定合適的閾值。

在眾多閾值分割方法中，應(yīng)用了信息論中熵概念的熵閾值法頗具代表性，它們大體可以分為兩類：一類以最大化圖像中背景熵和目標(biāo)熵的和為原則來(lái)選擇閾值，由該思想衍生而來(lái)的方法主要有最大香農(nóng)熵法[4,5]、最大Rényi熵法[6–8]、最大Tsallis熵法[9–11]、最大Arimoto熵法[12,13]、最大Masi熵法[14]和最大Kaniadakis熵法[15]等。另一類則以圖像分割前后信息量差異最小化為原則來(lái)選擇閾值，其代表性的方法是最小熵閾值法[16]。在第1類方法中，除最大香農(nóng)熵法，其他方法涉及的熵計(jì)算模型都有熵參數(shù)。分割不同直方圖模態(tài)的灰度圖像通常對(duì)應(yīng)不同的熵參數(shù)，而自動(dòng)選取合理熵參數(shù)的算法依舊缺乏，這在很大程度上限制了這些最大熵閾值方法的適應(yīng)性。第2類方法將二值化問(wèn)題轉(zhuǎn)換為最小熵高斯擬合問(wèn)題，它忽略了目標(biāo)和背景之間的相互關(guān)系，難以分割非對(duì)稱性直方圖模態(tài)的灰度圖像[16,17]。

不少熵閾值法結(jié)合離散概率分布和熵計(jì)算模型來(lái)計(jì)算相關(guān)的熵[4,6,9,12,14,15]，但它們都有一個(gè)共同的不足：沒(méi)有考慮圖像像素間的相關(guān)性，這使得同一個(gè)熵閾值法對(duì)于具有相同直方圖的兩幅不同圖像將產(chǎn)生相同的閾值。此外，當(dāng)一個(gè)灰度值的離散概率非常小的時(shí)候，容易引入大的計(jì)算誤差從而降低獲得閾值的魯棒性。后續(xù)研究相繼提出2維閾值法和3維閾值法。2維閾值法同時(shí)考慮圖像灰度信息和鄰域平均灰度信息，分割效果一般要優(yōu)于1維閾值法[5,10,11,13]。3維閾值法在2維閾值法的基礎(chǔ)上又加入了鄰域的中值信息，這類算法對(duì)于具有混合噪聲的圖像有較好的分割效果[7,8]。2維或3維閾值法雖在一定程度上彌補(bǔ)了1維閾值法的不足，但其計(jì)算復(fù)雜度卻遠(yuǎn)高于1維閾值法[8,11]。

現(xiàn)有熵閾值法除了上述不足外，還有一個(gè)關(guān)鍵問(wèn)題是分割適應(yīng)性較差。許多灰度圖像因受噪聲、點(diǎn)擴(kuò)散或者背景和目標(biāo)大小等因素影響，其灰度直方圖呈現(xiàn)為無(wú)模態(tài)、單模態(tài)、雙模態(tài)或者多模態(tài)，而現(xiàn)有熵閾值法一般較適合處理具有單模態(tài)長(zhǎng)拖尾直方圖的灰度圖像，卻難以兼顧其他情形。為了在統(tǒng)一的方法框架內(nèi)從上述4種不同直方圖模態(tài)的灰度圖像中自動(dòng)地選擇出合理的分割閾值，提出了一種基于多尺度多方向Gabor變換的Tsallis熵閾值分割方法(Tsallis Entropy thresholding based on Multi-scale and multi-direction Gabor transform,MGTE)。MGTE方法將不同灰度直方圖模態(tài)轉(zhuǎn)換成統(tǒng)一的單模態(tài)，這種轉(zhuǎn)換借助多尺度乘積效應(yīng)來(lái)實(shí)現(xiàn)，其轉(zhuǎn)換方式兼顧像素的灰度分布和像素間的空間位置。在獲得4個(gè)方向上的單模態(tài)灰度直方圖后，采用Tsallis熵作為熵計(jì)算模型來(lái)分別選取4個(gè)方向上的閾值，最后通過(guò)對(duì)4個(gè)方向上的閾值進(jìn)行加權(quán)求和以作為最終分割閾值。

2 Gabor濾波器奇部及其多尺度乘積效應(yīng)

2維Gabor濾波器由高斯信號(hào)和復(fù)正弦信號(hào)調(diào)制而成[18]，它可以表示為

注意到大小為( 8σ+1)×(8σ+1)的高斯核與圖像進(jìn)行卷積所得結(jié)果可以充分逼近完整高斯分布與圖像進(jìn)行卷積所得結(jié)果[19]，且在對(duì)數(shù)字圖像卷積時(shí)，卷積核大小一般為奇數(shù)，由此可以推出σi=0.25×i(i ≥1)。Gabor濾波核中平行條帶的方向角具有中心對(duì)稱性，又因方向角等間距取值，即θr=rπ/m(r=0,1,...,m)，而式(5)又通過(guò)模運(yùn)算計(jì)算圖像kθ(σ)， 故θr取值可限制在[ 0,π/2]內(nèi)。另外，方向太多容易造成圖像方向性信息冗余并顯著增加運(yùn)算時(shí)間，而方向太少則可能遺漏重要方向性信息，經(jīng)過(guò)反復(fù)試驗(yàn)最終確定使用4個(gè)方向角：0 ，π /7 ，2 π/7 和 3 π/7。

對(duì)2維Gabor濾波器的某一方向角度θr，定義圖像f在該方向上的多尺度乘積圖像為

其中，uθr表 示在方向角度為θr時(shí)參與多尺度乘積變換的圖像數(shù)量。多尺度乘積變換使得圖像f的邊緣信號(hào)和噪聲呈現(xiàn)不同響應(yīng)特點(diǎn)：當(dāng)空間尺度增大時(shí)，噪聲的響應(yīng)值相對(duì)快速地減小，而邊緣信號(hào)附近位置的響應(yīng)值能相對(duì)保持良好。在圖像Kuθr的灰度值被規(guī)范化到[0, 255]的前提下，隨著uθr的增加，圖像Kuθr的灰度直方圖的眾數(shù)逐漸趨于0，并且隨著眾數(shù)逐漸左移，灰度直方圖中頻數(shù)為0的灰度級(jí)逐漸增多，結(jié)果是[0, 255]的灰度分布越來(lái)越稀疏。Kuθr的灰度直方圖與uθr之 間的關(guān)系表明：存在合適的uθr使得Kuθr中灰度級(jí)為0的頻數(shù)足夠大以抑制噪聲，同時(shí)又保證頻數(shù)為0的灰度級(jí)不能太多以維持邊緣響應(yīng)的多樣性。為了自動(dòng)計(jì)算這樣的uθr值，第3節(jié)將引出Tsallis熵差的概念。

3 Tsallis熵差及其性質(zhì)分析

定義S+?S為Tsallis熵差，下面4個(gè)命題揭示了Tsallis熵差的重要性質(zhì)。值得注意的是，基于S+?S定義的Tsallis熵差不同于閆海霞等人[21]定義的局部Tsallis熵差。

圖1 灰度直方圖的左右劃分示意圖

4 選取最終閾值的目標(biāo)函數(shù)及算法步驟

5 實(shí)驗(yàn)結(jié)果與討論

實(shí)驗(yàn)的主要軟硬件參數(shù)如下：Intel Core i5-9300H 2.4 GHz CPU, 16 GB DDR2內(nèi)存，Windows 10 64位操作系統(tǒng)，MATLAB 2018a 64位。測(cè)試圖像包含合成圖像4幅和真實(shí)世界圖像40幅，它們以及對(duì)應(yīng)的分割參考圖像可以訪問(wèn)https://share.weiyun.com/UAmqSFkl獲得。MGTE方法與交互式閾值(Interactive Thresholding, IT)方法[23]、迭代3類閾值(Iterative Triclass Thresholding, ITT)方法[24]、Tsallis熵閾值(Tsallis Entropy Thresholding,TET)方法[9]、快速魯棒模糊C-均值聚類(Fast and Robust Fuzzy C-Means, FRFCM)方法[25]、迭代卷積活動(dòng)輪廓分割(Iterative Convolution Active Contour, ICAC)方法[26]進(jìn)行比較。其中，IT方法通過(guò)交互式選取分割閾值，該閾值對(duì)應(yīng)的二值圖像具有最小的誤分類率(Misclassification Error,ME)。ME是一個(gè)常用的分割精度評(píng)估指標(biāo)[3]，它表示在分割結(jié)果圖像中誤將背景作為目標(biāo)及目標(biāo)作為背景的百分比。IT方法可作為其他比較方法在分割精度方面的參考。

5.1 在合成圖像上的比較實(shí)驗(yàn)

為了檢驗(yàn)6個(gè)方法對(duì)4種不同直方圖模態(tài)圖像的分割適應(yīng)性，將它們分別在4幅合成圖像上進(jìn)行分割實(shí)驗(yàn)(見(jiàn)圖2)，它們的灰度直方圖分別呈現(xiàn)為無(wú)模態(tài)、單模態(tài)、雙模態(tài)和多模態(tài)(見(jiàn)圖3)。圖3、圖4以及表1給出了6個(gè)方法在這4幅合成圖像上的定性和定量比較結(jié)果。值得注意的是，圖3中間綠色區(qū)域顯示了對(duì)應(yīng)的灰度直方圖，4條垂直線及旁邊的數(shù)字標(biāo)示了4個(gè)閾值分割方法選擇的閾值。表1中前面4個(gè)方法為閾值分割方法，后面2個(gè)方法為非閾值分割方法，因此后面2個(gè)方法的閾值用*代替。

圖2 分割實(shí)驗(yàn)

第1組實(shí)驗(yàn)測(cè)試了無(wú)模態(tài)合成圖像，結(jié)合圖3(a)和圖4(a)以及表1的第1列數(shù)據(jù)，可以觀察到：(1)TET和ITT的總體分割結(jié)果最差，它們的ME值分別是24%和22.22%，遠(yuǎn)大于其他方法的ME值；(2)ICAC的分割結(jié)果雖優(yōu)于TET和ITT，但也存在明顯誤分割，其ME值為19.58%；(3)FRFCM的分割結(jié)果要優(yōu)于ITT,TET和ICAC，其ME值為1.17%，但它的分割結(jié)果不穩(wěn)定；(4)MGTE的分割結(jié)果明顯優(yōu)于其他4個(gè)方法，其分割結(jié)果和IT完全一致，ME值為0%，達(dá)到理論上的最優(yōu)分割；(5)IT,MGTE, ITT和TET所得閾值分別為201, 201, 133,126，MGTE方法與IT方法所得閾值一致，優(yōu)于其他2個(gè)閾值方法所得閾值。這些量化指標(biāo)值顯示MGTE在分割無(wú)模態(tài)合成圖像上的相對(duì)優(yōu)勢(shì)。

第2組實(shí)驗(yàn)測(cè)試了單模態(tài)合成圖像，結(jié)合圖3(b)和圖4(b)以及表1的第2列數(shù)據(jù)，可以觀察到：(1)TET, ITT和FRFCM的誤分割都很嚴(yán)重，它們的ME值分別達(dá)到48.57%, 28.80%, 39.43%；(2)ICAC和MGTE的ME值分別為0.02%和0.01%；(3)IT, MGTE, ITT和TET所得閾值分別為214,212, 162, 151。其中，MGTE與IT所得閾值差距甚小，明顯優(yōu)于其他2個(gè)閾值方法所得閾值。這些量化指標(biāo)值顯示MGTE在分割單模態(tài)合成圖像上的相對(duì)優(yōu)勢(shì)。

第3組實(shí)驗(yàn)測(cè)試了雙模態(tài)合成圖像，結(jié)合圖3(c)和圖4(c)以及表1的第3列數(shù)據(jù)，可以觀察到：(1)TET的誤分割比較嚴(yán)重，其ME值達(dá)到了21.70%，遠(yuǎn)大于其他方法的ME值；(2)FRFCM的分割結(jié)果雖優(yōu)于TET，其ME值為0.17%，但它的分割結(jié)果不穩(wěn)定性；(3)MGTE和ITT的分割結(jié)果與IT完全一致，ME值都為0.01%；(4)ICAC的分割結(jié)果略優(yōu)于MGTE,ITT和IT，其ME值為0%；(5)IT, MGTE,ITT和TET所得閾值分別為129, 129, 128, 73，其中，MGTE方法與IT方法所得閾值再次保持一致。這些量化指標(biāo)值顯示MGTE方法在分割雙模態(tài)合成圖像上的相對(duì)優(yōu)勢(shì)。

圖3 4個(gè)模態(tài)合成圖像的灰度直方圖及不同方法所得閾值比較

第4組實(shí)驗(yàn)測(cè)試了多模態(tài)合成圖像，結(jié)合圖3(d)和圖4(d)以及表1的第4列數(shù)據(jù)，可以觀察到：(1)TET和ITT的誤分割都較嚴(yán)重，它們的ME值分別達(dá)到28.16%和17.40%，遠(yuǎn)大于其它方法的ME值；(2)ICAC的分割結(jié)果優(yōu)于TET和ITT，但在多模態(tài)合成圖像上仍存在誤分割，其ME值為2.95%；(3)FRFCM的分割結(jié)果雖優(yōu)于TET, ITT和ICAC，其M E 值為0.8 7%，但它的分割結(jié)果不穩(wěn)定；(4)MGTE與IT的分割結(jié)果差距甚小，它們的ME值分別為0.01%和0%；(5)IT, MGTE, ITT和TET所得閾值分別為209, 214, 146, 98。其中，MGTE與IT所得閾值差為5，明顯優(yōu)于其它2個(gè)閾值方法所得閾值。這些量化指標(biāo)值顯示MGTE在分割多模態(tài)合成圖像上的相對(duì)優(yōu)勢(shì)。

表1 6個(gè)分割方法在4幅合成圖像上的分割閾值t 和ME值(%)

圖4 不同分割方法在4個(gè)模態(tài)合成圖像上的分割比較

5.2 在真實(shí)世界圖像上的比較實(shí)驗(yàn)

為了進(jìn)一步比較MGTE方法與其它5個(gè)方法的分割適應(yīng)性，將6個(gè)方法分別在40幅真實(shí)世界圖像上進(jìn)行分割實(shí)驗(yàn)。這40幅測(cè)試圖像中編號(hào)1～10,11～20, 21～30和31～40的圖像分別對(duì)應(yīng)無(wú)模態(tài)、單模態(tài)、雙模態(tài)、多模態(tài)真實(shí)世界圖像。

作為定性比較的代表性示例，圖5(a)—圖5(d)顯示了編號(hào)為4, 17, 27和37的圖像灰度直方圖及4個(gè)閾值方法所得閾值，而圖6展示了6個(gè)方法在這4幅圖像上的分割結(jié)果。從圖5(a)—圖5(d)可以看到，MGTE所得閾值幾乎非常接近IT所得閾值，而圖6(a)—圖6(d)也驗(yàn)證了MGTE能夠相對(duì)成功地對(duì)這4幅測(cè)試圖像進(jìn)行目標(biāo)和背景的分離。圖7全面展示了6個(gè)方法在40幅真實(shí)世界圖像上的ME量化結(jié)果，在每幅子圖中，藍(lán)色、紅色、綠色和紫色的豎條分別標(biāo)示了各分割方法在無(wú)模態(tài)、單模態(tài)、雙模態(tài)和多模態(tài)情況下的ME值，而深藍(lán)色水平虛線及其上的數(shù)字標(biāo)示了對(duì)應(yīng)情形下ME值的平均值?？梢杂^察到：(1)對(duì)于無(wú)模態(tài)、單模態(tài)、雙模態(tài)和多模態(tài)真實(shí)圖像，MGTE的ME均值總體上更接近IT的ME均值，其對(duì)應(yīng)的ME均值都小于0.9%；而其它方法，除ITT和FRFCM在雙模態(tài)真實(shí)圖像以及ICAC在單、雙模態(tài)真實(shí)圖像外，每種方法對(duì)應(yīng)模態(tài)上的ME均值都大于14%；(2)ITT對(duì)于雙模態(tài)真實(shí)圖像有明顯的分割效果，其ME均值為2.47%，但它對(duì)于無(wú)模態(tài)、單模態(tài)和多模態(tài)真實(shí)圖像存在明顯的誤分割，其各自的ME均值都超過(guò)了19%；(3)TET對(duì)于無(wú)模態(tài)、單模態(tài)、雙模態(tài)和多模態(tài)真實(shí)圖像的誤分割都很嚴(yán)重，各自的ME均值都超過(guò)28%；(4)FRFCM雖對(duì)雙模態(tài)真實(shí)圖像有明顯的分割效果，其ME均值為4.71%，但FRFCM的分割結(jié)果不穩(wěn)定，它在對(duì)同一幅圖像進(jìn)行多次聚類時(shí)，其ME值會(huì)存在很大差異；(5)ICAC雖適合單模態(tài)和雙模態(tài)真實(shí)圖像，其ME均值分別為5.25%和1.80%，但不適合無(wú)模態(tài)和多模態(tài)真實(shí)圖像。這些都表明MGTE對(duì)無(wú)模態(tài)、單模態(tài)、雙模態(tài)和多模態(tài)真實(shí)圖像具有更強(qiáng)的分割適應(yīng)性。

圖5 4個(gè)不同編號(hào)真實(shí)世界圖像的灰度直方圖及不同方法所得閾值比較

圖6 不同分割方法在4個(gè)編號(hào)真實(shí)世界圖像上的分割結(jié)果比較

圖7 6個(gè)分割方法在40幅測(cè)試圖像上的ME值比較

5.3 計(jì)算效率比較

在相同軟硬件參數(shù)下，同一個(gè)方法多次作用在同一幅圖像上的CPU運(yùn)行時(shí)間會(huì)在一定范圍內(nèi)波動(dòng)。為了降低CPU運(yùn)行時(shí)間波動(dòng)的影響，每個(gè)方法將對(duì)同一幅圖像分別進(jìn)行10次測(cè)試，記錄10次的CPU運(yùn)行時(shí)間再求均值，以此均值作為該圖像上的CPU耗時(shí)。依次可計(jì)算出5個(gè)自動(dòng)分割方法在4幅合成圖像和40幅真實(shí)世界圖像上CPU耗時(shí)的均值和標(biāo)準(zhǔn)偏差。由表2可知：MGTE的CPU耗時(shí)最長(zhǎng)，ITT, TET, FRFCM和ICAC的CPU耗時(shí)相對(duì)較短。

表2 5個(gè)分割方法的計(jì)算效率比較(s)

6 結(jié)束語(yǔ)

當(dāng)灰度圖像的灰度直方圖呈現(xiàn)為無(wú)模態(tài)、單模態(tài)、雙模態(tài)或者多模態(tài)時(shí)，相對(duì)于ITT, TET,FRFCM以及ICAC方法，MGTE方法的分割結(jié)果更加接近分割參考方法IT方法。MGTE方法的計(jì)算效率雖不及ITT, TET, FRFCM和ICAC方法，但它的分割精度更高，且在閾值選取方面具有更強(qiáng)的適應(yīng)性。MGTE方法能夠在分割精度、分割適應(yīng)性上取得一定優(yōu)勢(shì)主要得益于：(1)MGTE方法的多尺度乘積效應(yīng)能夠?qū)⒉煌B(tài)直方圖轉(zhuǎn)化成統(tǒng)一的單模態(tài)直方圖；(2)在不同方向上，MGTE方法自動(dòng)計(jì)算參與多尺度乘積變換的圖像數(shù)量；(3)對(duì)不同方向上重構(gòu)的灰度直方圖進(jìn)行Tsallis熵運(yùn)算，所得閾值進(jìn)行加權(quán)計(jì)算，這種加權(quán)策略使得選取的閾值更加接近合理閾值。