朱 馳,陳昌志,2,王 寧,2,安世全,2
(1.重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,重慶400065;2.重慶郵電大學(xué) 移通學(xué)院,重慶401520)
圖像顯著性區(qū)域檢測將視覺機(jī)制引入圖像處理,賦予現(xiàn)有圖像處理過程一定的選擇能力,從大量無關(guān)的圖像信息中提取出顯著性區(qū)域。提取出來的顯著圖可以廣泛地應(yīng)用在計(jì)算機(jī)視覺領(lǐng)域,如圖像分割、目標(biāo)識(shí)別、圖像檢索、自適應(yīng)壓縮等。常見的顯著性區(qū)域檢測算法有:①基于局部對(duì)比度的方法[1],其主要思想是利用圖像區(qū)域相對(duì)于局部鄰域的稀有度來獲取顯著性圖,但是利用局部對(duì)比度的方法傾向于在邊緣部分產(chǎn)生高顯著性值,而不是均勻地突出整個(gè)區(qū)域;②基于全局對(duì)比度的方法[2],其主要思想是用一個(gè)區(qū)域和整個(gè)圖像的對(duì)比度來計(jì)算顯著性值,能夠很好地均勻突出整個(gè)顯著性區(qū)域。針對(duì)該方法的檢測算法主要有基于頻率調(diào)諧的方法[3]、基于像素對(duì)比度的方法[4]。
傳統(tǒng)基于圖的圖像分割方法[5]能夠有效地將圖像分割成若干區(qū)域,但圖像分割質(zhì)量并非最佳,且分割速率較慢。本文首先采用改進(jìn)的圖割算法將圖像分割成若干子區(qū)域,為每個(gè)區(qū)域建立顏色直方圖;然后通過每個(gè)區(qū)域和其它區(qū)域的對(duì)比度加權(quán)和來為該區(qū)域定義顯著性值,獲取圖像的顯著圖;最后利用迭代閾值分割方法對(duì)顯著圖分割,經(jīng)過圖像去噪后獲得完整準(zhǔn)確的顯著性區(qū)域。實(shí)驗(yàn)結(jié)果表明,本文提出的算法能有效地提取出顯著性區(qū)域,且提高了算法效率,具有很好的魯棒性。
本文采用的顯著性區(qū)域檢測方法由圖像預(yù)分割、顯著圖計(jì)算、顯著性區(qū)域提取3部分組成,流程如下:
(1)輸入圖像,對(duì)圖像進(jìn)行高斯平滑處理;
(2)采用改進(jìn)的圖割算法對(duì)平滑后的圖像進(jìn)行預(yù)分割,將圖像分割為若干子區(qū)域;
(3)為每個(gè)區(qū)域建立顏色直方圖,通過每個(gè)區(qū)域與其它區(qū)域的對(duì)比度加權(quán)和來為該區(qū)域定義顯著性值,以此獲取圖像的顯著圖;
(4)對(duì)圖像顯著圖進(jìn)行中值濾波,消除圖像噪聲,增強(qiáng)顯著性區(qū)域的邊緣信息;
(5)針對(duì)濾波后的顯著圖,利用迭代閾值分割方法提取顯著性區(qū)域;
(6)消除圖像中的孤立點(diǎn),獲取完整有效的顯著性區(qū)域。
系統(tǒng)整體流程如圖1所示。
圖1 系統(tǒng)流程
基于圖的圖像分割方法是將圖像分割的問題轉(zhuǎn)換成一個(gè)無向圖的最優(yōu)化問題。用帶權(quán)無向圖G =<V,E >表示原圖像,頂點(diǎn)vi∈V ,V 為圖的頂點(diǎn)集合,與原圖像中的像素點(diǎn)相對(duì)應(yīng),e(vi,vj)∈E 定 義 為 連 接vi和vj的 邊,ω(vi,vj)為對(duì)應(yīng)vi和vj之間的差異程度,將其定義為RGB彩色空間中像素點(diǎn)顏色值的歐氏距離,是非負(fù)度量。在對(duì)圖像進(jìn)行分割時(shí),V 會(huì)被分成若干獨(dú)立的區(qū)域Ci,理想的分割結(jié)果是在同一區(qū)域的像素點(diǎn)的差異盡可能的小,不同區(qū)域像素點(diǎn)之間的差異盡可能大。傳統(tǒng)算法的分割結(jié)果如圖2所示。
在圖2的分割結(jié)果中,圖2 (a)為原圖像,圖2 (b)為傳統(tǒng)算法分割的結(jié)果,可以看出,圖像被分割成19塊子區(qū)域,但是有些子區(qū)域是可以合并的,這會(huì)直接影響后續(xù)顯著圖的計(jì)算效率,所以這種分割結(jié)果不是最佳的。
圖2 基于圖的圖像分割實(shí)驗(yàn)結(jié)果
基于圖的圖像分割算法將像素間的差異值定義為邊的權(quán)值,然后用圖來表示原圖像,但是在RGB彩色空間定義的像素點(diǎn)差異值并不能很好的反應(yīng)像素間的差異,這也將直接影響圖像的最終分割結(jié)果是否為最合理的,同時(shí)也會(huì)降低顯著圖的計(jì)算效率。
針對(duì)上述傳統(tǒng)圖割算法的缺點(diǎn),本文改進(jìn)的算法步驟如下:
(1)首先對(duì)圖像進(jìn)行高斯平滑處理,不僅能夠達(dá)到圖像去噪的目的而且能夠消除圖像中的細(xì)節(jié)信息,避免后續(xù)處理中的過分割現(xiàn)象。
(2)將圖像轉(zhuǎn)換到CIELab彩色空間,該空間的顏色值的歐氏距離最能體現(xiàn)像素間的差異,所以定義邊權(quán)重函數(shù)為
式中:第一項(xiàng)為像素在Lab顏色空間的歐氏距離,體現(xiàn)了顏色的差異;第二項(xiàng)為像素坐標(biāo)的歐氏距離,體現(xiàn)了像素的空間距離。
(3)計(jì)算區(qū)域的內(nèi)部差異,定義區(qū)域Ci∈V 中其最小生成樹的邊最大權(quán)值為判定閾值,使得該區(qū)域是連通的,即
式中:MST(C,E)——該區(qū)域的最小生成樹,ω(vi,vj)——邊的權(quán)重。
(4)計(jì)算區(qū)域間的差異,定義任意兩個(gè)區(qū)域C1,C2V 間的差異值為連接這兩個(gè)區(qū)域的所有邊中權(quán)重最小值,即
其中,如果沒有邊連接兩個(gè)區(qū)域,可以認(rèn)為這兩個(gè)區(qū)域間的差異值為無窮大。
(5)根據(jù)區(qū)域內(nèi)部差異和區(qū)域間差異來判定區(qū)域是否合并,判定函數(shù)定義為
式中:MInt(C1,C2)——兩個(gè)區(qū)域中內(nèi)部差異較小者,如果區(qū)域間的差異大于區(qū)域內(nèi)部差異,則兩個(gè)區(qū)域是有邊界存在的,否則就不存在邊界,可以將其合并為一個(gè)區(qū)域。定義MInt(C1,C2)為
(6)在對(duì)100張300×225隧道滲水區(qū)域圖像進(jìn)行測試后,確定常數(shù)k 為350時(shí)最合理,所達(dá)到的分割結(jié)果最理想。改進(jìn)的分割算法與傳統(tǒng)算法的分割結(jié)果如圖3 所示,與圖2 (b)傳統(tǒng)算法分割結(jié)果相比可以看出改進(jìn)的算法不僅能夠完整地分割出顯著性區(qū)域,而且分割出的子區(qū)域由原來的19塊減少到6塊,這將會(huì)減少顯著圖的計(jì)算時(shí)間,降低顯著圖的計(jì)算難度。
圖3 本文算法的分割結(jié)果
改進(jìn)基于圖的圖像分割算法流程如圖4所示。
根據(jù)改進(jìn)的圖割算法對(duì)圖像的分割結(jié)果,為每個(gè)子區(qū)域建立顏色直方圖[6-8],統(tǒng)計(jì)子區(qū)域中每種顏色出現(xiàn)的概率,并通過測量與其它區(qū)域的顏色對(duì)比度來計(jì)算其顯著性值,計(jì)算如式 (6)所示
圖4 改進(jìn)圖割算法流程
式中:ω(ri)——區(qū)域ri的權(quán)值,用ri中的像素?cái)?shù)表示,Dr——兩個(gè)區(qū)域的顏色度量,定義為
式中:f(ck,i)——第i個(gè)顏色ck,i在第k 個(gè)區(qū)域中所有nk種顏色中出現(xiàn)的概率,k=({1,2},D(c1,i,c2,j)——兩種顏色在Lab顏色空間的距離度量。
為進(jìn)一步增加區(qū)域的空間影響效果,加入空間信息,使得臨近的區(qū)域增大影響,較遠(yuǎn)的區(qū)域減小影響,基于空間加權(quán)區(qū)域?qū)Ρ榷鹊娘@著性定義為
式中:Ds(rk,ri)——區(qū)域rk和ri的空間距離,定義為兩個(gè)區(qū)域重心的歐氏距離,σ2s控制空間權(quán)值強(qiáng)度,其值越大,空間權(quán)值的影響越小,本文算法中,經(jīng)大量實(shí)驗(yàn)后取σ2s=0.4時(shí)獲取的顯著圖效果最佳。根據(jù)區(qū)域?qū)Ρ确椒ㄋ@取的顯著圖如圖5所示。
圖5 顯著圖
針對(duì)本文改進(jìn)算法所獲取的顯著圖,在實(shí)際工作中,需要將圖像中的顯著性區(qū)域完整地分割出來以便進(jìn)行下一步處理。為準(zhǔn)確有效地分割出顯著區(qū)域,本文采用迭代閾值分割方法[9,10],通過迭代計(jì)算出最合適的閾值,將顯著區(qū)域完整提取出來。算法流程如下:
(1)首先由于在顯著圖計(jì)算過程中會(huì)產(chǎn)生噪聲,本文采用中值濾波對(duì)顯著圖進(jìn)行處理;
(2)計(jì)算顯著圖的平均灰度,并將其設(shè)置為迭代初始閾值T0;
(3)顯著圖被分為兩部分,像素灰度值大于T0的為G1,小于T0的為G2,并分別計(jì)算兩部分的平均灰度值m1和m2;
(5)重復(fù)步驟 (2)到步驟 (4),直到連續(xù)迭代中的T值間的差小于預(yù)定義參數(shù)t為止,經(jīng)多次實(shí)驗(yàn),取t=0.5;
(6)分割出顯著性區(qū)域后,圖像中可能還會(huì)存在一些孤立的像素點(diǎn),本文通過連通區(qū)域檢測,設(shè)定連通區(qū)域面積閾值消除孤立點(diǎn)。顯著圖分割結(jié)果如圖6所示。
圖6 顯著圖分割結(jié)果
本文使用300×225的隧道滲水區(qū)域圖像,經(jīng)改進(jìn)圖割的顯著性檢測與迭代閾值分割算法相結(jié)合提取出顯著性區(qū)域如圖7所示。
從圖3和圖7可以看出,改進(jìn)的顯著性區(qū)域檢測算法效果較為明顯,對(duì)于背景簡單的圖像,改進(jìn)的算法在保證正確率的情況下,提高了算法效率。對(duì)于存在較為復(fù)雜紋理背景的圖像,改進(jìn)的算法不僅能夠完整地分割出顯著性區(qū)域,而且合理地合并了一些子區(qū)域,有利于后續(xù)顯著圖的計(jì)算,同時(shí)也大大加快了算法運(yùn)行速度。
為了驗(yàn)證本文改進(jìn)算法的準(zhǔn)確性和有效性,在Achanta等人提供的包含1000張圖像的公開數(shù)據(jù)集中進(jìn)行測試,采用正確率P 和召回率R 評(píng)估本文算法,其定義如式 (9)和式 (10)所示
圖7 改進(jìn)算法分割結(jié)果
其中,Np為本文算法分割出的顯著區(qū)域中真正屬于顯著區(qū)域的像素點(diǎn)個(gè)數(shù),Nt為本文算法分割出的顯著區(qū)域的像素點(diǎn)總數(shù),Ng為人工標(biāo)注的顯著區(qū)域的像素點(diǎn)的總數(shù)。隨機(jī)選取數(shù)據(jù)集中的23張圖像,計(jì)算其正確率和召回率,實(shí)驗(yàn)數(shù)據(jù)見表1。
表1 改進(jìn)算法的正確率和召回率
由表1 可知,圖像的平均正確率和召回率分別為94.00%和93.70%,采用傳統(tǒng)算法所得到的平均正確率和召回率分別為90%和90%,實(shí)驗(yàn)結(jié)果表明,本文提出的改進(jìn)圖割的顯著性區(qū)域檢測算法的實(shí)驗(yàn)效果具有更高的正確率,且魯棒性較好。
本文采用改進(jìn)的基于圖的圖像分割方法將圖像分割成若干小區(qū)域,該方法不僅保證了分割的準(zhǔn)確性和完整性,而且還有效地合并了相似子區(qū)域,簡化了后續(xù)的顯著圖計(jì)算,提高了算法的運(yùn)算速度。在此基礎(chǔ)上,對(duì)顯著圖進(jìn)行中值濾波后采用迭代閾值分割方法提取圖像顯著性區(qū)域,最后根據(jù)面積信息消除圖像中存在的孤立點(diǎn),獲取整個(gè)顯著性區(qū)域。實(shí)驗(yàn)結(jié)果表明,本文算法具有較好的分割準(zhǔn)確率。在下一步的工作中,要研究保留詳細(xì)細(xì)節(jié)的高效顯著圖計(jì)算方法。
[1]Huang TJ,Tian YH,Li J,et al.Salient region detection and segmentation for general object recognition and image understanding [J].Science China Information Sciences,2011,54(12):2461-2470.
[2]Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34 (11):2274-2282.
[3]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection [C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2009:1597-1604.
[4]Perazzi F,Krahenbuhl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection [C]//IEEE Conference on Providence:Computer Vision and Pattern Recognition.IEEE,2012:733-740.
[5]Arbelaez P,Maire M,F(xiàn)owlkes C,et al.Contour detection and hierarchical image segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33 (5):898-916.
[6]Cheng MM,Warrell J,Lin WY,et al.Efficient salient region detection with soft image abstraction [C]//IEEE International Conference on Sydney: Computer Vision.IEEE,2013:1529-1536.
[7]Vikram TN,Tscherepanow M,Wrede B.A saliency map based on sampling an image into random rectangular regions of interest[J].Pattern Recognition,2012,45 (9):3114-3124.
[8]Deng Q,Luo Y.Saliency detection by selective strategy for salient object segmentation [J].Journal of Multimedia,2012,7(6):420-428.
[9]Akther M,Ahmed M,Hasan M.Detection of Vehicle’s number plate at nighttime using iterative threshold segmentation algorithm [J].International Journal of Image,Graphics &Signal Processing,2013,5 (12):62-70.
[10]Al-amri SS,Kalyankar NV.Image segmentation by using threshold techniques [J].Journal of Computing,2010,5(2):83-86.