張 靜, 魯文超, 段先華

(江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院,鎮(zhèn)江 212003)

人的視覺(jué)注意機(jī)制可以準(zhǔn)確、快速定位自然場(chǎng)景中最引人注意的物體或區(qū)域,計(jì)算機(jī)通過(guò)模仿這一視覺(jué)注意機(jī)制原理形成顯著性檢測(cè)技術(shù)，是圖像處理中關(guān)鍵的一個(gè)階段，廣泛應(yīng)用于目標(biāo)識(shí)別[1-2]、視頻壓縮[3]、圖像檢索[4]、圖像分類[5]等研究領(lǐng)域．

現(xiàn)有的顯著性檢測(cè)算法在檢測(cè)存在一個(gè)或者兩個(gè)顯著目標(biāo)和背景簡(jiǎn)單的圖像時(shí)能夠獲得很好的結(jié)果,但是面對(duì)復(fù)雜背景或者存在多目標(biāo)(兩個(gè)及其以上)時(shí),檢測(cè)效果無(wú)法滿足實(shí)際要求.因此文中提出一種基于改進(jìn)流形排序算法的顯著性區(qū)域檢測(cè)算法,通過(guò)多特征計(jì)算上、下、左、右4個(gè)方向的顯著圖，解決了通過(guò)單一特征計(jì)算的結(jié)果不夠精確的問(wèn)題，通過(guò)超像素分割算法將圖像分割成4個(gè)不同的尺度,分別計(jì)算4個(gè)尺度下的顯著圖．不同尺度下,分割圖像的細(xì)節(jié)信息不同,圖像分割的超像素?cái)?shù)量過(guò)少的話,很多不屬于同一特征屬性會(huì)被分割在一起,不利于檢測(cè),分割的數(shù)量過(guò)度,會(huì)嚴(yán)重增加算法的時(shí)間復(fù)雜度,因此,通過(guò)實(shí)驗(yàn)綜合考慮文中選擇了4種尺度．現(xiàn)有基于圖的流行排序的顯著檢測(cè)算法中通過(guò)閾值分割得到最終的結(jié)果,由于閾值選擇存在一定缺陷,文中通過(guò)多核提升對(duì)檢測(cè)的弱顯著圖進(jìn)行進(jìn)一步處理,得到更加精確的顯著圖．

計(jì)算機(jī)視覺(jué)領(lǐng)域的顯著性檢測(cè)方法通常包含兩種:自頂向下[6-7](任務(wù)驅(qū)動(dòng))和自底向上[8](數(shù)據(jù)驅(qū)動(dòng))．早期顯著性檢測(cè)模型的研究主要集中于人的視覺(jué)注意機(jī)制,最早的顯著性檢測(cè)模型由文獻(xiàn)[10]受生物模型啟發(fā)提出自底向上的顯著性模型，文獻(xiàn)[11]提出頻率域的計(jì)算方法,通過(guò)計(jì)算圖像在頻率域的冗余部分和變化部分得到圖像的顯著圖.文獻(xiàn)[12]從頻域角度出發(fā),提出一種基于全局對(duì)比度的顯著區(qū)域檢測(cè)算法，該算法首先對(duì)輸入圖像進(jìn)行高斯濾波,然后將濾波后的圖像中的每個(gè)像素值和整幅圖像的平均像素值之間的歐幾里得空間距離作為該像素的顯著值度量.頻率域的計(jì)算模型簡(jiǎn)單易于實(shí)現(xiàn)并且計(jì)算效率高,但過(guò)分強(qiáng)調(diào)圖像的邊緣且頻率域與空域之間的轉(zhuǎn)換圖像會(huì)丟失一部分信息,所以得到的顯著圖比較模糊.近年來(lái),文獻(xiàn)[13-14]通過(guò)圖像底層和中層視覺(jué)信息結(jié)合貝葉斯理論,將顯著性問(wèn)題轉(zhuǎn)換為概率計(jì)算問(wèn)題.基于貝葉斯模型的顯著性算法通過(guò)凸包進(jìn)行圖像目標(biāo)區(qū)域定位,由于凸包選定的目標(biāo)不夠精確,含有較多背景區(qū)域,最終的檢測(cè)結(jié)果不夠準(zhǔn)確,算法的適應(yīng)性較差．文獻(xiàn)[15]提出一種基于稀疏距離樣本和聯(lián)合上采樣的顏色距離顯著性檢測(cè)方法,利用快速全局平滑器的邊緣保持平滑和聯(lián)合上采樣能力，且計(jì)算運(yùn)行時(shí)間短，顯著性檢測(cè)的準(zhǔn)確度有所提高,但是對(duì)于復(fù)雜背景圖像檢測(cè)效果不是很明顯．文獻(xiàn)[16]根據(jù)像素到像素的對(duì)應(yīng)關(guān)系提出一種對(duì)象感知方法,通過(guò)學(xué)習(xí)每個(gè)所選鑒別網(wǎng)格單元的分類器,在語(yǔ)義約束下指導(dǎo)每個(gè)像素的定位.從語(yǔ)義到低級(jí)估計(jì)每個(gè)像素的對(duì)應(yīng)關(guān)系．文獻(xiàn)[17]利用新穎的圖形結(jié)構(gòu)和背景先驗(yàn),提出一種無(wú)監(jiān)督的顯著性檢測(cè)方法，利用新的圖形結(jié)構(gòu)刪除錯(cuò)誤的邊界種子提高檢測(cè)性能．文獻(xiàn)[18]提出基于弱監(jiān)督學(xué)習(xí)的自主學(xué)習(xí)顯著性檢測(cè)方法,用人工標(biāo)記的基礎(chǔ)事實(shí)進(jìn)行監(jiān)督學(xué)習(xí)．文獻(xiàn)[19]引入流形排序(manifold ranking，MR)算法,將顯著性問(wèn)題通過(guò)排序函數(shù)求解,利用前景和背景的超像素形成一個(gè)閉環(huán)圖,以超像素作為圖中的節(jié)點(diǎn),并用MR算法比較背景和前景的相似度進(jìn)行排序，進(jìn)而得到最終顯著圖，但由于默認(rèn)圖像邊界為背景，對(duì)于顯著目標(biāo)位于圖像邊緣的情況,檢測(cè)效果不理想．

針對(duì)上述問(wèn)題,對(duì)傳統(tǒng)基于圖的流形排序顯著性檢測(cè)算法進(jìn)行改進(jìn),所提算法分為兩步.第一步:對(duì)原圖像進(jìn)行超像素分割，得到4種不同尺度的圖像,然后提取4種不同尺度圖像的多特征進(jìn)行上、下、左、右4個(gè)邊界的顯著性計(jì)算;分別將不同尺度下的4個(gè)邊界顯著圖融合計(jì)算，得到不同尺度的顯著圖;最后將不同尺度的顯著圖進(jìn)行加權(quán)融合，得到粗略顯著圖;第二步:將第一步中粗略顯著圖通過(guò)多核融合得到粗略顯著圖的互補(bǔ)顯著圖．融合粗略顯著圖和互補(bǔ)顯著圖得到最終的顯著圖．

1 基于改進(jìn)排序的顯著性區(qū)域檢測(cè)算法

基于改進(jìn)排序的顯著性區(qū)域檢測(cè)算法流程圖如圖1.與傳統(tǒng)利用圖的流形排序進(jìn)行顯著性檢測(cè)算法不同的是,文中算法首先對(duì)輸入圖像進(jìn)行超像素分割得到4種不同尺度圖像,提取4種不同尺度圖像的顏色特征Lab,顏色特征RGB和紋理特征LBP(local binary patterns),根據(jù)上述3種特征分別計(jì)算各個(gè)尺度圖像的上、下、左、右4個(gè)方向的邊界顯著圖,分別對(duì)各個(gè)尺度圖像的4個(gè)方向的邊界顯著圖進(jìn)行融合得到各個(gè)尺度的顯著圖;融合4種尺度的顯著圖得到弱顯著圖;然后通過(guò)多核提升(multiple kernel boosting,MKB)算法學(xué)習(xí)來(lái)自輸入圖像的樣本進(jìn)行強(qiáng)分類,以檢測(cè)顯著像素.最后通過(guò)優(yōu)化算法進(jìn)一步提高檢測(cè)性能．

圖1 算法流程Fig.1 Algorithm flow chart

1.1 改進(jìn)的流形排序顯著性算法

流形排序算法[20]以圖模型來(lái)模擬數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu),所有的數(shù)據(jù)點(diǎn)通過(guò)這個(gè)圖模型來(lái)將它們的排序值傳播給鄰接點(diǎn),直到排序值收斂到穩(wěn)定狀態(tài).具體算法描述如下:

給定一組點(diǎn)的數(shù)據(jù)集X={x1,x2,x3，…,xn}?Rm*n，m為特征維數(shù),n為點(diǎn)的個(gè)數(shù),其中包含了已標(biāo)記的查詢數(shù)據(jù)和待排序的未標(biāo)記數(shù)據(jù).令向量Y={y1,y2,y3,…,yn}T表示數(shù)據(jù)的標(biāo)記情況,其中當(dāng)yi=1時(shí)表示對(duì)應(yīng)的數(shù)據(jù)xi為查詢數(shù)據(jù),當(dāng)yj=0時(shí)表示數(shù)據(jù)xj為待排序的未標(biāo)記數(shù)據(jù).每個(gè)待排序的未標(biāo)記數(shù)據(jù)xi的排序值fi由函數(shù)F:X→Rn確定.在數(shù)據(jù)集上定義一個(gè)圖G=(V,E),圖的結(jié)點(diǎn)V是數(shù)據(jù)集X,圖的邊緣E由關(guān)聯(lián)矩陣W=[wij]n×n確定.計(jì)算圖的度矩陣D=diag{d11,…,dnn},其中dii=∑wij,由于傳統(tǒng)的流形排序算法采用單一特征計(jì)算wij,文中算法對(duì)其進(jìn)行改進(jìn),采用多特征計(jì)算wij,效果要優(yōu)于單一特征.具體改寫公式如下:

(1)

式中：i,j∈V,dk(ci,cj)為特征空間中的超像素ci和cj之間的歐式距離,即分別為RGB(F1),CIELab(F2)顏色特征和LBP(F3)紋理特征.σ為控制邊權(quán)重的常數(shù),根據(jù)顏色空間中的距離計(jì)算權(quán)重．

對(duì)于給定的查詢對(duì)象的排序得分可以通過(guò)公式(2)得到:

(2)

式中：參數(shù)u為控制平滑約束(第一項(xiàng))和擬合約束(第二項(xiàng))之間的平衡；fi為節(jié)點(diǎn)的排序值.文獻(xiàn)[19]中已經(jīng)證明流形排序函數(shù)f*最終可表示為:

f*=(D-αW)-1Y

(3)

式中：參數(shù)α=1/(1+u)決定了平滑約束(smoothness constraint)和適應(yīng)性約束(sitting constraint)的權(quán)重比例．

(4)

式中：N為節(jié)點(diǎn)總數(shù),由此可得到使用上邊界先驗(yàn)的顯著圖Si.類似的,可以計(jì)算出使用下、左、右邊界的節(jié)點(diǎn)作為背景種子點(diǎn)的顯著圖Sb、Sl、Sr，4個(gè)顯著圖融合得到不同尺度下的顯著圖,融合4種不同尺度的顯著圖得到弱顯著圖Sweaksal:

(5)

式中：Sfz為一個(gè)尺度下融合4個(gè)邊界的顯著圖；Sf1為超像素分割數(shù)為100時(shí)顯著圖；Sf2為超像素分割數(shù)為150時(shí)顯著圖；Sf3為超像素分割數(shù)為200時(shí)顯著圖；Sf4為超像素分割數(shù)為250時(shí)顯著圖．

文獻(xiàn)[19]中使用流形排序算法進(jìn)行顯著性檢測(cè),其采用單一的CIELab顏色特征檢測(cè)和單一超像素尺度,文中采用多尺度和多特征對(duì)其進(jìn)行改進(jìn),算法改進(jìn)前后的對(duì)比如圖2．

圖2 算法前后對(duì)比Fig.2 Comparison example before and after algorithm improvement

1.2 多核提升(MKB)的改進(jìn)顯著圖

(6)

式中：βm為核權(quán)重；M為弱分類器的數(shù)量,M=Nf×Nk，Nf為特征的數(shù)量,Nk為內(nèi)核的數(shù)量(Nf為3,Nk為4)．

對(duì)于不同的特征集,決策函數(shù)被定義為：

(7)

式中：α=[α1l1,α2l2,…,αHlH]T，

km(r)=[km(r,r1),km(r,r2),…,km(r,rH)]T,

通過(guò)文獻(xiàn)[18]的證明可知,決策函數(shù)最終被定義為:

(8)

Sstrong=1/4·(Sstm1+Sstm2+Sstm3+Sstm4)

(9)

由于弱顯著性和強(qiáng)顯著性具有互補(bǔ)性[18],所以對(duì)于弱顯著圖和強(qiáng)顯著圖進(jìn)行加權(quán)整合,得到最終的顯著性結(jié)果Sfinal,如圖3.

Sfinal=σSstrong+(1-σ)Sweksal

(10)

式中：σ為組合平衡因子,σ=0.7(文獻(xiàn)[18]中已經(jīng)證明)．

圖3 最終顯著性圖對(duì)比Fig.3 Saliency maps

2 實(shí)驗(yàn)結(jié)果與分析

文中實(shí)驗(yàn)平臺(tái)為2.30 GHz CPU,8 GB內(nèi)存的計(jì)算機(jī),采用Matlab(R2016b)實(shí)現(xiàn).所提算法與當(dāng)前主流的13和算法:SF[22],AC[23],SR[24],HDCT[25],PCA[26],GS[27],LMLC[14],FT[12],RBD[28], MR[20],GMR[19],BSCA[29],BL[18]在公開(kāi)數(shù)據(jù)集MSRA1000、PASCAL-S、ECSSD上進(jìn)行對(duì)比.MSRA1000是微軟提供的MSRA數(shù)據(jù)庫(kù),其圖像簡(jiǎn)單,單目標(biāo),但被廣泛應(yīng)用于比較.PASCAL-S數(shù)據(jù)集包含850幅圖片,數(shù)據(jù)集來(lái)源PASCALVOC,不存在顏色的先驗(yàn)信息.ECSSD數(shù)據(jù)集包含1 000幅圖像,是對(duì)CSSD的擴(kuò)展,圖像背景復(fù)雜,存在多個(gè)顯著性物體．3個(gè)數(shù)據(jù)集均由人工精確標(biāo)注顯著目標(biāo)．文中從客觀性能評(píng)價(jià)和主觀性能評(píng)價(jià)兩個(gè)方面對(duì)所提算法的性能進(jìn)行測(cè)試.客觀性能評(píng)價(jià)為通過(guò)準(zhǔn)確率(P)、召回率(R),算法綜合指標(biāo)(F)和與其他13種算法進(jìn)行評(píng)估.在實(shí)驗(yàn)中,對(duì)于一幅顯著圖Sfinal,將Sfinal通過(guò)閾值Tf∈[0,255]依次調(diào)整進(jìn)行二值化,得到二值圖M,GT表示Ground-truth.根據(jù)公式(10、11)計(jì)算準(zhǔn)確率和召回率，值由公式(12)計(jì)算得到．

(10)

(11)

(12)

與文獻(xiàn)[10，20]一致,其中β取值為0.3.圖4～6為所提算法和其他算法分別計(jì)算準(zhǔn)確率-召回率,綜合指標(biāo)的對(duì)比結(jié)果圖．

圖4是各種算法在MSRA1000數(shù)據(jù)集上的對(duì)比結(jié)果,可以發(fā)現(xiàn)文中算法在準(zhǔn)確率-召回率與RBD算法較為接近,遠(yuǎn)高于MR、GMR,BL等算法.

通過(guò)圖7(a)可以發(fā)現(xiàn)文中算法在準(zhǔn)確率要優(yōu)于GS、HDCT、GMR等算法,與BSCA、BL算法較為接近,且綜合指標(biāo)遠(yuǎn)高于其他12種算法．

圖5是各種算法在ECSSD數(shù)據(jù)集上的對(duì)比結(jié)果,可以發(fā)現(xiàn)在復(fù)雜背景下，文中算法的準(zhǔn)確率接近或優(yōu)于目前流行的顯著性檢測(cè)算法,與HDCT算較為接近,但是文中在召回率遠(yuǎn)高于HDCT算法，檢測(cè)效果也遠(yuǎn)高于對(duì)比的其他12種算法.由圖7(b)柱狀圖可以發(fā)現(xiàn)文中算法在復(fù)雜背景下檢測(cè)效果略好于BSCA和GMR算法,且高于HDCT算法.由于ECSSD數(shù)據(jù)集中多為復(fù)雜背景圖像和多目標(biāo)圖像,所以檢測(cè)效果略低于MSRA1000數(shù)據(jù)集．

圖4 MSRA1000數(shù)據(jù)集上PR曲線的比較Fig.4 Comparison of PR curve on MSRA 1000

圖5 ECSSD數(shù)據(jù)集上的PR曲線的比較Fig.5 Comparison of PR curve on ECSSD

圖6是各種算法在PASCAL-S數(shù)據(jù)集上的對(duì)比結(jié)果,可以發(fā)現(xiàn)文中算法的準(zhǔn)確率-召回率與RBD算法接近,優(yōu)于其他12種對(duì)比的算法(圖7(c))．

圖6 PASCAL-S數(shù)據(jù)集上的PR曲線比較Fig.6 Comparison of PR curve on PASCAL-S

文中算法與上述13種算法的視覺(jué)效果比較,如圖8，可以看出文中算法對(duì)比度更好，且具有很好的視覺(jué)效果,能夠很好的抑制圖像背景區(qū)域并且清晰突顯著區(qū)域,與真值圖非常接近．通過(guò)直觀效果可以發(fā)現(xiàn)與文中算法顯著圖最接近的是HDCT、GMR、BL和BSCA算法,但是文中算法顯著圖比HDCT和BL更加平滑,能夠更好的抑制背景,檢測(cè)的輪廓更加完整.同時(shí),BSCA算法對(duì)于復(fù)雜背景圖像的檢測(cè)不如文中算法檢測(cè)的完整．

圖7 與其他算法比較的準(zhǔn)確率、召回率和算法綜合指標(biāo)的柱狀圖Fig.7 Comparision of PR curve and F-measurewith other methods

圖8 各種算法的顯著性對(duì)比圖Fig.8 Comparison of saliency map

3 結(jié)論

文中基于改進(jìn)流行排序算法的顯著性區(qū)域檢測(cè),將圖像分割成4種不同的超像素尺度,并根據(jù)圖像的RGB,CIELab的顏色特征和LBP紋理特征分別計(jì)算4種尺度圖像的上、下、左、右4個(gè)方向的邊界顯著圖,分別融合不同尺度圖像的4個(gè)方向的邊界顯著圖得到相應(yīng)不同尺度圖像顯著圖,融合4種尺度圖像的顯著圖得到弱顯著圖;然后根據(jù)弱顯著圖以生成強(qiáng)模型的訓(xùn)練樣本,通過(guò)多核提升算法學(xué)習(xí)來(lái)自輸入圖像的樣本進(jìn)行強(qiáng)分類,以檢測(cè)顯著像素;最后綜合多尺度顯著圖進(jìn)一步提高檢測(cè)性能,并進(jìn)行優(yōu)化處理得到最終的顯著圖，從而解決了基于圖的流行排序算法相關(guān)顯著性檢測(cè)算法對(duì)與檢測(cè)的顯著目標(biāo)不完整且不能更好的抑制背景的問(wèn)題.在公開(kāi)數(shù)據(jù)集MSRA1000、ECSSD和PASCAL-S上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,所提算法不僅能夠得到較好的視覺(jué)效果,而且召回率、準(zhǔn)確率和算法綜合指標(biāo)等評(píng)價(jià)指標(biāo)優(yōu)于或接近于流行的顯著性檢測(cè)算法,尤其對(duì)于復(fù)雜背景圖像的檢測(cè),其檢測(cè)結(jié)果都優(yōu)于目前流行的顯著性檢測(cè)算法．但該算法在復(fù)雜背景檢測(cè)方面還存在不足,還有待進(jìn)一步提高．下一階段工作將會(huì)對(duì)提高復(fù)雜背景圖像檢測(cè)準(zhǔn)確率進(jìn)行研究改進(jìn)．