呂建勇 唐振民

?

一種基于圖的流形排序的顯著性目標檢測改進方法

呂建勇*唐振民

(南京理工大學計算機科學與工程學院 南京 210094)

該文針對現(xiàn)有的基于圖的流形排序的顯著性目標檢測方法中僅使用-正則圖刻畫各個節(jié)點的空間連接性的不足以及先驗背景假設(shè)過于理想化的缺陷，提出一種改進的方法，旨在保持高查全率的同時，提高準確率。在構(gòu)造圖模型時，先采用仿射傳播聚類將各超像素(節(jié)點)自適應地劃分為不同的顏色類，在傳統(tǒng)的-正則圖的基礎(chǔ)上，將屬于同一顏色類且空間上位于同一連通區(qū)域的各個節(jié)點也連接在一起；而在選取背景種子點時，根據(jù)邊界連接性賦予位于圖像邊界的超像素不同的背景權(quán)重，采用圖割方法篩選出真正的背景種子點；最后，采用經(jīng)典的流形排序算法計算顯著性。在常用的MSRA-1000和復雜的SOD數(shù)據(jù)庫上同7種流行算法的4種量化評價指標的實驗對比證明了所提改進算法的有效性和優(yōu)越性。

顯著性目標檢測；改進的圖模型；流形排序；邊界連接性；連通區(qū)域

1 引言

人眼具備的獨特的視覺注意機制能夠有效地指導人們發(fā)現(xiàn)場景中最具吸引力的重要區(qū)域。而如何模擬這種視覺注意機制，使計算機視覺也具備類似的能力，正是顯著性的研究目標。由于顯著性結(jié)果可很好地服務于各種應用，如目標檢測與識別[1]、基于視頻縮放[2]、場景文字自動定位[3]等，從上世紀80年代起，認知心理學、神經(jīng)生理學以及計算機視覺等領(lǐng)域的專家對顯著性展開了廣泛、深入的研究[4]。

Itti等人[5]將視覺注意機制劃分為兩個階段：快速的、下意識的、自底向上的、數(shù)據(jù)驅(qū)動的顯著性提取，以及慢速的、任務依賴的、自頂向下的、目標驅(qū)動的顯著性搜索。相應地，研究者們將顯著性方法劃分為自底向上和自頂向下兩大類[6]。而從顯著性的發(fā)展過程以及最終的應用方向上考慮，又可將其分為視覺關(guān)注點預測[7]和顯著性目標檢測兩類[8]，前者傾向于捕獲圖像中最具吸引力的關(guān)鍵點；而后者追求完整、均勻地突出整個目標，這正是本文研究的內(nèi)容。

多數(shù)顯著性目標檢測方法簡單地利用某圖像區(qū)域的顏色、梯度、邊緣、紋理等低層特征在局部或者全局的獨特性進行計算。文獻[9]構(gòu)建多尺度局部雙層窗口，并在全局范圍內(nèi)滑動，將內(nèi)外窗口中所含像素點的顏色差異作為顯著性度量。文獻[10]提出了頻域調(diào)諧(Frequency-Tuned, FT)算法，在對圖像進行高斯平滑后，通過計算某像素點的顏色與原圖像的平均顏色之間的距離獲取顯著性。與上述直接利用顏色特征不同，文獻[11]提出使用稀疏直方圖簡化顏色表述，利用基于圖的分割方法將圖像劃分為多個區(qū)域后，計算區(qū)域間的顏色對比度，并進行顏色平滑和空間距離加權(quán)，實現(xiàn)了經(jīng)典的區(qū)域?qū)Ρ榷?regional contrast)顯著性算法。僅利用顏色特征，在面對較復雜場景時，效果不佳。于是一些方法綜合考慮顏色與空間信息，比如文獻[12]提出的上下文感知(Context-Aware, CA)方法，但其容易在物體邊界處產(chǎn)生高顯著值；而文獻[13]結(jié)合了局部區(qū)域間的顏色與空間距離以及形狀特征，通過能量最小化模型，提取顯著性目標；文獻[14]則在RC的基礎(chǔ)上，利用軟分割方式對圖像顏色聚類，并充分考慮各顏色類的空間分布，改進了RC方法的顯著性結(jié)果，但其處理紋理圖像時，存在不足。

一些利用先驗前景或者背景假設(shè)的方法取得了明顯的進步。文獻[15]提取圖像中的關(guān)鍵點構(gòu)造凸包(convex hull)，將其圍成的區(qū)域作為粗略的前景目標范圍，通過貝葉斯框架計算顯著性。而文獻[16]認為大部分位于圖像邊界的區(qū)域?qū)儆诒尘埃⒗脺y地線距離度量各圖像塊與先驗背景之間的差異，作為顯著性。但實際上有時部分目標也會接觸到圖像邊界。針對此問題，文獻[17]利用各區(qū)域的周長與面積的比值，設(shè)計了一種更為魯棒的背景估計方式，稱為邊界連接性；而文獻[18]利用選擇性背景優(yōu)先的顯著性方法對背景的真實性進行較為精確的判斷；文獻[19]則提出了一種層次先驗估計策略，綜合考慮了先驗背景與前景的分布情況，并提出了基于連通區(qū)域的交互優(yōu)化改善估計結(jié)果。

近年來，基于圖模型的顯著性方法有著很高的檢測準確率。文獻[20]將位于圖像邊界的超像素作為吸收節(jié)點，利用吸收馬爾可夫鏈(absorbing Markov chain)檢測顯著性。而基于圖的流形排序(Manifold Ranking, MR)的顯著性方法[21]則將超像素作為圖模型中的節(jié)點，構(gòu)造k-正則圖；選取背景種子點后，將顯著性檢測轉(zhuǎn)化為其余節(jié)點與這些種子點之間的相似度流形排序；然后將得到的初始顯著圖閾值分割，選取前景種子點，再利用流形排序的思想進行加強，得到最終的顯著圖。但該方法的背景假設(shè)過于理想化，與文獻[20]相同，僅不加區(qū)分地將圖像邊界處的超像素作為背景種子點，當較大面積的真正顯著性目標接觸到圖像邊界時，算法容易失效。此外，該方法采用k-正則圖刻畫各節(jié)點間的空間連接性，有時并不能很好地描述屬于同一個顯著性目標內(nèi)部多個節(jié)點之間的空間相關(guān)性。

針對上述兩種缺陷，本文提出了改進的策略：在構(gòu)建圖模型時，在k-正則圖的基礎(chǔ)上，將屬于同一顏色類且空間位置上位于同一連通區(qū)域的各個節(jié)點也進行連接，以便于更加一致、均勻地突出整個目標；而在選取背景種子點時，利用文獻[17]所提的邊界連接性度量位于圖像邊界的超像素屬于背景的概率，進而篩選出真正的背景種子點。本文的內(nèi)容組織如下：第2節(jié)主要介紹了經(jīng)典的基于圖的流形排序顯著性目標檢測方法模型；第3節(jié)詳細闡述了本文方法的改進之處；第4節(jié)為實驗結(jié)果分析；第5節(jié)是結(jié)論。

2 經(jīng)典的基于圖的流形排序顯著性方法

經(jīng)典的基于圖的流行排序顯著性方法流程如圖1所示，其基礎(chǔ)是構(gòu)建圖模型。

圖1 文獻[21]所提MR方法的流程圖

定義一個圖模型=(,)，其中為所有節(jié)點的集合，表示節(jié)點之間的邊?；趫D的流形排序問題可簡單描述如下[21,22]：定義圖中某些節(jié)點為查詢對象(query)，而圖中剩余節(jié)點根據(jù)其與查詢對象之間的相關(guān)性進行排序。具體而言，給定一組數(shù)據(jù)集,為這些數(shù)據(jù)的個數(shù)，為特征維數(shù)，其中某些數(shù)據(jù)被標記為查詢對象。定義排序函數(shù):R，其作用是相對于查詢對象給每個數(shù)據(jù)x分配相應的排序得分，這里可以將看成是一個向量。同時，定義指示向量，其中當x是查詢對象時，y=1，否則y=0。這組數(shù)據(jù)對應圖模型=(,)，其邊權(quán)重由關(guān)聯(lián)矩陣表示。而對應的度矩陣為=diag{11,12,,d}，那么對于給定的查詢對象的排序評分可通過求解式(1)所示的最優(yōu)化問題獲得[21]：

其中第個元素的d=，參數(shù)用于平衡第1項的平滑約束和第2項的擬合約束條件。

將式(1)對求導并令其等于0，得到最優(yōu)解。排序函數(shù)的最終優(yōu)化結(jié)果用矩陣的形式可表達為

(2)

(3)

將流形排序用于顯著性檢測時，首先需要對圖像建立圖模型，然后選取顯著性種子點，而圖中每個節(jié)點的顯著程度通過其相對于種子點的排序得分來度量。其中圖模型的建立至關(guān)重要。文獻[21]采用SLIC(Simple Linear Iterative Clustering)方法[23]將圖像分解為超像素表示(SLIC綜合考慮像素間的顏色和距離的相似性，將彼此相鄰且顏色接近的像素聚集為局部小區(qū)域)，然后將超像素作為圖中的節(jié)點(如圖2(a)中被分割成的局部小區(qū)域所示)，構(gòu)造-正則圖，即圖中每個節(jié)點的度均相同。具體而言，，如圖2(a)所示，每個節(jié)點不僅和其空間上鄰接的節(jié)點(藍色)相連，那些與該節(jié)點的鄰接節(jié)點共享同一個超像素邊界的節(jié)點(黃色)也相連。此外，文獻[21]還將圖像4個邊界處的所有節(jié)點兩兩之間進行連接(見圖2(a))。而兩個節(jié)點之間的邊權(quán)重定義為

c和c表示超像素和在CIELab顏色空間的平均顏色之間的歐式距離；控制邊權(quán)重的變化程度，實驗時取值為10。

接著文獻[21]將顯著性檢測分為兩個階段。第1階段選取圖像4個邊界處的超像素為背景種子點，即查詢對象，以圖像上邊界處的查詢對象Q為例，按式(3)計算圖中節(jié)點相對于Q的排序得分，那么節(jié)點相對于Q的顯著性為

節(jié)點相對于下、左、右邊界處的查詢對象的顯著性S(),S(),S()也可通過類似式(5)的公式計算。而節(jié)點最終第1階段的顯著性為

計算所有節(jié)點的顯著性后得到第1階段的顯著圖S(見圖2(b))。接著采用自適應閾值分割方法分割S，得到前景種子點，即第2階段的查詢對象，按式(3)計算圖中節(jié)點相對于這些查詢對象的排序得分，得到節(jié)點的第2階段，即最終的顯著性：

將所有節(jié)點的顯著性標準化為[0,1]，最終的顯著圖見圖2(c)。觀察可知，其顯著性效果并不理想，接觸到圖像下邊界的真正目標顯著性缺失，反而突出了背景。

3 本文的改進方法

本文改進方法的流程圖如圖3所示，主要改進了圖模型的構(gòu)建以及背景種子點的篩選過程。

圖2 文獻[21]所提MR方法的圖模型和顯著圖結(jié)果

圖3 本文方法的流程圖

3.1改進的圖模型

文獻[21]所提MR方法雖然使用-正則圖(類似于局部平滑操作)很好地刻畫每個節(jié)點與其周邊節(jié)點的空間關(guān)系，但實際上如果將同類的(homogenous)且空間上又屬于同一個連通區(qū)域的節(jié)點在圖模型中也連接在一起，能更加合理、準確地描述節(jié)點之間的相關(guān)性；并且在給定查詢對象進行流形排序時，這些同類的節(jié)點也能取得更加一致的排序得分，對于目標能更加均勻地突出，對于背景能更加有效地抑制。

于是，本文在利用SLIC方法[23]將圖像分解為超像素表示的基礎(chǔ)上，采用仿射傳播聚類(Affinity Propagation Clustering, APC)[24]將超像素按顏色聚集為不同的區(qū)域。APC不同于傳統(tǒng)的k-means方法，其無需預設(shè)分類數(shù)目，將所有超像素作為潛在聚類中心，根據(jù)各超像素間的相似性，采用貪心策略不斷迭代更新每一個超像素的吸引度和歸屬度，自適應產(chǎn)生若干聚類中心，相比而言，更加適用于復雜多變的各種場景下的分類任務。與文獻[18]相似，APC方法中超像素和之間的相似度定義為

在APC過程中很有可能將空間上相距較遠且彼此之間沒有連通性的區(qū)域也劃分在同一個顏色類之中，而本文的圖模型需要刻畫的是鄰近的同類區(qū)域中各節(jié)點(超像素)之間的相關(guān)性，因此，這里引入連通區(qū)域的概念。所謂連通區(qū)域，是指同屬于一個顏色類且空間上聚集在某一個區(qū)域的超像素的集合，而其中的超像素之間可通過鄰接超像素到達彼此。以圖2(a)中的圖像為例，采用APC方法的分類結(jié)果如圖4(a)所示，共分為9個顏色類。前景雕像所在的類中各超像素比較集中，在空間上同屬一個連通區(qū)域，見圖4(b)；而某個背景云朵所在類中，各超像素較分散，共包含6個連通區(qū)域，有的連通區(qū)域僅含1個超像素，見圖4(c)。

這些位于某一連通區(qū)域的超像素有較大概率共同屬于前景目標或者背景。因此，本文在保留MR方法構(gòu)造的-正則圖基礎(chǔ)上，將同屬一個連通區(qū)域的超像素之間也進行連接。接著將式(4)定義的兩個節(jié)點之間的邊權(quán)重調(diào)整為

其中C和C是節(jié)點和所屬連通區(qū)域在CIELab顏色空間的取值，即為其中包含的所有超像素的平均顏色；是平衡系數(shù)，取值為0.5；實驗時，。

按式(9)調(diào)整邊權(quán)重會使屬于同一連通區(qū)域的節(jié)點之間的關(guān)聯(lián)性更強，邊權(quán)重更大；而分屬不同顏色類下不同連通區(qū)域的節(jié)點間的邊權(quán)重被削弱；比式(4)的邊權(quán)重設(shè)定更有區(qū)分性，也更符合人類視覺上的直觀感知。

3.2改進的背景種子點篩選

MR方法的另一個缺點是在計算第1階段的顯著性時，僅簡單地將圖像邊界處的超像素作為背景種子點，如圖5(a)所示。雖然文獻[16]經(jīng)過對大量圖像的分析給出了統(tǒng)計性證明，文獻[20]也采用了相同的假設(shè)，但當前景目標有較大部分接觸到圖像邊界時，MR方法效果不佳，如圖2(b)和圖2(c)所示。

圖4 APC方法結(jié)果及連通區(qū)域示例

圖5 MR方法和本文方法的背景種子點對比

受文獻[17]所提邊界連接性概念的啟發(fā)，本文在對其進行改進的基礎(chǔ)上，篩選出有較大概率屬于真正背景的超像素作為背景種子點。

假設(shè)圖像被劃分為若干個較大的區(qū)域，那么區(qū)域的邊界連接性定義為[17]

其中w為超像素中所含像素點數(shù)目；與文獻[16]相同，當超像素中像素點與圖像邊界的最短距離小于10個像素，就認為接觸到圖像邊界，即;為指示函數(shù)，當滿足時，=1，否則為0。相應地，類的面積為

實際上，正如文獻[18]所述，屬于前景目標的類中超像素分布較為集中，而背景類中的超像素比較分散和雜亂，因此，本文并不直接將式(11)和式(12)代入式(10)中計算，而是將類間相對空間離散程度加入到邊界連接性的度量中。假設(shè)圖像共劃分為個顏色類，類中含有個超像素，類相對于其余所有類的空間離散程度為

s為超像素的空間位置，為第個類空間聚類中心，有

融合式(11)~式(13)的結(jié)果，得到改進的邊界連接性：

某類的邊界連接性越大，其屬于背景的概率越高。和文獻[17]類似，將邊界連接性轉(zhuǎn)化為背景概率，超像素的背景概率為

圖5(b)為本文方法產(chǎn)生的背景概率圖，接觸到圖像下邊界的雕像部分的背景概率較低。采用圖割方法[25]對其分割后的結(jié)果見圖5(c)，成功地將這部分超像素排除在背景之外。最后，本文選取位于圖像邊界處且背景概率值較低的超像素作為真正的背景種子點，見圖5(d)。需要注意的是，在確保目標部分的超像素不被錯選為背景種子點時，本文也會將個別真正屬于背景的超像素漏選，但這并不影響后續(xù)的顯著性計算，因為這些漏選的背景超像素與背景種子點更加相似，在流形排序時會賦予其與背景種子點更加一致的排序得分。

3.3生成顯著圖

在構(gòu)造改進的圖模型和篩選出真正的背景種子點后，按式(3)、式(5)、式(6)計算每個超像素在第1階段的顯著性，標準化為[0,1]，得到第1階段的顯著圖，見圖6(a)。與圖2(b)中MR方法第1階段的顯著圖相比，本文方法的效果有明顯改進，賦予了真正的目標更高的顯著值，各種背景的顯著值明顯降低。

接著，在計算第2階段的顯著性時，本文先采用圖割(graph cuts)方法[25]分割第1階段的顯著圖，獲取前景種子點。圖割將圖像分割問題與圖的最小割問題相關(guān)聯(lián)，即圖像分割轉(zhuǎn)化為像素標記問題，而這個過程通過最小化能量函數(shù)得到：

表示標記的集合，對于超像素，即圖中的節(jié)點，有。表示圖中所有的節(jié)點集合，為超像素的空間鄰接節(jié)點集合。p為在第1階段的顯著圖中取值，區(qū)域項定義為

而對應的邊界項定義為

圖割后，選取前景種子點，按式(7)計算，第2階段，即最終的顯著圖見圖6(b)。其中真正的目標被準確、完整、均勻地凸顯；MR方法中錯誤凸顯的云朵背景(見圖2(c))在圖6(b)中的顯著值極低；本文結(jié)果與真實值(Ground Truth, GT)更加接近，見圖6(c)。

4 實驗結(jié)果與分析

本文在兩個經(jīng)典的顯著性目標檢測數(shù)據(jù)集MSRA-1000和SOD上進行對比實驗。MSRA- 1000[10]被廣泛使用，共包含1000幅大小為300×400左右的圖像，雖然其中目標的種類變化多樣，但大多數(shù)僅含單個目標，且目標與背景差異較為明顯。SOD數(shù)據(jù)集雖然僅含300幅大小為480×320左右的圖像，但其較為復雜，有些圖像含有較多目標，且目標之間差異性強，有時目標混雜于背景，被公認為十分具有挑戰(zhàn)性[20]。這兩個數(shù)據(jù)集都給出了人工標注的真實值，以便于主觀和客觀的性能評價。經(jīng)典的顯著性方法較多[8]，限于篇幅，本文選取了近年來極具代表性的以及和本文方法有相關(guān)性的共7種方法進行比較，包括：FT[10], RC[11], CB[13], GC[14], BS[15], GS-SP[16]和MR[21]。

P-R曲線(Precision-Recall curve)[10,11]是最常用的評價顯著性目標檢測算法優(yōu)劣的指標。準確率(Precision)表示算法給出的屬于真正目標的部分占算法給出的所有顯著性目標的比例；而查全率(Recall)則是指算法給出的屬于真正目標的部分占人工標注的真正目標的比例。各種方法的P-R曲線見圖7，本文方法在該指標上的表現(xiàn)明顯優(yōu)于其余方法。在MSRA-1000數(shù)據(jù)庫上，當查全率位于區(qū)域[0,0.96]時，本文方法的準確率一直是所比較的算法中最高的，當查全率小于0.85時，本文算法的準確率保持在0.97左右。雖然當查全率大于0.96時，本文算法的準確率略低于GS-SP，但在其余的查全率取值處，本文算法的準確率遠高于GS-SP。與MR 方法相比，本文算法的準確率也有明顯提升，證明了本文算法所做改進的有效性。在SOD數(shù)據(jù)庫上，也有類似的表現(xiàn)。雖然由于SOD的復雜性導致各算法在P-R曲線上的結(jié)果遠小于MSRA-1000數(shù)據(jù)庫，但本文算法依然保持最高的準確率。

F-measure是另一個重要的量化性能評價指標，其計算公式為

圖6 本文改進方法產(chǎn)生的顯著圖

圖7 本文方法和7種經(jīng)典顯著性方法的P-R曲線圖的對比結(jié)果

圖8 本文方法和7種經(jīng)典顯著性方法的F-measure vs T曲線圖的對比結(jié)果

表1 各方法的最高F-measure和對應的閾值T

接著，本文使用自適應閾值分割策略[10,11](閾值自動設(shè)置為圖像平均顯著值的2倍)比較分割后的平均準確率、查全率和F-measure，結(jié)果見圖9。自適應閾值分割后，本文的F-measure在MSRA-1000數(shù)據(jù)集上高達0.925，在SOD數(shù)據(jù)集上高達0.646，均是所有算法中最高的。圖9(a), 9(b)中，本文方法的準確率高于MR方法，但查全率卻略低。這是因為本文所提改進的圖模型和背景種子點篩選，會盡量準確地凸顯真正的顯著性目標，但如果目標包含多個差異較大的顏色類，本文方法在選擇第2階段的前景種子點時，很有可能會遺漏部分目標區(qū)域，導致這部分顯著值略低，造成查全率下降。

上述3種評價指標將目光集中在被正確標記為真正目標的圖像區(qū)域，而沒有考慮那些被正確標記為背景的區(qū)域，因此，文獻[14]使用平均絕對誤差(Mean Absolute Error, MAE)指標來度量顯著圖和人工標注的真實值(GT)之間更加全面的相似性：

,分別為圖像長和寬。各方法的MAE柱狀圖見圖10。本文方法在MSRA-1000和SOD數(shù)據(jù)集上的MAE值都是最小的，分別僅為0.073和0.238。說明了本文方法的顯著圖在整體上(包括目標和背景)與真實值最為一致。值得注意的是，在SOD數(shù)據(jù)集上，本文算法的MAE值明顯小于MR，而在MSRA-1000數(shù)據(jù)集上，兩者較為接近，這說明在較復雜場景下，本文算法能夠取得更加接近真實值的檢測效果。

各算法產(chǎn)生的具有代表性的顯著圖見圖11(前3幅圖像來自MSRA-1000數(shù)據(jù)集，后兩幅圖像來自SOD數(shù)據(jù)集)。本文方法的顯著圖能夠更加準確、均勻地凸顯目標，與人工標注的真實值中的前景目標(白色)更加接近。MR方法中過多突出了接近圖像中間部分的非目標成分，如第1, 2, 4幅圖像，而本文方法卻成功避免了這一缺陷；MR方法有時會賦予真正目標內(nèi)部差異較大的顯著值，如第3, 5幅圖像，而本文方法有效地改進了這一現(xiàn)象。綜合而言，本文方法的顯著性目標檢測結(jié)果更好，誤檢區(qū)域和漏檢區(qū)域少。

本文比較了各算法的平均運行時間，見表2。實驗在配置為Intel(R) Core(TM)i5-2410M CPU, 4 G內(nèi)存的臺式機上完成。本文3.1節(jié)改進的圖模型計算復雜度為(),為圖中超像素(節(jié)點)的數(shù)目，為圖中每個節(jié)點對應的邊的數(shù)目的平均值；3.2節(jié)改進的背景種子點篩選計算復雜度為(),為仿射傳播聚類得到的顏色數(shù)目；而3.3節(jié)生成顯著圖的計算復雜度與原始的MR方法相同，僅為()。由于本文所提改進方法包含較多步驟，因此耗費的時間略長，高于MR以及運行時間較短的GC, RC和FT方法，而顯著低于GS-SP和BS方法。但結(jié)合上述4種量化性能評價指標上的表現(xiàn)，本文方法仍然具有優(yōu)勢。

圖9 本文方法和7種經(jīng)典顯著性方法在自適應閾值分割后的準確率、查全率和F-measure

圖10 本文方法和7種經(jīng)典顯著性方法的MAE柱狀圖

圖11 本文方法和7種經(jīng)典顯著性方法產(chǎn)生的顯著圖的視覺效果對比

表2各算法在MSRA-1000和SOD數(shù)據(jù)庫上的平均運行時間

方法名稱本文方法MRGS-SPBSGCCBRCFT 時間(s)2.550.687.49159.370.102.890.140.19

5 結(jié)論

本文針對經(jīng)典的MR方法中僅使用k-正則圖刻畫各個節(jié)點的空間連接性的不足以及先驗背景假設(shè)過于理想化的缺陷，設(shè)計了有效的改進策略。將同屬于某顏色類且空間上位于同一連通區(qū)域的超像素相連，能夠能更加合理、準確地描述圖模型中各節(jié)點之間的相關(guān)性；而基于邊界連接性的背景種子點篩選，能夠避免MR方法中誤將部分前景目標劃分為背景造成的偏差。在常用的MSRA-1000和復雜的SOD數(shù)據(jù)集上同7種經(jīng)典的顯著性方法的4種量化性能評價指標上的實驗比較，證明了本文所提改進方法的有效性和優(yōu)越性。接下來的工作將考慮結(jié)合更高層的顯著性線索，如對稱性、目標輪廓以及心理學的一些指導策略，去提取那些目標多樣、場景復雜的圖像中顯著性目標檢測的準確性與完整性。

[1] Li W T, Chang H S, Lien K C,.. Exploring visual and motion saliency for automatic video object extraction[J]., 2013, 22(7): 2600-2610.

[2] Chen D Y and Luo Y S. Preserving motion-tolerant contextual visual saliency for video resizing[J]., 2013, 15(7): 1616-1627.

[3] 姜維, 盧朝陽, 李靜, 等. 基于視覺顯著性和提升框架的場景文字背景抑制方法[J]. 電子與信息學報, 2014, 36(3): 617-623.

Jiang Wei, Lu Chao-yang, Li Jing,. Visual saliency and boosting based background suppression for scene text[J].&, 2014, 36(3): 617-623.

[4] Borji A and Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.

[5] Itti L, Koch C, and Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[6] 錢生, 陳宗海, 林名強, 等. 基于條件隨機場和圖像分割的顯著性檢測[J]. 自動化學報, 2015, 41(4): 711-724.

Qian Sheng, Chen Zong-hai, Lin Ming-qiang,.. Saliency detection based on conditional random field and image segmentation[J]., 2015, 41(4): 711-724.

[7] Borji A, Sihite D N, and Itti L. Quantitative analysis of human-model agreement in visual saliency modeling: a comparative study[J]., 2013, 22(1): 55-69.

[8] Borji A, Sihite D N, and Itti L. Salient object detection: a benchmark[C]. Proceedings of the European Conference on Computer Vision, Florence, 2012: 414-429.

[9] Achanta R, Estrada F, Wils P,. Salient region detection and segmentation[C]. Proceedings of the International Conference on Computer Vision Systems, Heraklion, 2008: 66-75.

[10] Achanta R, Hemami S, Estrada F,.. Frequency-tuned salient region detection[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Miami, 2009: 1597-1604.

[11] Cheng M M, Zhang G X, Mitra N J,.. Global contrast based salient region detection[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Providence, 2011: 409-416.

[12] Goferman S, Zelnik-Manor L, and Tal A. Context-aware saliency detection[J]., 2012, 34(10): 1915-1926.

[13] Jiang H, Wang J, Yuan Z,.. Automatic salient object segmentation based on context and shape prior[C]. Proceedings of the British Machine Vision Conference, Dundee, 2011: 110.1-110.12.

[14] Cheng M M, Jonathan W, Lin W Y,.. Efficient salient region detection with soft image abstraction[C]. Proceedings of the IEEE International Conference on Computer Vision, Sydney, 2013: 1529-1536.

[15] Xie Y L, Lu H C, and Yang M H. Bayesian saliency via low and mid level cues[J]., 2013, 22(5): 1689-1698.

[16] Wei Y C, Wen F, Zhu W J,.. Geodesic saliency using background priors[C]. Proceedings of the European Conference on Computer Vision, Florence, 2012: 29-42.

[17] Zhu W J, Liang S, Wei Y C,. Saliency optimization from robust background detection[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Columbus, 2014: 2814-2821.

[18] 蔣寓文, 譚樂怡, 王守覺. 選擇性背景優(yōu)先的顯著性檢測模型[J]. 電子與信息學報, 2015, 37(1): 130-136.

Jiang Yu-wen, Tan Le-yi, and Wang Shou-jue. Saliency detected model based on selective edges prior[J].&, 2015, 37(1): 130-136.

[19] 徐威, 唐振民. 利用層次先驗估計的顯著性目標檢測[J]. 自動化學報, 2015, 41(4): 799-812.

Xu Wei and Tang Zhen-min. Exploiting hierarchical prior estimation for salient object detection[J]., 2015, 41(4): 799-812.

[20] Jiang B W, Zhang L H, Lu H C,. Saliency detection via absorbing markov chain[C]. Proceedings of the IEEE International Conference on Computer Vision, Sydney, 2013: 1665-1672.

[21] Yang C, Zhang L H, Lu H C,. Saliency detection via graph-based manifold ranking[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, Portland, 2013: 3166-3173.

[22] Cheng X, Du P, Guo J,.. Ranking on data manifold with sink points[J]., 2013, 25(1): 177-191.

[23] Achanta R, Shaji A, Smith K,.. SLIC superpixles compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2282.

[24] Frey B J and Dueck D. Clustering by passing message between data points[J]., 2007, 315(5814): 972-976.

[25] Boykov Y and Jolly M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]. Proceedings of the IEEE International Conference on Computer Vision, Vancouver, 2001: 105-112.

An Improved Graph-based Manifold Ranking for Salient Object Detection

Lü Jian-yong Tang Zhen-min

(,,210094,)

To overcome the shortage that the spatial connectivity of every node is modeled only via the-regular graph and the idealistic prior background assumption is used in existing salient object detection method based on graph-based manifold ranking, an improved method is proposed to increase the precision while preserving the high recall. When constructing the graph model, the affinity propagation clustering is utilized to aggregate the superpixels (nodes) to different color clusters adaptively. Then, based on the traditional-regular graph, the nodes belonging to the same cluster and located in the same spatial connected region are connected with edges. According to the boundary connectivity, the superpixels along the image boundaries are assigned with different background weights. Then, the real background seeds are selected by graph cuts method. Finally, the classical manifold ranking method is employed to compute saliency. The experimental comparison results of 4 quantitative evaluation indicators between the proposed and 7 state-of-the-art methods on MSRA-1000 and complex SOD datasets demonstrate the effectiveness and superiority of the proposed improved method.

Salient object detection; Improved graph model; Manifold ranking; Boundary connectivity; Connected region

TP391.41

A

1009-5896(2015)11-2555-09

10.11999/JEIT150619

2015-05-25；改回日期：2015-08-13；

2015-08-28

呂建勇 lv_jy@126.com

國家自然科學基金(61473154)資助課題

The National Natural Science Foundation of China (61473154)

呂建勇： 男，1979年生，講師，主要研究方向為圖像處理技術(shù).

唐振民： 男，1961年生，教授，博士生導師，主要研究方向為圖像處理技術(shù)、智能機器人與智能檢測.