謝 暢，朱恒亮，林 曉,2，馬利莊

(1.上海交通大學(xué) 計算機科學(xué)與工程系，上海 200240； 2.上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

基于對比度優(yōu)化流形排序的顯著目標(biāo)檢測算法

謝 暢1*，朱恒亮1，林 曉1,2，馬利莊1

(1.上海交通大學(xué) 計算機科學(xué)與工程系，上海 200240； 2.上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093) (*通信作者電子郵箱toxic.xc@sjtu.edu.cn)

現(xiàn)有的基于背景先驗的顯著性算法模型中存在先驗區(qū)域選取不合理的問題，導(dǎo)致計算出的前景區(qū)域不準(zhǔn)確，影響最終結(jié)果。針對該問題提出了基于對比度優(yōu)化流形排序的顯著目標(biāo)檢測算法。利用圖像邊界信息找出背景先驗，設(shè)計出采用顯著期望、局部對比度以及全局對比度三個指標(biāo)來衡量先驗質(zhì)量的算法，并根據(jù)先驗質(zhì)量設(shè)計帶權(quán)加法，代替簡單乘法融合顯著先驗，從而使顯著先驗更加準(zhǔn)確。從先驗中提取顯著區(qū)域時，更改了選取閾值的策略，更合理地選取出前景區(qū)域，再利用流形排序得到顯著性圖，從而使顯著性檢測結(jié)果更加準(zhǔn)確。實驗結(jié)果表明，與同類算法相比，所提算法突出顯著區(qū)域，減少噪聲，更符合人類視覺感知，并在處理時間上領(lǐng)先于深度學(xué)習(xí)方法。

邊界先驗；先驗融合；顯著估計；全局對比度；局部對比度；流形排序

0 引言

隨著計算機技術(shù)的快速發(fā)展，視覺顯著性算法也在不斷更新。自從Itti等[1]提出計算視覺顯著性模型開始，越來越多的學(xué)者開始致力于該領(lǐng)域的研究。近年來，視覺顯著性在計算機視覺和模式識別領(lǐng)域變得越來越熱門,被廣泛地應(yīng)用于圖像處理技術(shù)中，如物體檢測、視覺追蹤、圖像分割與圖像增強等。

視覺顯著性算法的目的是找出圖像中最明顯、最能吸引注意的物體或區(qū)域。從人類視覺的角度來講，圖像中的顯著性通常與局部對比度有關(guān)，這是因為顯著物體與周圍區(qū)域存在多方面的差異，如顏色、亮度、形狀、紋理等特征的差異。

目前，研究者們提出的顯著目標(biāo)檢測算法，大致可以分為兩類：由任務(wù)或知識驅(qū)動的自頂向下(top-down) 方法[2-5]，由數(shù)據(jù)或刺激驅(qū)動的自底向上(bottom-up) 方法[6-14]。

自頂向下方法通常與標(biāo)定真實值的監(jiān)督學(xué)習(xí)有關(guān)。為了更好地將顯著性區(qū)域從背景中抽取出來，自頂向下方法中往往會用到高層次的信息或圖像特征來提高顯著性圖的準(zhǔn)確性。例如，Wang等[15]將字典學(xué)習(xí)與條件隨機域組合，產(chǎn)生具有區(qū)分度的特征來描述顯著性物體; Yang[16]用深度神經(jīng)網(wǎng)絡(luò)將局部估計與全局搜索相結(jié)合來找出圖像中最顯著的區(qū)域。

自底向上方法通常采用低層次信息比如顏色，像素差，空間距離以及邊緣來構(gòu)建顯著性圖，這些方法與圖像內(nèi)容、先驗知識無關(guān)。例如，Perazzi等[17]提出了一種基于對比度的視覺顯著性估計; Frintrop 等[18]則通過在語義和生物學(xué)激發(fā)的模型中加入特征融合、均值漂移等步驟，提升了傳統(tǒng)模型的效果。

多種低層次信息與顯著性傳播算法[19-23]相結(jié)合，是目前很多非機器學(xué)習(xí)方法的思路。為了模擬顯著性傳播過程，圖像被分割成若干區(qū)域，每個區(qū)域用一個節(jié)點表示。不同節(jié)點用帶權(quán)邊連接。已標(biāo)記節(jié)點的顯著性會用具體數(shù)值量化，并通過特定算法，沿著帶權(quán)邊，迭代地向周圍未標(biāo)記的鄰接節(jié)點傳遞[12]。

大多數(shù)基于圖的算法按照以下步驟工作。首先，輸入圖像(圖1(a))被分割成超像素塊(圖1(b))，依據(jù)超像素塊來構(gòu)建適當(dāng)?shù)臒o向圖。通過加法、乘法或者其他函數(shù)組合低層次信息后，找出最可能是顯著區(qū)域的超像素塊，將這些超像素塊標(biāo)記，并根據(jù)算法賦予它們相應(yīng)的顯著性值(圖1(c))。接著，特定的顯著性傳播算法能夠計算出已標(biāo)記節(jié)點與未標(biāo)記節(jié)點之間的相似度。然后，顯著性值通過帶權(quán)邊，由已標(biāo)記節(jié)點向未標(biāo)記節(jié)點散射。最終，每個超像素塊都被標(biāo)記且有顯著性值，由此得到整體顯著性圖(圖1(d))。

圖1 基于圖構(gòu)建的顯著性檢測步驟

1 相關(guān)工作

近年來，研究者們提出了多種基于圖像分割與圖構(gòu)建的顯著性計算方法，例如，利用基于流形排序的散射算法[24]，利用隨機游走的方式在圖上建立顯著性傳播過程[25]，以及通過優(yōu)化上述方法而衍生出的細(xì)胞自動機算法[26]等。這些方法都以圖像邊界作為背景先驗，采用不同的傳播算法構(gòu)建顯著性圖。預(yù)處理方面，這幾種方法都用到了簡單線性迭代聚類(Simple Linear Iterative Clustering, SLIC)超像素塊分割[27]。這樣做的好處是將原本像素級別的運算轉(zhuǎn)變?yōu)槌袼丶墑e的運算，減少了時間開銷。超像素塊分割能保持圖像的局部結(jié)構(gòu)特征及部分語義特征，與像素級的特征相比，更利于顯著性的呈現(xiàn);同時，邊界先驗的引入簡化了特征選取過程，將分析范圍縮小為圖像的特定區(qū)域，既簡化了運算，又提升了準(zhǔn)確性。微軟亞洲研究院圖像顯著性測試集(Microsoft Reasearch Asia, MSRA)，擴展復(fù)雜場景圖像顯著性數(shù)據(jù)集(Extended Complex Scene Saliency Dataset, ECSSD)等多個公開數(shù)據(jù)集測試結(jié)果表明，無論是速度還是效果，這幾種基于圖的方法明顯優(yōu)于基于像素、先驗無關(guān)的方法。其中，基于流形排序的方法[23]是目前效果較好的算法之一。

然而，基于圖的方法存在兩個缺陷。第一，選擇前景或背景先驗區(qū)域的算法存在問題。如果不能找出典型的、有代表性的先驗，最終得到的顯著性圖可能不準(zhǔn)確，甚至和真實值相反。第二，已提出的算法中，一些不必要的步驟開銷過大，導(dǎo)致算法效率較低。本文會在后面討論這些問題。

一些自頂向下的方法，如文獻(xiàn)[6，15-16]通過提取圖像的不同特征，利用機器學(xué)習(xí)方法，根據(jù)這些特征訓(xùn)練出能夠檢測圖像中顯著物體的模型。這類方法在特定訓(xùn)練集下容易獲得很好的效果，在公開數(shù)據(jù)集上能夠超過自頂向上方法，尤其是判別性區(qū)域顯著特征融合(Discriminative Regional Feature Integration, DRFI)[28]在MSRA、ECSSD等數(shù)據(jù)集上的準(zhǔn)確度領(lǐng)先于其他算法。

但是，這類方法的缺點同樣突出。一是機器學(xué)習(xí)普遍對訓(xùn)練集有較高要求，如果沒有足夠的訓(xùn)練樣本，則容易因為訓(xùn)練不足而達(dá)不到預(yù)期效果，產(chǎn)生欠擬合；如果過度訓(xùn)練，則會造成過擬合，同樣無法得到很好的效果。二是模型的適應(yīng)性不足，單一模型可能在特定數(shù)據(jù)集上的結(jié)果較好，而在其他的數(shù)據(jù)集上效果不佳。三是效率問題，如果提取的特征過于復(fù)雜(尤其是高維特征)，則模型訓(xùn)練會消耗大量時間，圖像通過模型進行檢測的時間也會較長，因此，盡管DRFI的效果非常好，但是在效率方面仍有不足，本文在實驗部分會比較各算法的效率。針對上述方法的優(yōu)點及存在的問題，本文提出了一種新的基于流形排序的顯著目標(biāo)檢測算法，首先改變了超像素塊分割的策略，其次設(shè)計了以顯著期望、全局對比度，以及局部對比度為指標(biāo)的顯著置信度估計，找出最具有代表性的背景先驗，并用新的帶權(quán)相加的方式將其融合，獲得比普通乘法更好的前景估計，最終得到準(zhǔn)確的顯著性圖，在效果上超過先前基于圖的方法，在效率上超過多種機器學(xué)習(xí)方法。

2 算法步驟

2.1 超像素塊分割

(1)

其中:SLIC算法[20]建議m取10。根據(jù)式(1)，找出每個像素最近的聚類中心，把該像素歸到對應(yīng)聚類中，通過計算可得到這些新聚類的中心坐標(biāo)。重復(fù)這一過程，直到每個聚類的中心坐標(biāo)變化量小于一定閾值，這樣就得到一幅圖像的n個超像素塊。但是通過實驗，一般圖像在5次迭代后，聚類中心坐標(biāo)變化量非常小，幾乎可以忽略不計，因此在本文算法中，劃分超像素塊的終止條件由閾值改為5次迭代。這樣節(jié)省了預(yù)處理時間開銷，也讓算法更簡單。先前的基于超像素塊算法，一般將圖片劃分為200個超像素塊。本文通過實驗，綜合衡量了效率與精準(zhǔn)度，認(rèn)為采用300個超像素塊劃分，能夠取得更精準(zhǔn)的結(jié)果，并且在時間開銷上與劃分為200個超像素塊所需時間相差較小。

2.2 閉環(huán)無向圖構(gòu)建與流形排序

(2)

其中:參數(shù)μ控制準(zhǔn)確性與平滑性之間的平衡。將上述函數(shù)求一階導(dǎo)數(shù)，令導(dǎo)數(shù)為0，得到結(jié)果：

f*=(D-αW)-1y

(3)

其中：α=1/(1+μ)。輸入圖像被分割成超像素塊后，構(gòu)建閉環(huán)無向圖G=(V,E)，其中V是分割后的超像素塊組成的點集，而邊集E由以下準(zhǔn)則定義：1)相鄰的超像素塊相互連接;2)每個超像素塊與它相鄰的超像素塊的鄰居也相互連接;3)所有在圖像邊緣的超像素塊相互連接。于是，輸入圖像轉(zhuǎn)化為無向圖。得到邊集后，構(gòu)造相似度矩陣W，定義如下：

(4)

其中：ci和cj分別是超像素塊i與j在CIELab顏色空間上的色彩均值；σ2是控制連通權(quán)值強度的因子。很明顯，由式(4)得到的相似度矩陣W是稀疏的。根據(jù)W很容易算出D。文獻(xiàn)[23]中，α的值被設(shè)置為0.99，σ2的值被設(shè)置為0.1。本文中，由于超像素塊的分割方式發(fā)生變化，算法不再采用上述的參數(shù)值。分割的超像素塊越精細(xì)，相鄰的超像素塊之間的聯(lián)系越緊密，所以控制連通權(quán)值強度的因子σ2應(yīng)當(dāng)適當(dāng)變大，以補償超像素塊變多帶來的權(quán)值衰減。本文通過實驗，將σ2設(shè)為0.5。然后根據(jù)σ2的值，找到最佳的α值為0.9。

2.3 背景顯著估計

如文獻(xiàn)[1,18]所述，顯著性的計算源于人類視覺注意機制，人類感知習(xí)慣在決定一張圖像中的顯著物體時起到了重要作用。已有的背景估計方法中，研究者將圖像邊界作為背景候選區(qū)。這與人類視覺習(xí)慣一致：一方面, 人們在觀察圖像時，中心區(qū)域通常最先引起人的注意；另一方面，在照片或圖像中，人們不太可能將重要物體放在邊緣，因此，本文算法采用類似的方法來選取背景先驗。

一張圖像有4個邊界，以上邊界為例，首先標(biāo)記與上邊界有公共邊的超像素塊。相對地，其他超像素塊視為未標(biāo)記，這樣就得到指示向量y。然后將所有超像素塊按照式(3)進行排序，得到n維向量f*。f*中的每一個值代表對應(yīng)超像素塊與上邊界的相似度，值越高則相似度越高。根據(jù)人類視覺習(xí)慣，與邊界相似的超像素塊，極有可能是背景或非顯著區(qū)域，因此，可以將f*看作關(guān)于上邊界的背景先驗估計。 將f*歸一化后可得到關(guān)于上邊界的背景顯著估計：

(5)

原始的流形排序算法[23]直接將4張背景顯著估計相乘得到背景顯著圖：

Sbg=Stop×Sleft×Sbottom×Sright

然而，這種方法存在明顯的問題，如果顯著性物體恰好與其中某個邊界顏色相似，或者某個邊界區(qū)域與其他邊界相差很大，則背景顯著估計就會不準(zhǔn)確, 甚至錯誤。如圖3(a)，中心區(qū)域是一朵花，周圍是草和綠葉，頂部是被虛化的河流。 那么此情況下紅花會被看作顯著物體，而其他區(qū)域是非顯著的，但是，上邊界出現(xiàn)的河流與其他邊界相差較大，導(dǎo)致綠色區(qū)域相對顯著。根據(jù)之前的算法，得到正確的Sleft、Sbottom、Sright以及錯誤的Stop。由于乘法的性質(zhì)，Stop的錯誤可能被放大，因此在融合后會出現(xiàn)如圖3(b)的不準(zhǔn)確估計，最終導(dǎo)致圖3(c)中的不準(zhǔn)確結(jié)果。圖3展示了背景顯著估計的準(zhǔn)確程度對最終顯著性檢測結(jié)果的影響。

圖2 基于不同邊界的顯著估計結(jié)果

圖3 背景估計對結(jié)果的影響

在基于隨機游走的方法[25]中，研究者計算出4張背景估計，根據(jù)顏色差異計算4張圖的相似性，然后舍去與其他3張差異最大的圖。這比文獻(xiàn)[23]中的算法有了一定改進，但仍可能出現(xiàn)問題。如遇到顯著性物體與多個邊界相似的情況， 這種算法就會失效；而且計算相似性的算法涉及到多次全圖遍歷，會造成不必要的時間開銷。 綜上所述，通過簡單乘法融合背景顯著估計缺乏合理性，本文將不采用乘法的方式來融合顯著估計。

2.4 對比度優(yōu)化與背景先驗融合

在基于細(xì)胞自動機的算法[26]中，研究者提出了改進方法。利用CIELab色彩特征將邊界區(qū)域聚成3類，構(gòu)建出3張不同的全局顏色區(qū)別(Global Color Distinction, GCD)矩陣。接著，用全局空間距離(Global Spatial Distance, GSD)矩陣來平衡這些不同的GCD圖，背景顯著估計變?yōu)椋?/p>

這種方法在聚類、計算GCD和GSD的時候會有比較大的開銷，但是將顯著估計的融合方式由簡單的乘法變成了帶權(quán)加法，能有效修正不合理的背景顯著估計。

本文利用相似的思路，設(shè)計了相應(yīng)的顯著融合算法，以帶權(quán)加法的方式，通過權(quán)值修正顯著估計，改進之前的算法。根據(jù)顯著性物體在圖像中的分布情況，合理的背景顯著估計需要具備三個條件: 1)顯著區(qū)域在圖像中占的比例相對較少；2)顯著區(qū)域相對集中，同類區(qū)域顯著值接近；3)顯著區(qū)域與非顯著區(qū)域?qū)Ρ让黠@。

根據(jù)以上條件，本文設(shè)計了三個指標(biāo)來判斷顯著估計的置信度。首先定義背景顯著估計的顯著期望：

(6)

其中n為超像素塊的個數(shù)。根據(jù)條件1)，顯著區(qū)在圖像中占的比例偏少，因此，一個合理的顯著先驗，顯著值的期望E應(yīng)當(dāng)偏低。如果E過高，說明在顯著先驗中，顯著區(qū)域在圖像中的比例過大，或者區(qū)域內(nèi)的顯著值過高。接著，定義局部顯著對比度:

(7)

其中:i為超像素塊標(biāo)號，ki是與第i個超像素塊相鄰的所有超像素塊集合。局部對比度反映超像素塊與相鄰區(qū)域的差異。作為顯著先驗，根據(jù)條件2)，除了圖像邊界與圖像中物體的邊界區(qū)域，其余超像素塊與鄰接超像素塊的差異應(yīng)當(dāng)較小，因此Clocal較小。Clocal太大說明顯著區(qū)域不集中，或顯著區(qū)域內(nèi)部的顯著值相差過大。最后，定義全局顯著對比度:

(8)

其中:i,j代表相鄰超像素塊，δ(i,j)代表相鄰超像素塊間的灰度差，Pδ(i,j)代表灰度差為δ的超像素塊分布率。根據(jù)條件3)，合理的顯著先驗，顯著區(qū)域與非顯著區(qū)域應(yīng)當(dāng)對比明顯，因此Cglobal應(yīng)當(dāng)較大。如果Cglobal太小則說明顯著區(qū)域與非顯著區(qū)域區(qū)分不明顯，不是合理的顯著先驗。

根據(jù)上述定義與分析，顯著性期望E應(yīng)當(dāng)較小，局部對比度Clocal應(yīng)該較小，而全局對比度Cglobal應(yīng)該較大，因此定義估計置信度:

p=Cglobal/(Clocal×E)

(9)

置信度p越大，說明該顯著先驗越合理，反之則越不合理。分別算出4張背景顯著估計的置信度ptop、pleft、pbottom、pright，并將背景顯著估計通過帶權(quán)加法融合:

(10)

其中i∈{top,left,bottom,right}。與之前算法相比，帶權(quán)相加的方式能在相同準(zhǔn)確率情況下獲得更高的召回率。

2.5 前景顯著估計

Sbg是從邊界先驗的角度得到的初步的顯著性圖。根據(jù)前文所述，前景區(qū)域在圖中有較高的顯著值。由于經(jīng)過對比度優(yōu)化，前景區(qū)域的顯著性會提高，因此，本文不再使用平均灰度值作為選取前景的依據(jù)，而是根據(jù)實驗結(jié)果，設(shè)計了新的閾值：

t=(mean(Sbg)+max(Sbg))/2

(11)

其中:mean(Sbg)代表Sbg的均值，max(Sbg)代表Sbg中的最大值。該閾值使得相同召回率情況下，準(zhǔn)確率更高。根據(jù)閾值得到新的指示變量y，顯著度大于閾值的超像素塊標(biāo)記為前景，yi=1; 小于閾值的標(biāo)記為背景，yi=0。按照式(3)對整張圖進行流形排序，得到像素塊最終的顯著性值：:

(12)

3 實驗結(jié)果及分析

本文將提出的算法在MSRA、ECSSD，大連理工-歐姆龍顯著性數(shù)據(jù)集(DUT-OMRON)[23]以及帕斯卡顯著性數(shù)據(jù)集(PASCAL-S)[29]四個公開數(shù)據(jù)集上測試，并與近年來的12種算法相比較。這12種算法分別是顯著性快速分析模型(Saliency-BasedVisualAttentionforRapidSceneAnalysis,IT)[1]、基于引導(dǎo)學(xué)習(xí)的顯著性檢測算法(BootstrapLearning,BL)[6]、基于全局對比度的顯著區(qū)域檢測(Globalcontrastbasedsalientregiondetection,RC)[7]、基于魯棒背景檢測的顯著性優(yōu)化(RobustBackgroundDetection,RBD)[8]、層次顯著性檢測(HierarchicalSaliencydetection,HS)、基于對比度的顯著區(qū)域過濾算法(SaliencyFilter,SF)[17]、基于圖的流形排序(GraphbasedManifoldRanking,GMR)[23]、基于細(xì)胞自動機的顯著性檢測算法(SaliencyDetectionviaCelluarAutomata,BSCA)[26]、顯著區(qū)域特征融合算法(DiscriminativeRegionalFeatureIntegration,DRFI)[28]、頻域協(xié)調(diào)顯著檢測(Frequency-Tuned,FT)[30]、基于圖的顯著性檢測(Graph-Based,GB)[31]和軟圖像抽取(SoftImageAbstraction,GC)[32]。通過圖4可以看出本文算法得出的顯著區(qū)域與真實值(GroundTruth,GT)接近，噪聲明顯少于其他算法，顯著區(qū)域灰度值更均勻。

圖4 部分算法顯著性檢測結(jié)果對比

3.1 準(zhǔn)確率-召回率曲線

準(zhǔn)確率-召回率(Precision-Recall,PR)曲線是評價算法效果最常用的手段。通過固定閾值，得到256張二值圖，將結(jié)果與真實值(Ground-Truth,GT)比較就能得到相應(yīng)的PR曲線(圖5)。

圖5 準(zhǔn)確率-召回率曲線

從圖5所示的PR曲線可以看出，本文算法COMR在MSRA上領(lǐng)先其他算法，與DRFI以及BSCA基本持平，在高準(zhǔn)確率要求的情況下，本文算法的召回率比DRFI與BSCA高。 在ECSSD數(shù)據(jù)集上，本文算法僅次于DRFI，但該算法與改進前的GMR相比，有顯著提升，同時優(yōu)于效果較好的非機器學(xué)習(xí)算法RBD，以及基于細(xì)胞自動機的顯著性檢測算法BSCA。在DUT-OMRON及PASCAL-S數(shù)據(jù)集上，該算法的表現(xiàn)超過了包括DRFI、BL等機器學(xué)習(xí)算法在內(nèi)的其他所有方法。

3.2F-值分析

通常，準(zhǔn)確率和召回率不能單獨用來評價顯著性圖的質(zhì)量，因此，本文用F-measure值對準(zhǔn)確率和召回率進行加權(quán)調(diào)和平均，以此來判斷算法質(zhì)量：

其中β2=0.3，F(xiàn)β越高說明算法效果越好。從表1可以看出，本文算法在ECSSD上的F-measure值僅次于DRFI，比其他所有算法的F-measure值高。在MSRA上，本文算法的F-measure值高于其他算法。結(jié)合多個數(shù)據(jù)集的準(zhǔn)確率-召回率曲線，說明本文算法在效果及適應(yīng)性方面，優(yōu)于已有的多種算法。

3.3AUC與MAE

除了PR曲線，本文利用固定閾值的方法算出假陽性(FP)率和真陽性(TP)率，得到受試者工作特征(ReceiverOperatingCharacteristics,ROC)曲線。計算ROC曲線與坐標(biāo)軸圍成的面積AUC(AreaUnderCurve)。MAE是顯著圖與真實值之間的均方誤差。這兩個指標(biāo)是衡量顯著性算法效果和穩(wěn)定性的重要指標(biāo)。分別比較這些算法的AUC與MAE，通過比較發(fā)現(xiàn)本文算法的AUC僅次于DRFI，高于同類型算法GMR、BRD、BSCA等。在MSRA上，本文算法的MAE已經(jīng)比DRFI小，也小于同類型算法GMR、BRD、BSCA。這說明本文的算法在多個數(shù)據(jù)庫的不同指標(biāo)上領(lǐng)先于多種現(xiàn)有的算法。

表1 不同數(shù)據(jù)集測試數(shù)據(jù)比較

3.4 算法效率比較

在IntelXeonE5645 2.4GHzCPU，8GBRAM，SSD硬盤的運行環(huán)境下，測試了12種算法對每張圖的平均處理時間。

從表2可以看出，本文算法的運行時間適中，比大多數(shù)算法消耗的時間少，尤其是對于效果較好的DFRI算法以及較新的BSCA算法，本文算法速度幾乎是它們的3倍。對于速度較快的算法，例如FT，本文算法效果遙遙領(lǐng)先。同類型算法GMR、RBD的時間開銷與本文算法接近，但從圖4以及各項效果指標(biāo)可以看出，本文算法優(yōu)于這兩種算法。

4 結(jié)語

本文針對目前基于先驗的顯著性算法中先驗選取不合理或不準(zhǔn)確的情況，提出利用局部對比度與全局對比度的關(guān)系優(yōu)化先驗融合過程的顯著性物體檢測算法：

1) 在預(yù)處理階段改進了超像素塊分割策略，使預(yù)處理時間縮短，增加超像素塊分割個數(shù)，使算法精確度提升。

2) 設(shè)計了顯著期望、全局對比度以及局部對比度三個指標(biāo)，判斷顯著估計的置信度，幫助找出合理的顯著先驗。

3) 改進了顯著估計的融合方式，利用顯著置信度及帶權(quán)加法替代之前的簡單乘法，使得到的顯著性估計的召回率提升。

4) 在前景顯著估計中設(shè)計了新的閾值選取策略，使得到的最終結(jié)果具有更高的準(zhǔn)確率。

5) 通過一系列在公開數(shù)據(jù)集上的測試，驗證了該算法的正確性，效果及性能。效果方面超過了原算法GMR，數(shù)據(jù)指標(biāo)超過多種算法，并在性能方面領(lǐng)先于深度學(xué)習(xí)DRFI算法以及新算法BL、BSCA等。

實驗結(jié)果表明，在準(zhǔn)確找到前景區(qū)域的前提下，基于先驗的顯著物體檢測算法能夠達(dá)到更好的效果。通過對比度優(yōu)化與改進顯著融合方式，本文算法能得到恰當(dāng)?shù)那熬皡^(qū)域，最終獲得清晰、完整、準(zhǔn)確的顯著性圖。

當(dāng)然，由于本文算法依賴于超像素塊分割以及邊界先驗，因此對于顯著物體過于靠近圖像邊界，圖像中顯著性物體多、分布零散，以及顯著性物體占據(jù)圖像絕大多數(shù)區(qū)域的情況，仍存在不足。我們會在后續(xù)研究中，逐步改善這些問題，進一步提高算法效果。

表2 算法效率比較

)

[1]ITTIL,KOCHC,NIEBURE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[2]BORJIA,SIHITEDN,ITTIL.Probabilisticlearningoftask-specificvisualattention[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 470-477.

[3]FRINTROPS,BACKERG,ROMEE.Goal-directedsearchwithatop-downmodulatedcomputationalattentionsystem[M]//PatternRecognition,LNCS3663.Berlin:Springer, 2005: 117-124.

[4]GAOD,VASCONCELOSN.Discriminantsaliencyforvisualrecognitionfromclutteredscenes[J].AdvancesinNeuralInformationProcessingSystems, 2004, 17: 481-488.

[5]TONGN,LUH,XIANGR,etal.Salientobjectdetectionviabootstraplearning[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 1884-1892.

[6]ACHANTAR,ESTRADAF,WILSP,etal.Salientregiondetectionandsegmentation[M]//ComputerVisionSystems,LNCS5008.Berlin:Springer, 2008: 66-75.

[7]CHENGMM,ZHANGGX,MITRANJ,etal.Globalcontrastbasedsalientregiondetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2015, 37(3): 569-582..

[8]ZHANGW,WANGZ,YANC,etal.Saliencyoptimizationfromrobustbackgrounddetection[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 2814-2821.

[9] 蔣嬌,陸平,朱恒亮,等.融合對比度與背景先驗的顯著目標(biāo)檢測算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2016,28(1):82-89.(JIANGJ,LUP,ZHUHL,etal.Salientobjectdetectionusingcontrastandbackgroundpriors[J].JournalofComputer-AidedDesignandComputerGraphics, 2016, 28(1): 82-89.)

[10] 王晨,樊養(yǎng)余,李波,等.基于濾波合成的關(guān)鍵顯著性目標(biāo)檢測方法[J].計算機應(yīng)用,2014,34(12):3531-3535.(WANGC,FANYY,LIB,etal.Keysalientobjectdetectionbasedonfilteringintegrationmethod[J].JournalofComputerApplications, 2014, 34(12): 3531-3535.)

[11] 葛濤,馮松鶴.基于層次和動態(tài)閾值的圖像顯著區(qū)域檢測方法[J].計算機應(yīng)用,2006,26(11):2721-2723.(GET.FENGSH.Amethodforimagesalientregionsdetectionbasedonlayeranddynamicthreshold[J].JournalofComputerApplications, 2006, 26(11): 2721-2723.)

[12] 趙三元,李鳳霞,沈建冰,等.基于紅黑小波的圖像顯著性檢測[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(10):1789-1793.(ZHAOSY,LIFX,SHENJB,etal.Imagesaliencydetectionusingred-blackwavelet[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1789-1793.)

[13] 柳欣,鐘必能,張茂勝,等.基于張量低秩恢復(fù)和塊稀疏表示的運動顯著性目標(biāo)提取[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(10):1753-1763.(LIUX,ZHONGBN,ZHANGMS,etal.Motionsaliencyextractionviatensorbasedlow-rankrecoveryandblock-sparserepresentation[J].JournalofComputer-AidedDesignandComputerGraphics, 2014, 26(10): 1753-1763.)

[14] 胡正平,孟鵬權(quán).全局孤立性和局部同質(zhì)性圖表示的隨機游走顯著目標(biāo)檢測算法[J].自動化學(xué)報,2011,37(10):1279-1284.(HUZP,MENGPQ.Graphpresentationrandomwalksalientobjectdetectionalgorithmbasedonglobalisolationandlocalhomogeneity[J].ActaAutomaticaSinica, 2011, 37(10): 1279-1284.)

[15]WANGL,LUH,RUANX,etal.Deepnetworksforsaliencydetectionvialocalestimationandglobalsearch[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 3183-3192.

[16]YANGJ.Top-downvisualsaliencyviajointCRFanddictionarylearning[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 2296-2303.

[17]PERAZZIF,KRHENBüHLP,PRITCHY,etal.Saliencyfilters:contrastbasedfilteringforsalientregiondetection[C]//Proceedingsofthe2012IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2012: 733-740.

[18]FRINTROPS,WERNERT,GARCIAGM.Traditionalsaliencyreloaded:agoodoldmodelinnewshape[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 82-90.

[19]GONGC,TAOD,LIUW,etal.Saliencypropagationfromsimpletodifficult[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2531-2539.

[20]GOPALAKRISHNANV,HUY,RAJAND.Randomwalksongraphstomodelsaliencyinimages[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1698-1705.

[21]JIANGB,ZHANGL,LUH,etal.SaliencydetectionviaabsorbingMarkovchain[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013: 1665-1672.

[22]RENZ,HUY,CHIALT,etal.Improvedsaliencydetectionbasedonsuperpixelclusteringandsaliencypropagation[C]//Proceedingsofthe18thACMInternationalConferenceonMultimedia.NewYork:ACM, 2010: 1099-1102.

[23]YANGC,ZHANGL,LUH,etal.Saliencydetectionviagraph-basedmanifoldranking[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 3166-3173.

[24]ZHOUD,WESTONJ,GRETTONA,etal.Rankingondatamanifolds[J].AdvancesinNeuralInformationProcessingSystems, 2004, 16: 169-176.

[25]LIC,YUANY,CAIW,etal.Robustsaliencydetectionviaregularizedrandomwalksranking[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 2710-2717.

[26]QINY,LUH,XUY,etal.Saliencydetectionviacellularautomata[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2015: 110-119.

[27]ACHANTAR,SHAJIA,SMITHK,etal.Slicsuperpixels[EB/OL]. [2016- 01- 07].https://infoscience.epfl.ch/record/149300/files/SLIC_Superpixels_TR_2.pdf?version=2.

[28]JIANGH,WANGJ,YUANZ,etal.Salientobjectdetection:adiscriminativeregionalfeatureintegrationapproach[C]//Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 2083-2090.

[29]LIY,HOUX,KOCHC,etal.Thesecretsofsalientobjectsegmentation[C]//Proceedingsofthe2014IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2014: 280-287.

[30]ACHANTAR,HEMAMIS,ESTRADAF,etal.Frequency-tunedsalientregiondetection[C]//Proceedingofthe2009IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2009: 1597-1604.

[31]HARELJ,KOCHC,PERONAP.Graph-basedvisualsaliency[C]//AdvancesinNeuralInformationProcessingSystems.Cambridge,MA:MITPress, 2006:545-552.

[32]CHENGMM,WARRELLJ,LINWY,etal.Efficientsalientregiondetectionwithsoftimageabstraction[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2013:1529-1536.

ThisworkispartiallysupportedbytheKeyProjectofNationalNaturalScienceFoundationofChina(61133009),theNationalNaturalScienceFoundationofChina(61472245,U1304616, 61502220).

XIE Chang, born in 1991, M. S candidate. His research interests include digital imgae processing, pattern recognition, machine learning.

ZHU Hengliang, born in 1981, Ph. D. candidate. His research interests include digital image processing, pattern recognition.

LIN Xiao, born in 1978, Ph. D., associate professor. Her research interests include digital image processing, video processing.

MA Lizhuang, born in 1963, Ph. D., professor. His research interests include computer graphics, digital image processing, computer aided design, scientific data visualization, computer animation.

Salient target detection algorithm based on contrast optimized manifold ranking

XIE Chang1*, ZHU Hengliang1, LIN Xiao1,2, MA Lizhuang1

(1.DepartmentofComputerScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China; 2.SchoolofOptical-ElectricalandComputerEngineering,UniversityofShanghaiforScienceandTechnology,Shanghai200093,China)

The existing boundary prior based saliency algorithm model has the problem of improper selection of reasonable saliency prior region, which leads to the inaccurate foreground region and influence the final result. Aiming at this problem, a salient target detection algorithm based on contrast optimized manifold ranking was proposed. The image boundary information was utilized to find the background prior. An algorithm for measuring the priori quality was designed by using three indexes, namely, saliency expection, local contrast and global contrast. A priori quality design with weighted addition replaced simple multiplication fusion to make the saliency prior more accurate. When the salient regions were extracted from the a priori, the strategy of selecting the threshold was changed, the foreground region was selected more rationally, and the saliency map was obtained by using the manifold ranking, so that the saliency detection result was more accurate. The experimental results show that the proposed algorithm outperforms the similar algorithms, reduces the noise, which is more suitable for human visual perception, and ahead of the depth learning method in processing time.

boundary prior; prior fusion; saliency estimation; global contrast; local contrast; manifold ranking

2016- 09- 23;

2016- 10- 08。

國家自然科學(xué)基金重點項目(61133009)；國家自然科學(xué)基金資助項目(61472245,U1304616, 61502220)。

謝暢(1991—)，男，四川雅安人，碩士研究生，主要研究方向：圖像處理、模式識別、機器學(xué)習(xí)； 朱恒亮(1981—)，男，山東微山人，博士研究生，主要研究方向：圖像處理、模式識別； 林曉(1978—)，女，河南洛陽人，副教授，博士，CCF會員，主要研究方向：圖像處理、視頻處理； 馬利莊(1963—)，男，浙江寧波人，教授，博士，CCF會員，主要研究方向：計算機圖形學(xué)、圖像處理、計算機輔助設(shè)計、科學(xué)數(shù)據(jù)可視化、計算機動畫。

1001- 9081(2017)03- 0684- 07

10.11772/j.issn.1001- 9081.2017.03.684

TP

A