王寶艷 張 鐵 王新剛

?

基于帶匯點(diǎn)Laplace擴(kuò)散模型的顯著目標(biāo)檢測(cè)

王寶艷*①?gòu)?鐵②王新剛③

①(東北大學(xué)信息科學(xué)與工程學(xué)院 沈陽(yáng) 110819)②(東北大學(xué)理學(xué)院 沈陽(yáng) 110819)③(東北大學(xué)秦皇島分?？刂乒こ虒W(xué)院 秦皇島 066004)

該文基于Laplace相似度量的構(gòu)造方法，針對(duì)兩階段顯著目標(biāo)檢測(cè)中顯著種子的不同類(lèi)型(稀疏或稠密)，提出了相應(yīng)的顯著性擴(kuò)散模型，從而實(shí)現(xiàn)了基于擴(kuò)散的兩階段互補(bǔ)的顯著目標(biāo)檢測(cè)。尤其是第2階段擴(kuò)散模型中匯點(diǎn)的融入，一方面更好地抑制了顯著性圖中的背景，同時(shí)對(duì)于控制因子的取值更加穩(wěn)健。實(shí)驗(yàn)結(jié)果表明，當(dāng)顯著種子確定時(shí)，不同的擴(kuò)散模型會(huì)導(dǎo)致顯著性擴(kuò)散程度的差異。基于帶匯點(diǎn)Laplace的兩階段互補(bǔ)的擴(kuò)散模型較其他擴(kuò)散模型更有效、更穩(wěn)健。同時(shí)，從多項(xiàng)評(píng)價(jià)指標(biāo)分析，該算法與目前流行的5種顯著目標(biāo)檢測(cè)算法相比，具有較大優(yōu)勢(shì)。這表明此種用于圖像檢索或分類(lèi)的Laplace相似度量的構(gòu)造方法在顯著目標(biāo)檢測(cè)中也是適用的。

目標(biāo)檢測(cè)；顯著性；匯點(diǎn)；Laplace矩陣；擴(kuò)散模型

1 引言

顯著區(qū)域是指在視頻和圖像中包含較大的信息量、能顯著地吸引人的注意力的區(qū)域。近年來(lái)，顯著目標(biāo)檢測(cè)在計(jì)算機(jī)視覺(jué)領(lǐng)域已成為一個(gè)熱門(mén)的研究問(wèn)題，它在目標(biāo)檢測(cè)和識(shí)別[1,2]，圖像和視頻壓縮[3,4]，圖像分割和質(zhì)量評(píng)價(jià)[5,6]以及基于內(nèi)容的圖像檢索和編輯[7,8]，視覺(jué)跟蹤[9]等領(lǐng)域具有廣泛的應(yīng)用前景。

目前，大量研究人員針對(duì)“顯著目標(biāo)檢測(cè)”問(wèn)題進(jìn)行研究，并建立了很多經(jīng)典、有效的算法[10]。這些既有算法大致被分為3類(lèi)：基于顏色對(duì)比度的方法，基于學(xué)習(xí)的方法，基于圖的方法。基于顏色對(duì)比度的方法：這類(lèi)方法通常假設(shè)圖像中的顯著目標(biāo)相對(duì)于背景在顏色分布上有較高的對(duì)比度，顯著目標(biāo)檢測(cè)模型就可以通過(guò)圖像局部和全局的顏色對(duì)比度來(lái)建立?；趯W(xué)習(xí)的方法：這類(lèi)方法的主要思想是通過(guò)各種學(xué)習(xí)方法得到圖像各個(gè)特征的權(quán)值系數(shù)，以此系數(shù)對(duì)各個(gè)特征進(jìn)行融合，從而得到圖像的顯著性值?；趫D的方法：通過(guò)設(shè)定圖像的節(jié)點(diǎn)集和邊集，構(gòu)造圖像的無(wú)向加權(quán)圖。圖像的顯著目標(biāo)檢測(cè)問(wèn)題就可歸結(jié)為圖節(jié)點(diǎn)的顯著性值的計(jì)算。利用上述這3類(lèi)方法進(jìn)行顯著目標(biāo)檢測(cè)時(shí)，往往相互交叉應(yīng)用，同時(shí)還會(huì)結(jié)合一些其他的先驗(yàn)算法，比如中心先驗(yàn)，空間分布先驗(yàn)，背景先驗(yàn)，似物性采樣先驗(yàn)等[11,12]方法。除此之外，還有一些其他的顯著目標(biāo)檢測(cè)算法。文獻(xiàn)[13]依據(jù)顯著目標(biāo)在圖像中的稀疏性，背景的低秩性，利用低秩矩陣分解法將顯著目標(biāo)檢測(cè)出來(lái)。文獻(xiàn)[14]選取圖像的邊界為背景模板，利用背景模板分別計(jì)算每一個(gè)超像素的稠密、稀疏重構(gòu)誤差，并將重構(gòu)誤差進(jìn)行擴(kuò)展、多尺度合并，分別得到基于稠密、稀疏重構(gòu)的顯著性圖，最后借助貝葉斯方法將顯著性圖進(jìn)行合并，得到最終的顯著性圖。

在基于圖的顯著性模型中，一種普遍的模型是基于圖擴(kuò)散的顯著模型。這些模型的閉合解都可歸結(jié)為一個(gè)統(tǒng)一的框架形式。其中，擴(kuò)散矩陣是由圖的鄰接矩陣衍生得到的，它控制顯著信息的擴(kuò)散程度；是一個(gè)包含了顯著種子信息的指標(biāo)向量，它對(duì)圖中節(jié)點(diǎn)的顯著性水平作出初步的評(píng)估；與的乘積則表示經(jīng)過(guò)顯著擴(kuò)散后，圖中各個(gè)節(jié)點(diǎn)的顯著性值。事實(shí)上，不同的顯著模型解出的擴(kuò)散矩陣是不同的。對(duì)于這些形式不同的擴(kuò)散矩陣，我們自然會(huì)提出一個(gè)疑問(wèn)：在顯著種子確定的條件下，即指標(biāo)向量確定時(shí)，如何選擇最佳的擴(kuò)散矩陣？以往解決這個(gè)問(wèn)題的途徑都是通過(guò)實(shí)驗(yàn)完成的，并未有一個(gè)成熟的理論做指導(dǎo)。近日，文獻(xiàn)[22]的研究引起我們的注意：依據(jù)查詢(xún)所在類(lèi)的不同，選擇適當(dāng)?shù)南嗨贫攘靠梢蕴岣邫z索或分類(lèi)的準(zhǔn)確率。同時(shí)，文中給出了一定的理論證明和分析，感興趣的讀者可參看文獻(xiàn)[22]?；诖搜芯?，本文依據(jù)兩階段中顯著種子所在類(lèi)的不同確定適當(dāng)?shù)臄U(kuò)散矩陣(關(guān)鍵取決于對(duì)角矩陣)，實(shí)現(xiàn)基于擴(kuò)散的兩階段互補(bǔ)的顯著目標(biāo)檢測(cè)。特別地，第2階段擴(kuò)散模型中匯點(diǎn)的引入，既提高了檢測(cè)效果，又增強(qiáng)了擴(kuò)散模型的魯棒性。這是本文主要的創(chuàng)新點(diǎn)。通過(guò)對(duì)數(shù)據(jù)集MSRA-10K的測(cè)試表明，針對(duì)兩階段中顯著種子所在類(lèi)的不同，選取不同的擴(kuò)散模型對(duì)顯著目標(biāo)的檢測(cè)結(jié)果會(huì)產(chǎn)生一定的影響，而本文所設(shè)計(jì)的兩階段互補(bǔ)的擴(kuò)散模型更有效、更穩(wěn)健。這說(shuō)明文獻(xiàn)[22]中用于圖像檢索或分類(lèi)的Laplace相似度量的構(gòu)造方法在顯著目標(biāo)檢測(cè)中也是適用的。同時(shí)，數(shù)據(jù)集MSRA-10K, ECSSD和Judd-A的測(cè)試表明，從多種測(cè)試指標(biāo)分析，本文算法較目前流行的5種顯著目標(biāo)檢測(cè)算法更有優(yōu)勢(shì)。

2 圖的構(gòu)建

對(duì)于一幅圖像，首先利用SLIC算法[23]將圖像進(jìn)行超像素分割，不妨設(shè)超像素的個(gè)數(shù)為。假設(shè)超像素對(duì)應(yīng)的節(jié)點(diǎn)為，由構(gòu)成節(jié)點(diǎn)集。由于相鄰的節(jié)點(diǎn)很有可能相似，其顯著性值也會(huì)很相近，因此選取正則圖來(lái)揭示節(jié)點(diǎn)間的空間關(guān)系。本文選取相鄰的層，即每個(gè)節(jié)點(diǎn)和其相鄰的節(jié)點(diǎn)是連接的，同時(shí)與其相鄰節(jié)點(diǎn)的鄰節(jié)點(diǎn)也是連接的；除此之外，選定圖像上、下、左、右4個(gè)方向最外層的超像素作為邊界超像素，其對(duì)應(yīng)的節(jié)點(diǎn)為邊界節(jié)點(diǎn)，由上、下、左、右邊界節(jié)點(diǎn)構(gòu)成的集合記為，它們的和集記為邊界點(diǎn)集，并假設(shè)中邊界節(jié)點(diǎn)是完全連接的。節(jié)點(diǎn)集中任意相鄰節(jié)點(diǎn)的權(quán)值定義為

3 兩階段互補(bǔ)的顯著目標(biāo)檢測(cè)模型

本文提出的顯著目標(biāo)檢測(cè)模型是基于圖擴(kuò)散方法建立的。當(dāng)模型將顯著種子的顯著性信息通過(guò)擴(kuò)散矩陣擴(kuò)散到整幅圖像時(shí)，便可得到圖像中各個(gè)節(jié)點(diǎn)的顯著性值。其中，穩(wěn)健的擴(kuò)散矩陣的選取對(duì)擴(kuò)散模型的建立非常重要。文獻(xiàn)[22]提出了用于圖像檢索和分類(lèi)的形如的相似度量，并分析了“查詢(xún)所在類(lèi)的不同對(duì)相似度量中對(duì)角矩陣的影響”：查詢(xún)所在的類(lèi)是稀疏的，選用(度矩陣)作為相似度量可以可靠地檢索出此查詢(xún)所在的稀疏類(lèi)；若查詢(xún)所在的類(lèi)是稠密的，選用(單位矩陣)作為相似度量會(huì)更好地檢索出查詢(xún)所在的稠密類(lèi)。基于文獻(xiàn)[22]的研究，本文選取相似度量作為擴(kuò)散矩陣。通過(guò)兩階段不同類(lèi)型顯著種子的確定，將這些種子分別與相應(yīng)的擴(kuò)散矩陣結(jié)合，構(gòu)造出兩階段互補(bǔ)的顯著目標(biāo)檢測(cè)算法。具體的算法將在3.1節(jié)，3.2節(jié)展開(kāi)，圖1為本文算法的流程圖。

圖1 本文算法的流程圖

3.1第1階段顯著性圖的生成

(3)

第1階段的檢測(cè)選取邊界節(jié)點(diǎn)為顯著種子。由于邊界節(jié)點(diǎn)被認(rèn)為是完全連接的，并且它們大都屬于顏色均勻變化的背景，所以它們的度都比較大，其所在的類(lèi)應(yīng)屬于稠密類(lèi)。結(jié)合文獻(xiàn)[22]關(guān)于“查詢(xún)所在類(lèi)的不同對(duì)相似度量的影響”的研究，故選取中的對(duì)角矩陣為單位矩陣，即第1階段擴(kuò)散模型中的擴(kuò)散矩陣為

為了提高檢測(cè)效果，仿照文獻(xiàn)[15]中的SC算法完成第1階段的顯著目標(biāo)檢測(cè)。首先，分別以為顯著種子，利用顯著性擴(kuò)散模型得到相應(yīng)的顯著性圖，然后將這些顯著性圖融合，構(gòu)造出第1階段的顯著性圖。這種先分離再結(jié)合的方法稱(chēng)為SC算法。以為顯著種子為例，設(shè)為指標(biāo)向量，其元素的定義為

將擴(kuò)散矩陣與指標(biāo)向量結(jié)合，得到圖節(jié)點(diǎn)的顯著性值，

(6)

3.2 第2階段顯著目標(biāo)檢測(cè)中匯點(diǎn)的引入

將第1階段提純后的顯著性圖采用Ostu算法[24]進(jìn)行二值分割。通過(guò)二值分割，選取顯著目標(biāo)節(jié)點(diǎn)作為顯著種子，其余的節(jié)點(diǎn)作為匯點(diǎn)引入到第2階段的擴(kuò)散模型中。設(shè)表示Ostu二值分割得到的顯著種子集，表示匯點(diǎn)集，滿足且。假設(shè)為第2階段顯著種子對(duì)應(yīng)的指標(biāo)向量，其元素的定義如式(9)：

第2階段的檢測(cè)選取顯著目標(biāo)節(jié)點(diǎn)作為顯著種子。由于圖像中的顯著目標(biāo)大都是稀疏的，并且它們的顏色變化是不連續(xù)的，所以它們的度都比較小，則其所在的類(lèi)應(yīng)屬于稀疏類(lèi)。文獻(xiàn)[13]正是基于“圖像中背景部分對(duì)應(yīng)的矩陣是低秩的，而前景部分對(duì)應(yīng)的矩陣是稀疏”的考慮，將顯著性檢測(cè)問(wèn)題通過(guò)“低秩矩陣分解”的方法來(lái)研究的。同樣，基于文獻(xiàn)[22]提出的關(guān)于“查詢(xún)所在類(lèi)對(duì)相似度量中對(duì)角矩陣的影響”的研究，考慮到第2階段的顯著種子屬于稀疏類(lèi)，故選取中的對(duì)角矩陣作為第2階段擴(kuò)散模型中的擴(kuò)散矩陣。同時(shí)，為了進(jìn)一步突出顯著目標(biāo)，本文使用矩陣來(lái)加強(qiáng)擴(kuò)散矩陣中的元素，即得到第2階段的擴(kuò)散矩陣。

(10)

圖2(a)表明，對(duì)式(11)生成的顯著性圖，原圖像中心的背景部分并未被很好地抑制。此外，隨著取值的減小，顯著目標(biāo)的檢測(cè)效果越來(lái)越差，即由式(10)確定的擴(kuò)散矩陣對(duì)控制因子的變化比較敏感。因此，本文考慮通過(guò)設(shè)計(jì)一種新型的擴(kuò)散矩陣以解決上述提到的兩個(gè)問(wèn)題?；谖墨I(xiàn)[25]的做法，將匯點(diǎn)集引入到式(10)中，構(gòu)造出一種更加穩(wěn)健的擴(kuò)散矩陣。

(12)

同樣仿照式(6)的做法，第2階段的顯著性值可重新定義為

(14)

4 實(shí)驗(yàn)結(jié)果

通過(guò)3個(gè)數(shù)據(jù)集評(píng)價(jià)本文提出的SSLS算法，第1個(gè)數(shù)據(jù)集是MSRA-10K[26]，它包含了10000幅圖像。第2個(gè)數(shù)據(jù)集是ECSSD[15]，它包含了1000幅語(yǔ)義上有意義且結(jié)構(gòu)復(fù)雜的自然圖像。第3個(gè)數(shù)據(jù)集是Judd-A[27]，它由多個(gè)顯著目標(biāo)及復(fù)雜背景的900幅圖像所組成的。這3個(gè)數(shù)據(jù)集的Ground- Truth都是人工標(biāo)記的。我們將SSLS算法與目前流行的5種顯著目標(biāo)檢測(cè)算法相比較：DSR[14], MC[16], RBD[28], MR[15], GS[11]。

4.1 參數(shù)的選擇及評(píng)價(jià)指標(biāo)

4.2 MSRA-10K數(shù)據(jù)集

本文在MSRA-10K數(shù)據(jù)集上進(jìn)行4個(gè)測(cè)試：(1) 在“第2階段引入?yún)R點(diǎn)及兩階段的顯著性圖均考慮提純”的前提下，驗(yàn)證本文提出的顯著性模型的有效性。圖3(a)中的“對(duì)比1”表示第1，第2階段擴(kuò)散矩陣中的對(duì)角矩陣均選取單位矩陣；“對(duì)比2”表示第1，第2階段擴(kuò)散矩陣中的對(duì)角矩陣均選取度矩陣；“對(duì)比3”表示第1階段擴(kuò)散矩陣的對(duì)角矩陣選取度矩陣，而第2階段選取單位矩陣。由圖3(a)中的P-R曲線顯示，兩階段不同的擴(kuò)散矩陣會(huì)影響顯著目標(biāo)的檢測(cè)結(jié)果。本文提出的兩階段互補(bǔ)的擴(kuò)散模型要優(yōu)于模型“對(duì)比1”，“對(duì)比2”和“對(duì)比3”，這說(shuō)明文獻(xiàn)[22]的研究理論同樣適用于顯著目標(biāo)檢測(cè)。(2)當(dāng)?shù)?階段擴(kuò)散模型由式(4)式(8)確定時(shí)，研究第2階段擴(kuò)散模型中引入?yún)R點(diǎn)前的模型(由式(9)式(11)確定)及引入?yún)R點(diǎn)后的模型(由式(12)式(14)確定)，參數(shù)取值對(duì)檢測(cè)結(jié)果的影響。此實(shí)驗(yàn)仍考慮“兩階段提純”的步驟。圖3(b)中實(shí)線表示匯點(diǎn)引入前的P-R曲線，虛線表示匯點(diǎn)引入后的P-R曲線。如圖3(b)所示，第2階段的擴(kuò)散模型在引入了匯點(diǎn)后，檢測(cè)效果要比引入?yún)R點(diǎn)前明顯提高，且引入?yún)R點(diǎn)后的擴(kuò)散模型對(duì)參數(shù)的取值更加穩(wěn)健。(3)兩階段的顯著性圖在提純前后的比較。圖3(c)中“對(duì)比4”表示第1，第2階段的顯著性圖均未提純；“對(duì)比5”表示第1階段的顯著性圖提純而第2階段未提純；“對(duì)比6”表示第2階段的顯著性圖提純而第1階段未提純。如圖3(c)所示，提純后的第1，第2階段的檢測(cè)結(jié)果較提純前有了一定的改善。(4)本文的SSLS算法與目前流行的5種顯著目標(biāo)檢測(cè)算法從多種評(píng)價(jià)指標(biāo)進(jìn)行比較。圖4(a)顯示了P-R曲線的比較結(jié)果；圖4(b)通過(guò)正確率，響應(yīng)率和 F-measure指標(biāo)評(píng)價(jià)各種算法；表1列舉了各種算法的MAE指標(biāo)值。綜合多種評(píng)價(jià)指標(biāo)分析，SSLS算法在MSRA-10K數(shù)據(jù)集上超越了目前流行的5種顯著目標(biāo)檢測(cè)方法。

圖2 隨著的取值變化，引入?yún)R點(diǎn)前后的顯著性圖

圖3 不同設(shè)計(jì)的算法生成的P-R曲線

4.3 ECSSD和Judd-A數(shù)據(jù)集

本文的SSLS算法與前面提到的5種顯著目標(biāo)檢測(cè)算法還分別在ECSSD和Judd-A數(shù)據(jù)集上進(jìn)行比較。圖5(a)和圖6(a)分別顯示了P-R曲線的比較結(jié)果；圖5(b)和圖6(b)分別通過(guò)正確率，響應(yīng)率和F-measure的指標(biāo)來(lái)評(píng)價(jià)各種算法；表1給出了相應(yīng)的數(shù)據(jù)集關(guān)于 MAE指標(biāo)值。綜合多種評(píng)價(jià)指標(biāo)分析，SSLS算法在ECSSD和Judd-A數(shù)據(jù)集上較5種顯著目標(biāo)檢測(cè)算法更有優(yōu)勢(shì)。

4.4算法運(yùn)行時(shí)間

本文實(shí)驗(yàn)環(huán)境為Intel Xeon E5-1620 CPU, 8 G內(nèi)存的計(jì)算機(jī)。本文的SSLS算法和目前流行的5種顯著目標(biāo)檢測(cè)算法的運(yùn)行時(shí)間見(jiàn)表2。在數(shù)據(jù)集MSRA-10K, ECSSD和Judd-A上，SSLS算法進(jìn)行顯著目標(biāo)檢測(cè)的平均耗時(shí)分別約為0.0131 s, 0.0095 s和0.0471 s。由于數(shù)據(jù)集Judd-A較MSRA-10K和ECSSD復(fù)雜，所以其平均耗時(shí)要更長(zhǎng)。通過(guò)表2各個(gè)算法的耗時(shí)比較， SSLS算法運(yùn)行速度較快。同時(shí)，由4.2節(jié)和4.3節(jié)中的實(shí)驗(yàn)結(jié)果分析可知，SSLS算法的量化評(píng)價(jià)指標(biāo)占優(yōu)。因此，相對(duì)于目前流行的5種顯著目標(biāo)檢測(cè)算法，SSLS算法具有較大的優(yōu)勢(shì)。

5 結(jié)束語(yǔ)

基于Laplace相似度量的研究，針對(duì)兩階段顯著目標(biāo)檢測(cè)中顯著種子的不同類(lèi)型(稀疏或稠密)，本文提出了兩階段互補(bǔ)的基于擴(kuò)散的顯著目標(biāo)檢測(cè)算法。尤其在第2階段檢測(cè)中，融入了匯點(diǎn)的擴(kuò)散模型一方面可以更好地抑制顯著性圖中的背景部分，同時(shí)對(duì)控制因子取值的變化更加穩(wěn)健。兩階段顯著性圖的提純方法使得目標(biāo)的顯著性取值更加均衡，從而進(jìn)一步突出了顯著目標(biāo)。實(shí)驗(yàn)結(jié)果表明，相對(duì)于其他擴(kuò)散模型，如文中4.2節(jié)給定的模型對(duì)比1，對(duì)比2，對(duì)比3及算法MR[15], MC[16]，本文提出的擴(kuò)散模型更有效，這也證實(shí)了文獻(xiàn)[22]提出的用于圖像檢索或分類(lèi)的Laplace相似度量的構(gòu)造方法在顯著目標(biāo)檢測(cè)中同樣適用的。除此之外，通過(guò)3個(gè)數(shù)據(jù)集上的多種評(píng)價(jià)指標(biāo)分析，本文的SSLS算法較目前流行的5種顯著目標(biāo)檢測(cè)算法更有優(yōu)勢(shì)。然而，由SSLS算法得到的顯著目標(biāo)檢測(cè)結(jié)果受到第2階段顯著種子的影響，也就是受到第1階段的顯著性圖的影響。因此，第1階段顯著性圖的提高會(huì)改善第2階段的檢測(cè)結(jié)果。

圖4 SSLS算法與目前流行的5種算法在數(shù)據(jù)集MSRA-10K的比較

圖5 SSLS算法與目前流行的5種算法在數(shù)據(jù)集ECSSD的比較

圖6 SSLS算法與目前流行的5種算法在數(shù)據(jù)集Judd-A的比較

表1本文的SSLS算法與目前流行的5種算法

在3個(gè)數(shù)據(jù)集上的MAE指標(biāo)值

算法數(shù)據(jù)集 MSRA-10KECSSDJudd-A DSR0.1210.1710.196 MC0.1450.2020.231 RBD0.1110.1710.212 MR0.1350.1900.241 GS0.1400.1640.242 SSLS0.1090.1560.191

在3個(gè)數(shù)據(jù)集上的平均運(yùn)行時(shí)間(s)

算法數(shù)據(jù)集 MSRA-10KECSSDJudd-A DSR0.01540.01390.0713 MC0.01170.01100.0472 RBD0.01120.01090.0467 MR0.01540.01390.0500 GS0.01520.01420.0509 SSLS0.01310.00950.0471

[1] SHEN Hao, LI Shuxiao, ZHU Chengfei,. Moving object detection in aerial video based on spatiotemporal saliency[J]., 2013, 26(5): 1211-1217. doi: 10.1016/j.cja.2013.07.038.

[2] WANG Tiantian, XIU Chunbo, and CHENG Yi. Vehicle recognition based on saliency detection and color histogram [C]. 54th IEEE Conference on Decision and Control, Osaka, Japan, 2015:2532-2535. doi: 10.1109/CCDC.2015.7162347.

[3] GUO Chenlei and ZHANG Liming. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J]., 2010, 19(1): 185-198. doi: 10.1109/TIP. 2009.2030969.

[4] ITTI L. Automatic foveation for video compression using a neurobiological model of visual attention[J]., 2004, 13(10): 1304-1318. doi: 10.1109/TIP.2004.834657.

[5] QIN Chanchan, ZHANG Guoping, ZHOU Yicong,. Integration of the saliency-based seed extraction and random walks for image segmentation[J]., 2014, 129(4): 378-391. doi: 10.1016/j.neucom.2013.09.021.

[6] LI Ang, SHE Xiaochun, and SUN Qizhi. Color image quality assessment combining saliency and FSIM[C]. Fifth International Conference on Digital Image Processing, Beijing, China, 2013: 88780I-1-88780I-5. doi: 10.1117/12. 2030719.

[7] LI Liang, JIANG Shuqiang, ZHA Zhengjun,. Partial- duplicate image retrieval via saliency-guided visual matching [J]., 2013, 20(3): 13-23. doi: 10.1109/ MMUL.2013.15.

[8] NA I S, LE H, KIM S H,. Extraction of salient objects based on image clustering and saliency[J]., 2015, 18(3): 667-675. doi: 10.1007/s10044- 015-0459-1.

[9] HAN Jie, GUO Baolong, and SUN Wei. Target tracking method in aerial video based on saliency fusion[C]. International Conference on Mechatronics, Electronic, Industrial and Control Engineering, Shanghai, China, 2015: 723-727. doi: 10.2991/meic-15.2015.165.

[10] BORJI A, CHENG Mingming, JIANG Huaizu,. Salient object detection: A benchmark[J]., 2015, 24(12): 5706-5722. doi: 10.1007/ 978-3-642-33709-3_30.

[11] WEI Yichen, WEN Fang, ZHU Wangjiang,. Geodesic saliency using background priors[C]. 12th European Conference on Computer Vision, Florence, Italy, 2012: 29-42. doi: 10.1007/978-3-642-33712-3_3.

[12] FU Keren, GU I Y H, GONG Chen,. Robust manifold- preserving diffusion-based saliency detection by adaptive weight construction[J]., 2015, 175: 336-347. doi: 10.1016/j.neucom.2015.10.066.

[13] SHEN Xiaohui and WU Ying. A unified approach to salient object detection via low rank matrix recovery[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 853-860. doi: 10.1109/CVPR.2012. 6247758.

[14] LI Xiaohui, LU Huchuan, ZHANG Lihe,. Saliency detection via dense and sparse reconstruction[C]. IEEE Conference on Computer Vision, Sydney, Australia, 2013: 2976-2983. doi: 10.1109/ICCV.2013.370.

[15] YANG Chuan, ZHANG Lihe, LU Huchuan,. Saliency detection via graph-based manifold ranking[C]. IEEE Conference on Computer Vision and Pattern Recognition, Oregon, USA, 2013: 3166-3173. doi: 10.1109/CVPR.2013. 407.

[16] JIANG Bowen, ZHANG Lihe, LU Huchuan,. Saliency detection via absorbing markov chain[C]. IEEE Conference on Computer Vision, Oregon, USA, 2013: 1665-1672. doi: 10.1109/ICCV.2013.209.

[17] ZHOU Li, YANG Zhaohui, YUAN Qing,. Salient region detection via integrating diffusion-based compactness and local contrast[J]., 2015, 24(11): 3308-3320. doi: 10.1109/TIP.2015.2438546.

[18] HWANG I, LEE S H, PARK J S,. Saliency detection based on seed propagation in a multi-layer graph[J].&, 2017, 76(2): 2111-2129. doi: 10.1007 /s11042-015-3171-7.

[19] GOPALAKRISHNAN V, HU Yiqun, and RAJAN D. Random walks on graphs to model saliency in images[C]. IEEE Conference on Computer Vision, Miami, USA, 2009: 1698-1705. doi: 10.1109/CVPR.2009.5206767.

[20] FU Keren, GU I Y H, and YANG Jie. Learning full-range affinity for diffusion-based saliency detection[C]. 41st IEEE International Conference on Acoustics, Speech and Signal Processing, Shanghai, China, 2016: 1926-1930.

[21] GONG Chen, TAO Dacheng, LIU Wei,. Saliency propagation from simple to difficult[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 2531-2539. doi: 10.1109/CVPR.2015.7298868.

[22] WU Xiaoming, LI Zhenguo, and CHANG Shihfu. New insights into Laplacian similarity search[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1949-1957. doi: 10.1109/CVPR.2015. 7298805.

[23] ACHANTA R, HEMAMI S, ESTRADA F,. SLIC superpixels compared to state-of-the-art superpixel methods [J]., 2012, 34(11): 2274-2282. doi: 10.1109/TPAMI. 2012.120.

[24] OTSU N. A threshold selection method from gray level histograms[J].,,, 1979, 9(1): 62-66. doi: 10.1109/TSMC.1979. 4310076.

[25] CHEN Shuhan, ZHENG Ling, HU Xuelong,. Discriminative saliency propagation with sink points[J]., 2016, 60: 2-12. doi: 10.1016/j.patcog. 2016.05.016.

[26] CHENG Mingming. MSRA10K Salient Object Database [OL]. http://mmcheng.net/msra10k/,2016.9.

[27] BIRJI A. What is a salient object? a dataset and a baseline model for salient object detection[J]., 2015, 24(2): 742-756. doi: 10.1109/TIP. 2014.2383320.

[28] ZHU Wangjiang, LIANG Shuang, WEI Yichen,. Saliency optimization from robust background detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 2814-2821. doi: 10.1109/CVPR.2014.360.

[29] ACHANTA R, HEMAMI S, ESTRADA F,. Frequency- tuned salient region detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, USA, 2009: 1597-1604. doi: 10.1109/CVPR.2009.5206596.

Salient Object Detection Based on Laplace Diffusion Models with Sink Points

WANG Baoyan①ZHANG Tie②WANG Xingang③

①(,,110819,)②(,,110819,)③(,,066004,)

Based on Laplace similarity metrics, corresponding diffusion-based saliency models are proposed according to different clusters (sparse or dense) of salient seeds in the two-stage detection, a diffusion-based two-stage complementary method for salient object detection is therefore investigated. Especially for the introduction of sink points in the second stage, saliency maps obtained by this proposed method can well restrain background parts, as well as become more robust with the change of control factor. Experiments show that different diffusion models will cause diversities of saliency diffusion degree when salient seeds are determined. In addition, the two-stage Laplace-based diffusion model with sink points is more effective and robust than other two-stage diffusion models. Meanwhile, the proposed algorithm is superior over the existing five state-of-the-art methods in terms of different metrics. This exactly shows that the similarity metrics method applied to image retrieval and classification is also available for salient objects detection.

Object detection; Saliency; Sink points; Laplace matrix; Diffusion model

The National Natural Science Foundation of China (51475086), The Natural Science Foundation of Liaoning Province (2014020026)

TP391

A

1009-5896(2017)08-1934-08

10.11999/JEIT161296

2016-11-28；

改回日期：2017-04-25；

2017-06-14

王寶艷 wangbaoyan2005@163.com

國(guó)家自然科學(xué)基金(51475086)，遼寧省自然科學(xué)基金(2014020026)

王寶艷： 女，1979年生，博士，研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)視覺(jué).

張 鐵： 男，1956年生，教授，研究方向?yàn)閿?shù)字圖像處理、偏微分方程數(shù)值解.

王新剛： 男，1979年生，副教授，研究方向?yàn)榭煽慷扰c靈敏度分析.

1)超像素與節(jié)點(diǎn)是一一對(duì)應(yīng)的，故本文對(duì)二者不做嚴(yán)格區(qū)分