宋長(zhǎng)軍

（渭南職業(yè)技術(shù)學(xué)院 陜西 渭南 714000）

基于流形排名與遲滯閾值法的視覺顯著性檢測(cè)

宋長(zhǎng)軍

（渭南職業(yè)技術(shù)學(xué)院 陜西 渭南 714000）

視覺顯著性檢測(cè)是機(jī)器視覺領(lǐng)域的關(guān)鍵技術(shù)之一。提出一種基于流形排名與遲滯閾值的檢測(cè)方法，首先將圖像劃分成超像素集合，以之作為結(jié)點(diǎn)形成閉環(huán)圖；再按照基于圖的流形排名方法計(jì)算各個(gè)結(jié)點(diǎn)的顯著值，形成圖像的顯著圖；然后利用顯著圖直方圖統(tǒng)計(jì)出高、低兩個(gè)閾值，將顯著圖劃分為三個(gè)部分，使用伽馬校正技術(shù)分別進(jìn)行處理，最終整合校正結(jié)果得到輸出顯著圖。實(shí)驗(yàn)結(jié)果表明，相對(duì)于現(xiàn)有算法，本文算法得到的顯著圖能夠更好地區(qū)分背景區(qū)域和顯著目標(biāo)，同時(shí)也更具穩(wěn)健性。

視覺顯著性；圖像分割；流形排名；遲滯閾值法

近年來，視覺顯著性檢測(cè)引起了國內(nèi)外學(xué)者廣泛而持續(xù)的關(guān)注，這是由于它可以分割出圖像中最有意義的目標(biāo)區(qū)域，從而能夠解決眾多復(fù)雜的機(jī)器視覺問題，比如目標(biāo)識(shí)別[1]、圖像壓縮[2]、圖像檢索等等[3]。現(xiàn)有的顯著性檢測(cè)算法大體上可劃分為兩大類：一類是高層任務(wù)驅(qū)動(dòng)的自頂向下方法[4-5]，另一類則屬于底層數(shù)據(jù)驅(qū)動(dòng)的自底向上方法[6-7]。算法的執(zhí)行結(jié)果通常是只有前景目標(biāo)與背景區(qū)域組成的二值圖像，或者是給出一幅顯著圖用于指示各個(gè)像素屬于目標(biāo)的概率。

早期算法一般采用局部的中心、外周對(duì)比度方式來計(jì)算顯著性。隨后Gopalakrishnan et al.[8]將目標(biāo)檢測(cè)問題描述成一個(gè)圖的標(biāo)號(hào)過程，利用背景先驗(yàn)知識(shí)標(biāo)號(hào)部分結(jié)點(diǎn)作為初始種子，然后推斷其它未標(biāo)號(hào)結(jié)點(diǎn)與該種子的相似度。整個(gè)標(biāo)號(hào)過程可以轉(zhuǎn)化為能量泛函的形式，它的極小值就是問題的最優(yōu)解。關(guān)于背景先驗(yàn)知識(shí)的自動(dòng)獲取，文獻(xiàn)[7]提供了一種很好的方法，認(rèn)為人類視覺在觀察一幅圖像時(shí)通常會(huì)集中于圖像的中心區(qū)域，因此可以將圖像上下左右4個(gè)邊界的結(jié)點(diǎn)作為初始種子，分別對(duì)其余未標(biāo)號(hào)結(jié)點(diǎn)進(jìn)行流形排名，得到4幅顯著圖; 接著對(duì)它們進(jìn)行整合得到前景顯著圖，然后以前景顯著圖的極大顯著點(diǎn)為掩碼提取出圖像的前景結(jié)點(diǎn)，并對(duì)圖像剩余結(jié)點(diǎn)進(jìn)行第2次流形排名就得到算法的最終輸出。

雖然上述算法取得了良好的效果，但仍然具有較大的改進(jìn)空間。其中現(xiàn)有算法還面臨的突出問題之一就是：目標(biāo)的組成部分時(shí)常呈現(xiàn)出多樣性，其中一部分由于與背景相關(guān)性較強(qiáng)，進(jìn)而導(dǎo)致其顯著性較低；反之依然。針對(duì)這一問題，本文提出借助遲滯閾值法和伽馬校正來實(shí)現(xiàn)背景的抑制和目標(biāo)的增強(qiáng)。由顯著圖的直方圖統(tǒng)計(jì)分析可知，目標(biāo)像素的顯著值主要分布于直方圖的高亮部分，而背景像素的顯著值則往往集中于直方圖的低暗部分。此時(shí)可使用某閾值近似分割出背景區(qū)域和目標(biāo)區(qū)域，對(duì)背景區(qū)域進(jìn)行取值大于1的伽馬校正以壓縮其顯著值，而對(duì)目標(biāo)區(qū)域則進(jìn)行取值小于1的伽馬校正以提高其顯著值。實(shí)驗(yàn)結(jié)果表明，經(jīng)過上述步驟處理后得到的顯著圖具有更好的視覺效果和更好的檢測(cè)性能。

1 流形排名計(jì)算原理

流形學(xué)習(xí)是為了發(fā)現(xiàn)高維數(shù)據(jù)中的內(nèi)在低維流形結(jié)構(gòu)，如果將圖像數(shù)據(jù)構(gòu)建成圖結(jié)構(gòu)，那么圖像的顯著性檢測(cè)問題便可以轉(zhuǎn)化為圖的標(biāo)號(hào)問題[9]。圖標(biāo)號(hào)的基本思想是：預(yù)先對(duì)一些結(jié)點(diǎn)進(jìn)行標(biāo)號(hào)，并將其作為初始查詢種子，然后計(jì)算其它未標(biāo)號(hào)結(jié)點(diǎn)與查詢種子的相似度。其中相似度的計(jì)算需要通過排名函數(shù)來完成。

假定X={x1, x2,…，xn}表示圖中n個(gè)數(shù)據(jù)點(diǎn)的集合，y=[y1, y2,…，yn]T表示其指示向量，若xi是查詢種子，則y1=1；否則，yi=0 。排名函數(shù)f:X→□n計(jì)算每個(gè)數(shù)據(jù)點(diǎn)xi的排名值fi，組成向量f=[f1, f2,…，fn]。定義圖G=(V,E)，其中結(jié)點(diǎn)集V等價(jià)于X，邊集E中元素wij表示結(jié)點(diǎn)xi和 xj之間的權(quán)重，由權(quán)重組成圖的關(guān)聯(lián)矩陣W={wij}nxn，度矩陣D=diag{d11,…，dnn}，其中dii=Σjwij。則排名函數(shù)f:X→□n的最優(yōu)解f*可以通過譜聚類算法[5]求解一個(gè)最優(yōu)化問題獲得：

上式中第1個(gè)求和項(xiàng)是平滑約束項(xiàng)，第2個(gè)求和項(xiàng)是擬合約束項(xiàng)，參數(shù) 是平衡因子，它控制著排名函數(shù)既不會(huì)過于改變鄰近結(jié)點(diǎn)的排名值，也不會(huì)偏離初始查詢種子太遠(yuǎn)。對(duì)式（1）各變量求導(dǎo)并令其等于零，就可以得到最優(yōu)解：

其中，α=1/(1+μ)，其作用相當(dāng)于平衡因子μ 。

若將圖像表達(dá)成圖G=(V,E)，再指定一些結(jié)點(diǎn)為初始查詢種子，那么結(jié)點(diǎn)的顯著值就等于式(2)計(jì)算出來的排名值。為便于分析，令A(yù)=(D-αW)-1，有f*=Ay，故第i個(gè)結(jié)點(diǎn)的顯著值fi其實(shí)就是矩陣A中第i行向量與向量y的內(nèi)積，而向量y是一個(gè)二值指示向量，所以fi也可以視為第i個(gè)結(jié)點(diǎn)與圖中所有結(jié)點(diǎn)的相似度之和。從上述計(jì)算中不難發(fā)現(xiàn)，顯著值fi實(shí)際上也包含了與自身的相似度，這有時(shí)會(huì)產(chǎn)生過高的異常值。因此，A可先將矩陣 所有的對(duì)角元素設(shè)置為0，然后再計(jì)算結(jié)點(diǎn)的顯著值fi。最后還需要將顯著值f*規(guī)一化，因?yàn)椴樵兎N子是背景結(jié)點(diǎn)，所以圖像的前景顯著值需要轉(zhuǎn)換為1-f* 。

2 圖的構(gòu)造與背景先驗(yàn)知識(shí)

SLIC算法[10]將圖像劃分成一組小塊的集合，每個(gè)小塊就是一個(gè)超像素，這些超像素構(gòu)成了圖的結(jié)點(diǎn)集V。結(jié)點(diǎn)之間的權(quán)重構(gòu)成的關(guān)聯(lián)矩陣滿足如下性質(zhì)：首先，結(jié)點(diǎn)不僅和相鄰結(jié)點(diǎn)存在著關(guān)聯(lián)，而且還和相鄰結(jié)點(diǎn)的相鄰結(jié)點(diǎn)存在著關(guān)聯(lián)；其次，圖的上、下、左、右4個(gè)邊界上任意兩個(gè)結(jié)點(diǎn)都存在著關(guān)聯(lián)。在上述兩項(xiàng)約束下，關(guān)聯(lián)矩陣 W的多數(shù)元素等于零，因此是一個(gè)稀疏矩陣，不為零的元素定義為兩結(jié)點(diǎn)的權(quán)重：

其中Ci和Cj分別表示第i個(gè)和第j個(gè)超像素的平均值（在CIE LAB顏色空間下計(jì)算），σ控制權(quán)重的強(qiáng)度。由式(2)定義的矩陣A=（D-αW）-1則是一個(gè)完全關(guān)聯(lián)矩陣，也就是說，任何兩結(jié)點(diǎn)之間都存在著一定程度的關(guān)聯(lián)，并且關(guān)聯(lián)程度隨著顏色距離的增加而減小。一般來說，背景和前景都具有顏色上的差異，所以矩陣A非常有利于顯著值的計(jì)算。

視覺注意理論認(rèn)為[11]人類眼睛通常會(huì)關(guān)注圖像的中心區(qū)域，而不是周邊區(qū)域。基于此，背景先驗(yàn)知識(shí)假設(shè)背景結(jié)點(diǎn)分布于圖像邊界上，前景結(jié)點(diǎn)集中于圖像中心區(qū)域。分別以上、下、左、右四個(gè)邊界上的超像素作為標(biāo)號(hào)結(jié)點(diǎn)計(jì)算出四幅顯著圖，然后整合在一起形成一幅合成顯著圖。

以上邊界為例看一下具體執(zhí)行過程：將位于上邊界的超像素作為標(biāo)號(hào)結(jié)點(diǎn)形成初始查詢種子，其他超像素作為未標(biāo)號(hào)結(jié)點(diǎn)，此時(shí)指示向量y已被確定；按照式(2)計(jì)算結(jié)點(diǎn)的排名向量f*，向量中每個(gè)元素值代表了該點(diǎn)與查詢種子的相似度；規(guī)一化向量f*，將其范圍限制在[0, 1]區(qū)間內(nèi)，則以上邊界作為先驗(yàn)知識(shí)的顯著圖St(i)定義如下：

在顯著圖Sbq(i)中，顯著目標(biāo)的多數(shù)結(jié)點(diǎn)都會(huì)被賦予較高的顯著值，但同時(shí)也會(huì)有部分背景結(jié)點(diǎn)出現(xiàn)較高的顯著值。因此還需要以前景結(jié)點(diǎn)為先驗(yàn)知識(shí)再作一次排名處理：計(jì)算Sbq(i)的平均顯著值，大于該均值的設(shè)置為前景結(jié)點(diǎn)，其余為背景結(jié)點(diǎn)，給出指示向量y；利用式(2)求出各結(jié)點(diǎn)的排名值，規(guī)一化后得到前景顯著圖：

3 直方圖閾值計(jì)算與伽馬校正

顯著圖Sfq(i)還存在著如下兩個(gè)問題：一是矩陣A不是一個(gè)稀疏矩陣，所以顯著圖Sfq(i)中背景結(jié)點(diǎn)也會(huì)存在不為零的顯著值；二是前景目標(biāo)區(qū)域常常延伸到某個(gè)邊界，導(dǎo)致前景結(jié)點(diǎn)的顯著值有所下降。為了抑制背景結(jié)點(diǎn)和突顯前景結(jié)點(diǎn)，本文提出利用Sfq(i)的直方圖計(jì)算出高閾值Th和低閾值Tl，然后將Sfq(i)分割成3個(gè)部分，分別對(duì)它們進(jìn)行不同的處理，最后整合處理結(jié)果得到輸出顯著圖S(i)。

經(jīng)驗(yàn)表明，目標(biāo)在圖像中都占有一定的面積比例，據(jù)此可假設(shè)Sfq(i)中前pM個(gè)具有最大顯著值的超像素都屬于目標(biāo)(p是分位數(shù)，M是超像素總數(shù)），并令其顯著值等于1，其余顯著值都置為零，得到顯著圖Shigh(i); 高閾值Th取值于直方圖的(1-p)處，低閾值 Tl=Th/2，保留Sfq(i)中顯著值位于區(qū)間[Tl,Th)的超像素，其余超像素置零，得到顯著圖Smid(i)。Smid(i)中顯著值非零的超像素屬于目標(biāo)的可能性較大，為提高其顯著性，可采用參數(shù)為γ1的伽馬校正，其中γ1＜0; Sfq(i) 中顯著值小于Tl的超像素保持不變，其余超像素置零，即得到顯著圖Slow(i) 。這部分超像素屬于背景的可能較大，因此可采用參數(shù)為γ2的伽馬校正以抑制Slow(i) 的顯著值，其中γ1＞0 。

經(jīng)過上述處理后，最終的顯著圖S(i)可定義為：

其中 i表示圖像中超像素結(jié)點(diǎn)的序號(hào)。

4 算法步驟

本文提出的顯著性檢測(cè)算法整合了多種技術(shù)和方法，其執(zhí)行過程整理如下：

1）使用SLIC方法將輸入圖像分割成超像素集合，并以超像素為結(jié)點(diǎn)構(gòu)造圖像對(duì)應(yīng)的圖，按照式（3）計(jì)算圖的關(guān)聯(lián)矩陣W和度矩陣D ；

2）計(jì)算（D -αW）-1，將其對(duì)角元素置零；

3）分別以4個(gè)邊界為先驗(yàn)知識(shí)，形成指示向量y，按照式（2）和式（4）求出對(duì)應(yīng)的子顯著圖，然后按照式（5）計(jì)算出Sbq；

4）二值化顯著圖Sbq，形成以前景結(jié)點(diǎn)為查詢種子的指示向量，按照式（2）和式（6）計(jì)算顯著圖Sfq；

5）對(duì)顯著圖Sfq進(jìn)行直方圖統(tǒng)計(jì)，求出高閾值Th和低閾值Tl，將Sfq劃分成3個(gè)部分Shigh，Smid及Slow；

6）將Shigh中非零元素全部設(shè)置為1，然后利用γ1和γ2分別對(duì)Smid(i)和Slow(i)進(jìn)行校正；最后按照式（7）計(jì)算出顯著圖 S 。

5 實(shí)驗(yàn)結(jié)果

本文算法的檢測(cè)性能將通過標(biāo)準(zhǔn)數(shù)據(jù)庫MSRA進(jìn)行驗(yàn)證。實(shí)驗(yàn)參數(shù)設(shè)置如下：超像素結(jié)點(diǎn)個(gè)數(shù)N=200，結(jié)點(diǎn)之間的關(guān)聯(lián)權(quán)重σ2=0.1，平衡因子α=0.99，分位數(shù)p=0.1，校正因子γ1=0.5 及 γ2=2。

圖1 不同算法的顯著性檢測(cè)結(jié)果Fig. 1 Saliency detection results of different methods

圖1顯示了本文算法與現(xiàn)有算法的檢測(cè)結(jié)果，其中(b)列是人工標(biāo)注的真實(shí)顯著圖，顯著性檢測(cè)算法越好，則其檢測(cè)結(jié)果越接近于真實(shí)顯著圖；(e)列是本FT算法的檢測(cè)結(jié)果，該算法對(duì)紋理的響應(yīng)較強(qiáng)，導(dǎo)致背景紋理和目標(biāo)紋理都具有較高的顯著值，不利于目標(biāo)區(qū)分；(d)列是文獻(xiàn)[7]的檢測(cè)結(jié)果，由于目標(biāo)與背景在顏色空間上存在一定的相似性，導(dǎo)致其結(jié)點(diǎn)之間的權(quán)重高于零，因此增強(qiáng)了背景顯著值，同時(shí)縮小了目標(biāo)顯著值；(c)列是本文算法的檢測(cè)結(jié)果，從中可以看出，輸出顯著圖更加接近于真實(shí)顯著圖，這是因?yàn)楸疚乃惴ㄍㄟ^遲滯閾值劃分和伽馬校正方法成功抑制了背景顯著值和提高了目標(biāo)顯著值，非常有利于目標(biāo)的準(zhǔn)確區(qū)分。

6 結(jié) 論

文中提出一種自底向上的圖像顯著性檢測(cè)算法，利用超像素構(gòu)建圖，發(fā)掘圖的內(nèi)部流形結(jié)構(gòu)，以邊界為先驗(yàn)知識(shí)計(jì)算中間顯著圖，再借助遲滯閾值法將其劃分為3個(gè)不相交的部分，分別進(jìn)行不同的處理，最后整合為輸出顯著圖。實(shí)驗(yàn)對(duì)比結(jié)果表明本文算法有效抑制了背景結(jié)點(diǎn)的顯著值和提高了前景結(jié)點(diǎn)的顯著值，使得目標(biāo)在圖像中具有更好的顯著性，有利于后續(xù)的圖像分割等任務(wù)。此外，由于自然圖像中還包含有大量其他特征，比如紋理、邊緣等，如何將這些信息融入算法中以提高顯著性檢測(cè)性能將是下一步的工作重點(diǎn)。

[1] Rutishauser U,Walther D, Koch C, et al.Is bottom-up attention useful for object recognition?[C]//IEEE CVPR,Los Alamitos, 2004:37-44.

[2] Itti L. Automatic foveation for video compression using a neurobiologicalmodel of visual attention[J].IEEE TIP,2004,13(10):1304-1318.

[3] CHEN Tao,CHENG Ming-ming,Tan Ping,et al.Sketch2photo:Internet image montage[J].ACM TOG,2009,28(5):1-10.

[4] LIU Tie,SUN Jian, ZHENG Nan-ning Zheng,et al.Learning to detect a salient object[C]//IEEE CVPR, Minneapolis, 2007:1-8.

[5] Ng A,Jordan M,Weiss Y,et al.On spectral clustering:Analysis and an algorithm[C]//NIPS, 2002: 849-856.

[6] WANG Le,XUE Jian-ru,ZHENG Nan-ning,et al.Automatic salient object extraction with contextual cue[C] //IEEE ICCV,Barcelona,2011:105-112.

[7] YANG Chuan,ZHANG Li-he,LU Hu-chuang,et al.Saliency Detection via Graph-Based Manifold Ranking[C]//IEEE CVPR,Portland,2013.

[8] Gopalakrishnan V,Hu Y,Rajan D.Random walks on graphs for salient object detection in images[J],IEEE TIP,2010,19(12):3232-3242.

[9] Zhou D,Weston J,Gretton A,et al.Ranking on data manifolds[C]//NIPS,2004:169-176.

[10] Achanta R,Appu S,Smith K,et al.SLIC Superpixels Compared to State-of-the-art Superpixel Methods[J].IEEE PAMI.2012.34(11):2274-2282.

[11] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J]. IEEE PAMI,1998,20(11):1254-1259.

[12] Achanta R, Hemami S, Estrada F,et al.Frequency-tuned salient region detection[C]//IEEE CVPR,Florida 2009:1597 -1604.

Visual saliency detection via manifold ranking and hysteresis threshold

SONG Chang-jun
（Weinan Vocational & Technical College, Weinan 714000, China）

Visual saliency detection is one of the key technologies for machine vision. We propose a new approach based on manifold ranking and hysteresis threshold to detect salient objects in images. Firstly, the image is represented as a close-loop graph with nodes consisting of superpixels, and these nodes are ranked by manifold ranking method in order to extract a saliency map. Secondly we compute two different thresholds from the histogram of saliency map,and apply the gamma correction to this map twice with high and low values respectively. Finally the outputs from gamma corrections are processed by two thresholds so as to segment background regions and thereby salient objects.Experimental results demonstrate that the proposed approach performs well when against the existing algorithms in terms of accuracy and robustness.

visual saliency; image segmentation; manifold ranking; hysteresis threshold

TP391

A

1674-6236(2014)03-0190-04

2013–06–23 稿件編號(hào)：201306148

宋長(zhǎng)軍(1976—),男,陜西蒲城人,碩士研究生,講師。研究方向：計(jì)算機(jī)網(wǎng)絡(luò)、圖像檢索等。