高秀麗，陳華華

(杭州電子科技大學(xué)通信工程學(xué)院，浙江杭州310018)

0 引言

隨著信息技術(shù)的發(fā)展，圖像數(shù)據(jù)的規(guī)模變得越來越大。面對(duì)如此龐大的圖像數(shù)據(jù)，如何能夠快速而準(zhǔn)確地完成各種圖像分析任務(wù)己經(jīng)成為人們研究的熱點(diǎn)。視覺注意模型可以模擬人的注意機(jī)制，在圖像和視頻處理領(lǐng)域可以有選擇的獲取人們所關(guān)注的目標(biāo)顯著信息，在一定程度上降低了信息處理量。通過視覺注意模型計(jì)算得到的顯著圖在計(jì)算機(jī)視覺領(lǐng)域有著廣泛的應(yīng)用，包括圖像中顯著對(duì)象的分割［1］，目標(biāo)對(duì)象識(shí)別［2］，圖像壓縮［3］等。近年來，對(duì)于視覺注意的研究一直是計(jì)算機(jī)視覺和多媒體方向研究的熱點(diǎn)之一。一種基于全局對(duì)比度的顯著性區(qū)域檢測(cè)方法，得到了較為理想的顯著圖［4］。然而，方法并沒有考慮深度信息對(duì)人類視覺注意機(jī)制的影響，在特征選擇上與人類視覺注意機(jī)制存在較大的差異。為了得到更接近于人類視覺感知的視覺注意計(jì)算方法，根據(jù)特征整合理論［5］，本文在基于全局對(duì)比度模型的基礎(chǔ)上提出了一種融合深度信息的視覺注意模型。該模型首先通過全局優(yōu)化的圖切割方法提取深度信息得到深度信息圖，然后與原圖像分別進(jìn)行基于全局對(duì)比度的視覺注意計(jì)算得到各自的顯著圖，最后對(duì)兩者進(jìn)行融合得到最終的視覺注意顯著圖。實(shí)驗(yàn)結(jié)果表明該模型能夠得到相對(duì)完整的顯著性目標(biāo)，反映了深度信息對(duì)人類視覺注意的影響。

1 深度信息提取

立體匹配方法可大致分為兩種:一種是只對(duì)象素周圍小區(qū)域進(jìn)行約束的局部匹配方法;另一種是對(duì)掃描線甚至整幅圖進(jìn)行約束的全局匹配方法。全局匹配方法將計(jì)算集中在視差計(jì)算階段，目的是找出一個(gè)視差函數(shù)，使全局能量達(dá)到最小。全局能量函數(shù)如:

式中，映射函數(shù)f:P→L，P為各個(gè)攝像機(jī)拍攝成像的象素集，L是對(duì)應(yīng)不同深度值的離散集合，Edata(f)是數(shù)據(jù)項(xiàng)，Esmooth(f)是平滑項(xiàng)，Evisibility(f)是可視性約束項(xiàng)。

本文采用圖切割算法來求解使全局匹配能量最小的最小割曲面［6］，并根據(jù)最小割曲面為圖像中的象素分配視差值，最后通過計(jì)算最小代價(jià)視差得到最優(yōu)的視差圖，即深度信息圖。與誤配率較高的局部匹配方法相比，圖切割算法有較高的匹配準(zhǔn)確率。

2 基于全局對(duì)比度的視覺注意計(jì)算方法

基于全局對(duì)比度的顯著性計(jì)算方法是用一個(gè)區(qū)域和整幅圖像的對(duì)比度來計(jì)算顯著值［4］。首先用基于圖的分割方法將圖像分成若干區(qū)域［7］，然后對(duì)于圖像中的每個(gè)區(qū)域rk，計(jì)算它與圖像中其他區(qū)域的顏色對(duì)比度，并引進(jìn)空間信息來增加區(qū)域的空間影響，最后計(jì)算每個(gè)區(qū)域rk和其他區(qū)域?qū)Ρ榷燃訖?quán)和來得到區(qū)域rk的顯著值。區(qū)域rk的顯著值計(jì)算公式如:

式中，Ds(rk，ri)為區(qū)域rk和ri的空間距離，δs控制空間權(quán)值強(qiáng)度。兩個(gè)區(qū)域的空間距離定義為兩個(gè)區(qū)域重心的歐氏距離。w(ri)為區(qū)域ri的權(quán)值，表示區(qū)域ri里的象素?cái)?shù)，Dr(·，·)表示任意兩個(gè)區(qū)域的顏色距離度量。

3 融合深度信息的模型

在基于全局對(duì)比度模型的基礎(chǔ)上，本文提出一種融合深度信息的視覺注意模型，如圖1所示。在這個(gè)模型中，左圖像和右圖像首先通過全局優(yōu)化的立體匹配方法計(jì)算深度信息，得到深度信息圖。然后，利用基于全局對(duì)比度的方法，對(duì)左圖像和深度信息圖分別進(jìn)行計(jì)算得到各自的顯著圖。最后將左圖像顯著圖和深度信息顯著圖進(jìn)行融合得到最終的視覺注意顯著圖。

圖1 視覺注意模型系統(tǒng)框圖

深度信息融合的具體過程如下所述。左圖像顯著圖和深度信息顯著圖中的象素值均被歸一化到0－255之間，顯著性高的區(qū)域?qū)?yīng)的顯著值比較大，在顯著圖中會(huì)顯示的比較亮;相反，顯著性低的區(qū)域?qū)?yīng)的顯著值比較小，在顯著圖中會(huì)顯示的比較暗。對(duì)圖像計(jì)算顯著圖的目的是找到圖像中更容易引起觀察者感興趣的區(qū)域，是顯著值比較大的區(qū)域。因此，可以適當(dāng)?shù)暮雎燥@著值比較小的區(qū)域，更多的考慮顯著值比較大的區(qū)域?；谏厦娴目紤]，對(duì)左圖像顯著圖和深度信息顯著圖進(jìn)行閾值處理，選取0－255之間某一閾值T，分別將兩幅顯著圖中低于該閾值的象素值賦為0，其他象素的顯著值保持不變，這樣就得到經(jīng)過閾值處理的兩幅顯著圖。對(duì)于處理后的兩幅顯著圖，分別計(jì)算所有非0象素顯著值的均值，假設(shè)M1、M2分別表示經(jīng)過處理的左圖像顯著圖和深度顯著圖中非0象素顯著值的均值。對(duì)于兩幅顯著圖中的顯著區(qū)域，首先考慮第一顯著區(qū)域，即最容易引起觀察者興趣的注意焦點(diǎn)。為了判斷哪幅顯著圖中的顯著區(qū)域更占優(yōu)勢(shì)，對(duì)M1和M2進(jìn)行比較，采用勝者為王(即WTA)機(jī)制，如果M1大于M2，則M1對(duì)應(yīng)的閾值處理后的顯著圖作為最終的視覺注意顯著圖，相反，則M2對(duì)應(yīng)的閾值處理后的顯著圖作為最終的視覺注意顯著圖。

4 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文提出的方法的可行性，對(duì)該方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。本文實(shí)驗(yàn)用到的數(shù)據(jù)來自于美國Middlebury大學(xué)計(jì)算機(jī)視覺研究中心提供的立體圖像數(shù)據(jù)庫。本文用立體數(shù)據(jù)庫中的Tsukuba和Aloe圖像做實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖2、3所示。

圖2 Tsukuba實(shí)驗(yàn)結(jié)果

圖3 Aloe實(shí)驗(yàn)結(jié)果

圖2、3(a)是 Tsukuba和 Aloe原圖，圖2、3(b)是由程明明模型得到的顯著圖［4］，圖 2、3(c)是由本文提出的融合深度信息的視覺注意模型計(jì)算得到的顯著圖。在Tsukuba實(shí)驗(yàn)結(jié)果中，圖2(b)較好的表示了容易引起觀察者注意的臺(tái)燈區(qū)域。與圖2(b)相比較，圖2(c)更完整的檢測(cè)到了引起觀察者注意的臺(tái)燈區(qū)域。對(duì)于Aloe實(shí)驗(yàn)結(jié)果，圖3(b)顯示的顯著區(qū)域中的一些枝葉是不連續(xù)的。與圖3(b)相比較，圖3(c)得到了相對(duì)完整的顯著性目標(biāo)。圖2、3(b)是基于二維信息模型得到的，由于沒有考慮深度信息對(duì)人類視覺注意的影響，因此在特征選擇上存在一定的不足。圖2、3(c)的效果比較理想，顯著值高的區(qū)域比較集中，顯著度區(qū)分明顯。

為了更形像的描述本文模型得到的顯著圖，將得到的顯著圖中的顯著區(qū)域信息還原到原始圖像中，同時(shí)將基于二維信息模型得到的顯著圖信息也還原到原始圖像中。得到的實(shí)驗(yàn)效果圖如圖4所示。

圖4 Tsukuba和Aloe實(shí)驗(yàn)效果圖

圖4(a)是Tsukuba和Aloe原圖，圖4(b)是由程明明模型得到的顯著圖［4］，圖4(c)是基于圖4(b)得到的效果圖，圖4(d)是本文模型得到的顯著圖，圖4(e)是基于圖4(d)得到的效果圖。以Tsukuba圖為例，由圖可知，圖4(c)除了檢測(cè)到臺(tái)燈，還有雕像脖子處的一小塊殘余區(qū)域，而且臺(tái)燈區(qū)域有缺口。相比較而言，圖4(e)檢測(cè)到的臺(tái)燈區(qū)域比較完整，而且沒有周圍殘余區(qū)域的影響，檢測(cè)效果比較好。Tsukuba圖像中臺(tái)燈位置距離觀察者比較近，通過比較效果圖(e)和(c)，可以看出本文模型得到的效果圖(e)更好的反映了空間深度信息對(duì)視覺注意的影響。因此，深度信息的引入符合人類視覺感知的要求，體現(xiàn)了深度信息對(duì)人類視覺注意的影響，更符合人類生理學(xué)機(jī)制對(duì)目標(biāo)注意對(duì)像的判斷。

5 結(jié)束語

本文根據(jù)人類視覺機(jī)制及圖像的特點(diǎn)，綜合考慮影響人類視覺注意的因素。在基于全局對(duì)比度的視覺注意模型的基礎(chǔ)上，將深度信息對(duì)視覺注意的影響融合進(jìn)去，建立了融合深度信息的視覺注意計(jì)算模型。模型更全面的考慮了圖像中所含的二維信息和立體信息對(duì)人類視覺注意的影響，對(duì)于圖像中能夠引起人類視覺注意的注意焦點(diǎn)具有較好的檢測(cè)能力。本文模型對(duì)于區(qū)域顏色對(duì)比度比較明顯的圖像可取得較好的檢測(cè)結(jié)果，然而對(duì)于具有復(fù)雜紋理背景的圖像有待于進(jìn)一步的研究。因此，研究更適用的視覺注意計(jì)算方法，以及如何更好的將影響視覺注意機(jī)制的各因素進(jìn)行融合，是今后需要進(jìn)一步努力的方向。

［1］ Han J，Ngan K，Li M，etal.Unsupevrised extraction of visual attention objects in color images［J］.IEEE Transactions on Circuits and Systems for Video Technology，2006，16(1):141 －145.

［2］ Rutishauser U，Walther D，Koch C，etal.Is bottom-up attention useful for object recognition［C］.Washington:IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004:37 －44.

［3］ 紀(jì)震，蔣峰.基于注意力集中機(jī)制的圖像壓縮算法［J］.深圳大學(xué)學(xué)報(bào)(理工版)，2001，18(2):51－56.

［4］ Cheng Mingming，Zhang Guoxin，Mitra N J，etal.Global Contrast based Salient Region Detection［C］.Providence:IEEE Conference on Computer Vision and Pattern Recognition，2011∶409－416.

［5］ Treisman A M，Gelade G.A feature － integration theory of attention［J］.Cognitive Psycholog，1980，12(1):97 －106.

［6］ Boykov Y，Kolmogorov V.An Experimental Comparison of Min-cut/Max-flow Algorithms for Energy Minimization in Vision［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(9):1 124 －1 137.

［7］ Felzenszwalb P，Huttenlocher D.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59(2):167 －181.