張榮國 曹俊輝 胡 靜 張 睿 劉小君

圖像分割將圖像劃分為幾個不重疊且一致的區(qū)域,是計算機(jī)視覺中目標(biāo)分類和識別的關(guān)鍵步驟.在現(xiàn)有圖像分割算法中,聚類因其高效、快速的特點,成為常用的圖像分割方法之一[1].由于數(shù)據(jù)采集技術(shù)的發(fā)展,數(shù)據(jù)來自多個數(shù)據(jù)源、或可以由多個特征表示,使多視圖聚類成為聚類研究的重要方向之一[2].目前,多視圖聚類面臨的問題是如何充分利用視圖的多樣性并保持多個視圖的一致性,通過多個視圖信息獲得良好的聚類結(jié)果.近年來,研究人員提出多種多視圖聚類算法,包括基于圖的多視圖聚類算法、基于矩陣分解的多視圖聚類算法和基于深度學(xué)習(xí)的多視圖聚類算法.

在基于圖的多視圖聚類算法中,為了去除原始高維數(shù)據(jù)的噪聲和冗余,Zhu等[3]提出OMSC(One-Step Multi-view Spectral Clustering),從低維數(shù)據(jù)中學(xué)習(xí)共同親和矩陣.Ren等[4]利用l1范數(shù),提出RAMC(Robust Auto-Weighted Multi-view Clustering).考慮到數(shù)據(jù)樣本在不同空間的結(jié)構(gòu)關(guān)系,胡素婷等[5]提出基于概念分解(Concept Factorization, CF)的顯隱空間協(xié)同多視圖聚類算法(CF-Based Collaborative Multi-view Clustering Algorithm in Visible and Latent Spaces, Co-MVCF),在通過CF保持?jǐn)?shù)據(jù)局部結(jié)構(gòu)關(guān)系的同時,協(xié)同學(xué)習(xí)數(shù)據(jù)樣本在顯式空間和隱式空間的聚類,得到多個視圖之間統(tǒng)一的聚類結(jié)果.為了避免兩階段圖聚類算法中的后處理,Pan等[6]提出MCGC(Multi-view Contrastive Graph Clustering),學(xué)習(xí)拉普拉斯秩約束圖,直接由一致性融合圖獲得聚類結(jié)果.Zhong等[7]提出SCGLD(Simultaneous Con-sensus Graph Learning and Discretization),將共識圖學(xué)習(xí)和離散化整合到一個統(tǒng)一的框架中,避免后續(xù)的次優(yōu)聚類性能.目前,避免后處理的另一個研究方向是利用非負(fù)矩陣的可解釋性,即結(jié)合圖學(xué)習(xí)和矩陣分解.Kuang等[8]結(jié)合譜聚類與非負(fù)矩陣分解(Nonnegative Matrix Factorization, NMF),提出Sym-NMF(Symmetric NMF),在線性流形數(shù)據(jù)和非線性流形數(shù)據(jù)上均獲得較優(yōu)的聚類結(jié)果.受到文獻(xiàn)[8]的啟發(fā),Hu等[9]提出NESE(Multi-view Spectral Clus-tering via Integrating Nonnegative Embedding and Spec-tral Embedding),同時學(xué)習(xí)一個一致性非負(fù)嵌入矩陣和多個光譜嵌入矩陣,非負(fù)嵌入矩陣直接揭示聚類結(jié)果.

在基于矩陣分解的多視圖聚類算法中,為了保留流形的局部幾何結(jié)構(gòu),Khan等[10]提出MCNMF(Multi-view Data Clustering via NMF with Manifold Regularization),保留數(shù)據(jù)空間的局部幾何結(jié)構(gòu),在考慮到多個視圖的不同權(quán)重的同時,學(xué)習(xí)共同聚類解.由于NMF對原始數(shù)據(jù)矩陣具有非負(fù)性約束,學(xué)者們提出許多改進(jìn)NMF的策略,Ding等[11]提出單側(cè)正交NMF的概念,通過對因子矩陣施加正交約束,可得到唯一的因子解.為了提高大規(guī)模多視圖聚類的效率,Yang等[12]提出FMCNOF(Fast Multi-view Clustering Model via Nonnegative and Orthogonal Factorization),結(jié)合基于錨圖的算法與矩陣分解的算法,提高大規(guī)模多視圖的聚類效率.

在基于深度學(xué)習(xí)的多視圖聚類算法中,為了充分利用多視圖圖數(shù)據(jù)中的嵌入特征,Zhang等[13]提出MDGRL(Unsupervised Multi-view Deep Graph Repre-sentation Learning),利用多個基于圖卷積網(wǎng)絡(luò)的自動編碼器挖掘局部結(jié)構(gòu),并融入全局結(jié)構(gòu)中.Cai等[14]提出GRAE(Graph Recurrent AutoEncoder),利用全局圖卷積網(wǎng)絡(luò)自編碼器和局部圖卷積網(wǎng)絡(luò)自編碼器,同時挖掘不同視圖的全局結(jié)構(gòu)和唯一結(jié)構(gòu),再融合為自適應(yīng)加權(quán)融合的自訓(xùn)練聚類模塊.Xia等[15]提出MVGC(Multi-view Graph Embedding Clus-tering Network),使用自表達(dá)方案對多個圖卷積網(wǎng)絡(luò)自編碼器生成的公式表示施加對角約束,獲得較優(yōu)的聚類能力.

基于圖的多視圖聚類算法在挖掘數(shù)據(jù)非線性結(jié)構(gòu)上具有優(yōu)勢,但存在需要后處理和時間效率較低等問題.在基于矩陣分解的多視圖聚類算法中,當(dāng)原始數(shù)據(jù)為非線性結(jié)構(gòu)時,無法獲得良好的聚類性能,并且忽略數(shù)據(jù)的局部幾何結(jié)構(gòu).基于深度學(xué)習(xí)的多視圖聚類算法聚類能力較強(qiáng),但在學(xué)習(xí)和訓(xùn)練階段耗時較大.為此,本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(Non-negative Orthogonal Matrix Factorization Based Multi-view Clustering Image Segmentation Algorithm, NOMF-MVC).首先,考慮到原始高維數(shù)據(jù)中存在噪聲和冗余問題,通過流形學(xué)習(xí)非線性降維方法,將高維數(shù)據(jù)映射到低維空間中,在低維空間中得到每個視圖的譜嵌入矩陣.然后,構(gòu)建每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu),并將不同視圖譜嵌入矩陣的譜塊結(jié)構(gòu)通過設(shè)計的自適應(yīng)權(quán)重學(xué)習(xí)到具有一致性結(jié)構(gòu)的圖矩陣中.最后,通過非負(fù)正交分解將學(xué)習(xí)到的一致性圖矩陣分解為正交矩陣和非負(fù)矩陣,得到的非負(fù)矩陣直接揭示待分割圖像聚類結(jié)構(gòu).在多視圖數(shù)據(jù)集和圖像數(shù)據(jù)集上進(jìn)行對比實驗,驗證本文算法在聚類性能和圖像分割上具有一定優(yōu)勢.

1 相關(guān)知識

1.1 拉普拉斯特征映射

本文采用流形學(xué)習(xí)中拉普拉斯特征映射[16]進(jìn)行圖矩陣的構(gòu)造,拉普拉斯特征映射是一種非線性降維方法,能夠從高維數(shù)據(jù)中發(fā)現(xiàn)低維流形結(jié)構(gòu),得到高維數(shù)據(jù)和低維數(shù)據(jù)之間的映射關(guān)系.

拉普拉斯特征映射算法在高維空間中通常使用K-近鄰圖描述局部數(shù)據(jù)點之間的結(jié)構(gòu).若數(shù)據(jù)點xi與數(shù)據(jù)點xj互為近鄰,則采用高斯核函數(shù)

定義不同數(shù)據(jù)點之間的相似性,其中δ表示一個比例參數(shù).若數(shù)據(jù)點xi與數(shù)據(jù)點xj不是近鄰點,則si,j=0.

設(shè)降維后的矩陣為

Y=[Y1,Y2,…,Yn]∈Rk,

n表示數(shù)據(jù)點,k表示降維后低維空間的維數(shù).為了表示數(shù)據(jù)映射到低維空間中時依然可以保留在高維空間中的結(jié)構(gòu),設(shè)目標(biāo)函數(shù):

其中,yi、yj表示降維后的數(shù)據(jù)點,si,j表示數(shù)據(jù)點xi和xj之間的相似性,S表示鄰接矩陣.

設(shè)

D=diag(d1,d2,…,dn)

為度矩陣,其中

表示數(shù)據(jù)點i的度,

L=D-S

表示拉普拉斯矩陣,為了使最終所有節(jié)點的嵌入向量能夠盡可能填充降維后的空間,添加約束條件

YTDY=I,

其中I表示單位矩陣.根據(jù)拉普拉斯矩陣的性質(zhì),有

求解上式,轉(zhuǎn)化為廣義特征值分解的問題:

D-1LY=λY.

對上式中D-1L進(jìn)行特征值分解,根據(jù)拉普拉斯矩陣最小特征值為0時,對應(yīng)的特征向量為全1單位向量的性質(zhì).因此,取m個最小的非零特征值對應(yīng)的特征向量組成降維后的矩陣Y.

1.2 非負(fù)矩陣分解

非負(fù)矩陣分解(NMF)[17]將一個非負(fù)矩陣分解成兩個低秩的非負(fù)矩陣的乘積,可以提取數(shù)據(jù)內(nèi)部特征并實現(xiàn)降維,從而節(jié)省存儲空間和計算資源.NMF可表示為

其中:V∈Rn×m表示原始數(shù)據(jù)矩陣,具有非負(fù)性;W∈Rn×k、H∈Rk×m表示分解后的低秩矩陣,約束為非負(fù)矩陣,W表示基礎(chǔ)矩陣,H表示系數(shù)矩陣,n表示數(shù)據(jù)點的個數(shù),m表示原始數(shù)據(jù)點的維數(shù),k表示分解后數(shù)據(jù)點的維數(shù),一般情況下,k?m.

2 基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法

本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(NOMF-MVC),先使用流形學(xué)習(xí)獲取圖像每個視圖的譜嵌入矩陣,構(gòu)建譜塊結(jié)構(gòu),進(jìn)而通過設(shè)計的自適應(yīng)權(quán)值將其融合成一致性圖矩陣.分解圖矩陣,獲取非負(fù)嵌入矩陣,由此獲得多視圖特征聚類,映射后得到圖像分割結(jié)果.

2.1 算法構(gòu)建

2.1.1 多視圖流形學(xué)習(xí)譜嵌入矩陣

設(shè)X1,X2,…,Xv為v個視圖的數(shù)據(jù)矩陣,

為第v個視圖的數(shù)據(jù)矩陣,其中,n表示數(shù)據(jù)點的個數(shù),dv表示第v個視圖的維數(shù).降維后的數(shù)據(jù)矩陣為Y1,Y2,…,Yv,

為第v個視圖降維后的數(shù)據(jù)矩陣,其中mv表示第v個視圖降維后的維數(shù).則多視圖流形學(xué)習(xí)的目標(biāo)函數(shù)可表示為

s.t. (Yv)TDvYv=I,

(1)

Lv=Dv-Sv

為拉普拉斯矩陣,將式(1)轉(zhuǎn)化為求解廣義特征值分解的問題:

(Dv)-1LvYv=λYv.

(2)

對式(2)中的(Dv)-1Lv進(jìn)行特征值分解,取m個最小的非零特征值對應(yīng)的特征向量組成每個視圖的譜嵌入矩陣Yv,m表示降維后低維空間的維度.

2.1.2 譜嵌入矩陣的譜結(jié)構(gòu)融合

考慮到不同視圖經(jīng)過非線性降維后數(shù)據(jù)之間的結(jié)構(gòu)會有差異,若在此階段直接將不同視圖的譜嵌入矩陣Yv融合為一致性圖矩陣,會造成數(shù)據(jù)信息受損,不能真實反映數(shù)據(jù)間的關(guān)系,而每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T為嚴(yán)格的塊對角矩陣.圖1表示從ORL數(shù)據(jù)集的4個視圖上得到每個視圖的譜塊結(jié)構(gòu)Yv(Yv)T.

(a)全局特征 (b)局部二值模式(a)GIST (b)Local binary patterns

(c)方向梯度直方圖 (d)灰度共生矩陣(c)Histogram of oriented gradient(d)Grey Level co-occurrence matrices圖1 ORL數(shù)據(jù)集上4個視圖的譜塊結(jié)構(gòu)Fig.1 Spectrum block structure of 4 views on ORL dataset

由圖1可以看出,每個視圖的譜塊結(jié)構(gòu)大致相同,由譜塊結(jié)構(gòu)可以挖掘不同視圖間潛在的一致類簇結(jié)構(gòu).因此,在學(xué)習(xí)一致性圖矩陣之前構(gòu)建每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu)是必要的.本文通過最小化每個視圖的譜塊結(jié)構(gòu)Yv(Yv)T與一致性圖矩陣S之間的差值實現(xiàn)譜結(jié)構(gòu)的融合.目標(biāo)函數(shù)如下:

(3)

2.1.3 自適應(yīng)權(quán)重一致性圖矩陣生成

由圖1可以看出,不同視圖的重要性存在差異,因此應(yīng)為每個視圖設(shè)計自適應(yīng)權(quán)值δv(v=1,2,…,V).視圖中包含的有用信息越多,賦予的權(quán)值越大,反之,賦予越小的權(quán)值.通過最小化一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T之間的距離差值學(xué)習(xí)一致性圖矩陣S,目標(biāo)函數(shù)可以表示為

(4)

其中:δv表示每個視圖的權(quán)值,δT1=1,0≤δv≤ 1為自適應(yīng)權(quán)值δv的約束條件,δ表示元素為所有視圖權(quán)值的列向量,1表示元素全為1的列向量;si,j表示si的第j個元素;si∈Rn×1表示列向量;S表示一致性圖矩陣.

視圖的自適應(yīng)權(quán)值δv由一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T的距離差值動態(tài)獲取:差值越小,表明兩者之間越相似,應(yīng)賦予越大的權(quán)值;反之,賦予越小的權(quán)值.因此,自適應(yīng)權(quán)值δv可以定義為

(5)

如果權(quán)值δv被固定為式(5),求解問題(4)可以等價于求解如下問題:

(6)

式(6)的拉格朗日函數(shù)為

(7)

其中,θ(Λ,S)表示由約束S≥0,1Tsi=1導(dǎo)出的形式化術(shù)語,Λ表示拉格朗日乘子.

對式(7)中的變量S求導(dǎo),將導(dǎo)數(shù)設(shè)為0,可表示為

(8)

其中δv可由式(5)表示.

如果對式(4)的拉格朗日函數(shù)求導(dǎo),同樣可得到式(8),因此式(4)等價于式(6).式(5)中每個視圖的權(quán)值由一致性圖矩陣S與不同視圖譜結(jié)構(gòu)塊Yv(Yv)T之間的距離誤差動態(tài)獲取,使每個視圖的權(quán)重可以自動分配.

2.1.4 一致性圖矩陣聚類

由于NMF約束輸入矩陣和輸出矩陣均為非負(fù)矩陣,存在一定的局限性,Ding等[11]提出單側(cè)正交NMF的概念,將一個數(shù)據(jù)矩陣分解為兩個因子矩陣,對分解后的矩陣分別施加正交約束和非負(fù)約束.分解后的正交矩陣可以保證解的唯一性,非負(fù)矩陣具有聚類可解釋性,可作為聚類指標(biāo)矩陣.單側(cè)正交NMF可表示為

其中,X∈Rn×m表示原始數(shù)據(jù)矩陣,H∈Rn×k表示非負(fù)矩陣,F∈Rm×k表示正交矩陣,n表示數(shù)據(jù)點的個數(shù),m表示原始數(shù)據(jù)點的維數(shù),k表示分解后數(shù)據(jù)點的維數(shù),一般情況下,k?m.

由式(4)得到一致性圖矩陣后,對其進(jìn)行單側(cè)正交NMF,直接揭示聚類結(jié)果,避免后處理帶來的不確定性.結(jié)合式(4),結(jié)合一致性圖矩陣學(xué)習(xí)和非負(fù)正交矩陣分解的目標(biāo),對生成的一致性圖矩陣分解,最終的目標(biāo)函數(shù)為:

(9)

其中:S表示由式(4)得到的一致性圖矩陣;F表示矩陣分解后得到的正交矩陣,每列表示一個基本向量;H表示矩陣分解后得到的非負(fù)矩陣,具有可解釋性,故最終的聚類結(jié)果由非負(fù)矩陣直接獲得;I表示單位矩陣.

目標(biāo)函數(shù)(9)中第一部分首先構(gòu)建每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T,然后將不同視圖譜嵌入矩陣的譜塊結(jié)構(gòu)通過設(shè)計的自適應(yīng)權(quán)重學(xué)習(xí)到具有一致性圖矩陣S中.第二部分對一致性圖矩陣進(jìn)行非負(fù)正交分解,通過非負(fù)正交約束重新構(gòu)造一致性圖矩陣,最終獲得的非負(fù)矩陣作為聚類指標(biāo)矩陣,直接得到聚類結(jié)果,進(jìn)而獲得圖像分割結(jié)果.通過最小化目標(biāo)函數(shù)的這兩部分,使兩部分相互學(xué)習(xí),避免以往譜聚類后處理中聚類結(jié)果會受到初始一致性相似矩陣質(zhì)量影響的問題.

2.2 變量優(yōu)化

目標(biāo)函數(shù)(9)中有3個變量.由于該目標(biāo)函數(shù)具有非凸性,很難直接求解.因此,采用固定其它變量以更新一個變量的方法,求解該目標(biāo)函數(shù)的最優(yōu)解.優(yōu)化算法主要過程如下.

1)固定變量S和F,更新變量H.當(dāng)固定一致性圖矩陣S和正交矩陣F時,目標(biāo)函數(shù)(9)可以簡化為

由于正交矩陣F具有正交性,FFT=I,上式可以等價為

則變量H的解可以表示為

H=max(SF,0).

(10)

2) 固定變量S和H,更新變量F.當(dāng)固定一致性圖矩陣S和非負(fù)矩陣H時,目標(biāo)函數(shù)(9)可以簡化為

將上式轉(zhuǎn)化為矩陣跡的形式:

去掉多項式中全部為固定變量的項,可以轉(zhuǎn)化為

(11)

其中ST、H為固定變量,因此令

Q=STH,

則式(11)可以表示為

在上式中,設(shè)矩陣Q的左奇異值U∈Rn×c和右奇異值V∈Rc×c,若給定一個矩陣M∈Rn×c,那么問題

中變量W的最優(yōu)解為

F=UVT.

(12)

3)固定H和F,更新變量S.當(dāng)固定非負(fù)矩陣H和正交矩陣F時,目標(biāo)函數(shù)(9)可以表示為

將上式表述為矩陣跡的形式:

去掉多項式中全部為固定變量的項,可以轉(zhuǎn)化為

合并同類項,上式可以轉(zhuǎn)化為

繼續(xù)轉(zhuǎn)化為

則獲得變量S的最優(yōu)解:

(13)

2.3 算法步驟

NOMF-MVC根據(jù)像素特征數(shù)據(jù)之間的相似性分類,將像素特征數(shù)據(jù)劃分為不同的組.為此,先將圖像劃分為多個超像素塊[19],提取每個超像素塊的多個不同視圖特征,再進(jìn)行多視圖聚類和圖像分割.NOMF-MVC具體步驟如下.

算法1NOMF-MVC

輸入待分割圖像,超像素個數(shù)n

輸出分割后的圖像

step 1 將圖像劃分為n個超像素.

step 2 提取超像素的多個不同視圖特征作為多視圖數(shù)據(jù)矩陣Xv(v=1,2,…,V).

step 3 根據(jù)式(1)和式(2)計算非線性降維后的譜嵌入矩陣Yv.

step 4 計算每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu)Yv(Yv)T.

step 5 根據(jù)式(3)和式(4)得到融合不同視圖譜塊結(jié)構(gòu)后的一致性圖矩陣S.

step 6 根據(jù)式(9)得到非負(fù)矩陣H和正交矩陣F.

step 7 判斷是否滿足收斂條件.若滿足,轉(zhuǎn)step 12;否則,轉(zhuǎn)step 8.

step 8 通過式(10)更新非負(fù)矩陣H.

step 9 通過式(12)更新正交矩陣F.

step 10 通過式(13)更新一致性矩陣S.

step 11 轉(zhuǎn)step 7.

step 12 由非負(fù)矩陣H同行不同列的最大值索引得到聚類結(jié)果.

step 13 將聚類結(jié)果映射到超像素中.

step 14 輸出分割結(jié)果圖.

算法1中的時間復(fù)雜度主要在step 3中計算變量Yv和step 9中更新變量F,step 3中對(Dv)-1Lv進(jìn)行特征值分解的時間復(fù)雜度為O(n3),step 9中對矩陣STH進(jìn)行奇異值分解的時間復(fù)雜度為O(n3),其中n表示數(shù)據(jù)量.因此,NOMF-MVC總的時間復(fù)雜度為O(2tn3),其中t表示迭代次數(shù).

3 實驗及結(jié)果分析

3.1 實驗設(shè)置

本文實驗在安裝Windows 10,CPU 2.40 GHz,16 GB RAM的計算機(jī)上通過 Matlab 2021a實現(xiàn).

3.1.1 實驗數(shù)據(jù)集

本文在多視圖數(shù)據(jù)集COIL20、Outdoor Scene、ORL和圖像數(shù)據(jù)集Berkeley、COCO上分別進(jìn)行多視圖聚類實驗和圖像分割對比實驗,驗證NOMF-MVC的聚類性能和圖像分割效果.

COIL20數(shù)據(jù)集包含1 440幅圖像,分成20組,每組有72幅圖像.Outdoor Scene數(shù)據(jù)集包含2 688幅圖像,分成8組.ORL數(shù)據(jù)集包含10組400幅圖像.Berkeley數(shù)據(jù)集包括500幅圖像,大小為481×321或321×481.COCO數(shù)據(jù)集包含328 000個影像和2 500 000個標(biāo)注.

3.1.2 基線算法

為了驗證本文算法的性能,選擇如下7種算法進(jìn)行對比.

1)NESE[9].將非負(fù)嵌入和譜嵌入集成到統(tǒng)一框架中的多視圖聚類算法.

2)S-MVSC(Sparse Multi-view Spectral Clus-tering)[20].從多個視圖中學(xué)習(xí)具有稀疏結(jié)構(gòu)的一致相似矩陣的多視圖聚類算法.

3)SMVSC(Scalable Multi-view Subspace Clus-tering with Unified Anchors)[21].將錨學(xué)習(xí)和圖構(gòu)建結(jié)合到一個統(tǒng)一的優(yōu)化框架中的大規(guī)模多視圖聚類.

4)UOMVSC(Unified One-Step Multi-view Spec-tral Clustering)[22].集成光譜嵌入和k-means進(jìn)入統(tǒng)一的框架,直接獲得離散聚類標(biāo)簽的多視圖聚類算法.

5)SFFCM(Superpixel-Based Fast Fuzzyc-means)[23].基于超像素的快速FCM聚類的圖像分割算法.

6)RSSFCA(Robust Self-Sparse Fuzzy Clus-tering Algorithm)[24].用于圖像分割的魯棒自稀疏模糊聚類算法.

7)Mask2Former(Masked-Attention Mask Trans-former)[25].能夠處理多種圖像分割任務(wù)(全景、實例或語義)的基于深度學(xué)習(xí)的圖像分割算法.

3.1.3 評價指標(biāo)

為了驗證算法的有效性, 本文采用邊緣召回率(Boundary Recall, BR)、F1、分割精度(Segmenta-tion Accuracy, SA)[24]、交并比(Intersection Over Union, IOU)、邊緣位移誤差(Boundary Displace-ment Error, BDE)[26]和運(yùn)行時間這6個評價指標(biāo)進(jìn)行驗證.另外,為了驗證本文算法的抗噪魯棒性,選取峰值信噪比(Peak Signal to Noise Ratio, PSNR)作為量化指標(biāo).

BR為衡量真值邊界和算法生成邊界之間一致性程度的指標(biāo).BR 值越高,生成的分割邊界與真實邊界越接近.

F1是召回率(Recall)和精確率(Precision)的加權(quán)調(diào)和平均,綜合召回率和準(zhǔn)確率的結(jié)果,值越大,實驗結(jié)果越優(yōu).

SA指正確分類的像素點占總分割像素點的百分比,SA 值越高,分割效果越優(yōu).

IOU指分割結(jié)果與真值之間交集與并集的比值.IOU值越大,分割結(jié)果越接近真實分割.

PSNR作為評價聚類算法抗噪性能強(qiáng)弱的指標(biāo),定義為

其中,均方誤差

Iij表示無噪聲干擾圖像分割結(jié)果的像素值,Kij表示噪聲干擾圖像分割結(jié)果的像素值,m×n表示圖像大小.PSNR值越大表明聚類分割算法抗噪性能越優(yōu),對噪聲抑制能力越強(qiáng).

3.2 多視圖聚類實驗

為了更直觀地表現(xiàn)本文算法的聚類性能,在COIL20數(shù)據(jù)集上,分別給出由本文算法構(gòu)造的3個單視圖相似矩陣可視化結(jié)果和NESE、UOMVSC、NOMF-MVC多視圖融合后的相似矩陣可視化結(jié)果.具體如圖2所示,圖中對角線塊表示數(shù)據(jù)的相似性,對角線塊結(jié)構(gòu)越清晰,表明聚類性能越優(yōu).

由圖2(a)～(c)可見,對角線塊結(jié)構(gòu)較分散,(b)的對角線塊結(jié)構(gòu)比(a)更清晰,表明視圖2的性能優(yōu)于視圖1,也體現(xiàn)出不同視圖之間存在重要性差異.(d)～(f)中對角線塊結(jié)構(gòu)明顯清晰,表明多視圖可以探索出各視圖間的互補(bǔ)信息.對比(d)～(f),發(fā)現(xiàn)(f)的對角線塊最清晰,表明NOMF-MVC能夠探索出各個視圖之間的相關(guān)性,獲得最佳的聚類結(jié)果.

(a)視圖1 (b)視圖2(a)View1 (b)View2

(c)視圖3 (d)NESE(c)View3

(e)UOMVSC (f)NOMF-MVC圖2 相似矩陣可視化結(jié)果Fig.2 Similarity matrix visualization

在多視圖數(shù)據(jù)集Outdoor Scene上,應(yīng)用t-SNE(t-Distributed Stochastic Neighbor Embedding)非線性降維技術(shù)將高維空間中的數(shù)據(jù)映射到二維坐標(biāo)軸上,實現(xiàn)視圖可視化.圖3為降維后的可視化視圖,其中,(a)～(d)為4個單視圖的可視化視圖.將4個單視圖拼接為一個長向量,(e)為拼接后的可視化視圖.(f)為NOMF-MVC多個視圖融合后的可視化視圖.(g)為NOMF-MVC聚類后的可視化視圖.由圖3可見,相比(a)～(d)中的單視圖,(f)中相同顏色的數(shù)據(jù)點分布在一定區(qū)域內(nèi)相對集中,表明NOMF-MVC融合后的視圖是基于每個單視圖相似性獲取的.相比(e),(f)中具有相同顏色的數(shù)據(jù)點分布更集中,表明NOMF-MVC優(yōu)于傳統(tǒng)的拼接方法.相比(f),(g)中具有相同顏色的數(shù)據(jù)點基本分布在同一個區(qū)域內(nèi),表明NOMF-MVC具有良好的聚類性能.

(a)視圖1 (b)視圖2(a)View 1 (b)View 2

(c)視圖3 (d)視圖4(c)View 3 (d)View 4

(e)拼接后視圖 (f)融合后視圖 (g)聚類后視圖(e)Spliced view (f)Fused view (g)Clustered view圖3 降維后的可視化視圖Fig.3 Reduced-dimension visual view

3.3 圖像分割實驗

為了在視覺上直觀地對比各算法的分割效果,在Berkeley、COCO數(shù)據(jù)集上分別選取部分圖像進(jìn)行圖像分割實驗,8種算法的圖像分割結(jié)果如圖4所示.

由圖4可見,S-MVSC和SMVSC需要后處理,聚類結(jié)果容易受到初始圖質(zhì)量的影響,導(dǎo)致在圖像分割時圖像前景輪廓容易受到背景干擾,出現(xiàn)誤分割和過分割的現(xiàn)象.NESE忽略特定視圖嵌入矩陣的信息,只考慮指標(biāo)矩陣的非負(fù)性,聚類性能受到限制,導(dǎo)致在圖像分割中表現(xiàn)不穩(wěn)定,如在圖像80273上出現(xiàn)誤分割現(xiàn)象.UOMVSC整體分割效果較優(yōu),但在保留原始數(shù)據(jù)框架時受噪聲影響,會出現(xiàn)少量的誤分割現(xiàn)象.RSSFCA考慮到圖像的局部空間信息,能分割出圖像的前景輪廓,但在細(xì)節(jié)中信息丟失過多.SFFCM整體分割效果相對較優(yōu),但僅提取直方圖特征,導(dǎo)致細(xì)節(jié)部分分割不理想,如在圖像23025上未分割出小女孩的臉部.Mask2Former在Transformer解碼器中使用屏蔽注意力,并使用多尺度高分辨率特征幫助模型分割小區(qū)域,故分割效果較理想.

(a)原始圖像(a)Original images

(b)SMVSC

(c)S-MVSC

(d)NESE

(e)UOMVSC

(f)RSSFCA

(g)SFFCM

(h)Mask2former

(i)NOMF-MVC圖4 各算法的圖像分割結(jié)果對比Fig.4 Comparison of image segmentation results of different algorithms

NOMF-MVC在目標(biāo)和背景相對復(fù)雜的圖像上,均能分割出整體輪廓,如圖4(i)所示.黃色方塊標(biāo)記為表現(xiàn)較好的細(xì)節(jié)部分,這是由于NOMF-MVC考慮到圖像數(shù)據(jù)固有的流形結(jié)構(gòu),挖掘出數(shù)據(jù)內(nèi)部的局部幾何結(jié)構(gòu),故在細(xì)節(jié)分割上表現(xiàn)較優(yōu);在數(shù)據(jù)融合階段考慮到不同視圖內(nèi)部結(jié)構(gòu)和重要性的差異,故出現(xiàn)相對較少的細(xì)節(jié)丟失現(xiàn)象.

為了定量說明NOMF-MVC的有效性,對上述圖像在BR、F1、SA、IOU、BDE和運(yùn)行時間上進(jìn)行對比,結(jié)果如表1所示.

表1 各算法的性能指標(biāo)評估結(jié)果對比Table 1 Comparison of performance index evaluation of different algorithms

由表1可以看出,NOMF-MVC的分割效果在總體上表現(xiàn)較優(yōu).在BR和F1上,NOMF-MVC次優(yōu)于Mask2Former,優(yōu)于其它算法.在SA上,NOMF-MVC表現(xiàn)最優(yōu),比Mask2Former提升4.73%,比SMVSC提升10.14%,表明NOMF-MVC在細(xì)節(jié)分割上具有較大優(yōu)勢,這是由于本文應(yīng)用非線性降維方法,充分探索出數(shù)據(jù)的局部幾何結(jié)構(gòu),并通過譜塊結(jié)構(gòu)保留數(shù)據(jù)的局部特征.在BDE上,NOMF-MVC在部分圖像上次優(yōu)于Mask2Former和SFFCM,但SFFCM不穩(wěn)定,如在80273這類圖像上出現(xiàn)邊緣位移誤差較大的現(xiàn)象.在時間效率上,NOMF-MVC是其它算法的1到12倍,表現(xiàn)最優(yōu),這是由于本文的非線性降維方法去除數(shù)據(jù)冗余,減小數(shù)據(jù)規(guī)模,另外,非負(fù)正交分解方法避免后處理,節(jié)省時間成本,故在保證分割精度最優(yōu)的條件下提高時間效率.

為了進(jìn)一步驗證NOMF-MVC的有效性,對Berkeley 數(shù)據(jù)集上的全部500幅圖像進(jìn)行測試,圖5為各算法分別對500幅圖像的6個評價指標(biāo)取平均值后的結(jié)果對比.由圖可以看出,NOMF-MVC在6個評價指標(biāo)上均有良好的表現(xiàn),特別是在時間效率上有倍數(shù)級的提高.

(a)BR (b)F1

(c)SA (d)IOU

(e)BDE (f)運(yùn)行時間(f)Running time圖5 各算法在Berkeley數(shù)據(jù)集上的評價指標(biāo)平均值對比Fig.5 Average value comparison of evaluation indexes of different algorithms on Berkeley dataset

3.4 抗噪魯棒性實驗

在Berkeley、COCO數(shù)據(jù)集上選取部分圖像添加高斯噪聲,并選取分割效果較優(yōu)的SFFCM和NESE與NOMF-MVC在原圖和噪聲圖上進(jìn)行圖像分割實驗,分割結(jié)果如圖6所示.

(a)原始圖像和噪聲圖(a)Original images and noisy images

(b)SFFCM

(c)NESE

(d)NOMF-MVC圖6 各算法對原圖與噪聲圖的分割結(jié)果Fig.6 Segmentation results of different algorithms for original images and noisy images

圖中第1列和第4列是各算法對原始圖像的分割結(jié)果,第2列和第5列是各算法對加入方差為0.01、均值為0.1高斯噪聲圖的分割結(jié)果,第3列和第6列是各算法對加入方差為0.01、均值為0.2高斯噪聲圖的分割結(jié)果.

由圖6可見,各算法對噪聲圖分割時均會出現(xiàn)不同程度的誤分割現(xiàn)象.SSFCM和NESE受噪聲影響較大,尤其是NESE,噪聲分割圖的整體輪廓丟失.而NOMF-MVC受噪聲影響較小,這是因為NOMF-MVC通過非線性降維方式去除原始數(shù)據(jù)中噪聲和冗余,故抗噪魯棒性較優(yōu).

為了定量驗證NOMF-MVC的抗噪魯棒性,分別為原始圖像加入方差為0.01、均值為0.1～0.5的高斯噪聲,不同算法在不同噪聲下的PSNR值如圖7所示.

(a)23025

(b)80273圖7 各算法在2個圖像上的PSNR對比Fig.7 PSNR comparison of different algorithms on 2 images

由圖7可以看出,所有算法的PSNR值隨著高斯噪聲均值的增大而變小,表明噪聲越大,聚類分割算法的抗噪性能越差.當(dāng)高斯噪聲的均值相同時,NOMF-MVC的PSNR值均大于其它算法,表明其抗噪性能最優(yōu).

3.5 消融實驗

各算法在ORL、COIL20兩個多視圖數(shù)據(jù)集和Berkeley 數(shù)據(jù)集上的評價指標(biāo)對比如圖8所示,對Berkeley數(shù)據(jù)集上500幅圖像的評價指標(biāo)取平均值得到(c)的柱狀圖.

(a)ORL

(b)COIL20

(c)Berkeley圖8 各算法在3個數(shù)據(jù)集上的評價指標(biāo)對比Fig.8 Evaluation index comparison of different algorithms on 3 datasets

由圖8可以看出,當(dāng)去除NOMF-MVC中關(guān)鍵部分后,聚類性能和分割效果均會下降,這表明NOMF-MVC中的每個組成成分都是有效的.

4 結(jié) 束 語

本文提出基于非負(fù)正交矩陣分解的多視圖聚類圖像分割算法(NOMF-MVC),通過非線性降維方法去除原始數(shù)據(jù)中存在的噪聲和冗余,挖掘數(shù)據(jù)的局部幾何結(jié)構(gòu).計算每個視圖譜嵌入矩陣的譜塊結(jié)構(gòu),使不同視圖具有一致的類簇結(jié)構(gòu),并在融合階段通過設(shè)計的自適應(yīng)權(quán)值學(xué)習(xí)一致性圖矩陣.對一致性圖矩陣進(jìn)行非負(fù)正交分解,直接揭示聚類結(jié)果,提高時間效率.在多視圖數(shù)據(jù)集、Berkeley、COCO數(shù)據(jù)集上的實驗驗證NOMF-MVC在聚類性能和圖像分割上均具有明顯優(yōu)勢.因為NOMF-MVC主要集中在對完整多視圖圖像的聚類分割,因此對不完全多視圖圖像的聚類分割將是下一步研究的方向.