李二森，張保明，楊 娜，楊靖宇，郭曉剛

(信息工程大學(xué)測(cè)繪學(xué)院，河南鄭州450052)

非負(fù)矩陣分解在高光譜圖像解混中的應(yīng)用探討

李二森，張保明，楊 娜，楊靖宇，郭曉剛

(信息工程大學(xué)測(cè)繪學(xué)院，河南鄭州450052)

從線性混合模型與非負(fù)矩陣分解的定義出發(fā)，分析非負(fù)矩陣分解適用于高光譜圖像解混的原因，總結(jié)近年來(lái)學(xué)者們提出的基于非負(fù)矩陣分解的光譜解混算法，并重點(diǎn)對(duì)SC-NMF、MVC-NMF、APS-NMF算法步驟進(jìn)行介紹與分析，最后總結(jié)非負(fù)矩陣分解及其應(yīng)用于混合像元分解所面臨的問(wèn)題。

混合像元;光譜解混;非負(fù)矩陣分解;線性混合模型;端元

一、引 言

混合像元在高光譜圖像中廣泛存在，傳統(tǒng)的硬分類方法可能會(huì)產(chǎn)生不準(zhǔn)確的分類結(jié)果，而子像元分類方法能夠提供更加精確的分類結(jié)果用于確定細(xì)小的特征。如何從混合像元廣泛存在的高光譜遙感圖像中準(zhǔn)確地提取端元，并有效地對(duì)混合像元進(jìn)行分解，已成為遙感圖像定量分析的一個(gè)重要研究課題。

總的來(lái)說(shuō)，混合像元分解模型可以分為兩類，即線性光譜混合模型(linear spectral mixture model，LSMM)和非線性光譜混合模型(nonlinear spectral mixture model，NLSMM)。其中線性光譜混合模型的原理簡(jiǎn)單、效率高、物理意義明確，因而得到廣泛的研究和應(yīng)用。

非負(fù)限制下的低階估計(jì)問(wèn)題通常被稱作非負(fù)矩陣分解(nonnegative matrix factorization，NMF)，NMF的思想可以追溯到1994年P(guān)aatero和Tapper的文章［1］。Lee和Seung在一篇關(guān)于非監(jiān)督學(xué)習(xí)的文章［2］中也獨(dú)立地提出了NMF的概念，隨后他們發(fā)表在《自然》上的一篇文章給出了計(jì)算NMF的簡(jiǎn)化算法［3］，用于解決人臉識(shí)別和語(yǔ)義分析中的問(wèn)題，而且他們以矩陣的歐氏距離和K-L散度作為目標(biāo)函數(shù)，證明了NMF算法的收斂性。目前，NMF在人臉識(shí)別、數(shù)據(jù)挖掘、數(shù)據(jù)壓縮、非負(fù)數(shù)據(jù)的解譯、語(yǔ)音信號(hào)處理和神經(jīng)生物學(xué)等領(lǐng)域中得到了廣泛應(yīng)用［4-5］。NMF的數(shù)學(xué)模型與線性光譜混合模型十分相似，為將NMF應(yīng)用于線性混合模型下的光譜解混提供了可能。文獻(xiàn)［6-7］將沒(méi)有附加任何限制的NMF直接應(yīng)用于光譜解混，在試驗(yàn)中取得了一定的成果，文獻(xiàn)［8-10］結(jié)合非負(fù)矩陣分解分別提出了平滑限制非負(fù)矩陣分解(smoothness constrained nonnegative matrix factorization，SC-NMF)、最小體積限制的非負(fù)矩陣分解(minimum volume constraint nonnegative matrix factorization，MVC-NMF)和交互投影子梯度非負(fù)矩陣分解(alternating projected subgradients-nonnegative matrix factorization，APS-NMF)應(yīng)用于高光譜混合像元解混，在試驗(yàn)中取得了較好的結(jié)果。

本文在分析線性光譜混合模型和NMF原理的基礎(chǔ)上，對(duì)NMF在光譜解混中的應(yīng)用進(jìn)行了研究，并對(duì)MVC-NMF、APS-NMF和SC-NMF三種算法進(jìn)行了總結(jié)，最后分析了NMF及其應(yīng)用于光譜解混面臨的問(wèn)題。

二、線性光譜混合模型

線性光譜混合模型的表達(dá)式為

式中，x為l(l為影像波段數(shù))維混合像元光譜，是已知觀測(cè)量;A為l×p(p為端元數(shù)目)端元矩陣或源矩陣，其中每一列為一個(gè)端元的光譜向量;向量s為該像元中各端元的豐度(abundance);ε為l維高斯隨機(jī)噪聲或模型誤差。如果將高光譜圖像的n個(gè)像元(n為像元個(gè)數(shù))均考慮進(jìn)式(1)，則式(1)擴(kuò)展為

式中，X∈Rl×n，其列向量為每個(gè)像元的光譜;S∈Rp×n，構(gòu)成豐度矩陣或混合矩陣。圖1為式(2)表示的線性混合模型示意圖。對(duì)于線性混合模型而言，豐度矩陣S存在兩個(gè)限制條件:非負(fù)性限制(sij≥0，i=1，2，…，p，j=1，2，…，n) 以及其和為1的限制

圖1 線性混合模型示意圖

三、非負(fù)矩陣分解

非負(fù)矩陣分解作為一種盲源分解(blind source separation，BSS)算法已經(jīng)廣泛應(yīng)用于人臉識(shí)別和語(yǔ)義分析中，其具體過(guò)程為:給定非負(fù)矩陣X∈Rm×n和正整數(shù)p(p＜min(m，n))，非負(fù)矩陣分解的任務(wù)是尋找元素均為非負(fù)的矩陣A∈Rm×p和S∈Rp×n，滿足

或等價(jià)地寫(xiě)為

式中，Xj為X的第j列列向量;Sj∈Rp;參數(shù)p為矩陣A的期望秩，并且一般情況下p為先驗(yàn)信息或者可以由數(shù)據(jù)X確定。一般認(rèn)為A的列向量代表了數(shù)據(jù)X中潛在的信息，如具有物理意義的非負(fù)成分。這一特性使得非負(fù)矩陣分解廣泛使用于數(shù)據(jù)分析、降維、特征提取、目標(biāo)識(shí)別中。

解決NMF問(wèn)題的很自然的方法就是通過(guò)最小化Y和AS之間的歐氏距離來(lái)尋找最優(yōu)化途徑。

式中，符號(hào)‖‖2F代表Frobenius模。

對(duì)于代價(jià)函數(shù)式(6)，許多文獻(xiàn)提出了學(xué)習(xí)準(zhǔn)則，其中解決這個(gè)最優(yōu)化問(wèn)題的常用方法是文獻(xiàn)［3］中提出的乘法準(zhǔn)則。該算法從兩個(gè)正矩陣開(kāi)始，每次迭代過(guò)程中，將A和S的元素乘以一些正因子，以證明該方法 Y－AS2F在乘法準(zhǔn)則下單調(diào)非增。為了加速NMF的迭代算法過(guò)程，文獻(xiàn)［4］提出了一種投影梯度限制的優(yōu)化算法。非負(fù)矩陣分解經(jīng)常遇到的問(wèn)題就是局部最優(yōu)，很明顯的是，如果矩陣D為可逆矩陣，則AS=(AD)(D－1S)，因此NMF主要依賴于初始化和特定的學(xué)習(xí)策略。在很多應(yīng)用中，需要通過(guò)增加限制條件來(lái)減輕NMF結(jié)果的非唯一性，將式(2)與式(3)比較不難發(fā)現(xiàn)，NMF具有使用于混合像元分解的潛力。

四、非負(fù)矩陣分解在光譜解混中的應(yīng)用

混合像元分解的步驟主要包括數(shù)據(jù)降維、端元提取和豐度估計(jì)三部分，其中端元提取是混合像元分解的關(guān)鍵。端元提取算法的分類方法較多:根據(jù)是否假定光譜數(shù)據(jù)中存在純像元，端元提取算法可分為兩類:端元識(shí)別算法(endmember identification algorithm，EIA)和端元生成算法(endmember generation algorithm，EGA)，EIA直接從光譜數(shù)據(jù)中提取端元(即假定影像中存在純像元)，算法的理論一般比較簡(jiǎn)單，而EGA是從光譜數(shù)據(jù)中產(chǎn)生端元，算法的過(guò)程較為復(fù)雜。對(duì)于多(或高)光譜數(shù)據(jù)而言，由于地面分辨率等因素的限制，在大多數(shù)情況下，數(shù)據(jù)中并不存在純像元，因此，相對(duì)而言EGA提取的端元精度較高。NMF與線性混合模型具有一定的相似性:NMF通過(guò)線性結(jié)合尋找近似原始數(shù)據(jù)的非負(fù)基向量集，這些基向量的作用類似于端元?；贜MF的光譜解混算法不需要假定純像元的存在，并且在提取端元的同時(shí)可以獲取相應(yīng)的豐度矩陣，屬于EGA算法。NMF適合應(yīng)用于高光譜數(shù)據(jù)解混，主要原因包括［5］:

1)高光譜數(shù)據(jù)的空間維數(shù)和光譜維數(shù)都很高;

2)高光譜數(shù)據(jù)本身、端元光譜及其豐度均為非負(fù);

3)高光譜圖像中，波段數(shù)大于圖像中端元的個(gè)數(shù)。

文中重點(diǎn)對(duì)近年來(lái)學(xué)者們提出的 SC-NMF、MVC-NMF、APS-NMF算法步驟進(jìn)行總結(jié)和分析。

1.SC-NMF算法

SC-NMF算法將平滑限制引入NMF中用于光譜解混、空間目標(biāo)識(shí)別與分類。SC-NMF構(gòu)建的目標(biāo)函數(shù)為

SC-NMF算法的更新準(zhǔn)則為

1) 初始化矩陣 Ai，j＞ 0 ，hi，j＞ 0 ，?i，j;

2) 當(dāng) t=1，2，…(取最大迭代次數(shù))時(shí)則

由此可見(jiàn)，SC-NMF采用的是乘法更新準(zhǔn)則，與非負(fù)矩陣分解的梯度下降算法、交互最小二乘算法相比，其效率不高。文獻(xiàn)［8］將SC-NMF算法應(yīng)用于空間目標(biāo)識(shí)別并與LEE的NMF算法［3］結(jié)果進(jìn)行了比較，試驗(yàn)結(jié)果表明SC-NMF算法光譜解混的結(jié)果更優(yōu)。

2.MVC-NMF算法

MVC-NMF通過(guò)將體積限制加入到NMF中將最小二乘分析和凸面幾何結(jié)合起來(lái)。其提出的代價(jià)函數(shù)包括兩部分，一部分為估量觀測(cè)數(shù)據(jù)與端元和豐度重建數(shù)據(jù)之間的近似誤差，另一部分由最小體積限制組成。文獻(xiàn)［9］把這兩部分作為兩種力:外力(最小化近似誤差)使估計(jì)結(jié)果向點(diǎn)云外部移動(dòng)，內(nèi)力(最小化單體體積)在相反方向上使端元盡可能地相互靠近。算法具體過(guò)程為:

1)構(gòu)建目標(biāo)函數(shù)

式中，1p為元素全是1的p維列向量;1n為元素全是1的n維列向量;J(A)為懲罰項(xiàng)，計(jì)算用估計(jì)的端元構(gòu)成的單體體積;λ∈R。

2)初始化:從點(diǎn)云數(shù)據(jù)中隨機(jī)選擇p個(gè)點(diǎn)并將它們構(gòu)成A的初始值，S矩陣也可以隨機(jī)初始化，文獻(xiàn)［9］在試驗(yàn)中將矩陣S初始化為零矩陣。

3)利用虛擬維(VD)估計(jì)端元數(shù)目p。

4)停止準(zhǔn)則:給定迭代次數(shù)和誤差閾值。

5)根據(jù)一定準(zhǔn)則計(jì)算能夠最小化目標(biāo)函數(shù)的矩陣A、S，如果滿足停止準(zhǔn)則，則迭代停止，否則，更新矩陣A、S，繼續(xù)尋找最小化目標(biāo)函數(shù)的矩陣。

3.APS-NMF算法

APS-NMF算法認(rèn)為鄰域像素具有相似的豐度信息作為懲罰項(xiàng)引入NMF用于高光譜圖像解混。APS-NMF的目標(biāo)函數(shù)為

式中，Si表示豐度矩陣 S的列向量;表示第i個(gè)像素的鄰域像素集。APSNMF利用交互投影梯度算法求解函數(shù)f(A，S)的最優(yōu)解。文獻(xiàn)［10］將APS-NMF算法應(yīng)用于 AVIRIS高光譜數(shù)據(jù)，取得了一定的試驗(yàn)成果。

因?yàn)楦吖庾V圖像空間分辨率較低，鄰域像素或許會(huì)差別比較大，將每個(gè)像素均同樣考慮鄰域像素的豐度相似性似乎不妥。

五、非負(fù)矩陣分解及其應(yīng)用于光譜解混面臨的困難

本文分析了線性混合模型與非負(fù)矩陣分解的定義及特點(diǎn)，總結(jié)了NMF適合應(yīng)用于高光譜圖像解混的原因，重點(diǎn)對(duì)近年來(lái)的 SC-NMF、MVC-NMF、APS-NMF算法步驟進(jìn)行了介紹與分析。雖然人們針對(duì)非負(fù)矩陣分解開(kāi)展了不少的研究，并且在實(shí)際中取得了很好的應(yīng)用，但非負(fù)矩陣分解及其應(yīng)用于光譜解混仍然面臨一些問(wèn)題。

1)初始化方法:好的初始化方法能夠提高算法運(yùn)行的速度、加快算法收斂，目前大多數(shù)算法還只是采用隨機(jī)初始化方法進(jìn)行初始化;

2)子空間選擇:到目前為止，還沒(méi)有確定最優(yōu)p值(非負(fù)矩陣分解的最低階數(shù))的方法，該問(wèn)題比較困難且常取決于實(shí)際應(yīng)用;

3)最優(yōu)化問(wèn)題:目前，所有的NMF方法都存在該缺點(diǎn)，即求取的結(jié)果并非全局最優(yōu)，而是局部最優(yōu)解;

4)并行算法研究:由于大多數(shù)NMF方法存在雙線性特性，因此可以研究非負(fù)矩陣分解的并行算法，提高算法的效率。

［1］PAATERO P，TAPPER U.Positive Matrix Factorization:A Non-negative Factor Model with Optimal Utilization ofError Estimates of Data Values［J］.Environmetrics，1994(5):111-126.

［2］LEE D D，SEUNG H S.Unsupervised Learning by Convex and Conic Coding［J］.Advances in Neural Information Processing Systems，1997(9):515-521.

［3］LEE D D，SEUNG H S.Learning the Parts of Objects by Nonnegative Matrix Factorization［J］.Nature，1999，401(10)，788-791.

［4］GILLIS N，GLINEUR F.Using Underapproximations for Sparse Nonnegative Matrix Factorization［J］.Pattern Recognition，2010，43(4):1676-1687.

［5］賈森.非監(jiān)督的高光譜圖像解混技術(shù)研究［D］.杭州:浙江大學(xué)，2007.

［6］MASALMAH Y M.Unsupervised Unmixing of Hyperspectral Imagery Using the Constrained Positive Matrix Factorization［D］.Puero Rico:The University of Puerto Rico Mayaguez Campus，2007.

［7］PARRA L C，SAJDA P，DU S.Recovery of Constituent Spectra Using Non-negative Matrix Factorization［J］.SPIE Proceedings，2003，5207(11):321-331.

［8］PAURA V P，PIPER J，PLEMMONS R J.Nonnegative Matrix Factorization for Spectral Data Analysis［J］.Linear Algebra and Applications，2006，416(7):29-47.

［9］MIAO L，QI H.Endmember Extraction from Highly Mixed Data Using Minimum Volume Constrained Nonnegative Matrix Factorization［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45(3):765-777.

［10］ZYMNIS A，KIM S J，SKAF J，et al.Hyperspectral Image Unmixing via Alternating Projected Subgradients［C］∥Proceeding of 41st Asilomar Conference on Signals，Systems，and Computers.Pacific Grove，CA:［s.n.］，2007.

Discussion of the NMF’s Application for Hyperspectral Imagery Unmixing

LI Ersen，ZHANG Baoming，YANG Na，YANG Jingyu，GUO Xiaogang

0494-0911(2011)03-0007-04

P237

B

2010-01-08;

2010-06-23

礦山空間信息技術(shù)國(guó)家測(cè)繪局重點(diǎn)實(shí)驗(yàn)室(河南理工大學(xué)，河南省測(cè)繪局)開(kāi)放基金資助項(xiàng)目(KLM200904)

李二森(1984—)，男，河南新安人，博士生，主要研究方向?yàn)楦吖庾V圖像處理和模式識(shí)別。