(中國(guó)人民解放軍92785部隊(duì) 葫蘆島 125208)
在傳統(tǒng)的信號(hào)處理中,通常認(rèn)為隨機(jī)變量具有高斯分布特性。但在實(shí)際處理過(guò)程中,信號(hào)卻具有非高斯分布特性,例如自然景物圖像,聲音,腦電信號(hào)等,滿足高斯分布特性的信號(hào)少之又少,通過(guò)獨(dú)立分量分析方法對(duì)信號(hào)進(jìn)行處理不需要其滿足高斯分布,是一種新的盲源分離(Blind Source Separation,BSS)技術(shù)[1~2],在一定條件下,其可以通過(guò)多通道信號(hào)觀測(cè)有效分離出源信號(hào),因此獨(dú)立分量分析方法的研究具有廣泛的應(yīng)用前景。核心是以獨(dú)立統(tǒng)計(jì)為依據(jù),通過(guò)建立目標(biāo)函數(shù)實(shí)現(xiàn)對(duì)信號(hào)源的分解、優(yōu)化,進(jìn)而實(shí)現(xiàn)對(duì)觀測(cè)信號(hào)的分析。在獨(dú)立分量分析過(guò)程中,一般建立不同的目標(biāo)函數(shù)對(duì)信號(hào)的非高斯特征進(jìn)行分析,為使其非高斯性達(dá)到最大,還需通過(guò)不同的優(yōu)化算法對(duì)函數(shù)進(jìn)行處理,最終達(dá)到ICA各分量盡可能相互統(tǒng)計(jì)獨(dú)立的效果。本文簡(jiǎn)要介紹了獨(dú)立分量分析問(wèn)題的描述和預(yù)處理方法,分析了基于負(fù)熵最大化判據(jù)的FastICA算法,并將其應(yīng)用于人臉特征提取,在人臉識(shí)別中得到了滿意的結(jié)果。
ICA問(wèn)題可以描述為假設(shè)在m個(gè)通道中獲取到m個(gè)信號(hào)xi=(i=1,2,…,m),則每個(gè)觀測(cè)信號(hào)即是由n個(gè)獨(dú)立源信號(hào)si=(i=1,2,…,n)的線性混合而成。即
其中,觀測(cè)信號(hào)矢量矩陣為X=[x1,x2,…,xm]T,源信號(hào)矢量矩陣為S=[s1,s2,…,sn]T;A是尺寸為m×n的未知混合矩陣,也是ICA問(wèn)題需要解決的方面。ICA解決的基本問(wèn)題就是僅通過(guò)觀測(cè)數(shù)據(jù)xi估計(jì)未知獨(dú)立源si,或估計(jì)混合矩陣A。對(duì)于具有非高斯分布特證的信號(hào)而言,具體方法是尋找一個(gè)矩陣WI,使得
要求輸出信號(hào)yi相互獨(dú)立,則Y=[y1,y2,…,yn]T就是S的估計(jì)量。
首先對(duì)原始數(shù)據(jù)一般先進(jìn)行預(yù)處理,可使ICA的工作量大大減少。在數(shù)據(jù)預(yù)處理中,數(shù)據(jù)的“白化”過(guò)程在其中起到至關(guān)重要的作用,實(shí)質(zhì)上是利用線性變換得到各分量互不相關(guān)的新向量Z,并使Z的各個(gè)分量間互不相關(guān),且必須滿足E(ZZT)=I。利用奇異值分解(AVD)方法對(duì)X施加線性變換,假設(shè)一白化矩陣WP,可使Z=WPX。由矩陣分析理論知,Cx的協(xié)方差矩陣Cx=E(XXT)可分解為
其中WI=WWP,由E(YYT)=WE(zzT)WT=WWT=I可知,ICA的變換矩陣W是一個(gè)正交陣。由此可見,白化過(guò)程對(duì)ICA并不產(chǎn)生影響,且分離矩陣對(duì)原先估計(jì)矩陣而言,自由度大大減少,使得計(jì)算的復(fù)雜度有了顯著降低。
熵往往用來(lái)衡量信息的不確定性。在所有等方差隨機(jī)變量中,高斯分布的隨機(jī)變量熵最大。基于這一特點(diǎn)需要引入負(fù)熵概念(Negentropy),區(qū)別非高特性的信號(hào),建立函數(shù)實(shí)現(xiàn)對(duì)其度量。對(duì)任一隨機(jī)變量x,其負(fù)熵[4~5]定義為
其中xG是具有和x相同方差的高斯變量,H(·)為隨機(jī)變量的信息熵:
根據(jù)公式可知,當(dāng)且僅當(dāng)x滿足高斯分布特征時(shí),負(fù)熵值為零,當(dāng)x服從其它非高斯分布特征時(shí),由公式可知負(fù)熵的值始終大于零。當(dāng)滿足可逆的線性變換時(shí),負(fù)熵的值保持不變因而,負(fù)熵可以用來(lái)對(duì)非高斯信號(hào)進(jìn)行分析處理。但在負(fù)熵的計(jì)算中需估計(jì)隨機(jī)變量的概率密度,計(jì)算量較大,為方便計(jì)算,對(duì)負(fù)熵進(jìn)行合理有效近似,其中一種較好的負(fù)熵近似[6]:
其中,E(·)為均值計(jì)算,G(·)是一種非線性、非二次的函數(shù),通常選擇如下形式的G(·)函數(shù):
由中心極限定理可得,隨機(jī)信號(hào)在度量中可以通過(guò)非高斯性實(shí)現(xiàn)相互依賴,x的非高斯性越強(qiáng),J(x)值越大,可以得知最大化負(fù)熵即為最大化非高斯特性。
FastICA算法分如下兩步實(shí)現(xiàn)[7]:1)白化處理觀測(cè)信號(hào);2)提取獨(dú)立分量。其中,步驟1)在上面已經(jīng)分析過(guò),下面著重分析獨(dú)立分量的提取。白化過(guò)程解決了信號(hào)之間的相關(guān)性問(wèn)題,將信號(hào)分解成為互相獨(dú)立的信號(hào),但并沒有實(shí)現(xiàn)對(duì)圖像的分離。需要尋找一個(gè)分離矩陣W實(shí)現(xiàn)對(duì)白化信號(hào)Z中的獨(dú)立分量的提取。(注:此處提及的W是針對(duì)白化以后的信號(hào)Z而言的),分離矩陣W由迭代法不斷逼近,假設(shè)變量n表示迭代步數(shù),si為S中的某一分量,wi(n)為分離矩陣W(n)中,與si對(duì)應(yīng)的某一行向量,即
利用定義目標(biāo)函數(shù)度量si的非高斯性,每一次迭代過(guò)程對(duì)wi(n)進(jìn)行優(yōu)化,使其不斷逼近分離矩陣。FastICA算法的調(diào)整公式為[8]
當(dāng)相鄰兩次的wi(n)變化值較小或無(wú)變化時(shí),可認(rèn)為找到si,迭代完成。通過(guò)對(duì)時(shí)間平均獲得式(12)中的均值。在迭代過(guò)程時(shí)要注意每次迭代后都要對(duì)wi(n)進(jìn)行歸一化處理(wi(n)=wi(n)/||wi(n)||)。對(duì)于多獨(dú)立分量也可以采用此方法,需要注意的是需要在觀測(cè)信號(hào)中減去提取出的獨(dú)立分量,以此得到混合矩陣A和分離矩陣W。
人臉特征提取及識(shí)別目前是國(guó)內(nèi)外研究的一個(gè)重要方向,研究過(guò)程中發(fā)現(xiàn),人臉的圖像細(xì)節(jié)與高階統(tǒng)計(jì)特征密切相關(guān)。ICA方法便是基于高階統(tǒng)計(jì)特征,實(shí)現(xiàn)對(duì)多通道數(shù)據(jù)信息的處理分析,提取出圖像內(nèi)部的獨(dú)立特征。
本文對(duì)ICA標(biāo)準(zhǔn)人臉庫(kù)進(jìn)行分析,以此得到人臉識(shí)別統(tǒng)計(jì)的基本圖像。如圖1所示,源圖像S經(jīng)過(guò)線性混合后得到X,其中A為未知混合矩陣,滿足X=AS。根據(jù)前文所述的方法,利用ICA方法估計(jì)分離矩陣WI,將原圖像用分離矩陣從觀測(cè)圖像中分離,得到滿足統(tǒng)計(jì)獨(dú)立的輸出矩陣Y。
圖1 基本ICA模型
輸出矩陣Y=WIX的行向量是分離后的人臉基圖像。
如圖2所示,人臉圖像是由獨(dú)立基圖像經(jīng)過(guò)線性組合構(gòu)成的,混合矩陣A由每張圖人臉線性組合的系數(shù)構(gòu)成,A同樣可通過(guò)計(jì)算分離矩陣WI得到,。設(shè)xm為待識(shí)別人臉,在人臉空間中有
圖2 ICA獨(dú)立基圖像描述
其中,(a1,a2,…,an)即為投影系數(shù)。
本實(shí)驗(yàn)采用CAS-PEAL標(biāo)準(zhǔn)人臉數(shù)據(jù)庫(kù)[9]進(jìn)行ICA識(shí)別測(cè)試。本文從該數(shù)據(jù)庫(kù)中挑出400幅人臉圖像,包括40個(gè)不同的測(cè)試者,每人10幅在不同姿態(tài)、表情、裝飾和光照條件下的人臉圖片。其中圖片內(nèi)容包括了不同時(shí)期、光照和表情變化,所有圖像均為黑色背景。
圖3 ORL人臉庫(kù)中的部分人臉圖像
首先將圖像進(jìn)行標(biāo)準(zhǔn)化處理,得到65×65像素的臉圖,保證實(shí)驗(yàn)時(shí)人臉尺度的一致性;通過(guò)低通濾波手段,降低光照等對(duì)圖片影響,將人臉特征突出。具體方法是,將每一幅65×65人臉按行展開為1×4225行向量,n幅人臉構(gòu)成n×4225輸入矩陣X。
按照3:2的要求組成訓(xùn)練集和測(cè)試集,其中訓(xùn)練集隨機(jī)選擇了70個(gè)測(cè)試者的照片。每人前6幅65×65圖像構(gòu)成,得到420×4225的原始矩陣X,后4幅圖像構(gòu)成測(cè)試集。將首先運(yùn)用PCA方法[10~12]降低原始矩陣X維度。在該實(shí)驗(yàn)中,我們對(duì)數(shù)據(jù)進(jìn)行降維50%,保留了96%的原始數(shù)據(jù),將降維后的矩陣進(jìn)行ICA處理,輸出矩陣Y的每一行向量便是每份訓(xùn)練集人臉的基圖像。由于每行向量之間互不相關(guān),故其人臉圖像的投影系數(shù)唯一代表著該圖像,得到的系數(shù)構(gòu)成混合矩陣A。此時(shí),識(shí)別問(wèn)題變成了系數(shù)的識(shí)別問(wèn)題,可以利用分類器實(shí)現(xiàn)對(duì)人臉圖像的識(shí)別。
本文分析了基于負(fù)熵最大化判據(jù)的獨(dú)立分量分析算法,并將其應(yīng)用于人臉特征提取,在人臉識(shí)別中得到了滿意的結(jié)果。由于ICA理論、算法仍不斷在優(yōu)化,后續(xù)許多問(wèn)題的分析、處理方法都可以隨之進(jìn)行完善,包括對(duì)大量數(shù)據(jù)的人臉識(shí)別也成為后續(xù)該方法的研究重點(diǎn)。