潘 越，方向忠，王 慈

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

?

人臉圖像信息可用性影響因素的研究分析

潘 越，方向忠，王 慈

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

傳統(tǒng)的圖像質(zhì)量評(píng)估技術(shù)通常用于判斷圖像的整體質(zhì)量，而不能有效地判斷人臉圖像信息的可用性。而人臉圖像信息可用性評(píng)估在安防監(jiān)控中具有很強(qiáng)的應(yīng)用價(jià)值。提出了人臉圖像信息可用性的概念，并提出了通過人臉識(shí)別算法來評(píng)估該可用性的度量方法。通過采用PCA人臉識(shí)別算法模擬仿真，定量地從原理上研究了影響人臉圖像信息有用性的關(guān)鍵因素，并通過實(shí)驗(yàn)進(jìn)行了驗(yàn)證。

人臉圖像；PCA識(shí)別；質(zhì)量評(píng)估

當(dāng)代是一個(gè)視覺內(nèi)容越發(fā)豐富的時(shí)代，圖像和視頻信息已經(jīng)變得無處不在，發(fā)達(dá)的科技讓人們可以輕松高效地完成圖像或者視頻信息的獲取、傳輸、存儲(chǔ)以及瀏覽。在這樣的過程中，一直被關(guān)注的一個(gè)問題就是：圖像所傳遞的信息對(duì)人是否有效，是否可用？

圖像質(zhì)量評(píng)估技術(shù)[1]的研究一般被應(yīng)用于對(duì)上述問題的回答當(dāng)中。如今的圖像質(zhì)量評(píng)估技術(shù)對(duì)圖像質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)通常是圖像是否清晰、是否美觀[2]。當(dāng)前比較熱門的圖像質(zhì)量評(píng)估方法有空間域處理技術(shù)[3-4]、視覺碼本技術(shù)[5]、曲波小波混合變換技術(shù)[6]等。然而，不同的應(yīng)用場(chǎng)景對(duì)于圖像信息是否有用的標(biāo)準(zhǔn)是不一樣的。例如，對(duì)于安防監(jiān)控信息來說，公安能否從監(jiān)控中識(shí)別人臉才是圖像可用性的判斷標(biāo)準(zhǔn)。

圖像質(zhì)量評(píng)估技術(shù)判斷圖像是基于 “主觀平均打分”的標(biāo)準(zhǔn)(DMOS/MOS)[7]。而如果想要判斷一個(gè)監(jiān)控視頻的人臉部分的信息是否“可用”，DMOS標(biāo)準(zhǔn)將不具有參考價(jià)值。人們需要建立一個(gè)新的監(jiān)控圖像中的人臉數(shù)據(jù)庫，并將特定的受眾對(duì)數(shù)據(jù)庫中每張人臉的“可用性”高低的打分作為評(píng)判的基礎(chǔ)。

在圖像質(zhì)量評(píng)估技術(shù)的算法中，加性和乘性噪聲等因素通常是算法的入手點(diǎn)，這些因素也被認(rèn)為是影響圖像質(zhì)量“好壞”的關(guān)鍵因素。而在此之前尚未有研究者單獨(dú)對(duì)“人臉信息的可用性”進(jìn)行過相關(guān)研究，而人臉的可用性卻在安防視頻可用性有著很大的應(yīng)用前景。所以本文將從模糊和白噪聲的角度來研究影響人臉圖像信息可用性的因素，以及影響的具體原因和程度。

本文將計(jì)算機(jī)視覺的人臉識(shí)別技術(shù)識(shí)別率的高低作為人臉圖像“可用性高低”的評(píng)判標(biāo)準(zhǔn)。因?yàn)橛?jì)算機(jī)人臉識(shí)別算法是對(duì)人主觀地進(jìn)行人臉識(shí)別的一種模擬，并且還可以從人臉識(shí)別算法的識(shí)別率變化，以及其變化的原因進(jìn)一步定量地探討影響人臉圖像可用性因素的影響原因和影響程度。

主成分分析(Principal Component Analysis, PCA)人臉識(shí)別算法[8]是使用最廣泛的人臉識(shí)別算法。本文將通過探索加性噪聲與乘性噪聲對(duì)PCA識(shí)別算法識(shí)別率的影響來認(rèn)識(shí)這些因素對(duì)人臉可用性的影響。

1 PCA人臉識(shí)別算法

PCA人臉識(shí)別方法，也叫做特征臉識(shí)別(eigenfaces)，是通過降維進(jìn)行人臉識(shí)別的算法。PCA的主要思想就是找到能夠最好地說明圖片在圖片空間中分布情況的向量。對(duì)于一幅M×N的人臉圖像，將其每列相連構(gòu)成一個(gè)大小為D=M×N維的列向量。D就是人臉圖像的維數(shù)。設(shè)n是訓(xùn)練樣本數(shù)，xj表示第j幅人臉圖像形成的人臉向量，則所需樣本的協(xié)方差矩陣為

(1)

式中：u為訓(xùn)練樣本的平均圖像向量，即

(2)

設(shè)A=[x1-u，x2-u，…，xn-u]，則有Sr=AAT，其維數(shù)為D×D。

根據(jù)SVD定理，令li(i=1,2,…,r)為矩陣ATA的r個(gè)非零特征值，vi為ATA對(duì)應(yīng)于li的特征向量，則AAT的正交歸一特征向量ui為

(3)

則特征臉空間為w=(u1,u2,…,ur)。

將訓(xùn)練樣本投影到“特征臉”空間，得到一組投影向量Ω=wTu，構(gòu)成人臉識(shí)別的數(shù)據(jù)庫。在識(shí)別時(shí)，先將每一幅待識(shí)別的人臉圖像投影到“特征臉”空間，再利用最近鄰分類器比較其與庫中人臉的位置，從而識(shí)別出該圖像是否為庫中的人臉，如果是，屬于哪一個(gè)人臉。

2 乘性噪聲對(duì)PCA人臉識(shí)別的影響：以鈍化噪聲為例

在各種圖像降質(zhì)因素[9]的影響中，“模糊”是圖像質(zhì)量降低的最為常見表現(xiàn)，也可以稱之為“鈍化噪聲”。鈍化噪聲相當(dāng)于給原圖中相近的像素點(diǎn)加上了一定的相關(guān)性。在數(shù)字圖像處理技術(shù)中，鈍化噪聲相當(dāng)于在原圖上用平滑濾波器進(jìn)行平滑處理的效果。平滑濾波器的不同也可以產(chǎn)生如均值平滑、高斯平滑等不同的效果。本文將從原理上推導(dǎo)通常的鈍化噪聲對(duì)PCA人臉識(shí)別造成的影響，以及影響的方式。

2.1 鈍化噪聲對(duì)協(xié)方差矩陣的影響

在現(xiàn)實(shí)場(chǎng)景中，訓(xùn)練集的圖像和預(yù)測(cè)集的圖像都應(yīng)來自相同的圖像獲取系統(tǒng)，所以應(yīng)當(dāng)有著相似的鈍化方式和鈍化程度。對(duì)于一幅M×N的人臉圖像，將其每列相連構(gòu)成一個(gè)大小為D=M×N維的列向量。D就是人臉圖像的維數(shù)，也即是圖像空間的維數(shù)。設(shè)n是訓(xùn)練樣本的數(shù)目；xj表示第j幅人臉圖像形成的人臉向量，這里用xj′來表示鈍化處理過的圖像。因?yàn)殁g化是屬于乘性噪聲，所以xj與xj′的關(guān)系表示如下：

xj′=B[xj]

(4)

式中：操作B[]表示對(duì)圖像xj進(jìn)行了鈍化處理，即用某平滑濾波器對(duì)xj代表的源圖像進(jìn)行了二維卷積操作，再將結(jié)果圖像表示為D=M×N維的列向量，即xj′。 則對(duì)應(yīng)于式(1)，訓(xùn)練所需樣本的協(xié)方差矩陣為

(5)

式中：u′為訓(xùn)練樣本的平均圖像向量，因?yàn)橥ǔ５钠交瑸V波器并不會(huì)改變圖像像素的均值，所以u(píng)′和式(2)中的u取相同的值，即

(6)

為了便于理解，根據(jù)式(4)，這里不妨近似地認(rèn)為

(7)

于是這里需要進(jìn)一步探索平滑操作對(duì)協(xié)方差矩陣Sr會(huì)造成何影響，協(xié)方差矩陣可以簡(jiǎn)單地展開寫成

(8)

式中：對(duì)角線上的元素代表著每個(gè)人臉圖像向量的方差σ2，而非對(duì)角元素σij則代表人臉圖像向量xi和人臉圖像向量xj的互相關(guān)系數(shù)。

對(duì)于PCA人臉識(shí)別方法，關(guān)鍵的要素是從D=M×N維的列向量中提取信息量最大的主元,舍棄信息量較少的維，即一個(gè)降維的過程。從數(shù)學(xué)上講，就是選擇的維度需要使原始數(shù)據(jù)投射在這些維度上之后，字段之間的相關(guān)性盡量小，即協(xié)方差要盡量小，而字段自身的信息量要盡量大，即方差盡量大。于是不難發(fā)現(xiàn)，這就是將協(xié)方差矩陣Sr對(duì)角化的過程。PCA方法所求的“主元”實(shí)際上就是讓協(xié)方差矩陣對(duì)角化的維度。

從前面的分析可以初步發(fā)現(xiàn)，平滑處理讓協(xié)方差矩陣的元素值變小了，雖然這讓不同人臉間的互相關(guān)性下降了，但平滑也讓對(duì)角元素變小，本質(zhì)上這是一種信息量的丟失，這樣也就在一定程度上理解了為何鈍化噪聲會(huì)影響PCA人臉識(shí)別的效果了。

2.2 鈍化噪聲對(duì)主元的影響

通過進(jìn)一步探索平滑對(duì)主元的影響，可以對(duì)信息量的丟失有更直接的理解。在數(shù)學(xué)中，協(xié)方差矩陣對(duì)角化后得出該矩陣的特征值為

(9)

N張圖片訓(xùn)練集的協(xié)方差矩陣將有n個(gè)特征值。PCA人臉識(shí)別方法中，在求得特征值后，將特征值從大到小排序，選出數(shù)值大的特征值(如前10大)，其對(duì)應(yīng)的正交特征向量就是算法所求的主元特征空間。越大的特征值意味著其特征向量對(duì)應(yīng)的維度具有越高的信息量。對(duì)于特征值為λj的主成分，λj也是該主成分的方差，該值表示樣本點(diǎn)方向的離散程度，主成分λj的貢獻(xiàn)率為

(10)

根據(jù)之前的分析，鈍化噪聲導(dǎo)致協(xié)方差矩陣信息的流失。于是在進(jìn)行協(xié)方差矩陣對(duì)角化之后，所得到的特征值對(duì)應(yīng)的維度將不再足夠離散，即不再像平滑之前那樣具有足夠的信息量。所以，平滑導(dǎo)致了主要特征值的減小，以及n個(gè)人臉圖像訓(xùn)練集中的n個(gè)特征值的均值和方差的減小。如圖1，通過實(shí)驗(yàn)，筆者也驗(yàn)證了在平滑之后特征值的變化結(jié)果(實(shí)驗(yàn)所用數(shù)據(jù)庫，具體條件、參數(shù)等詳細(xì)信息見第4節(jié))。

通俗地講，正是特征值這樣的變化，導(dǎo)致了PCA算法選擇出來的所謂“主元”不再如平滑之前那樣具有足夠的信息量，相對(duì)地不能夠反映人臉的關(guān)鍵特征，從而最終導(dǎo)致了PCA算法識(shí)別效果的變差。通過PCA人臉識(shí)別算法的分析，可以看到鈍化噪聲對(duì)人臉圖像信息可用性造成的影響。

3 加性噪聲對(duì)PCA人臉識(shí)別的影響：以白噪聲為例

在圖像降質(zhì)的因素中，除了乘性的鈍化噪聲之外，另一類降質(zhì)因素就是加性噪聲。圖像降質(zhì)中常見的白噪聲根據(jù)分布特性的不同，有高斯噪聲、椒鹽噪聲等。與前一節(jié)類似，這一節(jié)將從原理上推導(dǎo)通常的白噪聲對(duì)PCA人臉識(shí)別造成的影響，以及影響的方式。

因?yàn)榘自肼暿菍儆诩有栽肼?，所以xj與xj′的關(guān)系表示為

圖1 鈍化噪聲對(duì)特征值的影響

xj′=xj+Nj

(11)

其中Nj表示圖像xj上的白噪聲，Nj與xj一樣，也是D=M×N維的列向量。為了方便推導(dǎo)，下文都將以均值為0、方差為σ2的高斯白噪聲為例。所以Nj可以表示為

Nj=p(x)

(12)

(13)

于是這里需要進(jìn)一步探索平滑操作對(duì)協(xié)方差矩陣Sr會(huì)造成如何的影響，協(xié)方差矩陣可以簡(jiǎn)單地展開寫成與式(8)相同的形式。

再進(jìn)一步從特征值λj的角度來考慮。上述Sr在受到噪聲影響后，元素相應(yīng)地增大。在協(xié)方差矩陣對(duì)角化得到特征值λj對(duì)角陣時(shí)，特征值同樣也會(huì)總體地增大，使得原來信息量小的特征值λ反而會(huì)變得較大。

從實(shí)驗(yàn)(實(shí)驗(yàn)所用數(shù)據(jù)庫、具體條件、參數(shù)等詳細(xì)信息見第4節(jié))中筆者的觀點(diǎn)也得到了驗(yàn)證。如圖2a所示，其中特征值的增大印證了筆者的分析，而方差的減小則也說明了噪聲使本來方差較大、“好壞分明”的特征值被噪聲加上了干擾因素后更趨于均值。如圖2b所示，隨著噪聲方差的增大，PCA識(shí)別算法選出的“主元”將失去其能量占比高的特點(diǎn)，結(jié)合式(10)，就能夠理解噪聲最終導(dǎo)致了信息的流失。其中，特征值λj以及其對(duì)應(yīng)特征空間的物理意義在上一節(jié)已經(jīng)闡明，這里不再贅述。這里不難發(fā)現(xiàn)，與上一節(jié)鈍化噪聲相比，白噪聲對(duì)協(xié)方差矩陣、特征值的影響方式恰恰是相反的，不過都是導(dǎo)致了有效信息的丟失，并最終導(dǎo)致識(shí)別率的降低。

圖2 高斯白噪聲對(duì)特征值的影響

4 實(shí)驗(yàn)結(jié)果及分析

4.1 人臉數(shù)據(jù)庫

實(shí)驗(yàn)使用的數(shù)據(jù)庫是ORL人臉數(shù)據(jù)庫[10]。該人臉數(shù)據(jù)庫包含40個(gè)人臉圖像，每個(gè)人臉有10張不同的圖像。每個(gè)人臉的圖像有不同的拍攝時(shí)間、不同的亮度、不同的面部表情(睜眼閉眼、微笑或不笑)或者是面部特征(戴眼鏡或不戴眼鏡)。所有的圖像都是在黑色的背景下拍攝的，圖像的分辨率均為112×92。

4.2 PCA識(shí)別率實(shí)驗(yàn)

本文采用PCA識(shí)別方法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)分為兩個(gè)步驟：訓(xùn)練和預(yù)測(cè)。在實(shí)驗(yàn)的過程中，筆者將ORL人臉數(shù)據(jù)庫分為兩個(gè)部分：訓(xùn)練集和預(yù)測(cè)集，且兩個(gè)集沒有交集。此外，實(shí)驗(yàn)按照訓(xùn)練樣本占比分為兩類。一類為訓(xùn)練樣本占比30%，即每個(gè)人的10張臉部圖像中3張歸入訓(xùn)練集，剩余的7張歸入預(yù)測(cè)集。另一類為訓(xùn)練樣本集占比70%，即每個(gè)人的10張臉部圖像中7張歸入訓(xùn)練集，剩余的3張歸入預(yù)測(cè)集。為了保證實(shí)驗(yàn)的精確性，實(shí)驗(yàn)遍歷了所有訓(xùn)練集和預(yù)測(cè)集的可能性。例如在30%訓(xùn)練集的情況下，10張人臉選出3張加入訓(xùn)練集共有120種可能，所以筆者一共進(jìn)行了120次ORL人臉數(shù)據(jù)庫的訓(xùn)練和預(yù)測(cè)的實(shí)驗(yàn)，每次取400張人臉中的120張圖片作為訓(xùn)練集，剩余的280張作為預(yù)測(cè)集，最終將120次實(shí)驗(yàn)結(jié)果匯總記為最終的識(shí)別率，即預(yù)測(cè)正確的次數(shù)/預(yù)測(cè)總次數(shù)。

驗(yàn)證鈍化噪聲對(duì)識(shí)別率的影響的試驗(yàn)中，筆者使用高斯鈍化來給ORL人臉數(shù)據(jù)庫進(jìn)行預(yù)處理，并通過實(shí)驗(yàn)驗(yàn)證PCA識(shí)別率的變化。實(shí)驗(yàn)結(jié)果如圖3所示，橫軸表示高斯鈍化窗的邊長(zhǎng)變化(邊長(zhǎng)為0表示沒有進(jìn)行鈍化處理)，其中高斯鈍化窗都為正方形。高斯鈍化采用0均值的模型，σ則設(shè)為邊長(zhǎng)的函數(shù)，滿足

σ=0.3×([平滑窗邊長(zhǎng)-1)×0.5-1]+0.8

(14)

圖3 高斯平滑對(duì)識(shí)別率的影響

驗(yàn)證白噪聲對(duì)識(shí)別率的影響的試驗(yàn)中，筆者使用高斯白噪聲來給ORL人臉數(shù)據(jù)庫進(jìn)行預(yù)處理，并通過實(shí)驗(yàn)驗(yàn)證PCA識(shí)別率的變化。實(shí)驗(yàn)結(jié)果如圖4所示，實(shí)驗(yàn)采用均值為0的高斯模型，橫軸表示高斯白噪聲的方差系數(shù)Var，其中Var=噪聲的灰度值方差/2552。

圖4 高斯白噪聲對(duì)識(shí)別率的影響

此外，在前兩節(jié)進(jìn)行的特征值實(shí)驗(yàn)中，采用的均為和本節(jié)相同的鈍化或噪聲模型。由于只對(duì)特征值進(jìn)行實(shí)驗(yàn)，所以這些實(shí)驗(yàn)把ORL人臉數(shù)據(jù)庫的400張圖片都設(shè)置為訓(xùn)練集進(jìn)行訓(xùn)練所得到的特征值的特點(diǎn)。

4.3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)得出了與第2節(jié)、第3節(jié)分析一致的結(jié)論，即鈍化噪聲和白噪聲都一定程度地導(dǎo)致了識(shí)別率的下降，而第2節(jié)、第3節(jié)也從根源上解釋了識(shí)別率下降的原因，即圖像有效信息的丟失。

此外，從實(shí)驗(yàn)結(jié)果也可以發(fā)現(xiàn)隨著噪聲的加強(qiáng)，識(shí)別率會(huì)越來越低。不過，實(shí)驗(yàn)結(jié)果還顯示，不論是鈍化噪聲還是白噪聲，噪聲強(qiáng)度和識(shí)別率的變化關(guān)系并非是線性的。在噪聲強(qiáng)度未達(dá)到一定程度的時(shí)候，對(duì)識(shí)別率的影響并不是很顯著，而超過了某一強(qiáng)度后，識(shí)別率才開始顯著下降。從這樣的結(jié)論還可以進(jìn)一步發(fā)現(xiàn)，當(dāng)噪聲發(fā)生時(shí)，雖然都包含了信息的丟失，但是當(dāng)噪聲沒有達(dá)到很大強(qiáng)度時(shí)，PCA的人臉識(shí)別率其實(shí)并沒有受到影響，即并不強(qiáng)烈的噪聲對(duì)人臉圖像信息可用性的影響是可以忽略的。

以上的實(shí)驗(yàn)結(jié)果也能夠說明，通過人臉識(shí)別技術(shù)可以一定程度上描述人臉部分圖像受到各種噪聲的影響，而人臉識(shí)別率也一定程度上反映了人臉圖像信息的可用性。

5 小結(jié)

本文提出了人臉圖像信息可用性這個(gè)研究課題，并說明了其重要性。隨后，通過PCA來模擬人對(duì)人臉圖像的識(shí)別，分析發(fā)現(xiàn)鈍化噪聲，以及白噪聲導(dǎo)致人臉圖像有效信息的流失，從而進(jìn)一步導(dǎo)致PCA人臉識(shí)別率的下降?；诒疚牡贸龅慕Y(jié)論，未來將可以進(jìn)一步展開人臉圖像信息可用性評(píng)估技術(shù)的研究，從而解決安防監(jiān)控中對(duì)該技術(shù)的需要。

[1]楊慕星,孟放,姜秀華.不同分辨力視頻之間的圖像質(zhì)量客觀評(píng)價(jià)研究[J].電視技術(shù),2009,33(5):103-105.

[2]高立發(fā)，徐靜濤.基于自然場(chǎng)景統(tǒng)計(jì)的無參考圖像質(zhì)量評(píng)價(jià)算法[J]．電視技術(shù)，2014，38(1):11-16.

[3]MITTAL A, MOORTHY A K, BOVIK A C.No-reference image quality assessment in the spatial domain[J].IEEE Trans.Image Processing，2012，21(12)：4695-4708.

[4]TANG H, JOSHI N, KAPOOR A.Learning a blind measure of perceptual image quality[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI：IEEE Press，2011：305-312.

[5]YE P，DOERMANN D.No-reference image quality assessment using visual codebooks[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2011：3129-3138.

[6]SHEN J, LI Q, ERLEBACHER G.Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images[J].IEEE Trans.Image Processing, 2011，20(8)：2089-2098.

[7]ITU-R，ITU-R Recommendation 500-5 method for the subjective assessment of the quality of television pictures[S].1992.

[8]閆娟,程武山,孫鑫.人臉識(shí)別的技術(shù)研究與發(fā)展概況[J].電視技術(shù),2006,30(12):81-84.

[9]王文文，錢振興，趙麗麗.基于平滑特性的壓縮圖像質(zhì)量盲評(píng)估[J].電視技術(shù).2013，37(2):91-94.

[10]AT&T Laboratories Cambridge.Face database[S].2002.

潘 越(1990— )，碩士生，主研數(shù)字圖像處理；

方向忠(1968— )，教授，博士生導(dǎo)師，主研圖像通信與多媒體技術(shù)、數(shù)字電視、圖像壓縮編碼機(jī)器國(guó)際標(biāo)準(zhǔn)、圖像處理等；

王 慈(1976— )，副教授，主研圖像處理和視頻處理等。

責(zé)任編輯：薛 京

Image Validity Analysis for Face Recognition

PAN Yue, FANG Xiangzhong, WANG Ci

(SchoolofElectronicInformationandElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)

Traditional IQA (Image Quality Assessment) is used to do assessment on a general level, but can′t be used for face image quality assessment.However, assessment of face quality is needed in many applications such as surveillance video.The validity of face image is defined, and a method to assess face image using face recognition algorithm is proposed.And the key factors that affecting validity of face image are analyzed through experiment of PCA recognition algorithm in this paper.

face image; PCA recognition; quality assessment

上海市2014年度“科技創(chuàng)新行動(dòng)計(jì)劃”高新技術(shù)領(lǐng)域項(xiàng)目

TN949.6

A

10.16280/j.videoe.2015.07.020

2014-10-08

【本文獻(xiàn)信息】潘越，方向忠，王慈.人臉圖像信息可用性影響因素的研究分析[J].電視技術(shù),2015，39(7).