周林穎，邢冠宇

（1.四川大學(xué)計算機(jī)學(xué)院，成都610065；2.四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

近年來，增強(qiáng)現(xiàn)實(shí)技術(shù)及其應(yīng)用飛速發(fā)展，為了實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)光照一致性，室外場景的光照估計也取得了很多研究進(jìn)展，但是對室外人臉的光照信息估計卻沒有太多的研究。當(dāng)對人臉進(jìn)行增強(qiáng)現(xiàn)實(shí)應(yīng)用時，需要真實(shí)的人臉和虛擬元素有相同的光照，即光照一致性，才能使得用戶得到更加真實(shí)的體驗(yàn)。在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的熱潮當(dāng)中，由于傳統(tǒng)的安全手段如身份證和密碼等不夠可靠或不夠方便，因此人臉識別成為一個非常熱門并且快速發(fā)展的研究領(lǐng)域。人臉識別中，光照是影響人臉識別的重要因素之一，光照信息的提取可以用于消除光照對人臉識別引起負(fù)面影響，從而提高人臉識別的識別率和魯棒性。自從互聯(lián)網(wǎng)誕生以來，各種各樣的圖片變得更加容易獲取，而且隨著Pho?toshop等處理圖片的軟件的發(fā)展，人們可以輕易地對圖片進(jìn)行各種處理，如修復(fù)、偽造、拼接等。對室外人臉的光照進(jìn)行估計，可以應(yīng)用到室外人臉防偽技術(shù)中，得到不同人臉的光照信息，從而判定不同的人臉是否是后期處理合成的。

針對以上幾方面的應(yīng)用，室外光照估計有著重要的研究意義，因此本文將著重研究如何從室外人臉圖片進(jìn)行光照估計。

1 相關(guān)工作

面部的光照估計主要集中在光照歸一化以改善面部識別。文獻(xiàn)[1]在1999年提出將環(huán)境光估計為人臉三維形變模型（3DMM）擬合成單幅人臉圖像中的一部分。此后，提出了幾種基于3DMM的方法[2-3]。這些方法的性能依賴于良好的面部3DMM。然而，現(xiàn)有的3DMM通常是在受控環(huán)境下拍攝人臉圖像，因此它們在戶外表情的表現(xiàn)力（特別是紋理模型）是有限的。文獻(xiàn)[4]提出了一種基于優(yōu)化的方法來估計一般物體的形狀，反照率和光照。為了解決這樣一個欠約束的問題，他們的方法很大程度上依賴于和一般物體的形狀，反照率和光照等相關(guān)的先驗(yàn)信息。雖然它們?nèi)〉昧撕芎玫慕Y(jié)果，但由于目標(biāo)函數(shù)的非凸性，它們的方法很慢并且在某些情況下可能無法給出合理的結(jié)果。文獻(xiàn)[5]提出使用深度學(xué)習(xí)來解開關(guān)于臉部圖像的姿態(tài)、光照和身份的表示。作者僅展示了他們的方法在合成圖像上的有效性，但是并沒有說明這個方法是否可以應(yīng)用于更加復(fù)雜的真實(shí)的人臉圖像，而且此方法的照明表示沒有物理意義，因此很難在其他應(yīng)用中使用。文獻(xiàn)[6]使用球面諧波（SH）照明表示來重新照亮面部。文獻(xiàn)[7]通過馬爾可夫隨機(jī)場來處理比較極端的照明。雖然文獻(xiàn)[8]從單個圖像的眼睛估計照明條件，但是在這種情況下若圖像像素分辨率偏低，結(jié)果將會受到很大的影響。

相比之下，文獻(xiàn)[9]的方法可以估算出比較接近真實(shí)照明環(huán)境的室外光照，但是此算法是在LDR人臉圖像上進(jìn)行光照的恢復(fù)，并且需要非常復(fù)雜的人臉反照率和天空的GMM（高斯混合模型）模型的先驗(yàn)信息來保證能量方程優(yōu)化的準(zhǔn)確性。本文依照文獻(xiàn)[9]算法的思想，針對其LDR圖片信息的動態(tài)范圍的狹窄性和先驗(yàn)信息的復(fù)雜性，本文提出一種基于HDR人臉圖片的室外光照估計算法，使用高動態(tài)范圍的HDR人臉圖片和簡潔有效的先驗(yàn)信息，保證目標(biāo)函數(shù)優(yōu)化及參數(shù)求解的準(zhǔn)確性。

2 算法實(shí)現(xiàn)

本文算法流程主要分為三個部分，如圖1所示。

圖1算法流程圖

第一部分LDR圖轉(zhuǎn)為HDR圖：將日常生活容易獲得的LDR圖通過反色調(diào)映射的方法轉(zhuǎn)化為信息豐富的HDR圖。

第二部分人臉光照模型建模：將人臉圖片進(jìn)行三維建模，使用人臉三維形變模型（3DMM）獲得人臉的三維信息和幾何信息；對天空光進(jìn)行建模，使用改進(jìn)后的普利茲天空模型獲得天空的光照信息；對人臉的反射模型進(jìn)行建模，使用朗伯體反射模型獲得人臉的參數(shù)模型著色信息。

第三部分能量方程優(yōu)化：通過第二部分獲得的參數(shù)模型下的人臉著色信息，和真實(shí)人臉圖片中的著色信息相比較形成能量方程，并對能量方程進(jìn)行優(yōu)化求解得出光照參數(shù)。

2.1 LDR圖轉(zhuǎn)為HDR圖

我們常見的LDR圖片的動態(tài)范圍低，過曝和低曝部分的細(xì)節(jié)不能展現(xiàn)，所以用于光照估計的效果比較差，精讀比較低，因此本文的光照估計的方法是基于HDR人臉圖片的。然而在現(xiàn)實(shí)場景中，HDR圖片的獲得是有難度的，通常需要具備以下條件：①一組曝光不同的圖片；②用于校準(zhǔn)的物體；③專用的相機(jī)設(shè)備進(jìn)行拍攝等。與此相反，在日常生活中，LDR圖片的獲得是比較容易的，常見的消費(fèi)者級別的設(shè)備（如手機(jī)相機(jī)、卡片數(shù)碼相機(jī)等設(shè)備）都可以輕易地獲得LDR圖片。因此本文采用基于跨雙邊濾波的反色調(diào)映射的方法[10]，將LDR圖片轉(zhuǎn)化為HDR圖片，增強(qiáng)圖片的明暗細(xì)節(jié)。處理前后的效果如圖2所示，為了能夠在文中展示，HDR圖是色調(diào)映射（Tone Mapping）后的結(jié)果。

圖2 LDR和HDR對比圖

2.2 人臉光照模型建模

人臉光照模型由三部分組成：人臉三維模型、天空光模型和人臉反射模型。

（1）人臉三維模型

由于計算人臉的光照信息需要人臉的三維幾何信息，因此本文使用一種現(xiàn)有的比較簡單的3DMM模型來獲得人臉的三維信息和幾何信息[11]。該方法通過在人臉上選擇68個特征點(diǎn)將二維的人臉進(jìn)行三維建模。建模結(jié)果如圖3所示。

（2）天空光模型

本文將天空光作為一個面光源，因此需要對天空進(jìn)行建模。大氣光學(xué)文獻(xiàn)中已經(jīng)提出了幾種天空模型，其中許多模型已成功用于計算機(jī)視覺和圖形學(xué)應(yīng)用。本文使用的是文獻(xiàn)[12]提出的一種較著名的模型：

圖3人臉建模結(jié)果

分布函數(shù)F則是經(jīng)典的Perez天空模型：

其中的參數(shù)A、B、C、D、E是五個描述天空的參數(shù)。此模型對其進(jìn)行改進(jìn)，建立五個參數(shù)和濁度t之間的對應(yīng)關(guān)系，簡化參數(shù)個數(shù)：

而此模型只能描述天空光亮度，若需描述天空光顏色則需要加上天空光平均顏色的三維權(quán)重wsky。因此天空部分的光照模型描述為：

雖然有許多模擬天空的模型，但是模擬太陽模型的模型卻比較少。太陽通常被表示為一個恒定強(qiáng)度的固定大小的圓盤[12]。雖然這可能適用于晴空，這并不能很好地推廣到更復(fù)雜的情況，（例如有云的情況）。在這里，本文采用文獻(xiàn)[13]中引入的一個新的經(jīng)驗(yàn)?zāi)Ｐ?，它將太陽建模為?/p>

其中，k為太陽散射因子（8≤k≤8192）；ω為采樣光照方向；wsun為一個三維的權(quán)重，是太陽光平均顏色。

因此，最后的天空光模型描述為一個10維參數(shù)的模型：

該模型的參數(shù)向量為：x=[ωsunwsunwskyt k]，是一個10維的向量。

（3）人臉反射模型

在本文中，將人臉視為朗伯體，對其的反射模型采用朗伯體反射模型：

其中：p為人臉上的采樣點(diǎn)；np為p點(diǎn)的法向量；ρ(p)為p點(diǎn)的反照率；λ為RGB三個顏色通道中的一個；?,?為點(diǎn)積；ω為在球面Ω上的一個光照方向；lλ(ω)是一個理想的光照函數(shù)，在本文中則為上文中的天空光模型式（7）；V( p,ω)表示朗伯體表面的點(diǎn)p在方向ω上的可見性，取值為0或者1。

為了計算方便，將該反射模型離散化，用向量表示光照和反照率：Lλ=[lλ( ω1)…lλ( ωn)]T∈Rn，ρλ∈RN，其中n為光方向的個數(shù)，N為人臉采樣像素的個數(shù)。因此可以將式（8）重寫為：

2.3 能量方程優(yōu)化求解

我們將人臉真實(shí)著色信息設(shè)為s*，通過和上文式（9）得到的人臉參數(shù)模型的著色信息進(jìn)行對比，本文將光照估計的問題轉(zhuǎn)化求下面帶約束非線性最小二乘問題的解：

對于帶約束的非線性問題的求解一直以來都是比較困難的，主要有以下幾個難點(diǎn)：①由于目標(biāo)函數(shù)的非凸性，因此對初值的選取非常敏感，參數(shù)求解容易落到局部最優(yōu)解而不是全局最優(yōu)解；②由于目標(biāo)函數(shù)帶約束，因此需要尋找可解決帶約束問題的求解方法；③有效的先驗(yàn)信息可以大大提高解的準(zhǔn)確性，因此簡介高效的先驗(yàn)信息的選取也是一個難點(diǎn)。

針對難點(diǎn)①，本文采用多次選取初值的方法。因?yàn)榉蔷€性最小二乘問題對初值非常敏感，所以本文在初值的取值范圍內(nèi)對某些參數(shù)均勻地選取了若干個初值（一般在5個左右），分別求取每個初值的解，并對這些解進(jìn)行綜合比較，選擇其中能量方程值最小的解作為我們的最優(yōu)解。該方法能在一定程度上避免解落到局部最優(yōu)解的情況。

針對難點(diǎn)②，本文采用基于文獻(xiàn)[14]和[15]中描述的內(nèi)部反射牛頓算法的信賴域反射算法（Trust-Re?gion-Reflective）。該算法是一個子空間信賴域算法，每次迭代都涉及使用預(yù)處理共軛梯度（PCG）方法的大型線性系統(tǒng)的近似解。信賴域算法是求解非線性最優(yōu)化問題的一類有效算法，此類算法的基本思想是利用目標(biāo)函數(shù)在某一點(diǎn)的信息構(gòu)造一個二次模型，使其在此點(diǎn)附近與目標(biāo)函數(shù)有好的近似，然后根據(jù)該二次模型的最小值點(diǎn)來產(chǎn)生下一迭代點(diǎn)，并視二次模型與目標(biāo)函數(shù)的近似程度來調(diào)整信賴域半徑的大小，由于信賴域方法具有很強(qiáng)的收斂性和穩(wěn)定性，顧而受到許多研究者的青睞。而信賴域反射算法則在信賴域算法的基礎(chǔ)上，結(jié)合內(nèi)部反射牛頓算法，根據(jù)反射機(jī)制來對下一迭代點(diǎn)的步長進(jìn)行更新。這種算法主要針對的是非線性的邊界約束的最小化問題，能有效地處理帶約束的問題。

針對難點(diǎn)③，文獻(xiàn)[9]中采用的先驗(yàn)信息是對一個5000多張?zhí)炜請D片的數(shù)據(jù)集使用GMM（高斯混合模型）進(jìn)行聚類，然后用聚類后的負(fù)對數(shù)似然函數(shù)獲得先驗(yàn)信息。該方法復(fù)雜繁瑣且計算量極大。本文則采用更加簡潔有效的顏色先驗(yàn)信息。因?yàn)樘炜胀ǔ６际瞧{(lán)色或灰白色，基于此先驗(yàn)，本文在10張不同的片中進(jìn)行采樣后發(fā)現(xiàn)天空光平均顏色wsky三通道之間關(guān)系為：R≤G≤B。因此本文將wsky的三個參數(shù)由另外三個非負(fù)參數(shù)a,b,c表達(dá)為下面的形式：

3 實(shí)驗(yàn)結(jié)果

本文算法通過與文獻(xiàn)[9]算法的對比結(jié)果如圖4所示：（a）為輸入的人臉圖片，這里展現(xiàn)的是本文采用的HDR的人臉圖片；（b）為人臉當(dāng)時所處的真實(shí)的室外光照；（c）為文獻(xiàn)[9]算法的實(shí)驗(yàn)結(jié)果，直接從其論文中的實(shí)驗(yàn)結(jié)果中獲得的圖片；（d）為本文的實(shí)驗(yàn)結(jié)果。

圖4實(shí)驗(yàn)結(jié)果對比

通過圖4中本文和文獻(xiàn)[9]的結(jié)果進(jìn)行對比可以看出，本文的結(jié)果天空光顏色估計得更加精確，太陽的位置也估計得更加精確。

4 結(jié)語

本文提出一種基于HDR人臉圖片的室外光照估計算法，首先對人臉進(jìn)行三維建模后，對天空光模型和人臉反射模型進(jìn)行建模，最后對形成的能量方程進(jìn)行優(yōu)化求解來獲得估計的光照的參數(shù)。本文使用高動態(tài)范圍的HDR人臉圖片和簡潔有效的先驗(yàn)信息，保證目標(biāo)函數(shù)優(yōu)化及參數(shù)求解的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果證明本文算法的有效性和準(zhǔn)確性。但是該算法的優(yōu)化求解中需要大量的矩陣運(yùn)算和求導(dǎo)計算，計算量大，需要的處理時間久，如何提高該算法的效率將是接下來要解決的重要問題。