李明悅

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點學(xué)科實驗室，成都610065）

0 引言

許多計算機視覺問題在處理的時候都會假設(shè)圖像不存在鏡面反射高光，然而在真實場景中，非均勻介質(zhì)不是理想的漫反射體，物體的表面總會存在高光。圖像中的鏡面反射會遮蓋高光區(qū)域內(nèi)的真實材質(zhì)屬性，影響圖像的質(zhì)量，對于如圖像分割、目標檢測和跟蹤等問題產(chǎn)生很大的干擾。

傳統(tǒng)的高光消除研究大多采用Shafer 提出的在非均勻介質(zhì)上的雙色反射模型（Dichromatic Reflection Model）。該模型指出，當場景中光源發(fā)出的光線照射到物體材質(zhì)表面時，反射光同時包含漫反射和鏡面反射：漫反射是入射光線在物體表面經(jīng)過多次的反射和吸收后返回物體表面的光；鏡面反射是入射光在物體表面上直接反射出的光，它與物體表面的位置、粗糙程度等因素有關(guān)。數(shù)學(xué)模型為：

其中，ms和md分別是鏡面反射和漫反射的權(quán)重因子，Γ 是光照顏色的色度，Λ 是漫反射的色度。

本文工作的目的是針對單幅人臉圖像的鏡面反射高光分量，建立一個有效的檢測和消除方法。在高光檢測任務(wù)中，我們利用人臉圖像上高光分布的稀疏性特點，結(jié)合非負矩陣分解方法檢測高光。進而，在高光消除過程中，在盡可能不改變圖像特點的前提下，借鑒圖像修復(fù)的思想實現(xiàn)高光消除。

1 相關(guān)工作

單幅圖像的高光消除算法，因為輸入圖像數(shù)量的限制，是一個病態(tài)問題，有大量的相關(guān)研究。早期高光消除方法通過分析彩色圖像的直方圖分布恢復(fù)高光和漫反射分量。Schluns 和Koschan[1]利用雙色反射模型公式，將鏡面反射圖像( x,y )和漫反射圖像( x,y )看作是顏色空間的兩個基向量，圖像應(yīng)當近似地分布在這兩個向量支撐的平面上。但是，該方法適用于材質(zhì)一致的物體表面的高光檢測和消除，因為當物體包含不止一種材質(zhì)時，不同材質(zhì)的漫反射分量不相同，鏡面反射分量也會發(fā)生變化，所以無法統(tǒng)一地近似到一個平面上。Tan[2]提出通過顏色一致性的方法估計光照色度，將圖像的光照色度規(guī)范為均勻分布，從而可以在已知光照色度時，高光系數(shù)ms只與物體的漫反射色度的最大值Λmax相關(guān)，即可以通過估計Λmax去估計ms，進而估計出高光分量Is。Tan 證明，在沒有明確顏色分割的情況下，迭代地將色度值移向鄰域中具有最大色度的相鄰像素的色度值，可以有效地去除具有復(fù)雜多色場景的紋理對象的高光。此外，Yang 等人[3]利用雙邊濾波的方法近似最大漫反射色度，Kim 等人[4]用暗通道先驗近似偽漫射圖像。但是，因為這些方法對輸入圖像的限制，曝光量較大的自然圖像必須通過直方圖均衡化或圖像增強等方法進行預(yù)處理，這樣操作的同時，會改變圖像的光照信息。

2 基于稀疏約束的高光檢測

人臉皮膚呈現(xiàn)的顏色主要受黑色素和血紅蛋白影響[5]，膚色的變化是由這兩種色素的密度和分布變化引起的。因此，本文假設(shè)皮膚材質(zhì)函數(shù)Sd( )x,λ 由色素的密度和分布決定：

其中x 表示空間坐標, β( x )表示色素的分布。

此外，在皮膚中的高光區(qū)域中，鏡面反射光的光譜可以等同于環(huán)境光源的光譜。因為有假設(shè)，Ss=1 當且僅當位于高光區(qū)域，否則Ss=0。同時假設(shè)場景光照是一致的，光強的變化是由皮膚表面曲率的變化引起的。基于上述假設(shè)，Blinn Phong 光照模型可以表示為：

式（3）的意義在于：將鏡面反射和漫反射分解為僅受幾何參數(shù)影響的色度無關(guān)項和受光照因素控制的色度項的乘積。

我們考慮有N 個像素的彩色圖像在RGB 空間每個顏色通道的分量，有：

其中，等號右端的第一個矩陣是3*2 的矩陣，表示漫反射和鏡面反射的RGB 通道幅度，僅與光照有關(guān)；第二矩陣是2*N 矩陣，表示N 個像素的每個點的漫反射和鏡面反射的空間關(guān)聯(lián)系數(shù)。

顯然，對圖像而言，所有矩陣都是非負的。同時，因為鏡面反射區(qū)域存在但且是局部稀疏分布的，根據(jù)提出的假設(shè)，圖像的所有非高光區(qū)域中鏡面反射系數(shù)ks( x )=0，因此，系數(shù)矩陣的ks( x )分量是稀疏的。我們選擇帶有稀疏約束的非負矩陣分解（Non-negative Matrix Factorization，NMF）求解（4）。

2.1 算法描述

Hoyer[6]提出稀疏度（Sparseness）的概念，用于衡量向量的稀疏程度，數(shù)學(xué)定義是：

本文的高光檢測問題中，輸入矩陣是圖像像素點的數(shù)據(jù)矩陣，若圖像的像素點個數(shù)為N，那么輸入矩陣大小是3*N 。公式（4）表明矩陣分解內(nèi)部的維度為2，分別對應(yīng)漫反射特征和鏡面反射特征。根據(jù)前文有關(guān)鏡面反射的假設(shè)，本文針對鏡面反射系數(shù)向量設(shè)置稀疏度約束。具體算法步驟如下：

輸入：原始圖像I=3×n

鏡面反射系數(shù)的稀疏約束sp( ki)=Si

輸出：稀疏分解系數(shù)矩陣K。

Step 1. 用矩陣的奇異值分解算法（SVD）分解I=W?K ；

Step 2.迭代最小化能量函數(shù)E(W,K)=‖I-W?K‖2直至收斂；

b.將K 的每行行向量進行“投影”，保證投影后的行向量滿足非負，L2范數(shù)為一，L1范數(shù)為根據(jù)稀疏度約束Si和( 3.4 )式計算的值；

其中，?和?分別表示按元素的乘法和除法。μK是小值步長系數(shù)，相當于傳統(tǒng)的梯度下降法，μK的值取足夠小的時候我們能保證逐步減小能量函數(shù)E(W ,K )，我們根據(jù)自動計算μK。

2.2 算法優(yōu)化

在計算中，我們知道對給定的向量x，它的實際稀疏度sp( x )在絕大多數(shù)情況下并不一定符合預(yù)期的稀疏情況。我們通過近似的方法找到和x 接近的非負向量y，令y 滿足我們預(yù)期的稀疏度，同時向量y 與向量x的距離最小。我們稱之為L1范數(shù)不變的稀疏化近似。具體過程如下：

Step 1. 計 算 x 的 L1范 數(shù)，記，其中s 是預(yù)期的稀疏度；

Step 2.令yi=xi+(l1-∑xi)/n，Z={}，；

Step 4. 若 y 非負，則結(jié)束運算；否則令Z={i,yi＜0}，yi=0,i ∈Z，計算c=(∑yi-l1)/(n- ||Z)，最后令yi=yi-c,i ?Z，返回Step 3。

3 基于稀疏表示的高光消除

在檢測出高光區(qū)域之后，本文旨在盡可能保留圖像上非高光部分屬性的前提下，消除高光對圖像的影響。借鑒圖像修復(fù)的思路，我們將檢測到的高光區(qū)域視為異常值，在假設(shè)非高光區(qū)域只包含漫反射分量的前提下，將高光區(qū)域部分匹配到非高光區(qū)域的近似中，消除高光分量的影響。在樣本匹配階段，我們利用稀疏表示來完成高光消除。

記Ω={p|εp≠0}為高光區(qū)域坐標集合，它的邊界為?Ω。記I?Ω為圖像I 中不包含Ω 區(qū)域的像素集合，即為圖像的非高光區(qū)域，D?Ω是將Ω 區(qū)域坐標列刪除后對應(yīng)的字典。那么在I?Ω上有稀疏表示：

從而，我們可以通過?修復(fù)圖像：

為了保證結(jié)構(gòu)信息能得到正確有效地恢復(fù)而不是錯誤計算或者遺漏信息，我們在對邊界?Ω 進行填充的時候需要確定填充順序。我們在每次迭代中，都計算邊界?Ω 上每個像素點p 的優(yōu)先度P(p)。因為高光區(qū)域的不規(guī)則性，所以我們記P(p)為p 的k*k 窗口內(nèi)的非高光像素的比例，即。記其中最大優(yōu)先度的點為pm，以pm為中心的一個k*k 大小的窗口補丁就作為當前迭代的處理對象Ψpm。因為pm位于待修復(fù)區(qū)域邊界?Ω 上，所以以pm為中心的圖像塊Ψpm既包含Ω 區(qū)域像素，也包含I?Ω區(qū)域內(nèi)像素，同時我們可以明確地區(qū)分這兩個區(qū)域，對應(yīng)上文討論的稀疏分解圖像進行修復(fù)，就有：

具體的算法過程如下：

Step 1.將檢測出的高光區(qū)域記為Ω，使用不含高光區(qū)域的I?Ω構(gòu)建字典D；

Step 2.While Ω 非空，Do：

b. 在窗口Ψpm內(nèi)利用字典D 進行稀疏分解得到系數(shù)矩陣；

c. 根據(jù)系數(shù)矩陣恢復(fù)Ψpm?Ω 的像素，更新Ω=Ω-Ψpm?Ω。

4 實驗結(jié)果

本文將高光檢測實驗分為兩步：首先通過上述的L1范數(shù)不變的稀疏化近似方法初始化輸入矩陣，即圖像I；然后使用單一稀疏度約束的非負矩陣分解算法計算檢測高光區(qū)域，根據(jù)分解出的系數(shù)矩陣K 的第二行的數(shù)值判定高光區(qū)域。此外，為了保證計算的自動化，我們根據(jù)暗通道圖像計算非負矩陣分解中的稀疏約束。

高光檢測實驗對比圖中可以看出，盡管圖（1）和（2）一個膚色偏白，一個膚色偏黑，但是第二列本文方法的結(jié)果（1a）和（2a）檢測出的高光區(qū)域具有較強的魯棒性。與第三列暗通道閾值檢測結(jié)果（1b）和（2b）相比，由于單一閾值導(dǎo)致檢測出的區(qū)域很不穩(wěn)定，表現(xiàn)為：圖（2）皮膚偏黑，高光檢測結(jié)果不完全；圖（1）皮膚偏白，高光檢測過多。本文方法受白色牙齒的干擾十分小，同時基本檢測了嘴唇和下巴的高光區(qū)域。

圖1 高光檢測實驗

（1）（2）是大小為600×600 像素的人臉圖像；（1a）（2a）是對應(yīng)圖像的本文高光檢測算法的結(jié)果；（1b）（2b）是基于暗通道圖像閾值檢測高光的結(jié)果，根據(jù)文獻[7]的統(tǒng)計數(shù)據(jù)將閾值設(shè)置在0.7。

圖2 不同高光消除方法的對比

（1）（2）是輸入的原始圖像；（a）-（e）分別為文獻[7],[8],[9],[10]以及本文的高光消除實驗的結(jié)果。

圖2 所示的高光消除實驗對比結(jié)果中，第二列（1a）（2a）是文獻[7]采用了暗通道圖像特性對高光區(qū)域檢測并消除，但是針對非人臉區(qū)域的非高光白色材質(zhì)、人臉的牙齒部分會錯誤檢測為高光，高光消除過程會錯誤地修改這些區(qū)域的結(jié)果。第三列（1b）（2b）根據(jù)文獻[8]中采用的技術(shù)在針對單張人臉圖像上結(jié)果是失敗的，一方面因為是文獻[8]選取的圖像都是較暗光照下的圖像，高光區(qū)域有較為明顯的特征，但是這類方法對一般的人臉圖像并不適用。第四列（1c）（2c）是文獻[9]根據(jù)雙色反射模型利用圖像分割方法實現(xiàn)的高光消除的效果。盡管人臉區(qū)域的材質(zhì)是稀疏的，但并不是單一材質(zhì)，圖像分割受到高光的影響就會導(dǎo)致錯誤的結(jié)果。第五列（1d）（2d）是文獻[10]的高光消除，同樣地因為檢測高光過程需要手動標定閾值，所以在對于不同光照環(huán)境下的圖像設(shè)定一個固定閾值時，會導(dǎo)致有些圖像的非高光區(qū)域被錯誤檢測（1d）。第六列是本文采用的高光消除的實驗結(jié)果。從方框區(qū)域的對比中可以看出，本文方法不論是在不同光照條件下高光區(qū)域檢測的準確性，還是檢測出高光區(qū)域后高光消除的可信度上，都比前面幾種方法有著更好的結(jié)果。

5 結(jié)語

本文利用人臉圖像上鏡面反射高光的成因和特征，采用雙色反射模型構(gòu)建圖像的高光分量和漫反射分量。通過假設(shè)材質(zhì)函數(shù)可以由色素的密度和分布決定，且高光系數(shù)為空間上的二值函數(shù)，僅在高光區(qū)域高光系數(shù)為1，從而利用有稀疏約束的非負矩陣分解算法檢測鏡面反射高光區(qū)域。同時，本文從高光檢測區(qū)域、高光消除結(jié)果兩個方面同其它高光檢測消除方法進行實驗對比。對比結(jié)果證實本章提出的方法對影響人臉圖像的高光檢測和高光消除的膚色、光照等因素具有較好的魯棒性。

但是由于在鏡面反射分量上做了大量的假設(shè)，并且拋棄了實際人臉圖像上其他材質(zhì)特征，如胡子、斑點的稀疏性討論，因此這些稀疏的材質(zhì)特征可能會對高光檢測造成影響，這也是我們下一步要研究解決的問題。