付 慧， 黃心淵

(北京林業(yè)大學(xué)信息學(xué)院，北京100083)

0 引 言

鏡面反射區(qū)域常常出現(xiàn)在很多照片圖像中，這使很多計(jì)算機(jī)圖像處理的工作，例如邊緣檢測(cè)，圖像分割，目標(biāo)識(shí)別等產(chǎn)生一些錯(cuò)誤結(jié)果。很多圖像處理和計(jì)算機(jī)視覺的算法都假設(shè)圖像具有很好的漫反射表面并且將存在鏡面反射的圖像視作異常值，不予考慮。但是，在現(xiàn)實(shí)世界中，尤其是在自然光照下拍攝的照片中，不均勻光照的影響和鏡面反射的存在是不可避免的。因此，為了消除圖像中的鏡面反射區(qū)域，研究人員們提出了很多定位鏡面反射區(qū)的方法。

1 相關(guān)知識(shí)

本文的工作是基于一類特殊對(duì)象——樹葉圖像來定位鏡面反射區(qū)域。樹葉圖像是林業(yè)野外資源調(diào)查中最常拍攝的圖像，受自然光照的影響，圖像中存在鏡面反射區(qū)的情況很常見。而在林業(yè)研究中，主要基于樹木上可測(cè)量的各種參數(shù)來估計(jì)植物生長(zhǎng)量。除了利用手動(dòng)測(cè)量各個(gè)參數(shù)之外，根據(jù)圖像得到更精確的參量數(shù)據(jù)是目前林業(yè)科研的一個(gè)新方向。樹葉圖像是目前研究的較多的一類圖像。利用從圖像中提取的參數(shù)與實(shí)測(cè)的如樹高、冠幅等參數(shù)來估計(jì)植物的生長(zhǎng)情況。在樹葉圖像中準(zhǔn)確分割出樹葉區(qū)域就能夠計(jì)算葉面積，葉長(zhǎng)、葉寬等作為估計(jì)植物生長(zhǎng)量的有效指標(biāo)。目前傳統(tǒng)的葉面積計(jì)算方法是通過在圖像處理軟件中手動(dòng)摳取樹葉的外輪廓，然后以像素個(gè)數(shù)替代葉面積。將自動(dòng)化的圖像處理方法引入林業(yè)研究中，將進(jìn)一步提高林業(yè)的數(shù)字化，自動(dòng)化水平。目前已有一些研究者開始了這方面的研究。侯國(guó)祥等[1]利用參照硬板和樹葉照片獲取樹葉的實(shí)際面積。該方法不考慮樹葉圖像存在鏡面反射的問題。但是即使是不存在鏡面反射的樹葉圖像在自然光照下也存在圖像光照變化較大的問題，導(dǎo)致圖像進(jìn)行全局性分割是不可行的。只好采用局部分割方法來得到圖像中的樹葉區(qū)域，而這種局部分割方法受圖像初始分割的影響很大。如果劃分的不好，則無法完整的提取樹葉圖像。王代琳等[2]利用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行樹葉識(shí)別，主要利用樹葉圖像的可見外形特征，如葉面積，葉邊緣和葉輪廓。這些特征都會(huì)受光照的影響而出現(xiàn)提取錯(cuò)誤。樹葉的外輪廓常常具有邊緣豐富的特點(diǎn)，邊緣又是梯度變化劇烈的區(qū)域，也常常表現(xiàn)為高亮成分，這與鏡面反射區(qū)很相似，難以區(qū)分。因此需要研究一種能夠有效區(qū)分邊緣與鏡面反射成分的方法。

圖像中鏡面反射區(qū)的定位方法是一個(gè)熱點(diǎn)問題，它涉及到圖像拍攝時(shí)的光照變化，物體的表面材質(zhì)特性，還有成像時(shí)鏡面反射的光學(xué)原理等很多方面，因此也是一個(gè)難點(diǎn)問題。在圖像處理研究中，圖像增強(qiáng)主要關(guān)注光照不均的圖像，重點(diǎn)在增強(qiáng)暗區(qū)的細(xì)節(jié)表現(xiàn)。對(duì)于存在鏡面反射區(qū)的圖像主要研究鏡面反射區(qū)的定位和消除方法。目前在指紋成像，人臉識(shí)別，醫(yī)學(xué)圖像增強(qiáng)等領(lǐng)域都有了積極的研究成果。在圖像增強(qiáng)領(lǐng)域，目前應(yīng)用很廣的有Retinex[3]理論及由其擴(kuò)展而來的MSR[4]，ADCSR[5]等多個(gè)算法。Retinex理論是由EdwinLand于19世紀(jì)70年代提出的一種顏色恒常知覺的色彩理論。Retinex理論主要包含兩個(gè)方面：物體的顏色是由物體對(duì)長(zhǎng)波、中波和短波光線的反射能力決定的，而不是由反射光強(qiáng)度的絕對(duì)值決定的；物體的色彩不受光照非均勻性的影響，具有一致性。Retinex相關(guān)算法能夠?qū)D像中的強(qiáng)光區(qū)域抑制，增強(qiáng)暗區(qū)細(xì)節(jié)。劉茜[6]等提出了區(qū)域分割的自適應(yīng)MSR來處理圖像光照不均的問題。

早期的鏡面反射區(qū)定位工作以Wolff[7]為代表，分割出灰度圖像上的鏡面反射區(qū)域。由于在光學(xué)上鏡面反射成分是偏振的，漫反射成分是無偏振的，因此利用一個(gè)偏振濾波器放置在圖像傳感器之前采集一系列的旋轉(zhuǎn)圖像，鏡面反射成分會(huì)隨著濾波器旋轉(zhuǎn)角度的變化而變化。但這種方法的缺點(diǎn)是需要一系列的圖像，不能直接對(duì)單張圖像進(jìn)行鏡面反射區(qū)定位，具有很大的局限性。目前在公安上應(yīng)用這種方法進(jìn)行指紋成像。李欣[8]等基于偏振光照相方式，消除鏡面反射的影響，顯現(xiàn)鏡面客體上遺留的潛在指紋。

近期以Shafer[9]為代表，提出了使用一幅彩色圖像定位鏡面反射區(qū)的方法。他提出了一種雙色反射模型(dichromaticreflection model，DRM)。物體表面光照主要由漫反射成分和鏡面反射成分組成。漫反射反映的是物體本身的顏色特征，鏡面反射反映的是入射光的顏色特征。Shafer認(rèn)為光滑材料表面反射的光線中，漫反射與鏡面反射成分具有不同的顏色，在顏色空間中處于不同的位置。鏡面反射成分的顏色就是入射光的顏色，而漫反射的顏色取決于材料表面的顏色。Shafer將圖像中每個(gè)點(diǎn)的顏色看作不同方向的兩個(gè)矢量的和 (一個(gè)是入射光顏色，一個(gè)是材料表面顏色)。雙色模型能夠較好的定位鏡面反射區(qū)，但是同時(shí)其計(jì)算量也非常巨大。Klinker[10]發(fā)展了雙色模型，提出一種T型分布算法。但這種方法受相機(jī)噪聲的影響較大，并且T型分布在很多情況下也不能很好的獲得，因此估計(jì)出的光源顏色也不是很準(zhǔn)確。目前，很多研究者正在研究雙色模型的改進(jìn)方法。如孫欣欣等[11]提出了一種最佳分析窗口的改進(jìn)方法。將雙色模型計(jì)算的范圍縮小到一個(gè)最佳窗口上，以減低計(jì)算的復(fù)雜性。陳鍛生等[12]提出了一種基于雙色模型檢測(cè)彩色人臉圖像中鏡面反射區(qū)的方法。該方法應(yīng)用了一個(gè)新的彩色空間TSL(tintsaturationluminance)，基于該空間利用DRM進(jìn)行鏡面反射區(qū)的定位和輻射校正。G Z[13]提出了一種定位子宮圖像中鏡面反射區(qū)的方法。他利用混合高斯模型，基于HSV顏色空間進(jìn)行定位。該文中還介紹了鏡面反射區(qū)消除方法：利用確定的鏡面反射區(qū)像素鄰域中的非鏡面反射像素的顏色均值進(jìn)行替換，從外向內(nèi)迭代進(jìn)行。該方法比較適合鏡面反射區(qū)面積較小的情況。譚平等[14]基于鏡面反射區(qū)與漫反射區(qū)光的色度特性不同，提出了一種交互檢測(cè)單色物體表面鏡面反射區(qū)的方法。引入補(bǔ)色方法對(duì)原圖像鏡面反射區(qū)進(jìn)行消除。

上述方法都是有效的，但要應(yīng)用于樹葉圖像還要結(jié)合樹葉圖像的特點(diǎn)。樹葉圖像中背景常常是葉片和樹皮等有自然紋理的區(qū)域，具有較為復(fù)雜的邊緣。而邊緣又易與鏡面反射區(qū)相混淆。葉片上的漫反射區(qū)與鏡面反射區(qū)常具有極為相近的顏色特征，使得在顏色空間中無法準(zhǔn)確分割這兩部分內(nèi)容。基于以上問題，本文將圖像增強(qiáng)方法和鏡面反射區(qū)處理方法相結(jié)合，提出了一種組合Retinex算法和混合高斯模型的方法。利用 Retinex算法能夠準(zhǔn)確定位圖像中高亮度范圍的優(yōu)勢(shì)得到初始鏡面反射區(qū)，然后利用混合高斯模型能夠?qū)?xì)微的差別進(jìn)行區(qū)分的特性，基于RGB顏色通道分別建立對(duì)應(yīng)的高斯混合模型，并通過加權(quán)組合找到最終的鏡面反射區(qū)。該方法能夠準(zhǔn)確的定位出樹葉圖像中多個(gè)離散的和大面積的鏡面反射區(qū)，準(zhǔn)確率達(dá)到88%。由于分別在每個(gè)顏色通道進(jìn)行GMM計(jì)算，因此計(jì)算復(fù)雜度也不高。最后基于GMM確定的漫反射區(qū)色調(diào)均值修正鏡面反射區(qū)的顏色。實(shí)驗(yàn)結(jié)果顯示本方法是有效的。

2 自然光照下樹葉圖像鏡面反射區(qū)定位方法

樹葉圖像上的鏡面反射區(qū)域常位于葉片上各種不同的位置。在本文中假設(shè)鏡面反射區(qū)只出現(xiàn)在樹葉圖像的葉片上。Retinex算法可以消除圖像中光照不均現(xiàn)象，并且增強(qiáng)圖像暗區(qū)的細(xì)節(jié)和抑制圖像亮區(qū)的強(qiáng)度。

2.1 初始鏡面反射區(qū)定位

我們發(fā)現(xiàn)傳統(tǒng)的圖像增強(qiáng)方法如 Retinex算法雖然不能移除鏡面反射區(qū)，但是它可以抑制鏡面反射區(qū)的亮度值。如果找到那些亮度被Retinex算法抑制的區(qū)域，就找到了鏡面反射區(qū)。在Retinex算法中使用的高斯函數(shù)定義如下

式中：——尺度常數(shù)，尺度越小，就可以移除盡可能多的光照不均造成的影響，使暗區(qū)亮度增強(qiáng)，使亮區(qū)亮度抑制。本文中=80。在增強(qiáng)后的圖像中，樹葉圖像中鏡面反射區(qū)域像素的亮度值會(huì)被減弱，小于原始圖像中對(duì)應(yīng)區(qū)域像素的亮度值。我們計(jì)算增強(qiáng)圖像與原始圖像亮度的差值，像素值為負(fù)值即表示該像素的亮度受到抑制，可能是鏡面反射區(qū)。初始鏡面反射區(qū)域由式(2)得到。原圖像劃分為初始鏡面反射區(qū)和漫反射區(qū)

式中：——一個(gè)常數(shù)，范圍[0,1]。的值越大，則初始鏡面反射區(qū)越大，反之初始鏡面反射區(qū)越小。在本文中 =0.4。參數(shù)是增強(qiáng)圖像與原圖像亮度差值中的最小值。圖1(a)顯示了原始樹葉圖像，圖1(b)顯示了檢測(cè)到的初始鏡面反射區(qū)域。從圖像中我們可以發(fā)現(xiàn)一些檢測(cè)到的區(qū)域?qū)儆跇淙~上的葉脈成分，不屬于鏡面反射區(qū)。我們需要進(jìn)一步的區(qū)分它們。

圖1 原圖像和定位的初始鏡面反射區(qū)

2.2 基于GMM得到最終的鏡面反射區(qū)

我們發(fā)現(xiàn)鏡面反射區(qū)與漫反射區(qū)具有不同的顏色值。樹葉圖像中，從鏡面反射區(qū)到漫反射區(qū)顏色是逐漸變化的，因此在3維顏色空間中無法得到很好的分割，原因在于鏡面反射區(qū)與漫反射區(qū)的顏色差別非常小。為了使鏡面反射區(qū)和漫反射區(qū)的顏色差別變得更加突出，使用RGB這3個(gè)獨(dú)立的顏色通道代替3維的RGB向量空間。這樣降低維度之后進(jìn)一步提高了運(yùn)算的速度。GMM常被用于模式分類，本文中選擇它用于分割初始鏡面反射區(qū)成為最終的鏡面反射區(qū)和漫反射區(qū)。

假設(shè)初始鏡面反射區(qū)中存在兩個(gè)類別：一個(gè)是鏡面反射區(qū)，另一個(gè)是漫反射區(qū)。因此本文中，參數(shù) =2。同時(shí)本文中=1，代表著一個(gè)顏色通道。為了突出體現(xiàn)像素之間的顏色差別，我們計(jì)算初始鏡面反射區(qū)的顏色均值 ，基于式(4)得到每個(gè)像素與均值的顏色差

式中：——初始鏡面反射區(qū)中任意一個(gè)像素的顏色值。得到的顏色差是用于訓(xùn)練GMM的數(shù)據(jù)集。每個(gè)顏色通道的顏色差集合能訓(xùn)練一個(gè)GMM，從而得到該顏色通道的一個(gè)分割結(jié)果。

我們使用EM算法來訓(xùn)練GMM[15]。首先使用k均值算法來得到聚類的初始中心，然后利用EM算法得到每個(gè)高斯模型的參數(shù)值。結(jié)束條件為迭代的次數(shù)超過所設(shè)定的最大值(本文為5)?；谑?5)對(duì)初始鏡面反射區(qū)像素進(jìn)行標(biāo)定

GMM的訓(xùn)練過程需要多次的迭代，需要花費(fèi)大量的時(shí)間，同時(shí)在訓(xùn)練時(shí)使用的數(shù)據(jù)量也非常大，這是因?yàn)槌跏肩R面反射區(qū)常常面積較大。因此我們必須簡(jiǎn)化一些處理過程。這里我們選擇歐幾里得距離而不是后驗(yàn)概率來進(jìn)行標(biāo)定，能夠減少部分計(jì)算時(shí)間。我們將高斯模型中均值較大的作為鏡面反射區(qū)的顏色均值，基于式(6)將每個(gè)GMM的標(biāo)定結(jié)果作如下修改，使高亮區(qū)的標(biāo)定統(tǒng)一為1。

初始鏡面反射區(qū)在RGB每個(gè)顏色通道的分割結(jié)果如圖2(a)，2(b)，2(c)所示。檢測(cè)到的鏡面反射區(qū)用灰色表示。我們可以發(fā)現(xiàn)在圖2(a)中檢測(cè)到的灰色區(qū)域包含了幾乎所有的鏡面反射區(qū)范圍。考慮到自然光中紅色通道具有更多的能量，我們?yōu)槊總€(gè)顏色通道設(shè)定了權(quán)值。紅色通道的權(quán)值最大，為0.4，綠色和藍(lán)色通道的權(quán)值分別為0.3。所有權(quán)值和為1。我們用式(7)得到最終的分割結(jié)果，這里閾值為0.7。圖2(d)中深灰色區(qū)域即為檢測(cè)到的鏡面反射區(qū)。

圖2 3個(gè)通道的分割結(jié)果及最終定位的鏡面反射區(qū)

3 樹葉圖像鏡面反射區(qū)消除方法

由于鏡面反射區(qū)的顏色與漫反射區(qū)不同，因此常使得后續(xù)的分割出現(xiàn)錯(cuò)誤的結(jié)果。因此在得到鏡面反射區(qū)范圍之后，我們需要將其消除，使其不再干擾后續(xù)的圖像分割等工作。傳統(tǒng)的鏡面反射區(qū)消除工作常常是將鏡面反射區(qū)像素顏色替換為其鄰域中所有漫反射像素的顏色均值，由外向內(nèi)迭代的進(jìn)行運(yùn)算。這種方法對(duì)于鏡面反射區(qū)較小的圖像是有效的。但是在本文中，樹葉圖像中可能存在大面積的鏡面反射區(qū)，采用這種迭代方法非常耗費(fèi)時(shí)間。因此我們提出了一種簡(jiǎn)單有效的鏡面反射區(qū)消除方法。由于在確定最終鏡面反射區(qū)時(shí)我們得到了初始鏡面反射區(qū)中漫反射的高斯模型。該值統(tǒng)計(jì)的是漫反射區(qū)域顏色與初始鏡面反射區(qū)均值差的平均值。因此需要在其基礎(chǔ)上加上初始鏡面反射區(qū)顏色均值，作為鏡面反射區(qū)像素的替代顏色值，這樣就消除了鏡面反射區(qū)，如圖3所示。雖然該消除方法在外觀上看有明顯修飾的痕跡，但是其定位準(zhǔn)確，修正速度快。如果希望得到更逼真的修圖效果，我們可以結(jié)合顏色抖動(dòng)，或者利用每個(gè)像素其鄰域漫反射像素的顏色值，可以通過并行計(jì)算來加快計(jì)算速度。這也是我們后續(xù)研究的部分內(nèi)容。

圖3 消除鏡面反射區(qū)的結(jié)果

4 實(shí)驗(yàn)和結(jié)果分析

本文給出的方法在20幅主要以樹葉為背景的圖像上進(jìn)行測(cè)試。要求測(cè)試圖像是以一個(gè)樹葉為主要成分，同時(shí)鏡面反射區(qū)只出現(xiàn)在樹葉上。每個(gè)測(cè)試圖像中采用在PS2中手工標(biāo)記的方式得到實(shí)際的鏡面反射區(qū)域。本文提出的算法的性能采用準(zhǔn)確率來估計(jì)。

手工標(biāo)定測(cè)試圖像中的鏡面反射區(qū)是通過PS2中的套索工具將區(qū)域輪廓進(jìn)行摳圖所得，是近似區(qū)域，無法達(dá)到像素級(jí)別的準(zhǔn)確度。而且，手工標(biāo)定鏡面反射區(qū)域的結(jié)果高度依賴于不同的人的標(biāo)定風(fēng)格。因此，利用足夠多的人進(jìn)行標(biāo)定以達(dá)到一個(gè)可靠的標(biāo)定結(jié)果是困難的。所以，在本文中采用的評(píng)價(jià)指標(biāo)準(zhǔn)確率由式(8)得到

我們選取了20幅圖像測(cè)試了本文算法。與文獻(xiàn) [13]相比，我們的準(zhǔn)確率到達(dá)88%，要高于它的85.8%。準(zhǔn)確率的提高主要在于將Retinex算法與GMM相結(jié)合，組合了兩者的優(yōu)勢(shì)，Retinex算法用于在整幅圖像上確定高亮度區(qū)域，GMM用于在局部范圍內(nèi)定位鏡面反射區(qū)。這樣就有效的將樹葉圖像上的邊緣與真正的鏡面反射區(qū)進(jìn)行了區(qū)分。

部分測(cè)試圖像在圖4(a)中顯示。圖4(b)中深灰色區(qū)域?yàn)闄z測(cè)到的鏡面反射區(qū)。(c)顯示了鏡面反射區(qū)消除后的結(jié)果。由于只能采用灰度圖像顯示，所以效果看不起來不明顯。但對(duì)比圖4中(c)和(a)中圖像，可以看到原圖像上鏡面反射區(qū)的亮度被降低了。

本方法的局限性是如果背景中存在較高的亮度區(qū)域，目前還無法用本方法處理。如果背景是亮的天空，或者是亮的地面則本方法在初始鏡面反射區(qū)確定時(shí)，會(huì)將天空和地面都作為鏡面反射區(qū)檢測(cè)出來。而我們的GMM主要考慮的是兩類區(qū)分，沒有考慮除了樹葉葉面上漫反射區(qū)和鏡面反射區(qū)兩類之外，存在其他類別的問題。因此，要解決這個(gè)問題還需要選擇合適的特征，將GMM擴(kuò)展，使其能夠區(qū)分多個(gè)類別。這樣就能將天空，亮色的地面與鏡面反射區(qū)相區(qū)別開。同時(shí)我們也需要利用更多的與樹葉的相關(guān)知識(shí)來幫助進(jìn)行樹葉和背景區(qū)域的分割。這是我們后續(xù)研究的內(nèi)容。

5 結(jié)束語

圖4 部分測(cè)試圖像及結(jié)果

我們提出了一種自動(dòng)檢測(cè)和消除樹葉圖像中葉片上鏡面反射區(qū)域的新方法。針對(duì)樹葉圖像中邊緣較多，背景復(fù)雜的情況，綜合利用了圖像的整體亮度變化和局部顏色區(qū)別，組合了Retinex算法和GMM方法來實(shí)現(xiàn)鏡面反射區(qū)定位。本文提出的方法能夠消除鏡面反射區(qū)對(duì)樹葉圖像的影響，對(duì)樹葉圖像的良好與處理將對(duì)樹葉圖像的后續(xù)分析(圖像分割，圖像識(shí)別)起到積極的作用。本文的方法目前還不能處理圖像的背景中存在高亮度區(qū)域的情況。這個(gè)問題可以通過擴(kuò)展訓(xùn)練高斯混合模型的特征和引入更多的關(guān)于樹葉的先驗(yàn)知識(shí)來解決。這是我們后續(xù)的研究重點(diǎn)。

[1]侯國(guó)祥,翁章卓,李洪斌,等.基于圖像處理的樹葉面積測(cè)量系統(tǒng)[J].武漢植物學(xué)研究,2005,23(4):369-372.

[2]Wang D L,Zhang X M,Liu Y Q.Recognition system of leaf images based on neuronal network[J].Journal of Forestry Research,2006,17(3):243-246.

[3]Land E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[4]汪劉艷,王緒本.多尺度Retinex算法在簡(jiǎn)牘圖象增強(qiáng)中的應(yīng)用[J].計(jì)算機(jī)科學(xué),2009,36(3):288-290.

[5]唐磊,趙春霞,王鴻南,等.基于各向異性Retinex的路面圖像陰影消除[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(2):264-268.

[6]Liu Qian,Li Xiang-lin,Lu Xin-hong.Adaptive MSR method based on region segmentation[J].Journal of Computer Engineering,2009,35(24):205-207.

[7]Wolff L B,Boult T.Constraining object features using polarization reflectance model[J].IEEE Trans Magn,Pattern Analysis and Machine Intelligence,1991,13(7):635-657.

[8]李欣,王桂強(qiáng).偏振光照相顯現(xiàn)鏡面客體上的潛在指印[J].刑事技術(shù),2007(1):7-8.

[9]Shafer S.Using color to separate reflection components[J].InternationalJournalof Color Research and Applications,1985,10(4):210-218.

[10]Klinker G J,Shafer S A,Kanade T.The measurement of highlights in color images[J].International Journal of Computer Vision,1988,2(1):7-32.

[11]孫欣欣,徐舒暢,盧滌非.基于最佳分析窗口的高光檢測(cè)批[J].計(jì)算機(jī)工程與設(shè)計(jì),2007,28(6):1469-1472.

[12]陳鍛生,劉政凱.彩色圖像人臉高光區(qū)域的自動(dòng)檢測(cè)與校正方法[J].軟件學(xué)報(bào),2003,14(11):1900-1906.

[13]Moreno G Z,Greenspan H.Automatic detection of specular reflections in uterine cervix images[C].San Diego,CA,USA:SPIE Conference on Medical Imaging,2006:2037-2045.

[14]譚平,楊杰,雷蓓,等.用于去除單張圖像高光的光照約束補(bǔ)色[J].軟件學(xué)報(bào),2004,15(1):33-40.

[15]Christopher M Bishop.Pattern recognition and machine learning[M].New York,USA:Springer Science Business Media,2006:435-438.