李建勛,童中翔,劉彥,李成,王超哲,張志波
(空軍工程大學(xué) 航空航天工程學(xué)院,陜西 西安 710038)
陰影是圖像的基本特征之一,是許多自然場(chǎng)景圖像的組成部分.單幅圖像陰影去除[1]依據(jù)一幅圖像,將陰影區(qū)域中像素點(diǎn)的亮度、顏色和紋理等信息恢復(fù)到非陰影區(qū)域光照的效果,與圖像增強(qiáng)、光照補(bǔ)償?shù)认嗷ト诤?,使得陰影區(qū)域信息的可視化更加符合人類視覺(jué),使整幅圖像具有視覺(jué)上的一致性.實(shí)際處理時(shí),由于場(chǎng)景和成像條件都具有相當(dāng)?shù)膹?fù)雜性,很多傳感器并不具有多通道/顏色信息,自然場(chǎng)景中包含的陰影形成復(fù)雜,所以開發(fā)兼顧單/多通道成像,能夠處理實(shí)際場(chǎng)景的陰影去除方法非常具有挑戰(zhàn)性.
目前單幅圖像陰影去除方法可以分為兩類:基于梯度域的方法和基于空間域的方法[2].1)基于梯度域的方法能較好保持細(xì)節(jié)信息,但容易出現(xiàn)色偏和局部過(guò)渡光滑等效果[3].2)基于空間域的方法包括基于顏色理論和算法的陰影去除[4]和基于圖像分解的陰影去除.為擴(kuò)大應(yīng)用范圍和算法處理能力,文中面向單幅圖像陰影去除,首先從單通道灰度圖像陰影去除出發(fā),進(jìn)而擴(kuò)展到彩色圖像進(jìn)行處理,盡可能實(shí)現(xiàn)對(duì)較為復(fù)雜的自然場(chǎng)景進(jìn)行陰影去除.
陰影是由于光源被物體遮擋而產(chǎn)生的,根據(jù)陰影生成原因不同可分為兩類:自影和投影.障礙物本身沒(méi)有被光線照射的區(qū)域形成自影,照射光線被障礙物遮擋的背景區(qū)域形成投影,而投影根據(jù)光線遮擋程度又進(jìn)一步分為本影和半影[5-6],如圖1所示.本影的產(chǎn)生是光源完全被遮擋,而半影則是在非點(diǎn)光源或光線閃射的情況下產(chǎn)生的,半影區(qū)域中光照強(qiáng)度緩慢變化.某些情況下,半影的寬度很小,可以認(rèn)為是一個(gè)硬邊緣,但是自然圖像中通常半影存在一個(gè)可見(jiàn)寬度.作為從本影到非陰影區(qū)域的過(guò)渡,對(duì)于視覺(jué)效果,半影去除在陰影去除過(guò)程中非常重要.
陰影形成的數(shù)學(xué)表示可以從圖像成像模型出發(fā)[7]進(jìn)行研究.忽略圖像獲取中傳感器響應(yīng)等影響,成像的物理過(guò)程為
式中:S(x,λ)、E(x,λ)、R(x,λ)依次表示在位置x、波長(zhǎng)λ下獲取的圖像像素值、光源照度值和反射系數(shù),“×”為逐像素乘,λ一般情況下即為三原色通道 R、G、B.
根據(jù)成像模型,在自然場(chǎng)景光照條件下,非陰影區(qū)域的光照強(qiáng)度由兩部分光源獲得,即直接光源Ed和環(huán)境散射光源Ea;在本影區(qū)中,由于物體遮擋直射光源,故其中只有Ea;半影區(qū)中則是部分Ed與Ea的組合.不同區(qū)域的光源不同,可以分析得到圖像中任一點(diǎn)x處的像素值S(x,λ)為
式中:k(x)描述半影區(qū) Ed貢獻(xiàn)的比例系數(shù),0≤k(x)≤1,等于0和1時(shí)分別對(duì)應(yīng)在本影區(qū)和非陰影區(qū).
基于以上模型,陰影去除的核心就是將本影和半影區(qū)域的光照強(qiáng)度恢復(fù)到非陰影區(qū)域的光照,而對(duì)各個(gè)波長(zhǎng)分別處理,可以盡可能保證色調(diào)信息的一致性.文獻(xiàn)[8]分析了基本的算法思路:對(duì)于本影區(qū)點(diǎn)x1和非陰影區(qū)點(diǎn)x2,陰影去除目標(biāo)就是使得S(x1,λ)=S(x2,λ),若兩點(diǎn)屬于同一表面,令反射系數(shù)相等,利用Von Kries色系數(shù)定律可以推導(dǎo)出對(duì)角矩陣.只需找到此對(duì)角矩陣,那么將陰影中像素點(diǎn)的顏色值變換為非陰影光照下同樣表面的顏色值,從而實(shí)現(xiàn)陰影去除的目的.
基于顏色比例的陰影去除方法[9]是具有陰影建?;A(chǔ)的一種主流方法,其主要思想是尋找陰影區(qū)域和非陰影區(qū)域像素點(diǎn)一個(gè)比例系數(shù),然后把陰影區(qū)域像素值通過(guò)對(duì)角陣變換到非陰影區(qū)域的光照效果.針對(duì)目前很多方法較少關(guān)注圖像紋理等特性、非常依賴于陰影檢測(cè)的準(zhǔn)確性、對(duì)于一幅圖像中含有多個(gè)陰影時(shí)不能分別對(duì)待等問(wèn)題,文中算法設(shè)計(jì)時(shí)主要考慮3個(gè)方面:1)從能量角度出發(fā)對(duì)基于顏色比例的陰影去除方法重新定義;2)顏色比例必須對(duì)同一反射系數(shù)表面實(shí)施才能準(zhǔn)確,否則從模型出發(fā)就會(huì)出現(xiàn)較大誤差;3)基于區(qū)域顏色恒常性計(jì)算方法估計(jì)映射區(qū)域光照,進(jìn)而得到恢復(fù)系數(shù).
依照“從簡(jiǎn)單到復(fù)雜,從單陰影到多陰影”的思路,根據(jù)顏色比例進(jìn)行陰影去除的基本方法,結(jié)合非局部均值[10]、紋理映射[11]等核心思想,在能量最小化框架下,文中提出了基于區(qū)域顏色恒常性計(jì)算的本影去除方法,并進(jìn)一步設(shè)計(jì)復(fù)合模型進(jìn)行半影去除,使輸出結(jié)果更加符合視覺(jué)效果.
在得到陰影檢測(cè)后的本影和半影掩模后就可以進(jìn)行陰影去除.為了保證根據(jù)陰影模型和顏色比例方法去除陰影的準(zhǔn)確性,文中設(shè)計(jì)了能量最小化框架:為圖像中每一個(gè)本影區(qū)域在非陰影區(qū)域RL中尋找一個(gè)最合適的子區(qū)域RM(RM,RL),使得表征的光源估計(jì)值所得到的比例值ci滿足能量函數(shù)值最小,表示為
得到本影區(qū)域最優(yōu)恢復(fù)比例系數(shù),基于構(gòu)造性方法來(lái)實(shí)現(xiàn)式(3)的最優(yōu)化過(guò)程依賴于2個(gè)關(guān)鍵步驟:1)在本影區(qū)域與非陰影區(qū)域建立反射系數(shù)一致性表面的映射關(guān)系.紋理特性是反映場(chǎng)景表面的重要依據(jù),文中根據(jù)紋理特性建立映射關(guān)系2)區(qū)域光源估計(jì)值的計(jì)算.顏色恒常性計(jì)算方法是估計(jì)光照的良好工具,文中基于區(qū)域顏色恒常性計(jì)算方法得到
這樣的計(jì)算方法適合場(chǎng)景存在多陰影區(qū)域和多通道圖像的陰影去除.面向含多陰影區(qū)域圖像,實(shí)際操作中可適當(dāng)減少?gòu)?fù)雜度;同時(shí)面向多通道彩色圖像,根據(jù)以上單通道實(shí)現(xiàn)方法得到的映射關(guān)系,在第2)步光源估計(jì)時(shí)即可在每個(gè)通道中單獨(dú)進(jìn)行.
紋理是圖像中同質(zhì)現(xiàn)象的視覺(jué)特征,是反映圖像局部分布統(tǒng)計(jì)、結(jié)構(gòu)信息的重要特征,其本質(zhì)是刻畫鄰域像素亮度的分布規(guī)律,從局部二值模式算子的分析可知,魯棒的紋理特征描繪對(duì)亮度變化不敏感.可見(jiàn)對(duì)于在陰影區(qū)域和非陰影區(qū)域中尋找反射系數(shù)一致性表面,紋理特征是一種有效的表征量.
2.2.1 陰影區(qū)域的標(biāo)定及分割片的獲取
首先進(jìn)行獨(dú)立陰影區(qū)域的標(biāo)定.根據(jù)二值圖像處理邊緣表示及聯(lián)通關(guān)系,可以獲知獨(dú)立的陰影區(qū)域,用代表性區(qū)域——質(zhì)心鄰域來(lái)表征標(biāo)定出的獨(dú)立陰影區(qū)域,如圖2十字表示的2個(gè)獨(dú)立陰影區(qū)域.
圖2 陰影區(qū)域的標(biāo)定Fig.2 Shadow regions demarcation
圖3 圖像Patch的獲取Fig.3 Image Patch extraction
圖4 Patch修訂前后質(zhì)心位置的比較Fig.4 Centroid position’s comparison before and after patch modification
2.2.2 分割片的紋理特性統(tǒng)計(jì)及映射規(guī)則
在獲知分別屬于陰影區(qū)域和非陰影區(qū)域的Patch后,即可以通過(guò)一定的規(guī)則建立映射關(guān)系.定義表示第i個(gè)本影區(qū)域的第 j個(gè) Patch,j∈表示非陰影區(qū)域RL的第k個(gè)Patch.
在非陰影區(qū)域的Patch集合中,為處于陰影區(qū)域中的每一個(gè)Patch尋找最為相似Patch,尋求映射公式即等價(jià)描述為
DP描述了2個(gè)Patch之間差異性,文中根據(jù)Patch的紋理特征來(lái)確定,將差異最小的作為相應(yīng)的最相似Patch.
1)計(jì)算每一個(gè)Patch的紋理特征分布
根據(jù)LBP計(jì)算方法,統(tǒng)計(jì)得到每一個(gè)Patch的紋理特征LBP直方圖分布特性.對(duì)直方圖歸一化以消除統(tǒng)計(jì)值不同量級(jí)的影響.
2)紋理特性直方圖分布的相似性度量
Patch之間的相似性可以通過(guò)比較直方圖的相似性來(lái)確定.對(duì)于直方圖相似性度量,2個(gè)之間的交集越大越好.任意2個(gè)Patch的直方圖:
式中:j,k表示直方圖中窗口的位置(標(biāo)號(hào)),r為窗口最大標(biāo)號(hào),Hp(j)表示直方圖Hp在窗口j處的取值,Hq(k)表示直方圖Hq在窗口k處的取值,Hp、Hq滿足各窗口取值之和相等這一條件.為保證一定的魯棒性,文中采用2個(gè)度量測(cè)度來(lái)綜合評(píng)價(jià):
式中:Ma為距離測(cè)度[13],其可以衡量2個(gè)歸一化直方圖一階分布的差異;Mb為對(duì)稱卡方測(cè)度,是最近鄰分類器使用的規(guī)則.Ma和Mb值越小表征2個(gè)直方圖越相近,當(dāng)測(cè)度值為0時(shí)表示絕對(duì)匹配.圖5為典型測(cè)試圖的陰影區(qū)域中分割片與非陰影區(qū)域中分割片之間建立的最優(yōu)紋理映射關(guān)系,通過(guò)直線連接.
圖5 陰影區(qū)域中分割片與非陰影區(qū)域中分割片之間的紋理映射關(guān)系Fig.5 Texture matching relation between segment patches in shadow regions and in non-shadow regions
2.3.1 基于區(qū)域顏色恒常性計(jì)算的光照估計(jì)
文獻(xiàn)[8]指出基于顏色恒常性的陰影去除方法的前提假設(shè):陰影圖像中陰影區(qū)域和非陰影區(qū)域分別滿足相應(yīng)Minkowski范式的顏色恒常算法所基于的假設(shè);并通過(guò)顏色恒常性計(jì)算方法對(duì)1.2節(jié)中直接光源Ed與環(huán)境散射光源Ea進(jìn)行估計(jì).
無(wú)監(jiān)督的顏色恒常性計(jì)算方法是利于圖像底層特征估計(jì)得到成像時(shí)的光照值,不依賴于先驗(yàn)知識(shí),各種假設(shè)的提出保證了這一病態(tài)問(wèn)題的求解.Finlayson、Weijer等[14-15]引入 Minkowsik 范數(shù),高斯卷積等,擴(kuò)展提出了統(tǒng)一的顏色恒常性計(jì)算框架為
式中:n是偏導(dǎo)階數(shù),p是 Minkowski范數(shù),fσ(x)表示高斯卷積結(jié)果,方差為σ,k0表示無(wú)色差常數(shù),x表征位置信息.p作用主要體現(xiàn)是在Grey-World和White-Patch之間的權(quán)衡調(diào)整:p=∞時(shí)上式等價(jià)于White-Patch,而p=1時(shí)則等價(jià)于Grey-World;同時(shí)在Grey-Edge假設(shè)的基礎(chǔ)上將顏色導(dǎo)數(shù)推廣到更高的n階.整個(gè)框架輸出結(jié)果依賴于這3個(gè)參數(shù)的選取.但是對(duì)于一幅圖像,并不是所有像素都含有顏色恒常性的信息,有偏的像素值(biased pixel values)甚至?xí)档皖伾愠P杂?jì)算方法的有效性.對(duì)于含有部分高亮度天空?qǐng)鼍暗墓庹展烙?jì)上,光源顏色會(huì)產(chǎn)生藍(lán)色等趨向性,所以在進(jìn)行光照估計(jì)時(shí)應(yīng)該選用合適的部分圖像作為魯棒估計(jì)的有效值.
區(qū)域顏色恒常性計(jì)算為文中陰影去除提供了良好的思路和工具.陰影去除的目的就是將陰影區(qū)域的光照恢復(fù)到非陰影區(qū)域的光照,基于Von Kries對(duì)角模型的應(yīng)用涉及到當(dāng)前陰影區(qū)域和非陰影區(qū)域的光照估計(jì),而根據(jù)區(qū)域顏色恒常性計(jì)算思路可知,在進(jìn)行光照估計(jì)時(shí)利用全部非陰影區(qū)域信息來(lái)估計(jì)非陰影區(qū)域的光照必然也會(huì)存在不準(zhǔn)確性,而文中區(qū)域紋理映射的過(guò)程則實(shí)現(xiàn)了區(qū)域顏色恒常性計(jì)算的一個(gè)分割先驗(yàn)的前提:對(duì)于陰影中的每一個(gè)在非陰影區(qū)域中選取紋理特征最相似的這樣根據(jù)紋理特征信息得到了具有場(chǎng)景認(rèn)知信息的分割片可以提供比全部非陰影區(qū)域更有效的顏色恒常信息,為陰影區(qū)域的光照恢復(fù)提供了保證.
2.3.2 比例系數(shù)的計(jì)算
諸多文獻(xiàn)應(yīng)用都是對(duì)于圖像中只含有一個(gè)陰影區(qū)域進(jìn)行的光照估計(jì)[16],存在多個(gè)陰影時(shí),如果將一個(gè)比例系數(shù)應(yīng)用到所有區(qū)域,則不可能保證陰影模型的準(zhǔn)確性.所以針對(duì)獨(dú)立的陰影區(qū)域,根據(jù)區(qū)域顏色恒常性計(jì)算,都應(yīng)該有一個(gè)相應(yīng)的恢復(fù)比例系數(shù).文中通過(guò)紋理映射實(shí)現(xiàn)的過(guò)程,進(jìn)而將所有子區(qū)域合并即可以建立的關(guān)系,并通過(guò)二者光源估計(jì)值得到比例系數(shù).但由于子區(qū)域的分離性,在計(jì)算SM時(shí)不能基于區(qū)域計(jì)算,而只能進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)量計(jì)算.所以文中采取“分而治之”的方法,根據(jù)顏色比例方法,首先獲得映射關(guān)系產(chǎn)生的各個(gè)比例系數(shù)cij,然后對(duì)于整個(gè)產(chǎn)生統(tǒng)計(jì)平均值.這樣的計(jì)算方法對(duì)于一個(gè)陰影明顯跨越多個(gè)紋理特征表面時(shí),可以均衡子區(qū)域產(chǎn)生的奇異性.
根據(jù)顏色比例計(jì)算思路,對(duì)于單通道圖像,文中基于區(qū)域顏色恒常性的比例系數(shù)計(jì)算步驟重寫為:
3)為了達(dá)到陰影去除目的,即將陰影區(qū)域光照變換到非陰影區(qū)域光照,得到比例系數(shù):
根據(jù)顏色恒常性計(jì)算方法估計(jì)場(chǎng)景光照是十分有效的方法.而對(duì)于每個(gè)Patch,本節(jié)基于區(qū)域顏色恒常性計(jì)算進(jìn)行光照估計(jì)的參數(shù)設(shè)置也非常關(guān)鍵,根據(jù)文獻(xiàn)[17]的討論,為了降低計(jì)算復(fù)雜度,文中默認(rèn)采用(e0,2,1).
由于半影在成像時(shí)具有的特殊性,作為本影到非陰影區(qū)域的過(guò)渡區(qū)域,在陰影去除時(shí)如果不進(jìn)行處理,本影去除的效果會(huì)有一定的突兀性,一定程度上影響視覺(jué)效果,所以很多文獻(xiàn)都專門對(duì)半影的處理進(jìn)行探討.Fredembach[18]發(fā)現(xiàn)如果采用在陰影邊界區(qū)域內(nèi)進(jìn)行插值的方法來(lái)自適應(yīng)計(jì)算半影中不同位置的比例系數(shù),會(huì)產(chǎn)生一定的人工效應(yīng)和錯(cuò)誤結(jié)果,所以進(jìn)一步采用圖像修復(fù)技術(shù)[19].圖像修復(fù)技術(shù)主要包括各種偏微分?jǐn)U散,特征匹配和壓縮感知的方法[20],但是基于圖像修復(fù)的方法,尤其是面向圖像篡改中目標(biāo)移除的方法忽略了陰影區(qū)域的自身信息,完全通過(guò)圖像中其他部分的信息進(jìn)行匹配修復(fù),雖然也可以得到較好的視覺(jué)效果,但容易引入各種附加信息.
文中首先假設(shè)半影區(qū)域RP光照變化光滑.根據(jù)陰影模型式(2),半影區(qū)域任意位置光照為環(huán)境散射光源Ea與部分直接光源Ed加權(quán),與位置信息緊密相關(guān).但是半影光照由于位置的特殊性,根據(jù)鄰域信息進(jìn)行區(qū)域顏色恒常性計(jì)算時(shí)估計(jì)的準(zhǔn)確性較低,直接按照比例系數(shù)方法不易得到較好的比例系數(shù),所以不能只依靠單獨(dú)的區(qū)域顏色恒常性計(jì)算.關(guān)于位置信息的衡量,文獻(xiàn)[5,21]在陰影邊界切線的垂直方向上進(jìn)行采樣,實(shí)際上都是建立了半影的剖面模型,其中一個(gè)重要的參量就是半影中點(diǎn)位置與相應(yīng)本影的距離,但采樣過(guò)程具有一定的復(fù)雜性,而其需要進(jìn)行是否是最優(yōu)采樣的判斷.
文中根據(jù)顏色比例方法,對(duì)于半影區(qū)域,將區(qū)域顏色恒常性計(jì)算和剖面模型相結(jié)合,得到半影中任意位置的比例系數(shù)為:
此比例系數(shù)由兩項(xiàng)加權(quán)構(gòu)成:
文中依據(jù)本影邊緣的擴(kuò)散形成半影,以本影區(qū)域?yàn)橹行?,形成單像素的邊界環(huán),可以得到每個(gè)像素距離本影的距離.假設(shè)垂直于陰影邊緣切線方向的光照分量光滑性直接由比例系數(shù)來(lái)體現(xiàn),即垂直于陰影邊緣切線方向的比例系數(shù)下降具有光滑性,并假設(shè)剖面模型PF符合正半軸半高斯概率分布函數(shù),服從(0,σP),根據(jù)半影寬度DP及ci即得到每層半影的比例系數(shù)為
式中:dx表示位置信息x在剖面方向與本影的距離.圖6(a)為半影的分層表示,不同灰度級(jí)表征與本影的距離,右上角局部圖表示從本影到非陰影區(qū)域縱向方向灰度的變化,圖6(b)即為光滑下降的高斯剖面模型.
在現(xiàn)有文獻(xiàn)半影光滑等假設(shè)的基礎(chǔ)上,文中從陰影模型和半影生成過(guò)程出發(fā),提出基于模型的自適應(yīng)半影恢復(fù)方法,其兼顧紋理特性,可以有效消除容易在邊緣產(chǎn)生的馬赫帶效應(yīng),輸出圖像視覺(jué)效果良好.
圖6 半影的分層表示和剖面的高斯模型Fig.6 Penumbral hierarchical representation and Gaussian model of luminance profile
首先對(duì)人工合成圖像進(jìn)行陰影去除仿真,并和文獻(xiàn)[22]進(jìn)行比較,結(jié)果見(jiàn)圖7.
圖7 人工合成圖像的陰影去除結(jié)果Fig.7 Shadow removal results of the synthetic images
顧曉東等[22]提出了基于PCNN進(jìn)行陰影去除的重要思路,其不用進(jìn)行陰影檢測(cè)和考慮邊界問(wèn)題,陰影去除視覺(jué)良好;但由于其基于“商圖像”需要對(duì)整幅圖像進(jìn)行操作,所以非陰影區(qū)域也受到一定影響,同時(shí)處于陰影中的很多信息也沒(méi)有完全恢復(fù)出來(lái),圖像的信息出現(xiàn)大幅變化,諸如目標(biāo)坦克的履帶等信息已經(jīng)缺失,所以基于商圖像的計(jì)算,如何保證信息不丟失是個(gè)難點(diǎn).文中方法基于顏色恒常性計(jì)算和紋理映射,對(duì)于人工合成圖像陰影區(qū)域信息恢復(fù)具有較高的準(zhǔn)確性,能夠?qū)㈥幱皡^(qū)域的灰度基本恢復(fù)到原始光照下,使得對(duì)陰影區(qū)域的認(rèn)知得以恢復(fù),陰影去除效果明顯優(yōu)于文獻(xiàn)[22].但是也容易看出,由于圖像組成為目標(biāo)與背景,人工陰影使得區(qū)域紋理映射的準(zhǔn)確性在一定程度上降低,估計(jì)得到的比例系數(shù)與陰影強(qiáng)度表征量SI的倒數(shù)有一定差異,而且合成圖像含有的銳化邊界(沒(méi)有過(guò)渡區(qū)域)兩側(cè)平衡恢復(fù)也較為困難,盡管使用了半影的恢復(fù)方法但圖像整體視覺(jué)效果仍有一定欠缺.
經(jīng)過(guò)人工合成圖像的驗(yàn)證,進(jìn)而對(duì)典型戶外場(chǎng)景圖像進(jìn)行仿真,并與相關(guān)文獻(xiàn)進(jìn)行比較,見(jiàn)圖8(a)~(d)為原始陰影圖像,圖8(e)~(g)為文獻(xiàn)作者結(jié)果[5,23,21],8(h)~ (k)為相應(yīng)的文結(jié)果.本文算法可以實(shí)現(xiàn)與很多文獻(xiàn)相當(dāng)或更好的陰影去除效果,由于采取較為精細(xì)設(shè)計(jì)的比例系數(shù)方法,尤其在陰影內(nèi)部的亮度及對(duì)比度恢復(fù)上有較大優(yōu)勢(shì),采取的半影恢復(fù)方法在視覺(jué)上更使得原有陰影區(qū)域與非陰影區(qū)域的過(guò)渡自然.同時(shí)由于檢測(cè)的準(zhǔn)確性,非陰影區(qū)域的信息不會(huì)丟失.
戶外自然場(chǎng)景多具有紋理特性,本文方法在紋理映射時(shí)更加準(zhǔn)確,基于映射關(guān)系,相繼得到陰影中Patch和陰影區(qū)域的顏色比例系數(shù),優(yōu)勢(shì)即在于對(duì)不同的陰影區(qū)域,可以根據(jù)紋理特征最相似Patch的光照估計(jì)得到比例系數(shù),這樣對(duì)于每一個(gè)單獨(dú)的陰影區(qū)域都有一個(gè)相應(yīng)的恢復(fù)比例系數(shù),從而避免了原有諸多算法單一系數(shù)的不足.本文基于區(qū)域顏色恒常性計(jì)算的優(yōu)點(diǎn),即有效避免計(jì)算非陰影區(qū)域光照時(shí)大幅偏離情況的發(fā)生,而基于紋理映射尋找最適合的陰影Patch和非陰影Patch,得到的比例系數(shù)更加準(zhǔn)確.
但不容忽視的是,本文方法在單個(gè)陰影的處理上視覺(jué)效果較為一致,而由于實(shí)際光照?qǐng)鼍暗膹?fù)雜性,對(duì)于非均勻陰影的去除算法仍有一定不足;同時(shí)對(duì)于顏色恢復(fù)問(wèn)題,含陰影區(qū)域的顏色信息會(huì)有一定變化,多通道含陰影圖像處理的視覺(jué)良好性仍有待進(jìn)一步提升.
圖8 自然場(chǎng)景圖像陰影去除結(jié)果Fig.8 Shadow removal results of the natural scene images
1)文中通過(guò)紋理映射建立本影中分割片與非陰影區(qū)域分割片之間的關(guān)系,分別進(jìn)行區(qū)域顏色恒常性計(jì)算得到光照估計(jì)量,根據(jù)顏色比例方法,求得每一個(gè)陰影區(qū)域的恢復(fù)系數(shù);
2)根據(jù)半影輸出,提出基于復(fù)合模型的半影恢復(fù)方法,由區(qū)域顏色恒常性計(jì)算和剖面光滑模型得到比例系數(shù)的加權(quán)值作為最終半影恢復(fù)系數(shù),更有利于從本影到非陰影區(qū)域的過(guò)渡;
3)大量仿真實(shí)驗(yàn)驗(yàn)證了文中算法可以將陰影區(qū)域中像素點(diǎn)的亮度、顏色和紋理等信息恢復(fù)到非陰影區(qū)域光照的效果.
對(duì)于自然場(chǎng)景圖像的復(fù)雜性,文中的紋理映射方法在適用場(chǎng)景上還有局限,而基于顏色比例的方法,盡可能滿足模型本身的需求也依賴于普適的顏色恒常性計(jì)算方法.陰影檢測(cè)的客觀衡量可以通過(guò)主動(dòng)標(biāo)注區(qū)域來(lái)進(jìn)行正確率的大致計(jì)算,但陰影去除的客觀評(píng)價(jià)還不易提出,目前可以通過(guò)特定目標(biāo)檢測(cè)和識(shí)別等任務(wù)效果的提升來(lái)側(cè)面反映.
[1]陳繼國(guó),沈超敏.單幅圖像的保紋理陰影去除[J].計(jì)算機(jī)工程,2010,36(22):219-221.
CHEN Jiguo,SHEN Chaomin.Texture-preserving shadow removal from single image[J].Computer Engineering,2010,36(22):219-221.
[2]ARBEL E,HEL-OR H.Texture-preserving shadow removal in color images containing curved surfaces[C]//Proceedings of IEEE CVPR 2007.Minneapolis,Minnesota,USA,2007:1-8.
[3]FREDEMBACH C,F(xiàn)INLAYSON G D.Hamiltonian path based shadow removal[C]//Proceedings of 16th British Machine Vision Conference(BMVC).Oxford,UK,2005:970-980.
[4]葉勤,徐秋紅,謝惠洪.城市航空影像中基于顏色恒常性的陰影消除[J].光電子·激光,2010,21(11):1706-1713.
YE Qin,XU Qiuhong,XIE Huihong.Removing shadows from urban aerial images based on color constancy [J].Journal of Optoelectronics·Laser,2010,21(11):1706-1713.
[5]ARBEL E.A novel approach for shadow removal based on intensity surface approximation[D].Haifa:University of Haifa,2009:6-9.
[6]MAMASSIAN P,KNILL D C,KERSTEN D.The perception of cast shadows [J].Trends in Cognitive Sciences,1998,2(8):288-295.
[7]過(guò)潔,徐曉旸,潘金貴.基于陰影圖的陰影生成算法研究現(xiàn)狀[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(4):579-591.
GUO Jie,XU Xiaoyang,PAN Jingui.Present status of shadow generation algorithms based on shadow maps[J].Journal of Computer-Aided Design & Computer Graphics,2010,22(4):579-591.
[8]王寧.圖像的陰影檢測(cè)和去除算法研究[D].北京:北京交通大學(xué),2008:42-54.
WANG Ning.Study on shadow detection and removal[D].Beijing:Beijing Jiaotong University,2008:42-54.
[9]LEVINE M D,BHATTACHARYYA J.Removing shadows[J].Pattern Recognition Letters,2005,26(3):251-265.
[10]BUADES A,COLL B,MOREL J M.A review of image denoising algorithms with a new one[J].Multiscale Modeling and Simulation,2005,4(2):490-530.
[11]林景亮,陳岳林.基于雙目視覺(jué)的三維人臉重建方法[J].計(jì)算機(jī)應(yīng)用研究,2012,29(1):397-400.
LIN Jingliang,CHEN Yuelin.3D face reconstruction using binocular vision [J].Application Research of Computers,2012,29(1):397-400.
[12]LALONDE J F,EFROS A A,NARASIMHAN S G.Detecting ground shadows in outdoor consumer photographs[C]//Proceedings of ECCV.Crete,Greece,2010:322-335.
[13]YAO Zhijun,LIU Juntao,ZHOU Yu,et al.Similarity measure method using symmetric KL divergence[J].Journal of Huazhong University of Science and Technology:Natural Science Edition,2011,39(11):1-4.
[14]WEIJER J,GEVERS T,GIJSENIJ A.Edge-based color constancy[J].IEEE Trans on Image Processing,2007,16(9):2207-2214.
[15]FINLAYSON G D,TREZZI E.Shades of grey and color constancy[C]//Proceedings of the 12th Color Imaging Conference.Scottsdale,USA,2004:37-41.
[16]SHOR Y,LISCHINSKI D.The shadow meets the mask:pyramid-based shadow removal[J].Computer Graphics Forum,2008,27(2):6-9.
[17]GIJSENIJ A,GEVERS T.Color constancy by local averaging[C]//Proceedings of 14th International Conference of Image Analysis and Processing-Workshops.Modena,Italy,2007:1-4.
[18]FREDEMBACH C,F(xiàn)INLAYSON G D.Simple shadow removal[C]//Proceedings of International Conference on Pattern Recognition.Hong Kong,China,2006:832-835.
[19]張巧煥,唐向宏,任澍.一種基于區(qū)域搜索的快速圖像修復(fù)算法[J].杭州電子科技大學(xué)學(xué)報(bào),2011,31(5):139-142.
ZHANG Qiaohuan,TANG Xianghong,REN Shu.A fast image inpainting algorithm based on local search [J].Journal of Hangzhou Dianzi University,2011,31(5):139-142.
[20]FADILI M J,STARCK J L,MURTAGH F.Inpainting and zooming using sparse representations[J].Computer Journal,2009,52(1):64-79.
[21]FENG Liu,GLEICHER M.Texture-consistent shadow removal[C]//Proceedings of ECCV 2008,Part IV.Marseille,F(xiàn)rance,2008:437-450.
[22]GU Xiaodong,YU Daoheng,ZHANG Liming.Image shadow removal using pulse coupled neural network [J].IEEE Trans Neural Network,2005,16(3):692-698.
[23]FINLAYSON G D,DREW M,LU C.Intrinsic images by entropy minimization[C]//Proceedings of the IEEE European Conference on Computer Vision(ECCV).Prague,Czech,2004:582-595.