陳黎黎,國(guó)紅軍
(1.宿州學(xué)院 智能信息處理實(shí)驗(yàn)室, 安徽 宿州 234000;2.陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 西安 710119)
無人機(jī)作為目標(biāo)檢測(cè)的重要技術(shù)手段之一,可以對(duì)無人機(jī)航拍圖像,分析被檢測(cè)目標(biāo)特征,已經(jīng)被廣泛采用。但是,無人機(jī)實(shí)施航拍過程中,一方面會(huì)因大霧或霾等氣候因素的影響,導(dǎo)致能見度不高,影響無人機(jī)航拍成像效果,降低航拍圖像的整體質(zhì)量;另一方面,因目標(biāo)距離遠(yuǎn),視野擴(kuò)展,導(dǎo)致目標(biāo)區(qū)域圖像分辨率降低,因此無法依據(jù)航拍較大“視野”下的圖像提取所需“特定”目標(biāo)的信息特征,勢(shì)必影響后續(xù)目標(biāo)識(shí)別工作。特別需要指出,云霧籠罩是成為影響圖像清晰度的重要因素之一。這就需要人們關(guān)注無人機(jī)航拍圖像去霧的技術(shù)方法問題的研究。即,為解除圖像中“霧幕”對(duì)景物的影響,需要采用圖像去霧的技術(shù)方法來恢復(fù)景物原貌。
以往圖像去霧算法局限性很大,如:馬文君等提出結(jié)合Lab空間和單尺度Retinex的自適應(yīng)去霧算法,雖然在解決景深突變引起Halo效應(yīng)問題方面具有較好的優(yōu)勢(shì),但計(jì)算過程過于復(fù)雜,導(dǎo)致圖像去霧的運(yùn)算速率較慢;陳長(zhǎng)華等提出結(jié)合飽和度運(yùn)算和暗通道理論的去霧算法,利用加權(quán)四叉樹法尋找全局光值來實(shí)現(xiàn)去霧。該算法不僅操作煩瑣,而且還會(huì)導(dǎo)致去除“霧幕”的效果不佳。
鑒于已有的大氣散射模型對(duì)圖像降噪的實(shí)際技術(shù)狀況,本文提出了一種基于大氣散射模型的無人機(jī)航拍圖像快速去霧算法,該算法不僅具有較好的“去噪”效果,而且在圖像“去霧”技術(shù)領(lǐng)域也已取得實(shí)效。
大氣散射模型表示霧化圖像的退化過程,即采用一種無人機(jī)航拍獲取的原圖像描述函數(shù)()表達(dá)如下:
()=()()+()
(1)
式(1)中,()為復(fù)原圖像描述函數(shù);()為介質(zhì)傳播描述函數(shù);()為大氣耗散函數(shù),且()=(1-()),(·)為環(huán)境大氣光強(qiáng)描述函數(shù)(即“大氣耗散函數(shù)”的另一層物理含義)。
()可以由下式所示:
() = e-d()
(2)
式(2)中,d()為景深描述函數(shù);為散射系數(shù)。
無人機(jī)航拍圖像去霧過程就是依據(jù)圖像中環(huán)境大氣光和介質(zhì)傳播函數(shù)得出復(fù)原圖像。
在式(1)中入射光衰減項(xiàng)為()(),()實(shí)際上表達(dá)了景深指數(shù)的衰減情況。
221 大氣耗散函數(shù)的估計(jì)
大氣耗散函數(shù)的約束條件為
1) 當(dāng)各像素上“大氣耗散”值≧0時(shí),則()的值為正;
2) 當(dāng)()≤()時(shí),則()的極小顏色分量()為
(3)
式中:()為被采集圖像的像素值描述函數(shù);顏色通道用R、G、B描述;為某一顏色通道。
因在灰度圖像內(nèi)()=(),則約束條件為()小于或等于圖像極小顏色分量()。
相關(guān)資料表明,圖像極小顏色分量()可估計(jì)大氣耗散函數(shù)(),圖像邊緣數(shù)據(jù)與紋理特征都在()內(nèi),而場(chǎng)景景深直接影響該函數(shù)取值,采用雙邊濾波器能夠保留圖像景深,雙邊濾波器用公式為
(4)
式中:為值域模板尺寸;為灰度相似度;為空域模板尺寸;為標(biāo)準(zhǔn)差;為圖像像素點(diǎn)位置;為空間鄰近度;為內(nèi)去除像素點(diǎn)的剩余位置;為強(qiáng)度值。
通過值域與空間高斯函數(shù)相乘得出雙邊濾波的權(quán)值,此處用()表示雙邊濾波,利用雙邊濾波處理極小顏色分量的紋理,確保圖像景深邊緣特征,大氣耗散函數(shù)初始估計(jì)為經(jīng)濾波處理的結(jié)果,如式(5)所示:
()=(())
(5)
通過式(2)與式(3)的運(yùn)算,大氣耗散函數(shù)()又可以表達(dá)為
()=(1-e-d())
(6)
式(6)表明,()取值和景深有直接聯(lián)系,景深遠(yuǎn)近與()取值大小成正比。在實(shí)際操作中,對(duì)圖像景深和成像設(shè)備距離的確定至關(guān)重要,尤其是霧化圖像,因受環(huán)境光影響大,導(dǎo)致圖像對(duì)比度較低,因此可通過雙邊濾波求解圖像局部對(duì)比度,使用()替換霧化圖像如下:
(7)
式(7)表明,場(chǎng)景到成像設(shè)備的距離用()描述,()大小與場(chǎng)景對(duì)比度成正比,則大氣耗散函數(shù)的值也隨之改變。
當(dāng)圖像處于無窮遠(yuǎn)時(shí),對(duì)比度等于0,大氣光強(qiáng)的估計(jì)函數(shù)()為
(8)
根據(jù)大氣耗散函數(shù)的約束條件,通過式(8)推導(dǎo)出:
()=max(min((),()),0)
(9)
其中,調(diào)整因子用描述,且0<<1,可以通過提高圖像真實(shí)感。
2.2.2 圖像增強(qiáng)方法
因大霧導(dǎo)致無人機(jī)航拍圖像局部背景昏暗,通過可迭代運(yùn)行的多向自相關(guān)(iterable multidirectional autocorrelation,IMA)增強(qiáng)方法,有效利用圖像中背景環(huán)境和景物的灰度分布特征間聯(lián)系,提高圖像質(zhì)量。因此,在大氣散射模型中結(jié)合IMA算法,改進(jìn)大氣散射模型,使圖像處理效果更佳。IMA算法流程(圖1)。
圖1 IMA算法流程框圖Fig.1 IMA algorithm flow
從圖1可知,IMA算法在輸入無人機(jī)航拍圖像后,為去除圖像內(nèi)噪聲,通過高斯濾波實(shí)施去除,二維高斯濾波如公式如下:
(10)
其中,圖像內(nèi)橫坐標(biāo)用描述;濾波模板寬、長(zhǎng)的二分之一用描述;圖像內(nèi)縱坐標(biāo)用描述,移動(dòng)位置用、描述。(,)滿足下式:
(11)
其中:圖像平面用描述,標(biāo)準(zhǔn)差用(,)描述,、方向標(biāo)準(zhǔn)差一致。
為提高圖像清晰度,圖像通過灰度直方圖拉伸處理,灰度拉伸表達(dá)式為
(12)
其中:圖像經(jīng)灰度拉伸處理后,結(jié)果用(,)描述;灰度拉伸開始、結(jié)束值分別用、描述;經(jīng)處理后灰度值用(,)描述,取值范圍在0~255;圖像規(guī)格分別用、描述。
圖像經(jīng)過計(jì)算求出各向?yàn)V波結(jié)果后,采用自相關(guān)增強(qiáng)方法,提取清晰圖像特征,無人機(jī)航拍圖像的增強(qiáng)公式如下:
(13)
式中:為增強(qiáng)系數(shù);為角度;為濾波器總數(shù);為灰度拉伸后圖像;為濾波模板;(,)為增強(qiáng)結(jié)果函數(shù);(,)為圖像內(nèi)點(diǎn)坐標(biāo)。當(dāng)數(shù)量較大時(shí),則(,)在[0,1]間取值。
通過上式的增強(qiáng)后,使圖像幅值變大,待全局效果增強(qiáng)后實(shí)施歸一化處理。有時(shí)因受波模板的限制會(huì)使圖像發(fā)生明暗不均的現(xiàn)象,此刻可以通過累積情況的Radon變換公式來解決,即
(14)
式中:為夾角;(,)為累積結(jié)果;為標(biāo)準(zhǔn)差函數(shù);為直線與原點(diǎn)的垂直距離;(,)為圖像上的點(diǎn)函數(shù)。
223 弱化局部區(qū)域的去霧
傳統(tǒng)的大氣散射模型由于無人機(jī)航拍離場(chǎng)景更遠(yuǎn)時(shí),霧對(duì)圖像的成像影響較大,因此,必需弱化局部區(qū)域的去霧來確保天空區(qū)域的顏色,進(jìn)而去除噪聲,進(jìn)一步改進(jìn)大氣散射模型。
大氣光強(qiáng)度(亦即,大氣耗散函數(shù)值)和像素()接近程度用參數(shù)()描述,即
(15)
設(shè)置閾值,當(dāng)()<時(shí),需保持()的值不變;當(dāng)()≥時(shí),則為明亮區(qū)域,可增大()的值。
弱化因子(即“景深指數(shù)”)公式如下:
(16)
復(fù)原圖像如公式如下:
(17)
通過弱化局部區(qū)域的去霧算法能夠使無人機(jī)航拍圖像明亮區(qū)域越來越接近真實(shí)。
本文算法與文獻(xiàn)[5-6]算法進(jìn)行實(shí)驗(yàn)效果比較。
為驗(yàn)證本文算法的有效性,通過Matlab 2018b軟件實(shí)施實(shí)驗(yàn),實(shí)驗(yàn)對(duì)象為某無人機(jī)航拍圖像數(shù)據(jù)庫(kù)中包含大量霧的航拍圖像,實(shí)驗(yàn)對(duì)比算法為文獻(xiàn)[5]結(jié)合Lab空間和單尺度Retinex的自適應(yīng)圖像去霧算法、文獻(xiàn)[6]結(jié)合飽和度運(yùn)算和暗通道理論的遙感圖像去霧算法。
隨機(jī)選取實(shí)驗(yàn)對(duì)象中一幅明亮圖像,采用3種算法實(shí)施局部區(qū)域去霧,其效果如圖2所示。
圖2 明亮區(qū)域弱化效果圖Fig.2 Weakening effect of bright area
分析圖2可知,對(duì)于明亮圖像局部去霧效果,其他2種算法雖然達(dá)到去霧效果,但文獻(xiàn)[5]算法對(duì)局部區(qū)域去霧效果較差,處理后的圖像紋理粗糙,文獻(xiàn)[6]算法處理后圖像會(huì)出現(xiàn)曝光現(xiàn)象,導(dǎo)致部分景物缺失;而本文算法通過弱化處理去霧圖像,海平面周圍景觀顏色變得真實(shí),完整體現(xiàn)景觀全局細(xì)節(jié),說明本文算法對(duì)明亮圖像處理效果較好。
在實(shí)驗(yàn)對(duì)象中隨機(jī)挑選2張無人機(jī)航拍圖像,采用3種算法對(duì)其實(shí)施去霧,對(duì)比3種方法去霧效果見圖3、圖4。
通過圖3和圖4可知,在無人機(jī)航拍的原始圖像中,因大霧天氣導(dǎo)致原始圖像中有大量霧,畫質(zhì)模糊、色彩昏暗,而采用本文算法去霧效果明顯優(yōu)于其他2種算法,符合圖像復(fù)原基本要求,可有效去除無人機(jī)航拍圖像中霧,圖像經(jīng)處理后圖像中噪聲得到抑制,使圖像的清晰度得到提高,景物顏色真實(shí)。
圖3 3種算法去霧效果圖(一)Fig.3 Comparison (I) of defogging effects of three algorithms
圖4 3種算法去霧效果圖(二)Fig.4 Comparison (2) of defogging effects of three algorithms
3.2.1 評(píng)價(jià)指標(biāo)
客觀評(píng)價(jià)指標(biāo)為均值、標(biāo)準(zhǔn)差、信息熵,用來作為判斷圖像視覺質(zhì)量的標(biāo)準(zhǔn)。其中,“均值”表示亮度,并和均值成正比。
圖像細(xì)節(jié)數(shù)據(jù)通過標(biāo)準(zhǔn)差表示,圖像色彩與標(biāo)準(zhǔn)差成正相關(guān),標(biāo)準(zhǔn)差為
(18)
式中,為圖像總行數(shù);(,)為像素值;為平均值;為圖像總列數(shù)。
322 信息熵
信息熵表示圖像包含平均數(shù)據(jù)量,假設(shè)隨機(jī)事件用法表示,該事件出現(xiàn)概率用()描述,信息量計(jì)算如公式如下:
()=-log()
(19)
因信源輸出為隨機(jī)變量,信源符號(hào)集用描述,全部符合集為={},{}出現(xiàn)概率用{}描述,即=,=1,2,3,…。
因此,圖像平均信息量可以表達(dá)如下:
(20)
聯(lián)立式(19)、式(20)得:
(21)
確保信息熵最大化需要滿足同等概率分布,信息熵值越高,表示圖像數(shù)據(jù)量大,細(xì)節(jié)數(shù)據(jù)越全面。
采用3種算法處理后無人機(jī)航拍去霧圖像的客觀質(zhì)量評(píng)價(jià)結(jié)果見表1。
表1 3種算法的質(zhì)量評(píng)價(jià)結(jié)果Table 1 Quality evaluationTable of three algorithms
分析表1數(shù)據(jù)可知,相較于原圖像,3種算法處理后圖像均值均下降,原因在于霧的成像像素值高,去霧處理會(huì)降低其均值,但本文算法處理后的均值高于2種對(duì)比算法,同時(shí)標(biāo)準(zhǔn)差、信息熵的值也高出對(duì)比方法。表明本文算法可提取原始圖像的邊緣信息,有效復(fù)原圖像,經(jīng)處理后圖像亮度高、色彩豐富、信息量大,無人機(jī)航拍圖像去霧效果最好。
將?、、作為復(fù)原圖像評(píng)價(jià)指標(biāo),其中,復(fù)原圖像后飽和像素點(diǎn)比例用?描述;去霧后復(fù)原圖像可見邊個(gè)數(shù)和原始圖像可見邊個(gè)數(shù)的比值用描述;可見邊梯度平均比率用描述。當(dāng)?越小、越大、越大時(shí),圖像去霧效果最佳。復(fù)原圖像評(píng)價(jià)指標(biāo)計(jì)算,如式(22)~式(25)所示:
(22)
(23)
(24)
∑=×
(25)
分別采用3種算法對(duì)實(shí)驗(yàn)對(duì)象實(shí)施圖像復(fù)原,以達(dá)到去霧的效果,對(duì)比3種算法評(píng)價(jià)指標(biāo)值,如圖5所示。
圖5 圖像復(fù)原中的3種算法評(píng)價(jià)指標(biāo)直方圖Fig.5 Evaluation indexes of three algorithms in image restoration
由圖5可知,文獻(xiàn)[5]算法、文獻(xiàn)[6]算法的、評(píng)價(jià)值都低于本文算法的、評(píng)價(jià)值,?評(píng)價(jià)值高于本文算法的評(píng)價(jià)值,因圖像去霧效果由3個(gè)評(píng)價(jià)指標(biāo)實(shí)施判斷,當(dāng)?越小、越大、越大時(shí),此時(shí)說明算法去霧效果最佳,經(jīng)分析得出本文算法的、評(píng)價(jià)值最大、?評(píng)價(jià)值最小,表明本文算法可得到較好的復(fù)原圖像,而且去霧效果好。
實(shí)驗(yàn)設(shè)置在相同分辨率、不同分辨率的不同圖片下,測(cè)試本文算法在不同調(diào)整因子下的圖像處理耗時(shí),結(jié)果如圖6所示。
分析圖6可知,本文算法在不同下的圖像處理耗時(shí)情況,在相同分辨率下,=0.5時(shí)的平均圖像處理時(shí)間低于30 ms,分別比=0.6和=0.7時(shí)的平均圖像處理時(shí)間快25 ms、65 ms。在不相同分辨率下,隨著圖像尺寸的增加,不同調(diào)整因子下的圖像處理耗時(shí)也隨著增加,當(dāng)=0.5時(shí)運(yùn)行時(shí)間明顯優(yōu)于=0.6和=0.7時(shí),說明本文算法在調(diào)整因子取值為0.5時(shí)的圖像處理性能優(yōu)良,執(zhí)行效率高,實(shí)時(shí)性好。
圖6 圖像3種處理算法的耗時(shí)直方圖Fig.6 Time consuming comparison of three image processing algorithms
提出基于大氣散射模型的無人機(jī)航拍圖像快速去霧算法。在分析大氣耗散函數(shù)的基礎(chǔ)上,對(duì)大氣散射模型進(jìn)行改進(jìn),結(jié)合IMA算法和去霧算法,增強(qiáng)了明亮區(qū)域弱化效果,降低了圖像處理的時(shí)耗和圖像噪聲,充分體現(xiàn)本文算法運(yùn)算效率高,去霧后畫質(zhì)清晰。