左斌,許強(qiáng),龐冉,謝金龍,翟雨微,高放
(1 北京市遙感信息研究所,北京 100192)
(2 長(zhǎng)光衛(wèi)星技術(shù)股份有限公司,長(zhǎng)春 130000)
全色遙感影像蘊(yùn)含著豐富的地物目標(biāo)信息,通常指遙感器獲取0.45~0.7 μm 左右波長(zhǎng)范圍的單波段影像。然而,受到傳感器老化和云霧籠罩等因素的影響,許多全色遙感影像內(nèi)的目標(biāo)地物與背景難以區(qū)分。對(duì)全色遙感影像內(nèi)的目標(biāo)地物進(jìn)行增強(qiáng)是遙感圖像處理的一項(xiàng)關(guān)鍵技術(shù),可以改善后續(xù)用于目標(biāo)檢測(cè)、變化檢測(cè)的影像質(zhì)量。
國(guó)內(nèi)外學(xué)者提出許多能顯著改善遙感圖像質(zhì)量的增強(qiáng)方法??臻g域方法直接對(duì)原始影像的像素值進(jìn)行變換,直方圖均衡化、伽馬變換、灰度線性變換都是其中較為經(jīng)典的方法[1]。近年來,也有部分學(xué)者研究基于直方圖頻率加權(quán)的影像增強(qiáng)方法[2]。HUANG Z 等利用伽馬系數(shù)改進(jìn)累積分布函數(shù),然后基于累積直方圖實(shí)現(xiàn)圖像增強(qiáng),該方法在亮度保持、對(duì)比度增強(qiáng)等方面都取得較好的效果[3]。然而,在高動(dòng)態(tài)范圍遙感影像中,地物種類繁多、分布狀況復(fù)雜,同一類別的目標(biāo)地物也可能會(huì)有差異較大的灰度值,對(duì)影像采用統(tǒng)一的增強(qiáng)方式往往會(huì)導(dǎo)致影像內(nèi)部分地物的細(xì)節(jié)損失。局部增強(qiáng)可以有效解決上述問題。HUANG Z 等在限制對(duì)比度的自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)這一局部增強(qiáng)方法的基礎(chǔ)上提出限制對(duì)比度的四分直方圖均衡化算法,該方法可以在保持亮度和結(jié)構(gòu)的同時(shí)一定程度上防止過度增強(qiáng)[4];DHAREJO F A 等提出一種基于暗通道先驗(yàn)和分段線性變換的圖像增強(qiáng)方法,能顯著改善較暗的遙感影像[5]。但是現(xiàn)存的局部增強(qiáng)算法往往基于直方圖均衡法改進(jìn),無法較好地保留原始影像中小范圍區(qū)域內(nèi)的灰度信息,還會(huì)增加圖像內(nèi)的噪聲。
變換域方法先將遙感影像變換到頻率域或者梯度域等變換域,然后通過對(duì)不同頻率或者梯度的分量采用不同處理,以突出原始圖像的細(xì)節(jié)[6]。BHARDWAJ A 使用提升小波變換處理圖像,首先利用低頻子帶進(jìn)行自適應(yīng)閾值分割,然后基于奇異值分解對(duì)其處理,并利用人工蜂群算法優(yōu)化閾值,最終改善了圖像的質(zhì)量[7]。然而,該類方法對(duì)于不同分量的最佳增強(qiáng)參數(shù)難以確定,由于遙感影像包含地物分布的復(fù)雜性,感興趣地物所處的分量往往是不確定的,許多方法在突出顯示地物的同時(shí)會(huì)放大噪聲,模糊化降噪處理往往又會(huì)損失部分感興趣地物的細(xì)節(jié)。
近年來,基于深度學(xué)習(xí)對(duì)影像進(jìn)行增強(qiáng)的研究逐漸增多[8-10]。CHEN X 等將深度學(xué)習(xí)與Retinex 理論結(jié)合,提出一種新的基于注意力的網(wǎng)絡(luò),該網(wǎng)絡(luò)能自適應(yīng)調(diào)整光照的亮度信息,實(shí)現(xiàn)對(duì)弱光的增強(qiáng)[11]。WANG D 等提出目標(biāo)注意力深度神經(jīng)網(wǎng)絡(luò),采用聯(lián)合卷積單元法對(duì)多尺度空間進(jìn)行完全選取,并利用目標(biāo)注意單元進(jìn)一步細(xì)化目標(biāo)相關(guān)特征[12]。然而,目前的深度學(xué)習(xí)方法較為依賴人工標(biāo)注的數(shù)據(jù)集,訓(xùn)練周期長(zhǎng),訓(xùn)練得到的模型對(duì)多源影像的處理不具備通用性。此外,部分增強(qiáng)方法的耗時(shí)較多,也會(huì)影響實(shí)時(shí)應(yīng)用。
為了更好地突出影像中目標(biāo)地物細(xì)節(jié)并減弱背景噪聲,本文提出一種基于全局自適應(yīng)處理的分塊影像增強(qiáng)方法,該方法基于局部灰度自適應(yīng)變換實(shí)現(xiàn),能在保留小范圍區(qū)域內(nèi)灰度相對(duì)差異的同時(shí)盡可能地突出目標(biāo)地物的細(xì)節(jié)。為了避免對(duì)噪聲的過度增強(qiáng),基于塊差異因子對(duì)相鄰影像塊進(jìn)行合并,將影像塊歸類為細(xì)節(jié)塊與噪聲塊,然后使用全局自適應(yīng)增強(qiáng)對(duì)局部增強(qiáng)的參數(shù)進(jìn)行修正,進(jìn)而對(duì)全色遙感影像進(jìn)行增強(qiáng),最終得到目標(biāo)地物信息增強(qiáng)后的全色遙感影像。
本文算法主要包含局部影像增強(qiáng)、基于灰度直方圖的全局自適應(yīng)增強(qiáng)參數(shù)估算、影像塊多維指標(biāo)的估計(jì)和基于鄰近塊的塊參數(shù)糾正四個(gè)部分,其流程如圖1。首先,進(jìn)行分塊處理并分別計(jì)算圖像中每個(gè)影像塊的影像增強(qiáng)參數(shù);然后,基于影像的灰度直方圖進(jìn)行全局自適應(yīng)增強(qiáng)參數(shù)估算;接著,估算影像塊的多維指標(biāo);最后,基于塊差異因子對(duì)鄰近影像塊進(jìn)行合并,將影像劃分為細(xì)節(jié)塊與噪聲塊,將噪聲塊的增強(qiáng)參數(shù)替換為全局自適應(yīng)增強(qiáng)參數(shù),基于影像塊的增強(qiáng)參數(shù)進(jìn)行插值以獲取每個(gè)像元處的參數(shù),根據(jù)這些參數(shù)對(duì)全色遙感影像進(jìn)行增強(qiáng),最終得到增強(qiáng)后的全色遙感影像。
圖1 算法流程Fig.1 The framework of the algorithm
相比于直方圖均衡等灰度非線性變換的處理,灰度線性變換能在不改變?cè)加跋裰胁糠旨y理特征的情況下增強(qiáng)影像中的地物細(xì)節(jié)。假設(shè)存在一張影像A,影像A內(nèi)地物目標(biāo)α的特征α1與x1、x2、x3這三個(gè)像元相關(guān),該特征滿足
式中,Dx1、Dx2、Dx3分別表示三個(gè)像元處的灰度值,使用灰度線性變換f(D)=k×D+b后三個(gè)像元處的灰度值分別是f(Dx1)、f(Dx2)、f(Dx3),其中k為變換的斜率,b為變換的截距,則有
由式(2)可知,灰度線性變換不會(huì)改變比值相關(guān)的紋理特征,即使對(duì)影像使用不同的灰度線性變換參數(shù),增強(qiáng)后影像內(nèi)的這些紋理特征也具有可比性。而當(dāng)f(D)不是線性函數(shù)時(shí),式(2)不一定成立。因此,采用非線性變換處理不同影像內(nèi)的同一類目標(biāo)可能會(huì)改變?cè)鰪?qiáng)前較相似的紋理特征。相比于灰度非線性變換,使用灰度線性變換對(duì)上述影像進(jìn)行處理,上述紋理特征更容易被目標(biāo)檢測(cè)等應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)所提取。
遙感影像內(nèi)包含的地物種類較多,不同地物間的灰度差異往往較大,如果采用統(tǒng)一的增強(qiáng)參數(shù)對(duì)整幅影像進(jìn)行增強(qiáng)處理,部分地物的增強(qiáng)效果往往不理想。局部增強(qiáng)可以較好地解決上述問題,該方法主要作用于目標(biāo)地物附近的較小范圍,可以充分利用變換后影像的動(dòng)態(tài)范圍表示影像的灰度變化情況。因此,本研究提出的算法將局部增強(qiáng)作為基礎(chǔ)。研究使用的局部增強(qiáng)通過分塊后增強(qiáng)實(shí)現(xiàn),在確定合適的影像塊大小后將原始影像劃分為W×H個(gè)尺寸相同、空間上不重疊的影像塊,如圖2,其中W是原始影像橫向上的分塊數(shù)量,H是原始影像縱向上的分塊數(shù)量。研究發(fā)現(xiàn)將影像塊的尺寸確定為112×112 像元后影像內(nèi)艦船等目標(biāo)的尺寸和影像塊的尺寸較為接近,此時(shí)提出的增強(qiáng)方法對(duì)艦船等目標(biāo)地物的增強(qiáng)效果較好。在確定影像塊的尺寸后,獲取原始影像橫向和縱向的像元數(shù)目,在橫向和縱向上分別將原始影像的像元數(shù)目除以影像塊的尺寸即可得到W和H。
對(duì)原始影像進(jìn)行分塊操作后,對(duì)于每個(gè)影像塊計(jì)算其塊內(nèi)像元的最大灰度值Dmax和最小灰度值Dmin并將其作為影像灰度變換的參數(shù),對(duì)于影像塊內(nèi)的每個(gè)像元xi(其灰度值為Dxi),計(jì)算其變換后的灰度值Oxi,即
式中,Omax和Omin分別是輸出影像的最高灰度值和最低灰度值,通常確定為255 和0,這是由于圖像的增強(qiáng)結(jié)果需要被目標(biāo)檢測(cè)等領(lǐng)域的深度學(xué)習(xí)模型處理,這些模型接收的通常是8 位影像,該類影像灰度值范圍為0至255。經(jīng)過局部增強(qiáng)后的影像如圖3,可以看出只進(jìn)行局部分塊增強(qiáng)會(huì)導(dǎo)致較明顯的斑塊效應(yīng)和噪聲塊現(xiàn)象,但是影像包含地物的細(xì)節(jié)與反差在地物所處影像塊內(nèi)得到較大程度的增強(qiáng)。通過對(duì)每個(gè)影像塊的增強(qiáng)參數(shù)進(jìn)行雙線性內(nèi)插以求出每個(gè)像元處的增強(qiáng)參數(shù),斑塊效應(yīng)可以得到較好解決。為了消除噪聲含量較高的塊(噪聲塊)的影響,先識(shí)別噪聲塊,再對(duì)其進(jìn)行去除。具體地,噪聲塊與包含地物細(xì)節(jié)的塊(細(xì)節(jié)塊)的灰度、紋理等有較大差異,可以根據(jù)影像塊邊緣處的灰度均值等特征將噪聲塊識(shí)別出來,然后,使用基于灰度直方圖的全局自適應(yīng)增強(qiáng)參數(shù)對(duì)噪聲塊所在區(qū)域進(jìn)行補(bǔ)值。圖3 中標(biāo)識(shí)了細(xì)節(jié)塊和噪聲塊的例子,其中A塊是細(xì)節(jié)塊,B 塊是噪聲塊。
灰度線性變換能在保留原始影像中部分紋理特征的同時(shí)增強(qiáng)目標(biāo)地物的細(xì)節(jié),因此,算法的全局自適應(yīng)增強(qiáng)也使用灰度線性變換作為基礎(chǔ),并對(duì)其進(jìn)行改進(jìn)。對(duì)于影像塊內(nèi)的每個(gè)像元xi,計(jì)算其灰度線性變換后的灰度值Oxi,即
原始圖像中灰度介于Dlow和Dup之間的灰度被線性映射至Omin和Omax,部分地物的灰度值屬于該區(qū)間,這些地物的細(xì)節(jié)得到增強(qiáng);在灰度低于Dlow或者高于Dup的區(qū)域,影像的紋理信息和灰度信息減少。在Omax和Omin確定的前提下,根據(jù)影像的具體情況,自適應(yīng)地選擇合適的Dup和Dlow參數(shù)是全局自適應(yīng)增強(qiáng)的關(guān)鍵。
傳統(tǒng)的局部增強(qiáng)對(duì)目標(biāo)有較好的增強(qiáng)效果,然而這類方法會(huì)對(duì)背景噪聲過度增強(qiáng),需要使用全局增強(qiáng)等方法對(duì)噪聲較多的區(qū)域進(jìn)行補(bǔ)值。在本文提出的基于全局自適應(yīng)處理的分塊影像增強(qiáng)方法中,全局自適應(yīng)處理的目的就是補(bǔ)值?;叶染€性變換可以對(duì)局部增強(qiáng)的結(jié)果進(jìn)行補(bǔ)值,其能在保留原始影像中部分紋理特征的同時(shí)增強(qiáng)影像中目標(biāo)地物的細(xì)節(jié)。根據(jù)影像的具體情況,自適應(yīng)地選擇合適的灰度線性變換參數(shù)即全局自適應(yīng)參數(shù),可以實(shí)現(xiàn)全局自適應(yīng)增強(qiáng)。結(jié)合增強(qiáng)算法的應(yīng)用場(chǎng)景來分析全局自適應(yīng)參數(shù)的選取,增強(qiáng)結(jié)果面向的應(yīng)用場(chǎng)景以艦船目標(biāo)檢測(cè)為例,用作增強(qiáng)的影像源于吉林一號(hào)衛(wèi)星星座,選用的影像是全色遙感影像。研究的影像增強(qiáng)算法主要針對(duì)基于可見光影像的目標(biāo)檢測(cè)、變化檢測(cè)等解譯相關(guān)的領(lǐng)域,旨在服務(wù)針對(duì)海量遙感數(shù)據(jù)的智能解譯,海洋、云等地物在這些應(yīng)用領(lǐng)域通常是背景像元,并不是研究者感興趣的目標(biāo)地物。然而,在艦船等目標(biāo)的檢測(cè)過程中,影像中的海洋、云等有時(shí)與目標(biāo)地物難以區(qū)分,會(huì)造成對(duì)目標(biāo)地物的錯(cuò)檢和漏檢現(xiàn)象。在輸出影像中,應(yīng)該增加目標(biāo)地物所處灰度值范圍的反差,并壓縮海洋、云等背景所處的灰度值范圍。
然而,遙感影像內(nèi)的地物分布情況較為復(fù)雜,艦船等目標(biāo)在部分影像內(nèi)是灰度最高的區(qū)域,在影像內(nèi)有云遮擋時(shí),云往往成為其中最亮的區(qū)域,部分港口艦船的灰度有時(shí)高于陸地上的建筑,有時(shí)則相反;在部分情況下,海面的灰度可能高于艦船。而現(xiàn)有的部分增強(qiáng)方法,如最大最小值拉伸法、標(biāo)準(zhǔn)差拉伸法等,必然會(huì)舍棄影像內(nèi)一定比例的較暗或者較亮地物的信息,難以在多數(shù)應(yīng)用場(chǎng)景中保證地物目標(biāo)的清晰度。因此,這些方法的適用場(chǎng)景有限,難以僅依靠某一種傳統(tǒng)增強(qiáng)方法清晰顯示出所有影像內(nèi)的目標(biāo)地物。
提出基于灰度直方圖的全局自適應(yīng)增強(qiáng)技術(shù)用于對(duì)局部增強(qiáng)后的影像進(jìn)行全局自適應(yīng)處理,能獲取影像內(nèi)背景地物的灰度值分布情況,有助于確定目標(biāo)相對(duì)于背景的明暗情況,進(jìn)而確定增強(qiáng)效果較好的增強(qiáng)參數(shù)。結(jié)合使用多光譜等多源遙感數(shù)據(jù)可以較準(zhǔn)確地識(shí)別海洋和云等背景地物,然而,由于遙感數(shù)據(jù)有時(shí)源自多種傳感器,每種傳感器獲取的波段范圍不一定相同,使用的影像常常缺少同一時(shí)空條件下獲取的多光譜信息用于對(duì)云和海洋的識(shí)別。因此,本方法基于全色遙感影像直接識(shí)別出影像內(nèi)云和海洋等地物的信息,然后根據(jù)這些信息確定不同的增強(qiáng)參數(shù),有助于完善基于全局自適應(yīng)處理的分塊影像增強(qiáng)技術(shù)并改善對(duì)全色遙感影像的增強(qiáng)效果。
全局自適應(yīng)增強(qiáng)技術(shù)從全色遙感影像的灰度直方圖出發(fā),計(jì)算每個(gè)灰度值j對(duì)應(yīng)的像元個(gè)數(shù)nj。根據(jù)最小百分比閾值Pmin和式(5),確定灰度直方圖主體的灰度下限Hdown。同理,依據(jù)最大百分比閾值Pmax和式(6)確定灰度直方圖主體的灰度上限Hup。
基于灰度直方圖主體的灰度上下限確定灰度直方圖主體的寬度Hwidth,即
Hwidth能反映影像內(nèi)包含的幾類主要地物所處的灰度值范圍,根據(jù)Hwidth與直方圖寬度閾值Wthres間的關(guān)系,將含有艦船目標(biāo)的影像分為寬直方圖主體類和窄直方圖主體類。當(dāng)灰度直方圖主體的寬度大于直方圖寬度閾值時(shí),將其判定為寬直方圖主體類;否則,將其判定為窄直方圖主體類。以不同場(chǎng)景的典型影像為例闡述算法的細(xì)節(jié)。
圖4 為寬直方圖主體類影像及其灰度直方圖,當(dāng)影像內(nèi)存在云和陸地等地物時(shí),這些地物的灰度與海面灰度差異較大。此時(shí),影像的灰度直方圖主體的寬度較大,由于陸地某些建筑的光譜特性與艦船類似,船的亮度通常低于部分陸地和云而高于海面區(qū)域(在海面輝光的情況下,艦船的亮度可能低于海面而高于部分陸地),艦船所處區(qū)域不會(huì)包含圖像中最亮或者最暗的像元。對(duì)于這種情況,通過百分比截?cái)嗑€性拉伸法壓縮異常高亮、異常低亮的離群像元的灰度值,這能在保留目標(biāo)地物細(xì)節(jié)的同時(shí)顯著壓縮原始影像的動(dòng)態(tài)范圍,進(jìn)而提升后續(xù)艦船檢測(cè)的精度,百分比截?cái)嗑€性拉伸法表示為
圖4 寬直方圖主體類影像及其灰度直方圖Fig.4 One wide-histogram-body-class image and its grayscale histogram
圖5 為窄直方圖主體影像及其灰度直方圖,當(dāng)影像內(nèi)只含有海面、艦船和較薄的云等地物時(shí),艦船所在像元的灰度往往是影像內(nèi)灰度的最高值或者最低值。在海面輝光等情況下,艦船處的灰度通常是整幅影像的最低灰度值;在其他情況下,艦船處的灰度值通常是整幅影像的最高灰度值。此時(shí)如果仍采用百分比截?cái)嗑€性拉伸法進(jìn)行增強(qiáng),艦船等目標(biāo)地物對(duì)應(yīng)的灰度值范圍會(huì)被壓縮。此時(shí)應(yīng)采用最大最小值拉伸法進(jìn)行增強(qiáng),表達(dá)式為
圖5 窄直方圖主體影像及其灰度直方圖Fig.5 One narrow-histogram-body-class image and its grayscale histogram
式中,Tmax是原始影像的最高灰度值,Tmin是原始影像的最低灰度值。
局部分塊增強(qiáng)會(huì)導(dǎo)致部分影像塊內(nèi)有較多高亮噪聲,為了對(duì)這些影像塊進(jìn)行準(zhǔn)確識(shí)別并在后續(xù)使用基于灰度直方圖的全局自適應(yīng)增強(qiáng)參數(shù)對(duì)噪聲塊進(jìn)行修正,計(jì)算相鄰影像塊間的塊差異因子,并根據(jù)其判別相鄰影像塊間的紋理、亮度等信息是否在塊的邊界處發(fā)生突變。
局部增強(qiáng)導(dǎo)致部分區(qū)域內(nèi)噪聲的過度增強(qiáng),這通常是由于部分影像塊內(nèi)的灰度分布較為集中、影像塊內(nèi)每個(gè)像元包含地物的光譜特性較為接近引起的,進(jìn)行局部增強(qiáng)后,這些影像塊內(nèi)本來不明顯的噪聲被異常放大,與此同時(shí),細(xì)節(jié)塊內(nèi)背景像元的噪聲被抑制,如圖3 中的影像塊A 和影像塊B。因此基于影像塊邊緣處的平均灰度Emean可以有效檢測(cè)出噪聲塊,計(jì)算方法為
式中,Enum是影像塊邊緣處的像元數(shù)量,根據(jù)參與指標(biāo)計(jì)算的鄰近塊與當(dāng)前塊的相對(duì)位置,Emean所涉及的像元可能出現(xiàn)在影像塊的上、下、左、右四個(gè)方位。
影像塊邊緣處的信息熵En能衡量影像塊邊緣附近的平均信息量,其計(jì)算公式為
式中,dmax和dmin分別是影像塊邊緣處最高和最低灰度值,p(i)是當(dāng)前影像塊內(nèi)灰度級(jí)i的出現(xiàn)頻率。相鄰影像塊地物相近往往會(huì)導(dǎo)致相鄰影像塊邊緣處的信息熵接近;相鄰塊邊緣處的信息熵發(fā)生較大變化可能是由于其中一塊包含較多噪聲。
相比于單一指標(biāo),綜合信息熵、影像灰度在相鄰塊間的變化情況能較好地捕捉影像塊內(nèi)存在噪聲的情況,因此,構(gòu)建塊差異因子dc1,c2來評(píng)價(jià)影像的任意兩個(gè)相鄰子塊c1與c2間的關(guān)系,表達(dá)式為
式中,w1、w2分別是信息熵、影像灰度在相鄰塊間的差值對(duì)應(yīng)的權(quán)重。
經(jīng)過局部增強(qiáng)處理的影像能清晰顯示影像塊內(nèi)目標(biāo)的細(xì)節(jié),對(duì)于噪聲含量較高的影像塊,將其增強(qiáng)參數(shù)替換為全局自適應(yīng)增強(qiáng)參數(shù),能在增強(qiáng)目標(biāo)地物細(xì)節(jié)的同時(shí)減少背景噪聲。結(jié)合塊差異因子識(shí)別噪聲塊是提出算法結(jié)合局部增強(qiáng)和全局自適應(yīng)增強(qiáng)的關(guān)鍵。
1)相似塊合并
遍歷所有的影像塊,基于每一影像塊與鄰近影像塊間的相似關(guān)系,將塊差異因子小于閾值dThres的多個(gè)相鄰影像塊合并為復(fù)合影像塊(復(fù)合塊),最終,將原始影像劃分產(chǎn)生的W×H個(gè)影像塊合并為若干個(gè)復(fù)合塊,如圖6。圖6(b)中A~E 是經(jīng)過合并影像塊后形成的復(fù)合塊,白色代表該塊被判定為噪聲塊,灰色表示該塊被判定為細(xì)節(jié)塊。對(duì)于塊差異因子超過dThres的情況,基于當(dāng)前影像塊相對(duì)于鄰近塊的明暗情況,計(jì)算塊明度指數(shù)LC1,C2,即
圖6 經(jīng)過分塊局部增強(qiáng)處理后的影像及結(jié)合鄰近塊判別得到的噪聲塊分布Fig.6 The block enhanced image and noise block distribution obtained by adjacent block identification
式中,C1是當(dāng)前影像塊,C2是當(dāng)前影像塊的相鄰塊。求得一個(gè)復(fù)合塊Mci包含的所有影像塊的塊明度指數(shù)之和,將該值作為當(dāng)前復(fù)合塊的復(fù)合塊明度指數(shù)MMci。
2)噪聲所在塊的識(shí)別
如果MMci大于0,將當(dāng)前復(fù)合塊包含的所有影像塊判定為潛在的噪聲塊,將其增強(qiáng)參數(shù)替換為全局自適應(yīng)增強(qiáng)參數(shù),反之,認(rèn)為當(dāng)前復(fù)合塊包含的所有影像塊不屬于噪聲塊,保留每個(gè)影像塊局部增強(qiáng)得到的參數(shù),作為該塊的增強(qiáng)參數(shù)。
3)全局自適應(yīng)增強(qiáng)和局部增強(qiáng)結(jié)果的融合
在局部增強(qiáng)的基礎(chǔ)上計(jì)算每個(gè)影像塊的增強(qiáng)參數(shù),使用全局自適應(yīng)增強(qiáng)參數(shù)修正噪聲塊的增強(qiáng)參數(shù),實(shí)現(xiàn)全局自適應(yīng)增強(qiáng)和局部增強(qiáng)結(jié)果的融合,該方法能在避免對(duì)背景噪聲過度增強(qiáng)的同時(shí)增強(qiáng)目標(biāo)地物的細(xì)節(jié)。
對(duì)于每一個(gè)影像塊Ci,計(jì)算其增強(qiáng)參數(shù):最高灰度值Dmax(Ci)和最低灰度值Dmin(Ci)。為了在增強(qiáng)目標(biāo)地物對(duì)比度的同時(shí)避免斑塊效應(yīng),使用雙線性內(nèi)插求出每個(gè)像元處的增強(qiáng)參數(shù)Dmax,xi和Dmin,xi,計(jì)算每個(gè)像元處增強(qiáng)后的灰度值Mxi,即
實(shí)驗(yàn)平臺(tái)為CPU Intel(R)Core(TM)i7-11700 8 核2.50 GHz、內(nèi)存為32 GB,在Win10 系統(tǒng)中使用Visual Studio 2019 軟件運(yùn)行。為了驗(yàn)證增強(qiáng)算法能否有效用于艦船目標(biāo)檢測(cè)等解譯領(lǐng)域,將艦船作為著重關(guān)注的地物,將吉林一號(hào)衛(wèi)星星座獲取的多場(chǎng)景全色艦船遙感影像數(shù)據(jù)作為數(shù)據(jù)集,選取幾種典型的且包含艦船目標(biāo)的遙感圖像作為實(shí)驗(yàn)樣本。選擇5 種適用于全色遙感影像增強(qiáng)的先進(jìn)算法POSHE[13]、IPRH[14]、CLAHE[15]、AHPBC[16]、DEBTHE[17]進(jìn)行對(duì)比實(shí)驗(yàn),分別使用定量和定性的方法評(píng)估不同方法的增強(qiáng)效果來驗(yàn)證本文算法的有效性。
提出的方法關(guān)注對(duì)感興趣目標(biāo)地物的增強(qiáng)效果,因此在質(zhì)量評(píng)估時(shí)需要對(duì)參與計(jì)算的影像進(jìn)行篩選,使用感興趣目標(biāo)地物(本實(shí)驗(yàn)中為艦船)附近的像元參與定量評(píng)價(jià)指標(biāo)的計(jì)算。原始影像是16 位,而本方法的增強(qiáng)結(jié)果是8 位影像。評(píng)價(jià)過程中針對(duì)原始影像中目標(biāo)地物附近較小范圍的像元進(jìn)行最大最小值拉伸,得到代替原始影像參與質(zhì)量評(píng)估的參考影像,這些參考影像盡可能多地保留了原始影像內(nèi)的地物細(xì)節(jié)。
圖7 給出包含艦船目標(biāo)信息的港口附近全色遙感影像,以及不同算法對(duì)該影像的增強(qiáng)結(jié)果。圖7(a)中原始影像的動(dòng)態(tài)范圍較高,影像內(nèi)地物的對(duì)比度較低;圖7(b)、(f)中較多陸地區(qū)域出現(xiàn)了過曝情況;圖7(c)、(d)中艦船與海面背景間的灰度差異較??;圖7(e)中艦船與海面背景間的灰度較接近,且在部分陸地存在過曝現(xiàn)象;圖7(g)本文算法的結(jié)果中過曝區(qū)域較少,且艦船與海面背景間灰度差異較大,艦船的輪廓清晰可見。本文算法采用了基于灰度直方圖的全局自適應(yīng)增強(qiáng)技術(shù),增強(qiáng)結(jié)果中海面區(qū)域的噪聲沒有被增強(qiáng),說明全局自適應(yīng)處理能對(duì)局部增強(qiáng)的參數(shù)進(jìn)行有效修正。對(duì)比結(jié)果可以看出,該算法能在降低影像動(dòng)態(tài)范圍的同時(shí)有效增強(qiáng)影像中目標(biāo)地物的細(xì)節(jié),改善港口附近遙感圖像中艦船目標(biāo)的清晰程度。
圖7 不同算法對(duì)港口影像的增強(qiáng)效果對(duì)比Fig.7 Comparison of enhanced effects of the port image by different methods
圖8 分別給出包含艦船目標(biāo)信息的海面全色遙感影像和不同算法對(duì)該影像的增強(qiáng)結(jié)果。圖8(b)中整景影像內(nèi)的較多區(qū)域出現(xiàn)了過曝現(xiàn)象;圖8(c)中海面的亮度較高,與艦船的對(duì)比度較低;圖8(d)中艦船周圍出現(xiàn)了較明顯的偽影;圖8(e)和(f)中部分艦船所在區(qū)域發(fā)生過曝,損失了部分紋理信息;圖8(g)本文算法的結(jié)果中海面與艦船對(duì)比明顯,且在較大程度上保留了艦船的紋理信息。通過對(duì)比增強(qiáng)結(jié)果可以看出,提出的算法能有效增強(qiáng)海面遙感影像中的艦船目標(biāo)。
圖9 分別給出包含較多云的海面全色遙感影像和不同算法對(duì)該影像進(jìn)行增強(qiáng)的結(jié)果。通過對(duì)比增強(qiáng)結(jié)果可以看出,提出的算法有效地抑制云對(duì)影像中艦船目標(biāo)的干擾,即使部分艦船被云覆蓋,也能盡可能增大目標(biāo)周圍像元的灰度反差,克服了以往方法處理受云覆蓋的影像時(shí)容易過度增強(qiáng)或者增強(qiáng)不足的缺點(diǎn),有效解決現(xiàn)有全色遙感影像增強(qiáng)算法在增強(qiáng)影像中目標(biāo)地物細(xì)節(jié)時(shí)對(duì)背景噪聲過度增強(qiáng)的問題。
圖9 不同算法對(duì)含云影像的增強(qiáng)效果對(duì)比Fig.9 Comparison of enhanced effects of the cloud image by different methods
采用均方誤差(Mean Squared Error, MSE)、峰值信噪比(Peak Signal to Noise Rate, PSNR)和結(jié)構(gòu)相似性(Structural Similarity, SSIM)三個(gè)指標(biāo)來客觀評(píng)價(jià)不同影像增強(qiáng)方法對(duì)于全色遙感影像增強(qiáng)的效果。
均方誤差可以反映增強(qiáng)前后影像的差異大小,該指標(biāo)以像素間的誤差為基礎(chǔ)。均方誤差越小,增強(qiáng)后圖像內(nèi)原有地物的紋理等信息損失越少,增強(qiáng)方法的效果越好。計(jì)算公式為
式中,pnum是參與計(jì)算的像元總數(shù),xi是參考圖像x參與指標(biāo)計(jì)算的第i個(gè)像元的灰度值,yi是增強(qiáng)后圖像y參與指標(biāo)計(jì)算的第i個(gè)像元的灰度值。
峰值信噪比常用于圖像壓縮、圖像增強(qiáng)等領(lǐng)域,可以反映增強(qiáng)后影像的失真程度。峰值信噪比越高,增強(qiáng)后圖像的質(zhì)量往往越好,計(jì)算公式為
式中,My是影像可能的最大像素值。
結(jié)構(gòu)相似性衡量增強(qiáng)前后影像間的相似度,反映結(jié)構(gòu)特征的保留情況。結(jié)構(gòu)相似性的值越大,說明增強(qiáng)后的影像更好地保留參考影像內(nèi)的地物特征。計(jì)算公式為
式中,μx是參考圖像x的平均值,μy是增強(qiáng)后圖像y的平均值,σ2x是x的方差,σ2y是y的方差,σxy是x與y的協(xié)方差,q1和q2這兩個(gè)常數(shù)用來維持公式的穩(wěn)定。
表1 給出了對(duì)比算法POSHE、IPRH、CLAHE、AHPBC、DEBTHE 和本文算法增強(qiáng)效果的客觀指標(biāo)MSE、PSNR 和SSIM 的值,可知這些算法在壓縮原始影像動(dòng)態(tài)范圍的同時(shí)增強(qiáng)地物的細(xì)節(jié),增強(qiáng)后的影像質(zhì)量都較好,但本文算法的增強(qiáng)效果最好。
表1 不同算法的增強(qiáng)指標(biāo)對(duì)比Table 1 Comparison of enhancement evaluation index of different methods
表2 給出不同算法的運(yùn)行平均時(shí)間,可以看出本文算法的運(yùn)行平均時(shí)間為0.14 s,略小于DEBTHE 法的運(yùn)行時(shí)間,遠(yuǎn)小于IPRH 法的運(yùn)行時(shí)間。
表2 不同算法的運(yùn)行平均時(shí)間Table 2 The running average time of different methods
本文針對(duì)現(xiàn)有全色遙感影像增強(qiáng)算法在增強(qiáng)影像中目標(biāo)地物時(shí)對(duì)背景噪聲過度增強(qiáng)的問題,提出一種基于全局自適應(yīng)處理的分塊影像增強(qiáng)方法。首先,進(jìn)行分塊處理并分別計(jì)算圖像中每個(gè)影像塊的影像增強(qiáng)參數(shù),實(shí)現(xiàn)對(duì)影像細(xì)節(jié)信息的保留;然后,基于影像的灰度直方圖進(jìn)行全局自適應(yīng)增強(qiáng)參數(shù)估算,在防止影像內(nèi)噪聲被過度放大的同時(shí)增加背景和地物間的反差;接著,估算影像塊的多維指標(biāo),便于后續(xù)基于全局自適應(yīng)處理進(jìn)行局部增強(qiáng);最后,基于塊差異因子對(duì)鄰近影像塊進(jìn)行合并,將噪聲塊的增強(qiáng)參數(shù)替換為全局自適應(yīng)增強(qiáng)參數(shù),基于影像塊的增強(qiáng)參數(shù)進(jìn)行插值以獲取每個(gè)像元處的參數(shù),最終得到增強(qiáng)后的全色遙感影像。使用該方法對(duì)多組不同場(chǎng)景的全色遙感影像進(jìn)行仿真實(shí)驗(yàn),并基于多種指標(biāo)對(duì)多種增強(qiáng)方法的效果進(jìn)行評(píng)估,發(fā)現(xiàn)提出的增強(qiáng)方法對(duì)于多種場(chǎng)景均有較好的性能。該方法基于局部增強(qiáng)對(duì)目標(biāo)地物及其鄰域的灰度變化范圍進(jìn)行調(diào)整,能在一定程度上消除現(xiàn)有輻射校正處理殘留的誤差并使得不同影像內(nèi)的同一類目標(biāo)可比,處理結(jié)果可用于艦船檢測(cè)等領(lǐng)域。