葉志鵬，賈 睿，寧 雷，付繼偉，崔利軍

（1. 北京宇航系統(tǒng)工程研究所，北京，100076；2. 太原衛(wèi)星發(fā)射中心，太原，030027）

0 引 言

美國太空探索技術(shù)公司（SpaceX）的獵鷹9號運載火箭于2016年首次實現(xiàn)了一級的海上回收。中國也于2019年實現(xiàn)了首次海上發(fā)射。與陸上發(fā)射和回收相比，海上發(fā)射與回收運載火箭具有以下顯著優(yōu)勢[1,2]：a）利用海上發(fā)射平臺在赤道附近進行火箭發(fā)射能夠最大限度地利用地球自轉(zhuǎn)從而提高運載能力；b）遠離人口稠密地區(qū)，降低火箭發(fā)生故障后落入人口稠密區(qū)的風(fēng)險，能夠?qū)崿F(xiàn)任意軌道傾角的發(fā)射；c）顯著降低與民用航空器的航線沖突。可見光成像裝置是記錄海上發(fā)射過程最直接的手段之一，能夠為事后分析提供可靠證據(jù)?？梢姽獬上裣到y(tǒng)具有抗電磁干擾能力強、頻帶寬等諸多的優(yōu)點，可以全面、直觀、實時的反映被監(jiān)測的對象。對于海上發(fā)射場景，清晰準確地獲取運載火箭首區(qū)圖像信息是視覺成像系統(tǒng)的基本要求，對于及時準確的故障定位具有重要意義。但是視覺系統(tǒng)的成像質(zhì)量在使用過程中往往受到海上常見的海霧等氣象條件的影響，導(dǎo)致采集的圖像產(chǎn)生一定程度的退化，甚至?xí)G失某些重要的局部特征，導(dǎo)致獲取到的監(jiān)控圖像價值降低。因此，圖像的去霧增強顯得十分重要。

1 去霧方法概述

海霧是由于海洋上低層大氣中的水汽凝結(jié)，造成水平能見度降低而產(chǎn)生的。海霧主要可分為平流霧、混合霧、輻射霧、地形霧。其中，平流霧是因空氣平流作用在海面上產(chǎn)生的霧，是影響可見光成像系統(tǒng)的主要形式。可見光成像系統(tǒng)因受到海霧的影響，導(dǎo)致場景中的目標清晰度下降，降低對目標的分辨能力。因此，研究可見光圖像的去霧及增強方法獲取高質(zhì)量的圖像，對降低運載火箭對于天氣的要求、提高可見光數(shù)字成像系統(tǒng)工作的穩(wěn)定性和可靠性具有積極意義。

可見光圖像去霧算法是當(dāng)前的研究熱點?，F(xiàn)階段圖像的去霧算法可大致分為兩類：圖像增強方法和基于物理模型的去霧方法[3]。圖像增強方法通過改變圖像的灰度動態(tài)范圍增強圖像的對比度，進而提升目標區(qū)域的顯示效果。這種方法沒有考慮霧圖的成像機制，處理后的圖像存在色彩失真、細節(jié)模糊等問題?；谖锢砟Ｐ偷姆椒ㄍㄟ^研究可見光在霧氣中的傳輸模型，給出了圖像降質(zhì)的物理過程，通過建立霧圖退化模型補償因退化導(dǎo)致的圖像失真，從而恢復(fù)出無霧圖像的最優(yōu)估計[4]。目前，常見的基于物理模型的去霧方法主要是He[5]總結(jié)歸納的暗通道先驗理論模型，通過估計霧圖像的透射率和全局大氣光強恢復(fù)無霧圖像，與圖像增強算法相比去霧效果更好[6]。宋瑞霞[7]針對暗通道方法易導(dǎo)致圖像天空區(qū)域色彩失真的問題，提出一種基于天空分割和色調(diào)映射的圖像去霧算法，在HSI顏色空間中利用圖像眾數(shù)和圖像連通區(qū)域提出天空識別算法，分割出天空與非天空區(qū)域并分別求透射率，最后在RGB空間中利用大氣散射模型復(fù)原圖像。董輝[8]提出了一種基于自適應(yīng)可變形結(jié)構(gòu)元（Adaptive Deformable Structuring Element，ADSE）中值濾波結(jié)合灰度形態(tài)學(xué)重構(gòu)精細化透射率的方法。該方法通過有霧圖像的顯著圖計算ADSE，用生成的ADSE對最小顏色通道圖像進行自適應(yīng)中值濾波運算，獲得的濾波圖像作為模板圖像進行灰度形態(tài)學(xué)重構(gòu)運算，獲得精細化暗通道圖像, 繼而得到精細化透射率，完成圖像去霧。程丹松[9]結(jié)合圖像融合策略增強可視化區(qū)域的視覺效果，利用像素塊加權(quán)插值法計算每個像素點的暗通道值，并利用高斯模型自適應(yīng)地恢復(fù)天空和其他明亮區(qū)域。Fattal[10]通過霧圖的顏色和亮度先驗信息提高圖像的顯示效果。汪云飛[11]利用超像素代替?zhèn)鹘y(tǒng)的滑動窗口以提高透射率估計的準確性。

現(xiàn)有方法通常認為霧圖中存在的亮度較高的天空區(qū)域是導(dǎo)致暗通道先驗方法失效的主要原因，但忽視了場景中可能存在的其他高亮目標影響恢復(fù)效果的問題。針對現(xiàn)有方法的不足，提出了一種改進的霧圖亮區(qū)檢測策略。利用場景文字檢測及天空分割方法將整幅圖像自適應(yīng)地劃分為亮區(qū)域和暗區(qū)域，分別估計兩類區(qū)域的透射率，最后根據(jù)大氣散射模型得到復(fù)原的無霧圖像。

2 暗通道去霧原理

基于暗通道先驗的去霧模型認為多數(shù)有霧的退化圖像是由以下大氣散射獲取的：

式中I(x)為有霧圖像；J(x)為無霧圖像；t(x)為大氣透射率；J(x)t(x)為光經(jīng)過物體散射后形成的入射光衰減模型；A為全局大氣光強度；為大氣光在物體周圍散射的光強。

對式（1）進行變換，有：

RGB圖像中每一個顏色通道c，都滿足：

暗通道模型認為，在無霧可見光RGB圖像中絕大多數(shù)非天空的局部區(qū)域中存在至少一個顏色通道某些像素上強度值趨于0，即：

因此局部區(qū)域Ω(x)透射率可表示為

在實際圖像處理的過程中，通常會引入調(diào)節(jié)系數(shù)w∈ (0,1)以保留圖像的景深，有：

將估計出的透射率代入式（1），可以求出無霧圖像J(x)；同時，為了避免透射率t(x)趨近于0引入噪聲，設(shè)置下限值t0：

3 基于亮區(qū)域檢測的去霧模型

暗通道去霧模型自提出以后受到了廣泛的關(guān)注，但是存在以下問題[9]：

a）暗通道模型基于圖像的局部塊計算透射率，對于圖像中物體的邊緣透射率估計不準確，產(chǎn)生“光暈效應(yīng)”；

針對上述不足，本文提出了一種改進的透射率估計策略，在天空檢測基礎(chǔ)上，增加了場景中文字信息的識別，從而提高了場景亮區(qū)域檢測的準確性。針對圖像的亮區(qū)域和暗區(qū)域，分別進行透射率估算，使透射率估計更為準確。

算法的流程如圖1所示。

圖1 算法流程Fig.1 Process of the Algorithm

3.1 亮區(qū)域檢測

暗通道先驗認為圖像中像素點在某個顏色通道強度趨于零，但該假設(shè)對于圖像中天空等較亮區(qū)域并不成立。為解決這一問題，本文引入了文獻[12]的亮區(qū)域檢測方法，將可見光RGB圖像轉(zhuǎn)換為灰度圖像并進行均值濾波，利用OTSU閾值進行圖像分割。圖像分割結(jié)果如圖2所示，其中白色像素區(qū)域為亮區(qū)域，黑色像素為暗區(qū)域。

圖2 有霧場景亮區(qū)域檢測結(jié)果Fig.2 Light Area Detection Results of the Fogged Scene

3.2 大氣光強度估計

常用的大氣光估計方法包括以下幾種：

a）全局法。先從暗原色通道中選取最亮的0.1%比例的像素點，選取在相對像素點上有霧圖像值最大的點作為大氣光的估計值。He方法采用這種方法進行大氣光估計。

b）分塊遞歸法。將圖像固定平均分為4塊區(qū)域，分別求取每個子區(qū)域的平均亮度值，選取亮度值最大的塊，再將這個塊進一步平均分為4個塊，選取最亮的塊并計算每個子區(qū)域的平均亮度。重復(fù)這一過程直至圖像子區(qū)域的尺寸小于某一閾值，在子區(qū)域中選取亮度最大的點作為全局大氣光強度值。

c）亮度最大值法。選取輸入圖像中亮度最大像素點的灰度值作為全局大氣光強度值。

d）位置先驗法。該方法認為一般拍攝的有霧圖像中，天空部分一般位于圖像的上方，因此將圖像從上至下平均分為3個子區(qū)域，然后在最上方的子區(qū)域使用全局法估計大氣光強度值。

e）全局平均法。計算輸入圖像的暗通道圖像并進行均值濾波，求取其中灰度值最大的點；接下來求取輸入圖像RGB三通道中值最大的通道圖像，找到灰度值最大的像素點，最后將兩個點的灰度值的平均值作為全局大氣光A。本文采用此方法進行大氣光估計。

3.3 透射率修正

已有研究表明，天空等較亮區(qū)域不滿足暗通道先驗理論，亮區(qū)域的像素值與大氣光強度A接近，即：

因此由式（7）可知有t(x) → 0，導(dǎo)致透射率的估計值與實際值相比偏低，因此需對透射率進行修正。本文在文獻[13]給出的透射率修正方案基礎(chǔ)上，對亮區(qū)域和暗區(qū)域采用不同的透射率計算策略。對于亮區(qū)域，在原有的透射率計算基礎(chǔ)上，通過比較暗通道圖Jdark(x)與A中各通道像素值，取最大值和最小值的商作為補償系數(shù)對透射率進行修正。暗區(qū)域的透射率計算方式與傳統(tǒng)方法一致。針對亮區(qū)域和暗區(qū)域分別計算透射率從而使本文方法對于霧圖像的亮區(qū)域具有更好的適應(yīng)性。

3.4 雙邊濾波

雙邊濾波是一種基于空間分布的非線性邊緣保留濾波器，邊緣保留原理是通過結(jié)合圖像的空間鄰近度和像素相似度，綜合考慮空域信息和灰度相似性，達到去噪的同時保留圖像中邊緣的效果。濾波器系數(shù)由幾何空間距離和像素差確定。

雙邊濾波定義如下：

式中I為輸入圖像；FB(I)為濾波后圖像；和分別表示以(x,y)為中心、半徑為w的矩形內(nèi)點的空間相似度和像素相似度，σs和σr為方差參數(shù)。

4 實驗結(jié)果與分析

本文采用運行環(huán)境為Windows 10操作系統(tǒng)、CPU主頻為3.4 GHz，將本文方法與圖像處理領(lǐng)域具有代表性的直方圖增強方法與傳統(tǒng)He方法進行了比較，采用Qt 5.14.0和OpenCV 4.2.0開發(fā)運行環(huán)境。本節(jié)將從視覺效果比較本文方法與He方法的處理結(jié)果。實驗采用的圖像數(shù)據(jù)均為國外公開的火箭及中國自然場景圖像。

視覺效果評價主要分為主觀評價和客觀評價兩類。主觀評價以視覺評價為主，客觀評價采用圖像處理領(lǐng)域主流的評價指標。由于動態(tài)視頻圖像通常由多幅靜態(tài)圖像組成，因此本文方法也適用于動態(tài)視頻圖像序列的去霧。

4.1 主觀評價

圖像去霧結(jié)果如圖3所示。從圖3中可以看出，由于直方圖增強算法不屬于基于物理模型的方法，因此沒有考慮可見光在霧氣介質(zhì)中的傳播，因此去霧效果十分有限，同時處理結(jié)果出現(xiàn)了明顯的色彩偏差；He方法處理后的圖像霧霾效果得到了去除，但處理后的圖像偏暗；經(jīng)過本文方法處理后，圖像的色彩更加自然，圖片的邊緣和輪廓信息保存更加完善，整體效果得到了增強，圖像的去霧效果較好。

圖3 實驗結(jié)果Fig.3 Experimental Results

4.2 客觀評價

主觀評價標準可以比較直觀的評價圖像增強的效果，但是它依賴于個人主觀意識的影響，不同個體的評價結(jié)果存在偏差，因此本文同時采用客觀評價指標包括信息熵（Entropy，E）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為評價指標。

信息熵用于度量圖像的平均信息量，是圖像質(zhì)量的重要指標，計算公式如下：

式中P(bi)為bi的概率；L為圖像的灰度等級數(shù)。圖像的熵值越大，信息量越大，圖像的細節(jié)信息越豐富。

峰值信噪比是圖像處理領(lǐng)域使用最為廣泛的評價指標，其值越大，代表處理后的圖像劣化程度越小，和原圖相比失真越少。峰值信噪比計算方法如下：

式中n為采樣比特數(shù)，對于RGB可見光圖像通常設(shè)置為8。均方誤差（Mean Squared Error，MSE），計算公式為

結(jié)構(gòu)相似性用于評估算法保留結(jié)構(gòu)信息的能力，其值越大越好。給定兩幅圖像x和y，結(jié)構(gòu)相似性計算公式如下：

式中μx和μy分別為x和y的平均值。和分別為x和y的方差；σxy為x和y的協(xié)方差。c1和c2為常數(shù)，為常數(shù)，L為像素值的動態(tài)范圍，

各圖像的尺寸信息及指標評價結(jié)果見表1～3。

表1 客觀評價標準ΔE對比結(jié)果Tab.1 Comparative Results of the Objective Evaluation on ΔE

表2 客觀評價標準PSNR對比結(jié)果Tab.2 Comparative Results of the Objective Evaluation on PSNR

表3 客觀評價標準SSIM對比結(jié)果Tab.3 Comparative Results of the Objective Evaluation on SSIM

從表1～3中可以看出，本文方法處理結(jié)果表明各評價指標均有明顯提升。結(jié)合上述主觀評價結(jié)果可以看出，基于直方圖的圖像增強方法處理結(jié)果存在較大色差，并不適于人眼觀察，且損失部分細節(jié)，雖然熵度量指標由于其他兩類方法，但此時圖像已與原圖存在較大偏差?；诎低ǖ赖娜レF方法有一定的去霧效果，但去霧后圖像較暗，且圖像的顏色不夠真實。本文算法結(jié)合了暗通道去霧和直方圖增強的優(yōu)點，提高了評價指標的同時能夠得到更好的圖像顏色，提高了復(fù)原圖像的效果。

表4給出了本文算法實現(xiàn)代碼優(yōu)化前后在普通計算機上運行的時間及空間復(fù)雜度，表中結(jié)果為程序運行5次取平均值。從表4中可以看出，本文方法的空間復(fù)雜度較低，能夠適應(yīng)地面處理計算機的硬件環(huán)境。但是優(yōu)化前本文方法的時間復(fù)雜度較高，對于圖像4的處理時間達到了378 ms，換算為幀率為2.65幀/s，雖然能夠完成地面數(shù)據(jù)后處理的任務(wù)，但是算法實時性尚有較大改進空間。經(jīng)過分析，原因如下：

a）本文方法的實現(xiàn)代碼僅注重實現(xiàn)基本功能，未進行編碼優(yōu)化；

b）本文方法采用雙邊濾波器，雖然能夠提高圖像恢復(fù)效果，但是耗時較高，約占消耗總時間的90%以上。

根據(jù)上述原因，本文從工程實踐角度出發(fā)，通過以下方式提高運算速度：

a）將二維雙邊濾波分解為2個一維的雙邊濾波。先使用一維雙邊濾波模板對行進行濾波，然后對卷積結(jié)果進行列濾波，此步驟在計算值域系數(shù)的時候可以使用原圖像數(shù)據(jù)進行計算，從而極大地降低乘法運算次數(shù)。根據(jù)計算機組成原理理論，乘法運算是影響程序運行速度的重要因素；

b）利用計算機體系結(jié)構(gòu)中單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）技術(shù)對實現(xiàn)代碼進行優(yōu)化，常見的方式為使用Intel公司的IPP庫。SIMD技術(shù)在指令譯碼后執(zhí)行部件可以同時訪問內(nèi)存從而一次性獲取全部操作數(shù)進行運算，從而提高代碼執(zhí)行速度。

表4 本文算法實現(xiàn)代碼優(yōu)化前后在普通計算機的時空復(fù)雜度Tab.4 Time and Space Complexity of the Algorithm before and after Code Optimization on Ordinary Computer

從表4中代碼優(yōu)化后結(jié)果可以看出，經(jīng)過優(yōu)化的程序代碼運行速度顯著提高，已經(jīng)能夠滿足實時處理的要求。

5 結(jié) 論

本文針對暗通道先驗去霧模型的不足，給出了一種自適應(yīng)透射率估計方法，通過圖像亮區(qū)域檢測自適應(yīng)地估計全局大氣光值，并對透射率進行動態(tài)修正，有效地提高了有霧圖像的復(fù)原效果。實驗結(jié)果證明了本文方法的有效性。然而，該方法目前存在恢復(fù)后亮區(qū)域存在光暈效應(yīng)的問題，將在今后的工作中進一步完善。