湯 浩， 朱泓宇， 謝 超

(南京林業(yè)大學機械電子工程學院，江蘇 南京 210037)

近年來，隨著社會的進步發(fā)展，多媒體設備使用越來越廣泛，視頻圖像的應用領域也隨之越來越廣，但由于受圖像采集設備的限制，拍攝視頻的亮度常常比較低，特別是夜晚拍攝的圖像和視頻，很難達到我們想要的采集效果，或者獲取我們滿意的圖像信息，因此對這些低照度的圖像進行增強處理就很必要。低照度圖像增強的目的是突出圖像的有用特征，同時削弱或消除干擾信息，將原來不清晰或者亮度較低的圖像變得清晰或者增強亮度。夜間照明亮度低，比如月光，火光，燈光等會使得周圍環(huán)境的光線復雜，從而導致可見光和對比度嚴重下降，并且伴隨著大量的噪聲產生；或者因為光照不均勻的影響，出現(xiàn)圖像區(qū)域間亮度相差較大的現(xiàn)象。影響低照度圖像照度的因素還有很多，但是對于軍事、監(jiān)測、安防等領域而言，提高低照度圖像的亮度是關鍵因素。

下面列出了幾種典型的以及目前使用范圍比較廣泛的低照度圖像增強算法。灰度變換算法是調整圖像的灰度范圍，如直方圖均衡化[1，2](Histogram Equalization，HE)將圖像中原來比較集中的某個灰度空間調整為圖像全部灰度區(qū)域的均勻分布，并由此算法衍生出了局部直方圖均衡算法[3-5](Local HE，LHE)，針對于局部圖像處理，使用滑動窗口將圖像進行分塊處理，局部細節(jié)增強效果明顯。在此基礎上又分為了圖像分塊算法、滑動窗口重疊算法、滑動窗口部分重疊算法，其中滑動窗口部分重疊算法能夠結合其他直方圖均衡算法的優(yōu)點，不僅計算速度較快，并且能夠有效地削弱塊效應。Retinex[6，7]是一種常用的建立在科學實驗和科學分析基礎上的圖像增強方法，改進的Retinex算法有單尺度Retinex算法[8](SSR)、多尺度Retinex算法[9](MSR)、帶色彩恢復的多尺度Retinex算法[10](MSRCR)和基于HSV顏色空間的自適應多尺度Retinex算法[11]等等，其中前兩種算法在處理過程中會導致顏色的喪失，后兩種算法能有效地避免顏色失真?；赗etinex理論改進的低照度圖像增強算法還有很多，例如翟海祥[12]等提出的改進Retinex與多圖像融合算法，盧曉亮[13]等提出結合單尺度Retinex與引導濾波的紅外圖像增強算法，基于低照度的帶霧彩色圖像增強算法[14]等。Retinex本身的難度在于計算速度和處理效果，但它可以通過進一步構造更復雜的模型以獲得更好的效果?；诎翟レF算法的低照度圖像增強[15]依據(jù)低照度圖像進行翻轉操作后，與去霧之前的圖像相似，在基于暗通道去霧的圖像處理后，有較好的增強效果。近年來，基于深度學習的圖像處理取得了關鍵突破，低照度圖像處理常見的兩種模式：一種是端到端的訓練，另一種則是光照估計，并在低照度圖像增強的領域內不斷創(chuàng)新。

低照度圖像增強面臨的問題復雜，并且各個問題之間相互影響，在設計增強算法時難以逐一解決，往往需要借助假設以及先驗簡化問題難度，因此低照度圖像增強相對普通圖像增強難以找到合適的方法。研究者們提出了不同的假設和先驗，在一個方法中解決一個或多個問題，或者將所有問題構建在統(tǒng)一的增強算法框架之中，以達到最優(yōu)的增強效果。

1 低照度圖像增強算法

1.1 基于域處理的低照度圖像增強方法

此類技術根據(jù)增強處理過程所在域的不同，又可以分為基于空間域的增強方法和基于頻率域的增強方法。

空域法直接對像素灰度值進行處理，分為灰度變換和空域濾波兩種方法?；叶茸儞Q法可以分為全域線性變換、分段線性變換和非線性灰度變換。全域線性變換可以將原圖像的灰度范圍調節(jié)到想要的范圍，從而達到增強的效果；分段線性變換將有用信息的灰度范圍擴展，增強對比度，將噪聲的灰度降低到較小的范圍，可以突出圖像的部分細節(jié)或者抑制圖像的部分區(qū)域；非線性灰度變換采取指數(shù)函數(shù)[16]、對數(shù)函數(shù)[17]等作為映射函數(shù)，指數(shù)變換可以壓縮輸入圖像中低灰度區(qū)的對比度，擴展高灰度值，對數(shù)變換可以壓縮圖像的高灰度區(qū)的對比度，擴展低灰度值。直方圖是一幅圖像中各像素灰度值出現(xiàn)頻率的統(tǒng)計結果。它只反映該圖像中不同灰度值出現(xiàn)的次數(shù)，不反映某一灰度值像素所在的位置。對于相同的場景，由于獲取圖像時的亮度或對比度不同，對應的圖像直方圖也不同，因此，我們可以通過改變直方圖的形狀到增強圖像對比度的效果。采用直方圖修正后，可使圖像的灰度間距拉大或使灰度分布均勻，從而增大反差，使圖像細節(jié)清晰?；诳沼蚍ǜ倪M的低照度圖像增強算法還有很多，張令波[18]等提出一種空域和變換域相結合的低照度圖像增強算法，該算法結合了拉普拉斯算法和伽馬校正，不但能夠提高欠曝光區(qū)域的對比度，而且能夠對過曝光區(qū)域實現(xiàn)有效抑制，達到很好的視覺均衡。張大興[19]等提出基于自適應直方圖均衡化耦合拉普拉斯變換的紅外圖像增強算法，本算法對不同紅外圖像進行了增強實驗，具有更好的增強質量，其輸出圖像擁有更高的對比度和清晰度，呈現(xiàn)出更好的視覺效果。

頻域法對圖像進行傅里葉變換后的頻譜進行處理，然后逆傅里葉變換得到所需圖案，分為低通濾波法[20]，高通濾波法[21，22]和同態(tài)濾波法[23]。低通濾波器常用的頻率域低通濾波器包含理想低通濾波器、巴特沃思低通濾波器和指數(shù)低通濾波器。由于噪聲主要集中在高頻部分，所以低通濾波器能夠很好的去除噪聲，改善圖像質量。理想低通濾波器在去除噪聲時會導致邊緣信息損失導致圖像邊緣模糊，產生振鈴效應。巴特沃思濾波器相對于低通濾波器沒有振鈴現(xiàn)象，圖像邊緣的模糊程度也會大大降低，但是計算量較大。指數(shù)低通濾波器處于兩者之間，邊緣模糊程度大些，但無明顯的振鈴現(xiàn)象。高通濾波器和低通濾波器一樣，具有理想高通濾波器、巴特沃思高通濾波器和指數(shù)高通濾波器。圖像的邊緣一級細節(jié)部分都是在高頻部分，而圖像的模糊就是因為高頻部分比較弱導致的，采取高通濾波器能能夠讓高頻成分通過，削弱低頻成分，再經過傅里葉逆變換得到邊緣銳化的圖像。同態(tài)濾波是一種在頻域中同時將圖像亮度范圍進行壓縮和將圖像對比度進行增強的方法，是基于圖像成像模型進行的。一幅圖可以表示成照度分量與反射分量的乘積，這是同態(tài)濾波基本思想。同態(tài)濾波器的函數(shù)圖像跟高通巴特沃斯或者高通高斯濾波器很像，相同情況下，指數(shù)型同態(tài)濾波器有最好的效果。

1.2 基于Retinex理論的低照度圖像增強方法

基于圖像處理的方法是單純地采用線性函數(shù)或者非線性函數(shù)，拉伸圖像直方圖的空間分布，以此提升圖像的亮度，但是這種方法是單純地運用數(shù)學方法，并沒有考慮到圖像的形成模型，所以往往達不到效果。

美國物理學家Land首次提出Retinex理論，之后研究者們在此基礎上又提出了大量改進的低照度圖像增強算法。Retinex是由Retina(視網膜)和Cortex(皮層)兩個單詞組成的。Land認為紅、綠、藍是三原色，物體的圖像都是由物體表面對入射光反射得到的，而反射光是有物體對不同波長光線的反射能力決定的，是物體的固有屬性，不受入射光的影響。Retinex原理如圖1所示。

圖1 Retinex原理

Retinex的原理可以表示為：

S(x，y)=R(x，y)×F(x，y)

(1)

其中，S(x，y)為人眼或者攝像設備看到或者接收到的反射光圖像，R(x，y)表示物體的反射性質圖像，是物體的固有屬性，不隨光照的變化而變化，也稱為反射圖；F(x，y)表示入射光圖像，它決定了圖像中像素的動態(tài)范圍，也稱為照明圖，×表示乘法運算。Retinex采用的是分離的思想，通過算法降低甚至去除入射圖像的影響，保留物體本質的反射屬性圖像。因為R(x，y)是物體的固有屬性無法改變，所以我們可以通過調整F(x，y)的強度達到提升S(x，y)亮度和對比度的目的。因此，我們需要將一幅圖像拆分為兩幅圖像，但是求解R(x，y)是一個“病態(tài)”問題，所以這種情況下需要通過近似估計的方法計算。Retinex的模型中，照明圖為灰度圖，反射圖中包含著全部的色彩信息，人眼或者攝像機鏡頭看到的圖片亮度都是由照射圖決定的，部分區(qū)域相較于原圖會變暗。

在Land提出Retinex理論之后，Jobson[8]等提出了單尺度retinex算法(SSR)，該原理是利用構建高斯環(huán)繞函數(shù)對圖像的三個彩色通道分別進行濾波，經過濾波之后的圖像就是估計的光照分量，在對原始圖像和光照圖像分別進行對數(shù)處理后，相減得到輸出結果。表達式如下：

ri(x，y)=log(Ri(x，y))=log(Ii(x，y))

-log(Ii(x，y)*G(x，y))

(2)

式中：Ri(x，y)為原始待增強圖像，Ii(x，y)為實數(shù)域原始圖像，G(x，y)為中心環(huán)繞函數(shù)，*為卷積運算。

G(x，y)的表達如下：

(3)

其中，σ是唯一可調節(jié)的參數(shù)。σ越小，圖像的細節(jié)越能保留，同時增大像素動態(tài)范圍，但顏色會失真；σ越大，色彩保真度越高，但細節(jié)會確實，同時像素動態(tài)范圍變小，但σ過大或者過小也會造成圖像增強效果不明顯和曝光過度，所以該方法最重要的就是找到合適的σ。多尺度Retinex增強算法[9](MSR)相對于單尺度算法就是增加了高斯環(huán)繞函數(shù)的個數(shù)，可以看作是多個不同尺度的單尺度Retinex進行加權求和。表達式如下：

-log(I(x，y)*Fi(x，y)))

(4)

其中，k表示高斯環(huán)繞函數(shù)個數(shù)，一般取3；Wi表示各高斯環(huán)繞函數(shù)的加權系數(shù)，一般取1/3。這樣MSR就能夠獲得不同尺度下SSR的特點，兼顧圖像的整體效果和細節(jié)突出，從而達到理想效果。而基于HSV顏色空間的自適應多尺度Retinex算法[11]會先進行圖像空間變換，將RGB空間的圖像轉換到HSV空間，之后估算出圖像的反射分量，再將HSV空間轉換回RGB空間顯示。H、S、V分別對應色調、飽和度和亮度。HSV模型是人眼最為直觀的空間模型，因此在圖像處理方面有較廣的應用。

1.3 基于圖像去霧算法的低照度圖像增強方法

韓宇星[24]等在研究圖像去霧算法時發(fā)現(xiàn)低光照圖像的反轉圖像與有霧圖像看起來相似，經過試驗證明，低光照圖像的反轉圖像像素值與有霧圖像的像素值分布十分相似，其中的低光照圖像遠景部分像素值很高，并且在反轉的低亮度圖中，非天空區(qū)域中，以及在RGB通道中，至少有一個通道的像素值非常低。既然低光照圖像的反轉圖像相似于有霧圖像，那我們將圖像去的算法應用在低光照的反轉圖上，再對處理圖像進行反轉，就可以獲得低光照的亮度增強圖像。

基于圖像去霧的低照度圖像增強算法步驟：

輸入原始圖像I；

將圖像在R、G、B三個通道上進行0～255的反轉；

根據(jù)大氣散射模型進行去霧；

選擇100個像素點，它們是計算RGB通道上最小值中最大的100個，然后選擇這100個中RGB三導通和最大的作為A環(huán)境光；將去霧圖像進行反轉得到低照度增強圖像。在研究過程中發(fā)現(xiàn)對于低照度圖像增強的效果不太明顯，因此增加了一個中間變量P(x)，來實現(xiàn)有目標的區(qū)域性增強。

基于去霧算法的低照度圖像增強公式如下：

(5)

式中：J(x)為增強圖像亮度；R(x)為相機獲取到的圖像亮度；A為大氣的量度，t(x)=e-βd(x)，β是大氣的散射系數(shù)，d(x)是像素x的景深。

基于去霧的低照度圖像增強算法之后也有很多的改進，如王同森[25]等提出基于光源區(qū)域自適應的夜間去霧方法，該算法在抑制光暈和光源區(qū)域發(fā)散的同時，能夠較好地重現(xiàn)暗部細節(jié)，恢復圖像具有較好的亮度和對比度，且色彩自然。Prince[26]提出一種新穎的夜間單幅圖像去霧方法，它在一幅被破壞的圖像上獨立而非整幅圖像上局部估計每個選定掩模的大氣強度，該方法在速度和魯棒性方面極具優(yōu)越性。

1.4 基于深度學習的低照度圖像增強算法

近些年深度學習的熱度一直很高，其強大的特征表示合非線性映射能力在圖像領域也有很多應用，并且取得了很大的成功。Lore[27]等最早運用深度學習的方法實現(xiàn)了低光照圖像增強，即LLNet。他們提出了一種基于深度自編碼器的方法，從低照度圖像中識別信號特征，并在高動態(tài)范圍的圖像中自適應地亮化圖像而不過度放大/飽和較輕的部分，證明了堆疊稀疏去噪自動編碼器的一個變體可以從合成的黑暗和添加噪聲的訓練示例中學習，以自適應地增強從自然低光環(huán)境和硬件降級的圖像，并且在真實拍攝到的低光照圖像上進行實驗，證明了用合成數(shù)據(jù)訓練模型的有效性。Liang[28]等提出了一種基于卷積神經網絡和Retinex理論的低光照圖像增強算法，首先該團隊證明了MSR相當于具有不同高斯卷積核的前饋卷積神經網絡，仿照MSR提出MSR-net直接學習暗圖像和亮圖像之間的端到端映射，相比較于傳統(tǒng)方法，在這個模型中絕大部分參數(shù)都是通過反向優(yōu)化的，這也是相比較于其他方法的優(yōu)勢。Cai[29]等提出一種用卷積神經網絡(CNN)來訓練單幅圖像對比度增強的方法，與現(xiàn)有的方法相比能夠更好地揭示圖像的細節(jié)，具有明顯的優(yōu)勢。Chen[30]等在Retinex的模型上提出了Retinex-Net，包括用于分解的Decom-Net和用于照明調整的Enhance-Net，其中Decom-Net對圖像進行解耦，拆分得到光照圖和反射圖；Enhance-Net對拆分得到的光照圖進行增強，將反射圖與增強后的光照圖相乘得到增強后的圖像。Chen[31]等運用了一個基于全卷積網絡FCN的網絡結構，專注于極端條件下的圖像成像技術，通過端對端的訓練，用卷積神經網絡去完成Raw圖像到RGB圖像的處理，效果十分驚艷。Jiang[32]等提出一種高效的無監(jiān)督生成對抗網絡EnlightenGAN，是第一個將unpaired training應用到低光照圖像增強中，避免了對paired data的依賴，并且能夠分別處理全局信息和局部信息，通過實驗證明了EnlightenGAN在該環(huán)境下的處理效果的有效性。Guo[33]提出一種新的方法——零參考深度曲線估計(Zero-DCE)，該方法將光增強作為具有深度網絡的圖像特定曲線估計任務，并訓練了一個輕量級的深度網絡DCE-Net，用于估計像素級、高階曲線及動態(tài)范圍調整給定圖像。Zero-DCE在其對參考圖像的寬松假設中具有吸引力，即在訓練過程中不需要任何配對或非配對的數(shù)據(jù)。該算法雖然簡單，但卻十分高效，可以很好地推廣到不同情況下的光照條件。

2 低照度圖像增強算法的對比和分析

根據(jù)圖2所示各類算法的增強效果可以看出，基于深度學習的低照度圖像增強算法在亮度和對比度提升方面有明顯效果。但是低照度圖像的增強不僅包括人眼視覺感受的評價，還有很多客觀的方法驗證圖像的增強效果，其中圖像對比度(Image Contrast)、信息熵(Information Entropy)[34]等指標的衡量方法比較普遍。

圖2 各類算法的增強效果對比

圖像對比度計算公式如下：

(6)

其中，Ii，j為中心像素點的灰度值，N為圖像局部塊內像素點的個數(shù)，為了計算一幅完整圖像的對比度，需要對圖像內所有部分塊對比度總體的平均值來表示。

圖像的信息熵計算公式如下：

(7)

式中：p(k)為灰度級k的概率密度，M為最大的灰度級。

通過表1比較各類算法的客觀效果，以及表2比較各類算法的優(yōu)勢對比，對以上算法進行分析研究?；叶茸儞Q和直方圖均衡化屬于全局圖像處理方法，該方法適用性較強，算法簡單，但是因為全局增強算法并不考慮原始圖像中的亮度分布，所以在全局增強亮度的同時不能兼顧到細節(jié)的保留，并且不能保證全局所有區(qū)域都能得到加強，會降低圖像的質量。Retinex算法分為SSR、MSR和MSRCR，三者相比SSR會極大地受到高斯核的影響，過大過小的高斯核會導致低照度圖像增強不足或曝光過度，MSR通過多個高斯核彌補這一缺點，但是還會在高亮度區(qū)域產生光暈現(xiàn)象，因此Jobson等提出了帶色彩恢復的MSR算法，同時因為該算法增加了顏色校正算法，所以相比于原來的SSR和MSR算法沒有明顯的顏色失真現(xiàn)象，很好地抑制了噪聲，增強效果較明顯。而基于HSV顏色空間的自適應多尺度Retinex算法能在保留原圖像色調一致的前提下，增強圖像的亮度和飽和度?；谌レF處理的低照度增強算法效果也比較明顯，但是在大氣光相似的區(qū)域，不符合算法處理的條件，會造成顏色的失真?；谏疃葘W習的低照度圖像增強算法通過復雜的神經網絡，在增強圖像亮度的同時，保留了圖像的細節(jié)部分，在視覺質量以及客觀評價方面都取得了很好的效果。

表1 不同算法得到的圖像質量的客觀評價

表2 各類算法的優(yōu)缺點對比

隨著各種低照度圖像增強算法的不斷改進，現(xiàn)有算法已經能夠很好地提高圖像的亮度以及對比度。但是仍有不少問題亟待解決：

(1)如何準確地從圖片中估計出光照成分；

(2)如何降低增強后圖像的噪聲和圖像顏色失真；

(3)如何實現(xiàn)極端條件以及光照度極低的環(huán)境下的低照度圖像增強。

面對上述瓶頸，相較于其他算法，深度學習的方法能避免或者有效降低其帶來的缺陷。通過構建復雜的神經網絡，進行相應的訓練，深度學習的方法能取得更好的精度，并且深度學習的網絡靈活多變，在改善訓練時間的前提下，是最有效的低照度圖像增強算法。隨著算法的不斷改進以及計算機硬件性能的不斷提高，基于深度學習的低照度圖像算法在未來一定有更好的前景。

3 結束語

現(xiàn)代社會發(fā)展對于低照度環(huán)境下的信息獲取要求越來越多，如夜間視頻攝像的信息傳輸、水下救援與海洋生物的探測、根據(jù)醫(yī)學影像對病人的診斷與治療、公安對現(xiàn)場的勘探偵查等都離不開圖像的增強技術，因此低照度圖像增強依舊是數(shù)字圖像處理領域的主流方向之一。本文介紹的四類算法對低照度圖像都有比較明顯的加強效果，但是客觀質量評價和人眼視覺感受程度還沒有達到最優(yōu)。隨著新算法的不斷涌現(xiàn)，以及研究者們對于上述算法的不斷改進，相信之后在低照度圖像增強的效果上能達到視覺效果、對比度、信息熵的多點平衡，為該技術在更多的領域獲得應用創(chuàng)造前提。