張棋+吳亞娟

摘要：隨著社會的飛速發(fā)展，采集保存視頻/圖像已經(jīng)成為人類日常生活的一部分。視頻圖像的質量高低，對人類識別圖像對象起著非常重要的作用。為了改善圖像的視覺效果，有目的地強調圖像的某些特征，增加圖像的可讀性與可識別性，提出采取融合增強術來提高視頻圖像的對比度與清晰度，提高圖像增強質量。

關鍵詞：圖像增強；空間域增強；頻率域增強；自增強

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）19-4556-02

Research on Video Image Enhancement Technology

ZHANG Qi， WU Ya-juan

（Computer School of China West Normal University， Nanchong 637009， China）

Abstract：With the rapid development of society，capturing and saving the videos/images has become a part of humans daily life. The quality of the videos/images has played a very important role during humans recognition of the image object. To improve the visual appearance of the video， emphasize on some characteristics of the image purposefully and increase the readability and the identifiably of the image， we have taken a series of mathematical methods and transformed technologies so as to improve the contrast， and the resolution of the videos/images and improve its quality.

Key words： image enhancement； spatial-based domain enhancement； frequency-based domain enhancement； self-enhancement

隨著現(xiàn)代社會的飛速發(fā)展，各種各樣的數(shù)碼產(chǎn)品如照相機、攝影機等圖像/視頻采集工具在人類日常生活工作中占據(jù)了越來越重要的地位，并且在視頻監(jiān)控、交通檢測、衛(wèi)星監(jiān)控等方面也起著舉足輕重的作用。眾所周知，視頻圖像的質量高低，在一定程度上依賴于硬件設備的好壞，使用通用的視頻設備所采集的圖像大多數(shù)時候清晰度是遠遠不夠的，另外，天氣因素也會對采集的圖像產(chǎn)生影響?；谶@些原因，視頻（圖像）增強技術具有很強的實用價值。

視頻增強是輸入低質量視頻（圖像），經(jīng)過一系列數(shù)學方法和變換技術以提高視頻（圖像）的對比度與清晰度，改善視頻（圖像）質量，并產(chǎn)生高質量視頻（圖像）輸出的過程。增強圖像的目的是改善圖像的視覺效果，針對給定圖像的應用場合，有目的地強調圖像的整體或局部的某些特性，將原本模糊不清晰的圖像變得清晰，或者強調某些感興趣的特征，將圖像中不同對象之間的特征差異明顯化，抑制不感興趣的特征，從而改善圖像質量的同時豐富圖像信息，加強圖像的可讀取性與可識別性，以滿足不同分析的不同需要。

1 圖像增強所面臨的問題

圖像增強方法是通過一定手段對原圖像附加一些信息或者變換數(shù)據(jù)，有選擇性的突出圖像中感興趣的特征或者抑制圖像中不感興趣的特征，以使圖像與視覺響應特性相匹配。在圖像增強的過程中，并不對圖像降質的原因進行分析，而直接對對象進行處理，處理后的圖像不一定逼近原始圖像。因此，盡管圖像增強已經(jīng)應用于多個領域，在低質量圖像上實施增強方法仍然著面臨一系列問題。

1） 由于原始圖像的低對比度，一般情況下，我們無法從暗背景中清晰地提取到移動對象。同時，如果移動對象的色調與背景色調相似，則許多基于色調的方法將達不到預期的效果。

2） 基于相機傳感器對光線的高靈敏度（即高感光度），圖像的信噪比通常很低。使用高感光度相機傳感器可以在數(shù)碼照片中產(chǎn)生明顯的噪聲痕跡。

3） 承載視頻信號的信息是一個退化的目標版本信息或者代表三維連續(xù)空間的原始的視頻信號。這些退化信息是可以作為采集過程的結果，或者速率和格式轉換的過程信息處理。

4） 環(huán)境信息通常會影響人類對所發(fā)生事情的感知與理解方式。因此，在光線黯淡的情況下，由于缺乏背景環(huán)境，在夜間視頻中處理移動的樹，煙霧，雨，或者人們的動作等是很困難的。

5） 幀間的連貫性也必須被保持，即是說，移動對象區(qū)域作為連續(xù)圖像中的權重應被平穩(wěn)的改變。

6） 即使局部方差很小，低質量圖像中的某一像素也可能會變得很重要，例如在一輛正在移動的汽車的頭燈與尾燈之間的區(qū)域。

7） 使用品質低劣的視頻設備，或者采集圖像人員缺乏專業(yè)知識也會影響圖像質量。

2 圖像增強傳統(tǒng)方法

在圖像處理過程中，主要有兩類傳統(tǒng)的增強圖像技術：頻率域法和空間域法。空間域法引用圖像本身，這類圖像處理方法直接對圖像像素進行操作。頻率域處理技術基于修改通過轉換獲得的圖像的空間頻譜?；谶@兩類基礎方法的不同組合的圖像增強技術也經(jīng)常被使用，并且在兩種區(qū)域里使用同樣的增強技術也可得到一致的結果。圖像處理過程中，盡管提出了一些圖像增強的方法，但是迄今為止，并沒有一個關于圖像增強算法的統(tǒng)一的規(guī)范化的標準。目前可用的增強技術依然是基于存在的視頻圖像增強方法，即空間域法與頻率域法。endprint

1） 空域法

基于空間域的圖像增強技術直接對像素進行操作，對圖像的灰度進行處理。其主要優(yōu)點是概念簡單易于理解，并且可進行實時操作，同時其計算的時間復雜度較低。但是，另一方面，此類算法缺乏健壯性，無法提供一些細微的需求。

基于空間域的算法可分為點運算算法和鄰域去噪算法。點運算算法包括擴展對比度的灰度變換、直方圖變換等，其目的是擴大圖像動態(tài)范圍，使圖像成像均勻。鄰域增強算法可分為圖像噪聲消除的平滑法和增強邊緣的銳化法兩類。平滑法可以用于消除噪聲卻容易引起邊緣的模糊，常用算法有均值濾波、中值濾波等。銳化法主要突出物體邊緣輪廓，便于識別圖像目標，常用算法有梯度法、算子、統(tǒng)計差值法等?？臻g域法中具有代表性的算法有局部平均值法和中值濾波法，通常 用于去除或減弱噪聲。空間域法可定義如下：

[g（x，y）=T[f（x，y）]] （1）

其中，g（x，y）是處理后的圖像，f（x，y）是輸入的原始圖像，T是轉換函數(shù)，表示對輸入圖像f（x，y）所進行的操作。

2） 頻率域法

基于頻率域的算法通常是在圖像的某種變換域內對圖像的變換系數(shù)值進行某種操作，是一種間接增強的算法。頻率域法是應用多種變換技術如傅里葉變換，用數(shù)字濾波的方法修改圖像頻譜再進行反變換，從而得到增強圖像。

變換域視頻增強是一個用于描述關于數(shù)學函數(shù)的分析或者關于頻率信號的技術，并且其直接對圖像的變換系數(shù)進行操作，例如傅里葉變換，離散小波變換，離散余弦變換。變換域視頻增強的基本思想是對變換系數(shù)進行操作以達到視頻增強的目的。其主要優(yōu)點包括：計算復雜度較低；易于對圖像頻譜進行觀察與操作；對特殊轉換域屬性具有簡單適應性。當然，它也有一定的限制，不能很好的實時增強圖像的各個部分，難以將圖像增強進程自動化都是它的缺點。

3 基于融合的圖像增強

傳統(tǒng)的空間域和頻率域視頻增強方法僅增強需要增強的視頻本身。在采集圖像的過程中，一些原始的低質量圖像會丟失部分圖像信息，在這種情況下，我們并不能使丟失的圖像亮度增強。由此我們可對需要增強的圖像嵌入一些易獲得的高質量外部信息，彌補部分丟失的信息，從而產(chǎn)生一些優(yōu)質的視頻增強效果，以達到增強圖像的目的。

1） 幀間亮度融合：基于幀間融合的增強是在低質量視頻中融合不同時期視頻的亮度信息，這種方法主要是提取高質量背景信息并嵌入到低質量視頻中。如何融合高質量多背景信息到低質量視頻信息中，是不可忽視的問題，迄今已有許多方法被提出。

2） 場景融合：基于上下文的融合是指插入來自同一場景的高質量信息。例如，克服亮度區(qū)域以及模糊細節(jié)，增強低能見度視頻，通過融合多圖像信息增強圖像特征?；谏舷挛牡膱D像增強有許多方法，旨在檢測，識別，追蹤對象等，被多方應用如監(jiān)測、軍事方面的圖像視頻處理?；谌诤仙舷挛囊曨l增強的主要思想是提取并融合由定點照相機在不同亮度下采集的有意義的視頻序列信息。視頻增強算法是通過圖像融合自動合并同一場景在不同間隔時間內的圖像。原始低質量視頻中所有重要的信息與在同一視角的高質量背景圖像中的信息相結合。融合后的圖像包括對人類視覺效果和機器感覺更有用的綜合場景描述。主要算法包括Retinex理論，高斯混合模型，融合法等。

基于上下文的視頻增強算法提取并維持在增強圖像中背景圖像的有意義信息。圖像融合是現(xiàn)有或將有的監(jiān)測系統(tǒng)的不可分割的一部分。增強低質量視頻的過程存在許多普遍的問題：由于傳感器噪聲或者低亮度，獲得的低質量視頻存在大量噪聲；另外，高亮或者暗區(qū)域的場景信息也無法被觀察者清晰的觀察到。

一般情況下，我們可以使用通過記錄在連續(xù)圖像中場景或者攝像機的參數(shù)的改變將多個圖像信息結合為一個的分類方法。通過一個基于多分辨率融合的方法可結合感興趣區(qū)域，例如基于位移不變的離散小波變換、加權組合、優(yōu)化方法。但是這種方法依然有許多限制：在夜間視頻中，定義高亮度為感興趣區(qū)域是不合理的；基于運動的估計背景模型以及移動的目標分割需要在場景更替時設定不同的閥值；源圖像的一個對象部分清晰部分模糊時，模糊的部分被當做融合圖像不可或缺的片段?；谏舷挛牡脑鰪姺椒ㄍǔ２捎肦etinex理論分離反射圖像與亮度圖像，針對視頻增強的行為檢測則采用高斯混合模型，但是，使用高斯混合模型會產(chǎn)生圖像分割的問題。

依賴非線性增強的自適應完整鄰域方法，通過提高在光線極暗或者不均勻情況下采集的數(shù)字圖像的可視化質量。這種方法可以減少中間產(chǎn)物例如通過計算亮度的自適應動態(tài)范圍壓縮的混淆與重影以及關于中間色調頻率組件的增強。

4 分析與結論

圖像增強是發(fā)展至今，雖然取得了很多成果，但仍然存在很多問題，例如存在的估計的偽背景信息、色調移動、相機移動等問題

（下轉第4564頁）

（上接第4557頁）

對圖像增強的影響都是不可忽視的。融合圖像（或者幀信息）的關鍵問題之一是保證有更好的再現(xiàn)圖像以及色彩分配。某些時候，部分監(jiān)控設備也會因為亮度不足缺乏周圍背景環(huán)境而難以理解該低質量圖像，當然，目前也已經(jīng)出現(xiàn)許多處理這類問題的技術。

不論是采集圖像的硬件設備，采集圖像的時間間隔，采集圖像時的周圍環(huán)境亮度，抑或是天氣等都是會影響所采集圖像的質量，在采集過程中，有很多不可抗力因素是我們無法避免的，因此，圖像增強技術的存在為我們更好的清晰的識別所采集圖像是很有必要的。

如今，圖像增強技術已經(jīng)逐步融入人類社會生產(chǎn)生活的各個方面，如航空航天領域，生物醫(yī)學領域，工業(yè)生產(chǎn)領域，公共安全領域等。人類生活已經(jīng)與其息息相關，在未來將會得到更大的發(fā)展，更好地服務于人類社會。

參考文獻：

[1] Agaian S S， Blair S， Panetta K A. Transform coefficient histogram-based image enhancement algorithms using contrast entropy， IEEE Trans. Image Processing， 2007，16， （3）：741-758.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint

[2] Yunbo Rao， Leiting Chen. A Survey of Video Enhancement Techniques[J]. Journal of Information Hiding and Multimedia Signal Processing，20123（1）：71-99.

[3] Sen， D. Automatic Exact Histogram Specification for Contrast Enhancement and Visual System Based Quantitative Evaluation. [J]. IEEE Transactions on Image Processing， 2011，20（5）： 1211-1220.

[4] Liu P L， Jia K B， Research and Optimization of Low-Complexity Motion Estimation Method Basedon Visual Perception， Journal of Information Hiding and Multimedia Signal Processing， 2011，2（3）： 217-226.

[5] Li J， Tao Y， Quan P，et al， Combining scene model and fusion for night video enhancement，Journal of Electronics， 2009，26（1）：88-93.

[6] Bennett E P，McMillan L， Video enhancement using per-pixel virtual exposures， ACM Trans.Graphics， 2005，24（3）：845-852.

[7] Stark J A， Adaptive image contrast enhancement using generalizations of histogram equalization， IEEE Trans. Image Processing， 2000，9（5）：889-896.

[8] Lee C， Kim C S， Gradient domain tone mapping of high dynamic range videos， Proc. of IEEE International Conference on Image Processing， 2007（ 3）：461-464.

[9] Heo Y S， Lee K M， Lee S U， et al. Ghost-free high dynamic range imaging，Proc. of Asian Conference on Computer Visio， Lecture Notes in Computer Science， 2011： 486-500.endprint