文/張榮祥 鄧志輝

隨著視頻監(jiān)控的普及和人們安防意識的提高，人們對安防視頻監(jiān)控圖像質量的要求也日益精益求精。低照度環(huán)境是安防視頻監(jiān)控系統(tǒng)一個重要的應用場合。由于環(huán)境光照的變化，低照度環(huán)境下圖像質量會明顯變差；主要表現在，為了獲得合適的圖像亮度，必須提高增益，從而導致噪聲劇烈增大，信噪比降低，甚至淹沒圖像中物體的紋理細節(jié)。為了能使安防視頻監(jiān)控技術在夜晚和低照度環(huán)境下，確實發(fā)揮有效的防范監(jiān)控和報警作用，比如車牌識別、入侵檢測等，實時視頻圖像噪聲抑制和細節(jié)恢復就成為了關鍵所在。

安防視頻監(jiān)控系統(tǒng)中的噪聲模型

安防視頻監(jiān)控系統(tǒng)中，圖像傳感器是實現光電轉換獲取環(huán)境圖像的關鍵器件，也是引入噪聲的源頭。圖像傳感器按照采用的感光源器件的不同可以分為CCD和CMOS兩種。由于電荷轉移方式的不同，以及光電轉換方式的不同，導致了這兩種圖像傳感器的噪聲特性也略有不同，主要體現在CCD的噪聲比較細膩，不同顏色通道間串擾較少；而CMOS的噪聲比較嚴重，并帶有明顯的色塊，不同顏色通道間串擾較多，但是兩者的噪聲分布形態(tài)基本一致。

安防視頻監(jiān)控系統(tǒng)的噪聲可以分為器件電子噪聲和環(huán)境噪聲。其中環(huán)境噪聲是指安防視頻監(jiān)控的電路受到電源、地線、襯底等的隨機干擾，或者監(jiān)控場合環(huán)境溫度變化、時鐘抖動、電磁干擾等，通過外圍電路的耦合對圖像傳感器造成影響；而電子噪聲是器件固有的噪聲，一般包括：熱噪聲、散粒噪聲、閃爍噪聲、暗電流、量化噪聲等。這些噪聲經過攝像機中的模擬增益和數字增益放大后，就會影響視頻圖像的可觀性，降低信噪比，并且嚴重降低后續(xù)圖像處理的效果。

通常，噪聲圖像Y(i,j)可以采用如下模型表示：

其中，X(i,j)是無噪聲圖像，n(i,j)是高斯噪聲。根據γ值的不同，該噪聲模型可分為高斯白噪聲模型、椒鹽噪聲模型以及泊松噪聲模型。下文重點闡述高斯白噪聲模型下安防視頻監(jiān)控領域實時視頻降噪增強技術。

實時視頻圖像降噪增強技術

安防視頻監(jiān)控系統(tǒng)中，噪聲的存在會造成圖像看不清楚，編碼壓縮碼率大幅升高，壓縮后的圖像容易出現閃爍、蠕動和塊效應等瑕疵。引入降噪增強技術，可以帶來圖像干凈，可判別細節(jié)增加，碼率降低，呼吸效應減少等益處。

面向安防監(jiān)控攝像機的數字視頻圖像降噪增強方法的基本思路，是結合攝像機視頻流輸出幀的幀內信息和幀間信息，輔以適當的信號處理技術，抑制視頻流中的噪聲，恢復真實有用的圖像信息。

目前，主流的視頻圖像降噪增強技術大多基于圖像的兩個先驗知識而衍生出來：圖像自相似性（Self-Similarity）和稀疏性（Sparseness）。這是視頻圖像降噪增強技術領域最大的兩個分支，衍生出來的算法也很多，本文僅以圖像自相似特性為例，闡述安防監(jiān)控視頻圖像降噪增強技術中空域降噪和時域降噪增強的解決方案。

如圖1所示，圖像自相似性可以分為局部自相似性和非局部自相似性。局部自相似性是指某像素所在鄰域內會存在許多和該參考像素灰度級相似的像素；非局部自相似性是指圖像中會存在與參考圖像塊相似的局部圖像塊。

圖1：圖像自相似性示意圖

經典的雙邊濾波器(bilateral filter)就是一種基于圖像自相似先驗知識而發(fā)展起來的降噪方法；當前像素的降噪結果是該像素領域內所有像素值的加權平均值，其權重由空域權重和值域權重組成?？沼驒嘀氐拇笮》幢扔卩徲蛳袼刂廉斍跋袼氐目臻g距離；值域權重的大小正比于鄰域像素和當前像素的相似程度。

雙邊濾波器具有形式簡單、易于理解，參數少、方便控制，適合硬件實現等特點；最重要的是，雙邊濾波器剔除或減小了不相似像素參與加權平均的權重，從而減少了邊緣平滑的風險，較好地保持了圖像邊緣和細節(jié)紋理。

也正因為雙邊濾波器的這些優(yōu)點，眾多ASIC廠家通常采用類似于雙邊濾波器的原理設計降噪模塊，比如TI公司的Bayer域空域降噪模塊，Ambarella公司設計的CFA Noise Filtering模塊和YUV域的Spatial Noise Filtering大都采用了類似的設計原則。

然而，雙邊濾波器也存在缺點，如圖2所示，噪聲較大或者參數控制不合理時，像素間自相似性的判斷誤差會急劇變大，從而導致降噪能力嚴重下降，甚至損失圖像邊緣和細節(jié)紋理。實際使用中，需要根據視頻監(jiān)控場合以及環(huán)境光照情況適當調整相關控制參數。一般來說，在銀行柜臺、智能交通車牌分析等應用場合應盡量避免邊緣過度平滑，保留較多細節(jié)。

圖2：雙邊濾波器降噪效果示意圖

上述主要闡述了圖像自相似先驗知識在空域降噪中的應用，其實圖像自相似特性不僅存在于圖像幀內，也存在于視頻幀間。

時域降噪增強技術中，基于運動補償的時域降噪方法就是圖像自相似特性的最好應用。25fps幀率的實時視頻監(jiān)控系統(tǒng)，意味著輸出的一幀一幀視頻圖像相對于人眼來說，是連續(xù)的。即使是運動的物體，在兩個相鄰視頻幀之間也不會有太大的位移，至少還在視場范圍內。換句話說，視頻流中相鄰兩幀具有自相似特性。

不過，和空域雙邊濾波以像素點為自相似判斷元素不同的是，時域基于運動補償的自相似判斷元素為圖像塊。首先當前幀圖像塊和上一幀若干圖像塊計算相似度，找出最相似的圖像塊，根據最相似圖像塊的相似程度確定加權平均的權重，實現對當前幀圖像塊或像素進行平滑處理，抑制噪聲。然而，運動補償的方法需要遍歷或局部遍歷大量的圖像塊，所以，計算量特別大，不利于實時實現，尤其是運動估計部分運算復雜；且降噪效果受到運動估計精度的影響。Ambarella公司的A5s平臺將編碼模塊估計的運動信息用于運動補償的時域降噪中，帶來了一定的效果；然而，仍然無法克服編碼塊效應帶來的運動估計精度下降問題。

基于運動判決的時域降噪增強方法是一種折中的替代方案。該方案只會將當前幀圖像塊和上一幀相同位置的圖像塊做相似度計算，從而可以大大減少運算量。不過，當圖像塊中的物體運動時，基于運動判決的時域降噪方法就無法找到最相似的圖像塊，降噪效果就會大打折扣；另外，如果上一幀圖像塊賦予的權重過大，還會導致拖尾的瑕疵。在實際使用中，需要根據sensor的噪聲特性以及應用場合合理調配時域降噪增強的相關參數，以達到閃爍噪聲抑制和最少降噪瑕疵的權衡。

空域降噪增強以是否存在紋理為區(qū)分，紋理區(qū)域和平坦區(qū)域分別采用不同策略的噪聲抑制方法；而時域降噪增強則以是否運動為區(qū)分，運動區(qū)域噪聲抑制少些，靜止區(qū)域噪聲抑制多些。前者側重于圖像幀內降噪增強，而后者側重于視頻流幀間降噪增強。為了得到最好的視頻圖像降噪增強效果，一般會將空域降噪和時域降噪混合使用，稱為時空域降噪增強。

雖然時空域降噪增強技術是由空域降噪和時域降噪結合而來，但是他們組合或融合的方案有很多，不同的結合方案都有不同的噪聲抑制效果。比如，獨立的時域降噪后面接獨立的空域降噪，可以有效處理運動區(qū)域噪聲抑制問題，獨立的空域降噪后面接獨立的時域降噪，可以使得運動和靜止區(qū)域判決的更準確等等。

無論是空域降噪增強還是時域降噪增強，都假設了噪聲水平已知，然而這在實際使用中是無法知道的。?？低暪捐b于不同的時域降噪和空域降噪結合方式可以帶來不同的視頻圖像降噪增強效果，設計了一種級聯濾波器以及噪聲強度傳遞的計算方法。通過對前一級濾波器降噪能力的估計，計算出后一級濾波器的降噪強度，從而可以針對不同的輸入圖像實現后一級濾波器降噪強度的自適應調整，從而均衡級聯的各級濾波器的降噪強度以獲得更好的整體降噪效果。如圖3所示。降噪增強前后對圖像細節(jié)處理突出如圖4所示。

圖3：時域降噪效果示意圖

圖4：海康威視時空域降噪效果示意圖

視頻監(jiān)控領域視頻圖像降噪增強的挑戰(zhàn)

噪聲是導致圖像質量下降的重要原因。對于面向全天候使用的視頻監(jiān)控產品而言，抑制噪聲的同時保持圖像細節(jié)，降低編碼碼率，減小呼吸效應，改善圖像質量，是其可以帶來的好處，也是一個關鍵的挑戰(zhàn)。

安防視頻監(jiān)控領域中，要設計出優(yōu)秀的視頻圖像降噪增強技術方案，必須充分綜合分析圖像傳感器的物理特點和自然場景圖像的內在特性，在改善硬件電路設計性能的同時，依據人眼視覺觀察特征設計數字圖像處理算法，在有效抑制視頻圖像噪聲的同時，盡量保持圖像的細節(jié)紋理特征，使得視頻圖像效果更加清晰通透，給用戶帶來煥然一新的體驗；并且為后續(xù)編碼壓縮、網絡傳輸、數據存儲、顯示視頻處理以及智能分析等提供有力支持。