方宏俊 ，宋 利 ，解 蓉

（1.美芯盟電子科技（上海）有限公司，上海 200233；2.上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)傳輸研究所，上海 200240；3.未來媒體網(wǎng)絡(luò)協(xié)同創(chuàng)新中心，上海 200240）

目前，在數(shù)字電視的視頻圖像后處理中，噪聲會對視頻圖像的畫質(zhì)造成顯著的負(fù)面影響。因此，對于包含噪聲的視頻圖像，需要設(shè)計出一種可以用于電視機(jī)的準(zhǔn)確可靠的噪聲檢測方法，用以判定該視頻圖像中高斯白噪聲的水平。在當(dāng)前市面上的高端數(shù)字電視接收機(jī)系統(tǒng)中，許多數(shù)字圖像后處理的算法模塊（例如降噪模塊、運動估計模塊、圖像超分辨率模塊等）都依賴于一個準(zhǔn)確并且可靠的噪聲水平指標(biāo)來進(jìn)行相關(guān)處理。一旦視頻圖像的噪聲水平被噪聲檢測模塊準(zhǔn)確得到之后，其他相應(yīng)的圖像后處理模塊就可以依據(jù)該視頻圖像中的噪聲水平對畫質(zhì)進(jìn)行相應(yīng)的提升[1]。

視頻圖像的噪聲檢測通常包含兩種主流方法，一種是基于圖像內(nèi)部的噪聲檢測，也就是空間域的噪聲估計方法，另一種是基于兩幀或連續(xù)的多幀視頻圖像畫面進(jìn)行噪聲檢測，也就是時域上的噪聲估計方法。時域噪聲估計的方法在電視系統(tǒng)中的應(yīng)用需要占用更多的物理內(nèi)存以及消耗更多的運算量。對于實時性要求很高的應(yīng)用場合，時域噪聲估計的方法需要特別注意圖像的全局運動量以及電影下拉碼流的準(zhǔn)確相位信息等。空間域噪聲估計的方法可以被定義為兩類，一類是基于平滑的空間域噪聲估計方法，另一類是基于宏塊的噪聲估計方法。在基于平滑的噪聲估計方法中，首先對畫面做一次平滑處理（例如使用均值濾波器的方法），假使原始的有噪聲的圖像和做過平滑濾波的圖像之間的差值被認(rèn)為是噪聲備選因子，然后把這些篩選出的噪聲因子與一個給定的閾值做比較，小于這個閾值的像素被認(rèn)為是噪聲。在基于宏塊的噪聲估計方法中，一個常見的空間域噪聲估計的方法是計算一組圖像宏塊的方差（類似于圖像的同質(zhì)化測量），并且取其中的最小宏塊方差的均值作為整幅圖像噪聲方差的估計結(jié)果[2]。但是這種空間域基于方差的測量方法往往會對低噪聲的圖像產(chǎn)生過高的估計，或者對于高噪聲的圖像和高紋理的圖像給出過低的噪聲檢測結(jié)果。因此，這種通過方差來檢測的方法更多地被用來檢測同質(zhì)化的宏塊。

文獻(xiàn)[3]給出了一種基于空間域的動態(tài)噪聲檢測的方法，通過計算整幅畫面的均值和方差，并且將其結(jié)果通過直方圖統(tǒng)計的方式表現(xiàn)出來，從而根據(jù)直方圖分布特性定義出噪聲的水平。在文獻(xiàn)[4]中，重點闡述了一種空間域檢測和時域檢測組合的三維噪聲濾波器的方法，它可以被電視接收機(jī)用來提升其噪聲估計電路的效率。最近，還有一種新型的基于雙邊濾波器的方法被提出[5]，其主要包含了特征值保護(hù)的雙邊濾波器，以及物體的邊沿檢測兩塊主要的算法。在較寬的噪聲范圍條件下，這種方法可以展示出較好的魯棒性。

對于噪聲檢測方法的評價指標(biāo)[2]，通常來說，噪聲檢測的方法對于高噪聲的圖像和一些紋理較多的圖像都比較困難。一些方法中使用設(shè)定的閾值來決定當(dāng)前點的差異是否是圖像中某個固定位置的邊沿。然而，在實時性要求較高的系統(tǒng)設(shè)計中，同時兼顧效率和精確度的情況下，目前還沒有找到一個好的方法來分辨各種噪聲水平和圖像細(xì)節(jié)。

本文介紹了一種用于電視機(jī)中的基于空間域和時域檢測相組合的噪聲檢測新方法，該方法在平坦的或運動紋理較多的區(qū)域都能給出可靠的噪聲估計結(jié)果。

經(jīng)過仿真驗證，對于典型的圖像質(zhì)量而言（信噪比在20～50 dB范圍之間），該新算法在電視機(jī)系統(tǒng)中表現(xiàn)出較好的穩(wěn)定性和實用性。

1 視頻噪聲檢測算法設(shè)計

本節(jié)介紹了一種用于電視機(jī)的基于空間域和時域檢測相組合的噪聲檢測優(yōu)化算法設(shè)計。該方法通過兩種圖像結(jié)構(gòu)的分析器來提取出一幅畫面中亮度同質(zhì)的區(qū)域來進(jìn)行檢測。這兩種分析器為：紋理分析器，基于邊沿檢測的方法來提取圖像中紋理區(qū)域；同質(zhì)分析器，通過對圖像中噪聲和細(xì)節(jié)的差別給出相應(yīng)的權(quán)重來找出同質(zhì)的部分。噪聲檢測算法框圖如圖1所示。

圖1 視頻噪聲檢測算法架構(gòu)圖

1.1 空間域噪聲檢測器

本算法中對于空間域噪聲檢測的方法選用了一種常用的方法，即通過一組帶通濾波器來計算整個圖像中宏塊的方差。選取宏塊的尺寸為8×8像素塊，并且滑動過每一個像素點。在選取最小的宏塊方差被認(rèn)為是整幅圖像的噪聲結(jié)果時，本方法選用中值濾波的方法，而不是均值濾波的方法。其目的是如果一個濾波結(jié)果相比于其他結(jié)果超出了設(shè)定的范圍，那么這個值不會對最終的噪聲檢測造成負(fù)面影響。在數(shù)字電視圖像后處理中，往往存在被前端播放器或信號源預(yù)先放大處理過的偽高清信號（up_scaled SD signal），因此，為了區(qū)分真實的高清信號和已經(jīng)被放大成高清信號的偽高清信號，空間域噪聲檢測模塊需要預(yù)先對圖像清晰度進(jìn)行檢測[6]，從而決定空間域噪聲檢測器的工作模式。

1.2 時域噪聲檢測器

對于實時性要求很高的視頻流時域噪聲檢測器，需要在連續(xù)的圖像中檢測出時域上的差異。同時，對于電影等片源，為了精確輸入圖像之間的檢測差異，電影下拉格式的檢測需要先于時域噪聲檢測模塊完成。與空間域噪聲檢測器類似的是，時域噪聲檢測器也是基于8×8像素的宏塊對時域（幀或場之間）的噪聲方差進(jìn)行平均處理。

1.3 對數(shù)化轉(zhuǎn)換

本文所述的噪聲檢測方法中，測得的噪聲等級使用對數(shù)化坐標(biāo)，而不采用線性坐標(biāo)。該方法與其他常見的噪聲等級檢測的表述方法[5]不同。其優(yōu)點是采用對數(shù)化坐標(biāo)的噪聲分布直方圖形狀，相對于不同的噪聲水平保持一致，如圖2所示。圖2a是噪聲信噪比SNR分別為45 dB和20 dB的線性坐標(biāo)分布，圖中高階噪聲等級（20 dB）的直方圖分布形狀不如低階噪聲等級（45 dB）緊湊。而在圖2b中，對同樣兩組噪聲使用對數(shù)坐標(biāo)分布，圖中這兩組噪聲的直方圖分布形狀是一樣緊湊的。

圖2 噪聲用對數(shù)化尺度表示的作用（截圖）

1.4 同質(zhì)化分析

同質(zhì)化分析是提取圖像中的價值權(quán)重部分進(jìn)行分析計算。價值權(quán)重模塊計算的是一個非線性的權(quán)重，其降低了噪聲檢測結(jié)果中較高的值，即

式中：p是功率因子，它定義的是權(quán)重函數(shù)的曲度；s是速度因子，它定義的是權(quán)重函數(shù)到達(dá)其最小值的速度。x的定義為

式中：vwoffset指的是價值權(quán)重，它定義了噪聲分布直方圖中價值權(quán)重開始下降的位置。如圖3所示，在估計的噪聲結(jié)果上，“價值權(quán)重”的作用是減少了由于圖像細(xì)節(jié)而產(chǎn)生的錯誤高噪聲結(jié)果的影響。

圖3a中，一幅運動圖像中人為加入了55 dB的噪聲。

圖3b中，給出了檢測到的同質(zhì)化區(qū)域（用深色表示），它是空間域、時域復(fù)合模式噪聲檢測的結(jié)果。圖中白色區(qū)域為噪聲檢測結(jié)果認(rèn)為高噪聲的區(qū)域，黑色區(qū)域為噪聲較少的區(qū)域。在這幅圖中，運動的細(xì)節(jié)區(qū)域，例如樹枝和垂直的大樓建筑物等結(jié)構(gòu)都在噪聲譜線上產(chǎn)生了很高的響應(yīng)（圖中亮區(qū)域）。而實際測量中，理想狀況下應(yīng)該測量沒有過多細(xì)節(jié)的平坦圖像區(qū)域，例如圖中的天空等。

圖3c中，其中直方圖上的點表示的是計算出的噪聲響應(yīng)分布。直方圖上左側(cè)的尖峰指示的是實際的噪聲，而右邊的尖峰是由于運動細(xì)節(jié)導(dǎo)致的。價值權(quán)重在圖中的左半邊有一個很大的值，并且往右半邊是逐漸下降的。其目的是基于這個曲線來減小右半邊由圖像運動細(xì)節(jié)導(dǎo)致的噪聲結(jié)果過高的影響。在最終的噪聲估計上，由價值權(quán)重的偏置量來指示價值權(quán)重從哪個位置開始下降。如果不引入“價值權(quán)重”的變量，那么噪聲估計的結(jié)果可能會很接近直方圖最右側(cè)的峰值。

圖3 同質(zhì)化分析舉例示意圖

1.5 紋理分析

相比于一些面向結(jié)構(gòu)的噪聲估計方法[1]，在圖像紋理細(xì)節(jié)區(qū)域的噪聲相對較難進(jìn)行檢測。很強(qiáng)的邊沿或者細(xì)節(jié)會導(dǎo)致在純空間域噪聲檢測中的錯誤高響應(yīng)（如圖4所示），并且如果沒有采取特別的測量手段，則會因此導(dǎo)致過高的噪聲估計水平。同樣的，在時域噪聲檢測中，很強(qiáng)的運動細(xì)節(jié)也會導(dǎo)致錯誤的高響應(yīng)，產(chǎn)生錯誤的過高估計噪聲水平的作用。圖4a是輸入的動態(tài)變化的多波群圖像，圖4b為對數(shù)化的噪聲計算結(jié)果。只有在對數(shù)化噪聲頻譜的水平中間部分才代表的是噪聲區(qū)域。左邊和右邊的亮區(qū)域均是由于多波群圖片的強(qiáng)垂直邊沿結(jié)構(gòu)導(dǎo)致的。

為了避免這類噪聲過高估計的情形發(fā)生，采用“紋理權(quán)重”來緩解強(qiáng)邊沿或者細(xì)節(jié)的影響，在噪聲估計上是壓制了圖像細(xì)節(jié)對估計結(jié)果的影響。

紋理權(quán)重分析模塊首先計算出一個初始的紋理權(quán)重值wt_initial，它是基于4組空間域濾波器的輸出結(jié)果運算得出的，公式表達(dá)如下

圖4 強(qiáng)垂直邊沿在空間域噪聲檢測上產(chǎn)生的響應(yīng)頻譜

式中：wt_max是一個常數(shù)，sf1，…，sf4是濾波器組的輸出。

一個信號紋理權(quán)重（wt_initial）的初始值，在其結(jié)果上采用一個2×3的最小濾波器，計算出一個最終的紋理權(quán)重wt。其僅僅使用當(dāng)前宏塊的正上方和正左方的宏塊，加以2×3的最小濾波器去腐蝕初始紋理權(quán)重值，其目的是對于很強(qiáng)的垂直邊沿之類的紋理區(qū)域限制其在最終的噪聲檢測過程中的貢獻(xiàn)，如圖5所示。

圖5 紋理權(quán)重用以減輕強(qiáng)垂直邊沿的影響

1.6 噪聲計算

最后計算得出的結(jié)果信噪比SNR是由式（4）計算得到的結(jié)果經(jīng)過對數(shù)轉(zhuǎn)換和權(quán)重平均得出的。這個權(quán)重平均強(qiáng)調(diào)的是那些具有更低噪聲宏塊的貢獻(xiàn)度，所謂的更低噪聲指的是當(dāng)圖像中同時包含高噪聲和低噪聲的區(qū)域時，更看重低噪聲區(qū)域的貢獻(xiàn)度。實驗結(jié)論也顯示低噪聲區(qū)域往往更接近于實際的噪聲水平，而高噪聲區(qū)域往往受到運動細(xì)節(jié)結(jié)構(gòu)因素的干擾。式（4）中的噪聲分子（noise_num）和噪聲分母（noise_denom）在算法框圖中的位置如圖1所示。

其中

而且，權(quán)重值w是由價值權(quán)重wv和紋理權(quán)重wt按照式（7）計算得出

式中：wmin是一個常數(shù)，它定義了最小權(quán)重下限。

有效宏塊的總數(shù)是由硬件模塊計算得出，標(biāo)記為valid_total，這個數(shù)值在“空間域時域復(fù)合模式”中軟件模塊將其作為“非靜止宏塊”的尺寸，而當(dāng)噪聲測量模式選擇“純時域”模式時，該數(shù)值將作為“靜止宏塊”的尺寸still_size。為此，軟件模塊還進(jìn)一步計算出靜止比率Rstillness來反映靜止區(qū)域的大小still_size和非靜止區(qū)域的大小nonStill_size的關(guān)系，具體公式如下

式中：函數(shù)Fstillness是由一個中值濾波和一個時域濾波器來得到，其作用是提高結(jié)果的穩(wěn)定性。

最終的信噪比水平SNRfinal是在SNRSP和SNRS＆T中進(jìn)行一個軟判決，其判決方法是根據(jù)靜止比率Rstillness來分配，如式（9）所示

盡管已經(jīng)考慮了如“價值權(quán)重”、“紋理權(quán)重”等很多方面，以及采用了空間域和時域相結(jié)合的測量方法，然而仍然還存在一些情況下計算出的噪聲結(jié)果與實際的噪聲水平有些偏差。尤其是在一些具有大面積細(xì)節(jié)內(nèi)容的運動場景中。因此，在測量算法中計算出一個可信度指標(biāo)來表征當(dāng)前噪聲結(jié)果的可靠程度，例如運用于這種大面積細(xì)節(jié)的運動場景時，其可靠程度值就會下降。

可信度指標(biāo)是根據(jù)紋理權(quán)重的平均紋理宏塊總數(shù)txtW_total，計算出一個初始的可信度Conf值，公式如下

對于純時域測量模式的可信度結(jié)果用ConfSP來標(biāo)記，同樣，對于時域空間域復(fù)合模式的測量可信度用ConfS＆T來標(biāo)記。最終的可信度測量結(jié)果ConfS＆T是通過取這兩者的最大值來得到，然后對其使用一個中值濾波Fconf來增強(qiáng)其穩(wěn)定性，如

2 實驗結(jié)果與分析

在如圖4所示的動態(tài)多波群視頻碼流中人為添加20～55 dB不同等級的噪聲，軟件仿真結(jié)果和硬件實測結(jié)果的數(shù)據(jù)對比如表1所示。

表1 噪聲檢測實驗數(shù)據(jù)

真實噪聲水平、硬件和軟件仿真三者的對比結(jié)果如圖6所示，該噪聲檢測算法的實際測量結(jié)果與真實的噪聲水平在20～50 dB區(qū)間內(nèi)完全吻合。

圖6 噪聲檢測實驗結(jié)果對比

3 總結(jié)

本文介紹了一種基于時域和空間域的噪聲檢測算法，在算法的仿真設(shè)計過程和實際電視芯片應(yīng)用中，根據(jù)各種場景的特質(zhì)做了大量的動態(tài)參數(shù)設(shè)計優(yōu)化?；诩y理分析器和同質(zhì)分析器的運算，在平坦的或者運動的紋理較多的區(qū)域都能給出一個可靠的噪聲估計結(jié)果。從實際噪聲檢測的效果來看，相比較于僅通過時域檢測或僅通過空間域檢測的算法[7-8]，這種方法具備更高的可靠性、準(zhǔn)確度和實時性。

在芯片硬件設(shè)計實現(xiàn)中，通過采用軟件動態(tài)切換時域和空間域的工作模式，以及采用硬件實時提供運算結(jié)果的方法保證了在電視系統(tǒng)中進(jìn)行噪聲檢測的可實現(xiàn)性和易使用性，為數(shù)字電視圖像后處理模塊，尤其是數(shù)字降噪模塊，提供了及時準(zhǔn)確的參考依據(jù)。

[1] AMER A，DUBOIS E.Fast and reliable structure-oriented video noise estimation[J].IEEE Trans.Circuits and Systems for Video Technology，2005，15（1）：113-118.

[2] OLSEN S I.Estimation of noise in images:an evaluation[J].CVGIP：Graphical Model and Image Processing，1993，55（4）：319-323.

[3]BIDARTE U，EZQUERRA J A，ZULOAGA A，et al.VHDL modeling of an adaptive architecture for real-time image enhancement[C]//Proc.VHDL International Users Forum(VIUF).Orlando，F(xiàn)L，USA：IEEE Press，1999：94-100.

[4]HAAN G，OJO O A，KWAAITAAL-SPASSOVA T G.Automatic 2D and 3D noise filtering for high-quality television receivers[EB/OL].[2015-02-10].http://xueshu.baidu.com/s?ie=utf-8＆tn=SE_bai duxueshu_c1gjeupa＆wd=paperuri%3A%28c4f9c6500410d01b5b9 262ef70528ad7%29＆filter=sc_long_sign＆sc_ks_para=q%3DAuto matic%202-D%20and%203-D%20noise%20filtering%20for%20hi gh-quality%20television%20receivers.

[5] LIU C，F(xiàn)REEMAN W T，szeliski R，et al.Noise estimation from a single image[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2006.[S.l.]：IEEE Press：901-908.

[6] 趙杰，裴建英，門國尊．一種改進(jìn)的圖像去噪與增強(qiáng)模型[J].電視技術(shù)，2013，37（23）：31-34．

[7] 章郡鋒，吳曉紅，黃曉強(qiáng)，等．基于暗原色先驗去霧的改進(jìn)算法[J]．電視技術(shù)，2013，37（23）：192-195.