李曉峰，張立軍，胡永春

(1.山東建筑大學 計算機科學與技術(shù)學院，山東 濟南 250101; 2.合肥工業(yè)大學 微電子設(shè)計研究所，安徽 合肥 230000)

近年來，隨著多媒體技術(shù)的不斷發(fā)展，視頻圖像的傳輸應用越來越廣泛，在視頻圖像的采集和傳輸過程中，由于溫度、光照、電信號等因素的影響，很容易在視頻圖像采集的過程中引入噪聲，這對圖像的顯示和欣賞效果造成了一定影響。因此，在視頻圖像的采集和傳輸過程中，對圖像進行一定的降噪處理是有必要的。為了降低圖像噪聲，可對編解碼系統(tǒng)中采集到的圖像進行預處理，將濾波預處理之后的圖像再存入編解碼系統(tǒng)中。由于圖像的實時性，對圖像預處理的處理速度提出了較高的要求，普通軟件處理速度達不到要求，而FPGA具有較快的處理速度，成為實時圖像處理的首選［1］。

本文基于面向H.264 視頻編解碼系統(tǒng)，在充分考慮系統(tǒng)實時性的基礎(chǔ)上，以FPGA 為核心的處理部件，設(shè)計了具有較高處理能力的中值濾波器對視頻圖像進行預處理，有效消除了圖像中的噪聲，避免了噪聲的逐級傳遞，達到了較高視頻圖像質(zhì)量和較好視覺效果的目的。

1 圖像預處理算法

1.1 BT656 和YUV420 格式轉(zhuǎn)換

本文設(shè)計的視頻圖像預處理系統(tǒng)，主要是基于面向H.264 視頻編解碼系統(tǒng)上的。如圖1 所示，是編解碼系統(tǒng)的部分架構(gòu)，包括了視頻圖像采集、A/D 轉(zhuǎn)換和預處理，SAA7113 芯片將攝像頭采集到的模擬信號轉(zhuǎn)化為BT656 格式的數(shù)字信號。

圖1 編解碼系統(tǒng)部分架構(gòu)

BT656 格式，即YCrCb422(YUV422)格式，YUV422 格式在每行像素中，亮度信號Y 數(shù)據(jù)和色度信號U、V 數(shù)據(jù)的比例都是2 ∶1［2－6］，為了節(jié)省數(shù)據(jù)量，本文中采用YUV420 的格式，因此需要將BT656 格式和YUV420 格式進行格式轉(zhuǎn)換。YUV420 格式的每行和每列，Y 數(shù)據(jù)和U、V 數(shù)據(jù)的比例都是2∶1，即4 個Y 值共用一個U 和V，這樣就在垂直方向數(shù)據(jù)量比YUV422 格式數(shù)據(jù)量減少了1/2。

本文采用的轉(zhuǎn)換方法是丟棄偶數(shù)行像素點的色度信號Cr和色度信號Cb，從而使得每兩行的4 個像素點公用一個色度信號Cr和一個色度信號Cb，使得存儲的視頻圖像數(shù)據(jù)能進一步減少［6］，而不影響圖像的質(zhì)量。假設(shè)Yxy表示亮度信號在(x，y)位置處的值;Crxy、Cbxy表示了色度信號在(x，y)位置處的值，則BT656 格式和YUV420 有如下的對應關(guān)系

1.2 中值濾波原理

中值濾波器就是用該像素相鄰像素的像素值的中值來代替原中心像素點的值

中值濾波器的應用較廣，對于由隨機信號引起的噪聲如脈沖噪聲等等，中值濾波不僅具有良好的去噪能力，且在相同尺寸下相比線性平滑濾波器能夠更好地保護圖像的細節(jié)部分。由于中值濾波器的這些特性，使其在圖像濾波領(lǐng)域應用廣泛。

針對YCrCb420 格式的特點，需采用合適的中值濾波設(shè)計對視頻圖像的噪點進行處理。由于YCrCb420數(shù)據(jù)的存儲是按照Y、Cr、Cb的順序。因此，可通過流水的方式依次對存儲在DDR II 存儲器中的Y、Cr、Cb數(shù)據(jù)進行處理。以亮度信號Y 為例，本設(shè)計中，中值濾波的計算步驟如下:(1)將窗口的中心與圖像中的某個像素點的位置重合，然后讓濾波窗口在圖像中滾動，每次只移動一個像素點。(2)讀取窗口內(nèi)包含像素點的亮度值。(3)將這些亮度值按照從小到大的順序排列，確定排序位于中間值。(4)用中間值來代替濾波窗口中心的亮度值。(5)由于濾波窗口的中心不可能位于圖像邊緣，需要對圖像的邊界進行單獨處理。

對于分辨率為640×480 的視頻圖像而言，YCrCb420 數(shù)據(jù)亮度信號的大小為640×480×8，而色度信號Cr和Cb分別為320×240×8。以亮度信號為例，中值濾波原理如圖2 所示。

圖2 亮度信號Y 的中值濾波示意圖

2 中值濾波器設(shè)計

在實際去噪的過程中，濾波窗口的大小對濾波效果的影響比較大，若窗口選取較小，雖可有效地保護圖像的細節(jié)信息，但去噪的效果會相對較弱;若窗口選取較大，去噪效果會加強，但會使濾波后的圖像更加模糊，丟失了細節(jié)信息，且濾波窗口越大會相應的消耗更多的資源［7－8］。因此，從資源和效率方面綜合考慮，本設(shè)計中，中值濾波的窗口采用3×3 的方形濾波窗口。根據(jù)上述中值濾波原理及窗口選取，本系統(tǒng)中YCrCb420 視頻圖像的中值濾波的設(shè)計如圖3 所示。

圖3 中值濾波的設(shè)計

如圖3 所示，首先要從DDR II 存儲器中讀取YCrCb420 數(shù)據(jù)，對Y、Cr、Cb數(shù)據(jù)分別進行中值濾波來去除像素值中的噪點。將讀取的數(shù)據(jù)送入3×3 的窗口生成模塊，然后將窗口中的9 個數(shù)據(jù)送入中值比較模塊得出中值。由于邊緣數(shù)據(jù)無法位于3×3 窗口的中心，即無法用求中值的方式來更新邊緣數(shù)據(jù)。因此，要通過邊緣檢測模塊將邊緣的數(shù)據(jù)單獨進行處理。最終，將得到的中值和邊緣數(shù)據(jù)重組，得出所需數(shù)據(jù)并送入DDR II 存儲器中［9－11］。

(1)視頻圖像數(shù)據(jù)讀取模塊。系統(tǒng)采用Altera 公司的QYSY 平臺，總線協(xié)議為Avalon 協(xié)議，設(shè)計中從DDR II 存儲器中讀數(shù)據(jù)要滿足Avalon 總線的協(xié)議要求。為了提高數(shù)據(jù)的讀取速度，圖像數(shù)據(jù)的讀取過程采用Avalon master read(主端口讀)的模式。此外，為了加快數(shù)據(jù)的讀取速度，實際的設(shè)計中還采用了帶突發(fā)傳輸屬性的模型進行數(shù)據(jù)讀?。?2－13］。

(2)3×3 的窗口生成模塊。3×3 窗口通過使用3個FIFO 來實現(xiàn)，每一個FIFO 存儲一行的數(shù)據(jù)，待準備好后，每個FIFO 連續(xù)出3 個數(shù)據(jù)，形成一個3×3 數(shù)據(jù)的窗口，具體實現(xiàn)如圖4 所示。

圖4 3×3 窗口的實現(xiàn)

由于采用3×3 的窗口模式，所以要保證每次進入窗口中的數(shù)據(jù)是來自3 個不同的像素行。因此在開始將數(shù)據(jù)送到3×3 的窗口之前，要對兩行像素數(shù)據(jù)進行存儲，等到第三行數(shù)據(jù)到來時，才將數(shù)據(jù)一起送入3×3 的濾波窗。設(shè)計采用同步FIFO 進行數(shù)據(jù)存儲，同時通過FIFO 的usedw 信號進行數(shù)據(jù)的填充記錄。這里兩個同步FIFO 用于進行前兩行數(shù)據(jù)的存儲，第三行數(shù)據(jù)則是通過前面的異步FIFO 的輸出來提取。在兩行數(shù)據(jù)都在FIFO 中準備好時(其中第一行數(shù)據(jù)存入line_3 中，第二行數(shù)據(jù)存入line_2 中)，一旦line_3 的FIFO讀信號開始有效時，便將3 行數(shù)據(jù)送入3×3 中(第3行數(shù)據(jù)由line_1 的輸出實時的送入)

(3)中值生成模塊。對于3×3 窗口中的9 個待處理數(shù)據(jù)，中值濾波的基本思想是通過比較得出這9 個數(shù)的中值。中值濾波的輸出值由領(lǐng)域數(shù)據(jù)的中間值決定。具體的比較過程如圖5 所示。

為加快處理速度，設(shè)計采用流水線技術(shù)。由于前一個步驟的輸出是下一個步驟的輸入，可考慮采用流水線技術(shù)，以提高系統(tǒng)的工作頻率。由于前后操作使用相同的比較操作，前后級處理的時間相等，均是一個時鐘周期，可直接將前級的結(jié)果送入下一級。

通過7 次比較，便能得出一個處理過的中值來代替原本窗口中間的值。由仿真波形可知，從數(shù)據(jù)準備好開始，到得出一個中值，只需4 個周期的時間。數(shù)據(jù)連續(xù)輸入，中值也可連續(xù)的輸出，除了上述提到的在每3 行的結(jié)尾處需要等待兩個周期。這里比較器的作用是通過比較找出3 個數(shù)據(jù)中最大值、最小值和中值。

(4)邊緣數(shù)據(jù)檢測及處理。如圖3 所示，在窗口移動過程中，只能處理窗口中間的數(shù)據(jù)，由于邊緣的數(shù)據(jù)不可能作為窗口中間值，對于邊緣的數(shù)據(jù)必須要進行單獨處理。由于數(shù)據(jù)按行讀出的，邊緣數(shù)據(jù)包括第一列和最后一列的數(shù)據(jù)以及每一行的第一個數(shù)據(jù)和最后一個數(shù)據(jù)。邊緣檢測的實現(xiàn)如圖6 所示。

圖6 邊緣數(shù)據(jù)檢測

設(shè)計采用不對邊緣數(shù)據(jù)進行處理的方式，僅將邊緣數(shù)據(jù)保留原值。邊緣數(shù)據(jù)通過line_2 的FIFO 的輸出來檢測，設(shè)置行和列計數(shù)器。必須保證第一個處理完的中值必須在第二行的第一個數(shù)據(jù)之后和第二行的最后一個數(shù)據(jù)之前到來。這種方式有利于數(shù)據(jù)的恢復。最后將經(jīng)過中值濾波的數(shù)據(jù)和邊緣數(shù)據(jù)進行重組后寫回到DDR II 存儲器中，然后送入到H.264 視頻編碼器中用于視頻編碼。

3 仿真驗證

實驗中，通過FIFO2 來控制每行數(shù)據(jù)的邊緣檢測，保證利用最短的周期重組數(shù)據(jù)，當遇到邊緣數(shù)據(jù)時，經(jīng)過5 個寄存器進行暫存;當遇到中值數(shù)據(jù)時，直接使用。然后將邊緣數(shù)據(jù)和中值數(shù)據(jù)重組并經(jīng)過異步FIFO 后，生成一個32 位數(shù)據(jù)，圖7 中data 即為最終重組數(shù)據(jù)。

圖7 數(shù)據(jù)重組的仿真

對于圖像預處理的濾波效果，本文將帶有椒鹽噪聲的圖像數(shù)據(jù)輸入到圖像預處理系統(tǒng)中，對濾波效果進行比較，如圖8 所示，經(jīng)過圖像預處理后直觀濾波效果良好，有效降低了噪聲。

圖8 圖像預處理濾波效果比較

4 結(jié)束語

本文主要描述了在將視頻圖像數(shù)據(jù)存儲于DDR II 中之前，對視頻圖像進行預處理，去除相應的噪聲過程，從而保證了送入H.264 視頻編碼的視頻圖像的質(zhì)量，避免了噪聲的傳遞。通過仿真驗證和圖像直觀比較，實驗效果良好，具有較高的實用價值，為以硬件為基礎(chǔ)的實時圖像預處理提供了技術(shù)支持。雖然效果良好，卻仍有可改進的空間，例如濾波窗口可改為自適應大小的窗口，濾波類型也可以是自適應的，這就需要更深入地研究和實驗，從而保證更好的視頻圖像效果。

［1］ 黃艷軍.基于FPGA 的數(shù)字圖像預處理算法研究［D］.南京:南京理工大學，2009.

［2］ 岡薩雷斯.數(shù)字圖像處理［M］.2 版.北京:電子工業(yè)出版社，2005.

［3］ Rafael C Gonzalez，Richard E Woods.數(shù)字圖像處理:英文版［M］.2 版.北京:電子工業(yè)出版社，2007.

［4］ 張長江.數(shù)字圖像處理及其應用［M］.北京:清華大學出版社，2012.

［5］ Keith Jack.視頻技術(shù)手冊［M］.5 版.楊征，譯.北京:人民郵電出版社，2009.

［6］ 朱虹.數(shù)字圖像技術(shù)與應用［M］.北京:機械工業(yè)出版社，2011.

［7］ 顏開漢.視頻編解碼中去塊濾波模塊的原理及設(shè)計［D］.上海:上海交通大學，2009.

［8］ Johnstone L M，Silverman B W.Wavelet threshold estimators for data with correlated noise［J］.Journal of the Royal Statistical Society Series B，1997，59(2):319－351.

［9］ 孫艷霞.圖像和視頻去噪技術(shù)研究［D］.北京:華北電力大學，2010.

［10］馬向前.基于FPGA 的實時圖像采集和去噪系統(tǒng)的研究與設(shè)計［D］.長春:吉林大學，2006.

［11］朱奕丹，方怡冰.基于FPGA 的圖像采集與VGA 顯示系統(tǒng)［J］.計算機應用，2011，31(5):1258－1261.

［12］Pardo A，Sapiro G.Visualization of high dynamic range images［J］.IEEE Transactions on Image Processing，2003，12(6):639－647.

［13］畢厚杰.新一代視頻壓縮編碼標準－H.264/AVC［M］.北京:人民郵電出版社，2005.