林前進(jìn)，朱婧文，李大鵬，余 躍，邵艷明

（1.上海航天控制技術(shù)研究所，上海 201109；2.中國航天科技集團(tuán)有限公司 紅外探測技術(shù)研發(fā)中心，上海 201109）

0 引言

紅外熱成像技術(shù)廣泛應(yīng)用于軍事、醫(yī)學(xué)和監(jiān)控安防等領(lǐng)域，隨著應(yīng)用環(huán)境的日益復(fù)雜和應(yīng)用技術(shù)的深化推進(jìn)，對于紅外圖像顯示質(zhì)量的要求也不斷提升［1-2］。但在圖像采集傳輸過程中，系統(tǒng)的成像質(zhì)量受限于噪聲干擾，其中主要包括圖像探測器的暗電流噪聲、探測器信號放大電路中產(chǎn)生的噪聲（主要有熱噪聲、閃爍噪聲、光電二極管之間的感光不均勻噪聲），以及在成像電路中還有信號處理電路所帶來的噪聲等，如模擬前端電路中的熱噪聲、數(shù)字電路的量化噪聲等［3-5］。因此，通過有效的濾波技術(shù)抑制噪聲改善圖像顯示質(zhì)量，是后續(xù)圖像處理分析不可或缺的環(huán)節(jié)。

常見的紅外圖像濾波方法主要分為空域方法和時(shí)域方法［6］?？沼?yàn)V波主要是利用噪聲空間分布的隨機(jī)性，傳統(tǒng)的方法有均值濾波、高斯濾波等。這類空域?yàn)V波算法會導(dǎo)致圖像中邊緣和紋理的退化，導(dǎo)致表征圖像細(xì)節(jié)信息的關(guān)鍵梯度數(shù)據(jù)丟失，輸出圖像整體表現(xiàn)出模糊感［7-8］。非局部均值濾波算法通過噪聲估計(jì)，能較好地去除圖像中的高斯噪聲，并且能夠保持邊緣，但是算法本身計(jì)算復(fù)雜度高，囿于實(shí)時(shí)處理場合的使用［9］。區(qū)別于空域?yàn)V波對于單幀圖像的處理模式，時(shí)域?yàn)V波方法［7］包含限幅濾波、一階滯后濾波等，考慮了幀間圖像的相關(guān)性，具備更好的噪聲處理效果，但是針對運(yùn)動場景，由于噪聲和場景變化的混疊導(dǎo)致目標(biāo)產(chǎn)生偽影等時(shí)域模糊現(xiàn)象［10-11］。因此，為了兼顧保留幀間相關(guān)性和去除時(shí)域模糊問題，以運(yùn)動補(bǔ)償?shù)募t外圖像無限脈沖響應(yīng)（Infinite Impulse Response，IIR）濾波算法［12］為基礎(chǔ)，引入閾值判定和幀間相關(guān)性信息保留等方法，實(shí)現(xiàn)圖像運(yùn)動區(qū)域的檢測分類，根據(jù)區(qū)域?qū)傩栽O(shè)置不同濾波參數(shù)進(jìn)行濾波處理，有效濾除圖像噪聲，改善圖像顯示質(zhì)量。

紅外圖像實(shí)時(shí)處理技術(shù)是決定眾多紅外探測器件和高性能處理算法走向軍事及現(xiàn)代化等領(lǐng)域工程應(yīng)用的關(guān)鍵［13-15］。在實(shí)際工程需求中，隨著紅外圖像分辨率和圖像幀頻的不斷提高，對圖像處理系統(tǒng)的實(shí)時(shí)性提出挑戰(zhàn)，單純的軟件系統(tǒng)對圖像進(jìn)行實(shí)時(shí)處理已經(jīng)顯得乏力，而通用處理器的串行執(zhí)行模式也制約了圖像處理的速度，限制了其應(yīng)用性［16-17］?，F(xiàn)場可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）器件具有并行性架構(gòu)特點(diǎn)，滿足實(shí)時(shí)性高、可重配置性靈活以及開發(fā)周期短等優(yōu)勢，使其在眾多的圖像處理芯片中脫穎而出，得到了廣泛的青睞和使用［18-20］。因此，本文采用FPGA作為硬件平臺，實(shí)現(xiàn)紅外圖像運(yùn)動補(bǔ)償濾波算法的硬件設(shè)計(jì)，結(jié)合流水線和串行移位方法加速算法的執(zhí)行效率，提高運(yùn)動補(bǔ)償濾波算法的實(shí)時(shí)性，通過實(shí)驗(yàn)數(shù)據(jù)表明運(yùn)動補(bǔ)償濾波算法的有效性，方便進(jìn)一步的圖像處理操作。

1 運(yùn)動補(bǔ)償濾波算法原理

紅外圖像噪聲時(shí)域IIR 濾波器描述為

式 中：Px，y(t)為當(dāng)前時(shí)刻原始圖像數(shù)據(jù)；Fx，y(t)為當(dāng)前時(shí)刻濾波后圖像結(jié)果；Fx，y(t-1)為前一時(shí)刻濾波后圖像，下標(biāo)x、y為圖像像素在二維圖上的橫縱坐標(biāo)；a1、b1為濾波器影響因子。

b1影響因子比重越大，則濾波器截止頻率越低，平滑效果越顯著，但同時(shí)也會增大相位延時(shí)。除了b1影響因子之外，圖像中的高頻成分也會對輸出產(chǎn)生相位延遲，從而導(dǎo)致時(shí)域圖像模糊。高頻成分主要來自圖像運(yùn)動區(qū)域，因此需要對圖像進(jìn)行運(yùn)動區(qū)域檢測并加以處理，從而在濾波基礎(chǔ)上有效抑制圖像模糊現(xiàn)象。因此引入差值背景圖［21-22］的方法對圖像區(qū)域進(jìn)行區(qū)分。算法中將差值背景圖定義為當(dāng)前時(shí)刻圖像與前一時(shí)刻濾波后圖像的差值絕對值，表示為Diffx，y(t)=|Px，y(t)-Fx，y(t-1)|。差值背景圖的波動主要受圖像運(yùn)動和圖像噪聲兩部分因素影響，從而導(dǎo)致圖像幀間的差異變化，運(yùn)動區(qū)域檢測如圖1 所示。

圖1 運(yùn)動區(qū)域檢測Fig.1 Schematic diagram of the motion area detection

首先，通過對差值背景圖的均值和方差求取，根據(jù)高斯分布3sigma 原則計(jì)算閾值BGN，差值背景圖中像素與閾值BGN一一比較，如圖1（a）所示。圖中，超出閾值范圍的像素集合確定為圖像運(yùn)動區(qū)域或者圖像噪聲部分。

其次，為排除噪聲因素的影響，引入圖像八鄰域判定方式實(shí)現(xiàn)對圖像運(yùn)動區(qū)域的檢測，由于紅外圖像的動態(tài)噪聲多為白噪聲且像素之間的噪聲分布相互獨(dú)立，因此在某一像素大于閾值BGN 時(shí)，為了進(jìn)一步區(qū)分為圖像運(yùn)動區(qū)域或者圖像噪聲，需要對其所在的八鄰域進(jìn)行判斷。

再次，由于閾值BGN 求取遵循3sigma 原則，像素點(diǎn)落入在BGN 閾值范圍內(nèi)的概率公式為：，如圖1（b）曲線所示。

最后，因此八鄰域內(nèi)存在3 個(gè)以上像素均大于閾值BGN 概率計(jì)算為3.2×10-9，這是一個(gè)極小概率事件，紅外噪聲在統(tǒng)計(jì)意義上無法滿足該判定條件，而圖像運(yùn)動造成的差值背景圖變化具備很強(qiáng)的鄰域相關(guān)性，即使是弱小紅外目標(biāo)也極易滿足八鄰域判定條件。

因此，通過八鄰域判定條件有效對噪聲和運(yùn)動區(qū)域進(jìn)行區(qū)分，如果像素點(diǎn)（x，y）在大于閾值BGN條件下，且其八鄰域存在3 個(gè)以上像素大于閾值BGN，則定義該點(diǎn)（x，y）為運(yùn)動像素點(diǎn)。

在運(yùn)動區(qū)域檢測基礎(chǔ)上，引入索引號圖標(biāo)號設(shè)計(jì)，保留多幀紅外圖像數(shù)據(jù)的幀間相關(guān)性，進(jìn)一步細(xì)分運(yùn)動像素點(diǎn)。定義索引號圖Tx，y(t)，cf為圖像幀標(biāo)記即圖像幀數(shù)的計(jì)數(shù)值。如果差值像素點(diǎn)處滿足閾值判斷，且周邊八領(lǐng)域像素存在3 個(gè)以上像素滿足閾值判斷的條件，則將圖像幀標(biāo)記cf更新至索引號圖Tx，y(t)中，否則保持前一幀相同數(shù)據(jù)。在更新完索引號圖后，此時(shí)定義索引號圖Tx，y(t)中所有值等于cf的像素集合映射為圖像運(yùn)動區(qū)域，索引號圖中所有值等于cf-1、cf-2、cf-3 的像素集合映射為圖像中間區(qū)域，索引號圖中其他像素映射為圖像靜態(tài)區(qū)域，根據(jù)圖像區(qū)域的區(qū)分選取不同的濾波參數(shù)進(jìn)行圖像處理。

通過式（1）可知，a1和b1作為濾波器影響因子，其中b1影響因子比重越大，則濾波器截止頻率越低，平滑效果越顯著，但同時(shí)也會增大相位延時(shí)。因此，針對圖像靜態(tài)區(qū)域，濾波器作用主要側(cè)重于圖像噪聲的濾除，因此提高b1影響因子的權(quán)值，提升圖像的平滑效果，故對圖像靜態(tài)區(qū)域設(shè)置參數(shù)為a1=0.125，b1=0.875。針對圖像運(yùn)動區(qū)域，濾波器作用則弱化噪聲濾波效果，降低濾波帶來的相位延時(shí)，防止場景變化的時(shí)域偽影現(xiàn)象，故降低b1影響因子的權(quán)值，對圖像運(yùn)動區(qū)域設(shè)置參數(shù)為a1=0.875，b1=0.125，而圖像中間區(qū)域則折中處理，選擇濾波參數(shù)為a1=0.25，b1=0.75。本文實(shí)現(xiàn)對圖像不同區(qū)域?qū)傩缘倪\(yùn)動補(bǔ)償濾波處理，整體算法流程如圖2 所示。

圖2 算法流程Fig.2 Flow chart of the filtering algorithm

為了驗(yàn)證本文算法的有效性，對多種圖像濾波處理算法進(jìn)行對比實(shí)驗(yàn)。以外場真實(shí)數(shù)據(jù)為基礎(chǔ)，通過Matlab仿真給出普通時(shí)域?yàn)V波、普通空域?yàn)V波與運(yùn)動補(bǔ)償濾波的效果對比，如圖3 所示。綠色虛線方框標(biāo)注圖像部分背景，綠色實(shí)線方框表示其放大效果圖，藍(lán)色方框標(biāo)注圖像觀測目標(biāo)。如圖3（a）和圖3（c）所示，普通空域?yàn)V波算法會導(dǎo)致圖像中邊緣和紋理的退化，目標(biāo)細(xì)節(jié)信息的關(guān)鍵梯度數(shù)據(jù)丟失，呈現(xiàn)出模糊感。如圖3（a）和圖3（b）所示，普通時(shí)域?yàn)V波算法考慮了幀間圖像的相關(guān)性，具備良好的背景噪聲處理效果，但是針對運(yùn)動場景，由于噪聲和場景變化的混疊導(dǎo)致圖像目標(biāo)產(chǎn)生偽影現(xiàn)象。利用運(yùn)動補(bǔ)償算法得到結(jié)果如圖3（d）所示，背景噪聲得到了有效抑制，同時(shí)并未引起明顯的偽影現(xiàn)象和運(yùn)動模糊。

圖3 原圖下的濾波效果對比圖Fig.3 Comparison of filtering effect under the original image

表1 不同算法γ 細(xì)節(jié)表征Tab.1 Detail information representation of γ by different algorithms

2 基于FPGA 的硬件設(shè)計(jì)

基于FPGA 的紅外圖像運(yùn)動補(bǔ)償濾波算法主要由BGN 閾值計(jì)算模塊、幀標(biāo)記更新計(jì)算模塊和濾波輸出模塊組合實(shí)現(xiàn)。通過紅外線陣探測器實(shí)現(xiàn)紅外圖像的采集，模擬的紅外圖像信息經(jīng)過AD 電路轉(zhuǎn)換成數(shù)字圖像輸入FPGA。

BGN 閾值計(jì)算模塊如圖4 所示，主要完成差值背景圖的均值運(yùn)算和方差運(yùn)算，設(shè)計(jì)采用流水線方法縮短存儲元件間的數(shù)據(jù)通路，進(jìn)而提高時(shí)鐘頻率改善電路的吞吐能力。首先，對當(dāng)前原始圖像數(shù)據(jù)和前一幀濾波圖像數(shù)據(jù)進(jìn)行同步讀取，進(jìn)行差值運(yùn)算，并對差值運(yùn)算結(jié)果進(jìn)行絕對值求取，得到算法需要的差值背景圖；其次，所有絕對值運(yùn)算結(jié)果跟隨時(shí)鐘節(jié)拍進(jìn)行累加，對所有數(shù)據(jù)累加后完成差值背景圖的均值運(yùn)算；最后，重新讀取絕對值運(yùn)算數(shù)據(jù)，結(jié)合均值結(jié)果，完成差值背景圖的方差運(yùn)算。方差運(yùn)算部分以差值運(yùn)算模塊、乘法運(yùn)算模塊、數(shù)據(jù)累加求平均模塊和開方運(yùn)算模塊組合實(shí)現(xiàn)，同理得到差值背景圖的方差值。根據(jù)“均值+3×方差值”范式計(jì)算閾值BGN。計(jì)算出來的閾值BGN 結(jié)果通過寄存器鎖存，直至下一幀圖像閾值計(jì)算后更新。

圖4 BGN 閾值模塊流水線計(jì)算Fig.4 Pipeline calculation diagram of the BGN threshold module

幀標(biāo)記更新計(jì)算模塊如圖5 所示，將算法中分支判斷和循環(huán)部分通過硬件電路形式進(jìn)行展開，主要通過比較器、加法器、復(fù)用器和RAM 內(nèi)存組合設(shè)計(jì)完成。

圖5 幀標(biāo)記更新計(jì)算Fig.5 Calculation diagram of the frame mark update module

圖中綠框Diff(x，y)點(diǎn)代表差值背景圖中某一像素，黃色部分表示像素點(diǎn)Diff(x，y)的八鄰域像素，分別表示為Diff(x-1，y-1)、Diff(x-1，y)、Diff(x-1，y+1)、Diff(x，y-1)、Diff(x，y+1)、Diff(x+1，y-1)、Diff(x+1，y)、Diff(x+1，y+1)。采用串行移位方法將八鄰域像素與閾值BGN 通過比較器判斷后并相加，再采用比較器判斷Diff(x，y)八鄰域內(nèi)是否存在3 個(gè)以上像素超過閾值BGN。同時(shí)滿足Diff(x，y)大于閾值BGN 的條件，則將圖像幀標(biāo)記cf更新寫入至對應(yīng)索引號圖中，否則保持索引號圖中原始數(shù)據(jù)。在計(jì)算過程中，通過添加寄存器延遲模塊保持并行鏈路中的數(shù)據(jù)同步性計(jì)算。以此類推，將Diff(x，y)遍歷整幅差值背景圖，完成所有圖像數(shù)據(jù)的幀標(biāo)記cf更新，但在遍歷過程中，由于圖像的邊緣像素缺失八鄰域數(shù)據(jù)，所以設(shè)計(jì)中對邊緣圖像數(shù)據(jù)的幀標(biāo)記不作更新處理。

濾波輸出模塊如圖6 所示，由比較器、移位器、加/減法器、復(fù)用器和RAM 內(nèi)存組合完成硬件設(shè)計(jì)。逐一讀取索引號圖中數(shù)據(jù)index_out，通過比較器與當(dāng)前圖像幀標(biāo)記對比，若兩者相等表示該像素處為運(yùn)動區(qū)域，若兩者相差小于4 則表示該像素處為中間區(qū)域，否則便為圖像靜態(tài)區(qū)域，并根據(jù)不同的區(qū)域確定相應(yīng)的濾波參數(shù)?？紤]數(shù)據(jù)計(jì)算的同步性，當(dāng)前圖像數(shù)據(jù)、上一幀濾波數(shù)據(jù)和索引號圖數(shù)據(jù)index_out 需要保持在同一使能下讀取操作。硬件設(shè)計(jì)中使用比較器和位合成器，形成使能控制信號以區(qū)分不同區(qū)域?qū)傩?。此外同步讀取原始圖像數(shù)據(jù)和上一幀圖像濾波數(shù)據(jù)，對三種區(qū)域?qū)傩缘臑V波運(yùn)算進(jìn)行硬件設(shè)計(jì)展開，通過移位器操作代替片上乘法器操作，優(yōu)化資源使用。復(fù)用器模塊通過使能控制信號對濾波結(jié)果進(jìn)行多路復(fù)用選擇輸出。更新后的濾波數(shù)據(jù)再次緩存至濾波圖像RAM 中，并為下一幀圖像處理做數(shù)據(jù)準(zhǔn)備。

圖6 濾波輸出模塊Fig.6 Schematic diagram of the filter output module

3 功能實(shí)現(xiàn)

選用Xilinx 公司的Kintex7 系列FPGA 來實(shí)現(xiàn)整體功能，具體型號為410tffg900-2。使用硬件設(shè)計(jì)語言在Vivado 2015 環(huán)境下完成整體功能的實(shí)現(xiàn)，并對邏輯的時(shí)序和功能進(jìn)行仿真和驗(yàn)證。FPGA 實(shí)現(xiàn)運(yùn)動補(bǔ)償濾波過程采用流水線的工作方式，硬件系統(tǒng)通過紅外探測器采集256×256@100 Hz 的視頻流紅外數(shù)據(jù)作為待處理原始圖像數(shù)據(jù)，F(xiàn)PGA 主頻時(shí)鐘200 MHz，時(shí)鐘周期為5 ns。資源利用率見表2，該算法硬件設(shè)計(jì)占用資源較少，片上擁有較大的設(shè)計(jì)升級空間，滿足設(shè)計(jì)初衷。在紅外成像系統(tǒng)中，將原始圖像數(shù)據(jù)和濾波圖像分兩路同時(shí)輸出顯示，在工程試驗(yàn)中原始紅外圖像數(shù)據(jù)與運(yùn)動補(bǔ)償濾波后的實(shí)時(shí)畫面對比如圖7 所示。圖7（a）、圖7（b）和 圖7（c）表示 運(yùn)動過 程中截取 第2 405、2 409 和2 417 三幀原始紅外圖像數(shù)據(jù)，圖像白點(diǎn)處為運(yùn)動檢測目標(biāo)，由于探測器性能、通道差異、前端電路以及工作環(huán)境等因素影響導(dǎo)致圖像背景上出現(xiàn)閃爍條紋狀噪聲，影響紅外目標(biāo)的實(shí)時(shí)截獲和識別。圖7（d）、圖7（e）和圖7（f）表示經(jīng)過運(yùn)動補(bǔ)償濾波處理后對應(yīng)的濾波圖像，在保留紅外目標(biāo)特征的同時(shí)，持續(xù)濾除條紋噪聲，改善圖像背景，運(yùn)動補(bǔ)償濾波處理，從而達(dá)到預(yù)期效果。

表2 算法硬件設(shè)計(jì)資源利用情況表Tab.2 Resource utilization table of the algorithm hardware design

圖7 運(yùn)動場景下硬件實(shí)現(xiàn)結(jié)果對比圖Fig.7 Comparison diagram of the hardware realization results in motion scenes

按照流水線操作，對單幀圖像數(shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償濾波處理需要的時(shí)間計(jì)算如下。算法的硬件設(shè)計(jì)過程分為BGN 閾值計(jì)算模塊、幀標(biāo)記更新模塊和濾波輸出模塊，處理時(shí)間分別為tBGN、t幀標(biāo)記更新和t輸出。通過算法流程分析，可以得知前一幀圖像數(shù)據(jù)的BGN閾值作用于當(dāng)前幀圖像數(shù)據(jù)的幀標(biāo)記更新模塊和濾波輸出模塊，故而在BGN 閾值計(jì)算模塊與幀標(biāo)記更新模塊、濾波輸出模塊在單幀圖像周期內(nèi)計(jì)算相互獨(dú)立，并行執(zhí)行邏輯運(yùn)算。因此單幀圖像數(shù)據(jù)的算法處理時(shí)間最終為Max(tBGN，t幀標(biāo)記更新+t輸出)。

在BGN 閾值流水線計(jì)算過程中，差值背景圖的平均值求取和方差求取部分相互依賴，以順序邏輯執(zhí)行，需要二次遍歷所有圖像數(shù)據(jù)。然后差值運(yùn)算、絕對值運(yùn)算、乘法運(yùn)算以及閾值組合均需要一個(gè)時(shí)鐘周期，開方運(yùn)算需要20 個(gè)時(shí)鐘周期，最終tBGN=（2×256×256+26）×5 ns=0.66 ms。在幀標(biāo)記更新和濾波輸出模塊計(jì)算過程中，比較器、復(fù)用器、加法器、移位器以及位合成模塊均需要一個(gè)時(shí)鐘周期，同樣幀標(biāo)記更新模塊以流水線結(jié)構(gòu)完成差值背景圖的遍歷，此外索引號圖RAM 在幀標(biāo)記更新模塊和濾波輸出模塊之間緩存時(shí)間為半幅圖寫入后讀出，最終t幀標(biāo)記更新+t輸出=（256×256+256×128+10）×5 ns=0.5 ms。因此在該硬件設(shè)計(jì)中，對實(shí)時(shí)采集的紅外圖像的運(yùn)動補(bǔ)償濾波算法處理時(shí)間是0.66 ms，而紅外圖像幀頻為100 Hz 即10 ms，設(shè)計(jì)裕量滿足系統(tǒng)實(shí)時(shí)性要求。

通過上述對濾波結(jié)果的對比、資源利用率的分析和處理時(shí)間的評估可以看出，運(yùn)動補(bǔ)償濾波算法能夠在低延時(shí)的前提下，有效改善了紅外圖像質(zhì)量，去除圖像中時(shí)域背景噪聲，提升紅外顯示系統(tǒng)整體性能。

4 結(jié)束語

本文通過紅外圖像閾值計(jì)算和索引號更新計(jì)算，實(shí)現(xiàn)圖像的運(yùn)動區(qū)域檢測，以流水線、串行移位等設(shè)計(jì)方法在FPGA 上完成紅外圖像運(yùn)動補(bǔ)償濾波算法的硬件設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明：基于FPGA 的紅外圖像運(yùn)動補(bǔ)償濾波算法能夠有效去除紅外圖像中的時(shí)域噪聲，并抑制運(yùn)動模糊，明顯改善了紅外圖像顯示質(zhì)量，硬件設(shè)計(jì)方法充分利用了FPGA的優(yōu)勢，易于實(shí)現(xiàn)，提升了算法的運(yùn)行頻率，保證了FPGA 實(shí)時(shí)圖像處理能力，且FPGA 資源占用低，具備較強(qiáng)的工程應(yīng)用價(jià)值。