孫 超，張洪文，王 沛，李 軍

（1.中國科學院航空光學成像與測量重點實驗室，吉林 長春 130033；2.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033；3.北京長峰科威光電技術有限公司，北京 100195）

0 引言

航空相機可以快速地獲取高精度的地面圖像數(shù)據(jù)，被廣泛用于航空成像與測量、地面遙感等軍事和民用領域。其中，紅外相機可以全天時工作、分辨率高、穿透煙霧能力強、能夠獲取目標的紅外輻射特性，因此成為航空相機的重要分支，得到了廣泛的關注和研究[1-2]。

紅外焦平面陣列（infrared focal plane array,IRFPA）作為紅外相機中的核心部件，其性能的好壞直接影響了相機的成像質量。受半導體材料特性、制造工藝、外部環(huán)境、器件工作狀態(tài)等多方面因素的影響，紅外焦平面陣列會存在響應非均勻性和盲元的問題，這都將使紅外系統(tǒng)的成像質量和溫度分辨率受到影響。盲元是紅外焦平面陣列中響應過高或過低的像元，可以分為固定盲元和隨機盲元[3]，其中固定盲元表現(xiàn)為某些固定位置的、始終存在過高或過低響應的像元，而隨機盲元則表現(xiàn)為在一段時間內(nèi)其響應特性與正常像元一致，在另一段時間又表現(xiàn)為盲元，在時間上和空間上都體現(xiàn)出“閃變”的特性[4-6]，圖1(a)和圖1(b)分別為某制冷型中波紅外相機不同時刻對同一地面景物成像的紅外圖像，可以看到，圖像中存在著數(shù)量較多的黑、白點，其中既包括位置和響應固定的固定盲元，也包括位置和響應變化的隨機盲元。對紅外焦平面陣列的盲元進行檢測和補償，是消除盲元影響、提高紅外系統(tǒng)成像質量的有效措施。

圖1 紅外圖像對比（局部）Fig.1 Comparison of infrared images(partial)

盲元檢測是根據(jù)盲元與有效像元在響應特性上的差異，通過合理的方法和判據(jù)篩選出盲元的過程；盲元補償是利用圖像中盲元周圍或前后幀圖像中有效像元的信息對盲元進行替代的過程。目前，常用的盲元檢測方法主要有輻射定標法和基于場景的檢測法兩類。周慧鑫等提出了一種基于雙閾值快速迭代的盲元檢測算法[7]，通過采集輻射源兩個不同溫度下的紅外圖像，根據(jù)正常像元和盲元隨黑體溫度變化的灰度響應差異來檢測過熱像元和死像元，是一種基于輻射定標的檢測方法。目前盲元檢測的研究熱點以基于場景的檢測方法為主：冷寒冰等提出了基于模糊中值與時域累積的盲元檢測與補償算法[8]，利用模糊中值濾波器提取場景中的潛在盲元，通過多幀累積確定盲元的分布；顧國華將多幀圖像累加取均值后，利用滑動窗口的3σ 準則進行盲元檢測，并采用局部中值濾波法進行盲元補償[9]；鄭驍?shù)忍岢隽艘环N基于滑動窗口的盲元檢測算法，并利用局部中值濾波進行盲元補償[10]。另外，詹維和張北緯等針對已有盲元檢測方法的局限性和存在的問題，分別提出了基于超像素分割的盲元檢測算法[11]和基于曲線擬合的盲元檢測方法[12]；粟宇路等不借助黑體等輔助定標設備，探索了一種基于分布搜索策略的自適應盲元檢測算法[13]?？偟膩碚f，這些方法針對各自的應用領域和使用場景都能較好地剔除盲元，提升圖像質量，但仍然有一定提升的空間。

輻射定標法對固定盲元的檢測具有很好的效果，但卻無法對隨機盲元進行有效的檢出，而基于場景的盲元檢測方法可以克服該不足，既能夠對固定盲元和隨機盲元進行有效的檢測，又能夠最大程度保留隨機盲元在時間和空間上的響應特性，因此本文在分析紅外盲元響應特性的基礎上，針對局部“3σ”方法存在較為嚴重的盲元過檢的問題，提出了一種基于場景的改進的局部“3σ”方法，對盲元進行實時的動態(tài)檢測與補償，并將其應用于自研的某機載中波紅外相機中，通過黑體輻射源成像、地面外景成像、載機掛飛成像等試驗，驗證了該方法的有效性。

1 盲元的特點

1.1 盲元的定義

對IRFPA 盲元的定義目前還沒有通用的標準。GB/T 17444-2013[14]從像元響應率和噪聲電壓出發(fā)，將盲元（無效像元）分為死像元和過熱像元，我們可以將其中對盲元的定義應用于對固定盲元和隨機盲元的檢測中，即：當紅外探測器對黑體成像時，將響應灰度值小于平均灰度1/2 的像元判斷為死像元，將噪聲大于平均噪聲均方根2 倍的像元判斷為過熱像元。

1.2 盲元的視覺特性

盲元在圖像上主要表現(xiàn)為黑白噪點，其中表現(xiàn)為穩(wěn)定不變的黑點或白點主要為基本喪失響應能力的死像元，以及響應非線性較強、校正后誤差較大的像元；而表現(xiàn)為不固定的黑點或白點主要為噪聲較大的過熱像元，由于在空間分布和時間響應上都具有一定的隨機性，使其具有“閃變”的特性，時而表現(xiàn)為盲元，時而表現(xiàn)為正常像元，因此很難通過校正的方式對其進行檢出和剔除。

圖2為自研的中波紅外相機航拍圖像（局部），該相機選用制冷型640×512 分辨率的中波紅外探測器，是一款長焦距、高分辨力的中波紅外航空相機。

圖2 含有盲元的紅外相機航拍圖像（局部）Fig.2 Aerial image with blind pixel of infrared camera (partial)

從圖2中可以看到，圖像中含有很多的白點和黑點，原因是圖像中包含了數(shù)量眾多的死像元、過熱像元和閃元等盲元，將圖2所示的單幀完整航拍圖像的灰度歸一化到[0,1]范圍，其灰度空間分布如圖3所示，可以看到，大部分正常像元的灰度分布在30%～70%的滿阱范圍內(nèi)，且其灰度具有連續(xù)和漸變的特點，而盲元的灰度響應則區(qū)別于正常像元，具有明顯的突變和孤立的特點。

圖3 紅外圖像的灰度空間分布Fig.3 Spatial distribution of grayscale in an IR image

1.3 中波紅外相機的盲元特點

紅外相機工作時通過控制鏡筒擺掃來實現(xiàn)對地成像，工作模式?jīng)Q定了其不能對某一局部區(qū)域進行凝視成像，不同幀圖像之間除保證重疊率的部分外，不存在關聯(lián)性，因此在時間域利用連續(xù)多幀圖像累加或其相關性進行盲元檢測與補償?shù)姆椒ㄔ谶@里并不適用，我們只能針對單幀圖像的空間域信息對盲元進行處理。

除此之外，在相機擺掃成像過程中，由于隨機盲元的存在，前后幀的相鄰圖像往往會出現(xiàn)位置不同、灰度響應不同的黑白噪點，為最大程度保留隨機盲元在響應正常時的灰度信息，我們不區(qū)分固定盲元和隨機盲元，僅針對相機實時輸出圖像中灰度響應異常的像素進行檢測和補償。

2 盲元的實時動態(tài)檢測與補償算法

合適的判據(jù)對于盲元檢測至關重要，判據(jù)過松，會造成盲元的漏檢；判據(jù)過嚴，會造成盲元的過檢。局部“3σ”方法是工程中較常用的盲元檢測方法，通常將圖像中的某個像元作為中心像元進行加窗，并計算窗口內(nèi)像元的灰度均值μ和均方根σ，若該中心像元灰度與均值μ的偏差大于3σ，則將該中心像元判定為盲元，并通過窗口的滑動實現(xiàn)對整幅紅外圖像像元的搜索式檢測。但是，由于紅外焦平面陣列響應非均勻性的存在，紅外圖像正常像元之間也會產(chǎn)生響應不一致的現(xiàn)象，即σ中不僅包含了像元的噪聲，同時也包含了像元響應的非均勻性，當窗口內(nèi)不存在盲元和景物的邊緣信息、且局部像元響應一致性較好時，σ的值會很小，以3σ作為判據(jù)會過于嚴格，進而會造成盲元的大量過檢，從而損失圖像的真實有效信息。

GB/T 17444-2013 中給出的盲元定義和測試方法建立在紅外焦平面陣列對均勻的黑體輻射源成像的基礎上，其中像元噪聲為像元響應灰度波動的均方根值，平均噪聲為各有效像元噪聲的平均值，但是由于盲元的存在，我們很難按照GB/T 17444-2013 中的方法計算出圖像像元的平均噪聲。

三維噪聲分析方法[15-16]分析了紅外圖像在時域和空域上3 個互相垂直方向上的噪聲，其中分量Ntvh(t,v,h)代表了隨機的時空噪聲，可以很好地反映圖像的整體噪聲水平，與常用的噪聲等效溫差（noise equivalent temperature difference,NETD）等效，因此不妨將圖像的平均噪聲取為Ntvh(t,v,h)，并將其作為盲元檢測判據(jù)閾值下限的參考，對局部“3σ”方法進行改進，以減少盲元的過檢。

2.1 圖像的三維噪聲分析

假設紅外圖像分辨率為v×h，采集連續(xù)成像的t幅圖像后構成數(shù)據(jù)集U(t,v,h)，則有：

式中：S為數(shù)據(jù)集U(t,v,h)中所有元素的均值，即t幅圖像所有像素的灰度均值；Nt(t)、Nv(v)、Nh(h)、Ntv(t,v)、Nth(t,h)、Nvh(v,h)、Ntvh(t,v,h)分別為圖像在垂直高度V、水平寬度H和時間域幀數(shù)T三個垂直方向上的噪聲分量，均滿足均值為零的高斯分布。根據(jù)前面的分析，這里有圖像的平均噪聲σall＝Ntvh(t,v,h)。

下面給出Ntvh(t,v,h)的計算過程，首先分別計算出T、V、H三個方向上的方向平均因子Dt、Dv和Dh：

方向平均因子Dt消除了t方向上的所有噪聲，而1－Dt保留了t方向上的所有噪聲，Dv和Dh情況相同，于是有：

在紅外焦平面陣列的線性響應區(qū)間內(nèi)，當積分時間固定時，圖像的三維噪聲分量Ntvh(t,v,h)與灰度均值表現(xiàn)出較好的線性關系，我們在實驗室中采集紅外成像組件對不同溫度黑體成像的圖像，得到在不同積分時間下、不同圖像灰度均值所對應的圖像噪聲Ntvh(t,v,h)，并對其進行曲線擬合，將擬合的結果存儲于相機的紅外成像組件中，以便在盲元檢測時根據(jù)積分時間和圖像灰度均值調用得到對應的圖像平均噪聲σall。

2.2 盲元的檢測

紅外探測器對黑體成像時，經(jīng)非均勻校正后圖像各像元響應值的統(tǒng)計分布可以用式(6)表示：

式中：φ(x)表示了絕大多數(shù)像元響應值符合的正態(tài)分布；φ(x)表示了極少數(shù)像元響應值符合的未知分布，且：

式中：μ為紅外像元響應的灰度均值；σ為像元響應值的均方根。

用大小為(2N＋1)×(2N＋1)的窗口對像元(i,j)進行加窗，窗口記為，則內(nèi)像元(i,j)的鄰域像元灰度均值為：

首先，若像元(i,j)的灰度值x(i,j)滿足：

則直接將像元(i,j)判定為盲元。

若像元(i,j)的灰度值x(i,j)不滿足式(9)，則計算內(nèi)像元(i,j)的鄰域像元均方根：

式中：m、n不同時為0。用σ(i,j)表示判斷像元(i,j)是否為盲元的判據(jù)，根據(jù)前面的分析，若直接利用局部“3σ”方法將σ(i,j)＝3σpartial(i,j)作為判據(jù)會造成盲元的大量過檢，為此，我們將3σpartial(i,j)與2σall（σall為圖像平均噪聲）進行比較，如果：

則：

如果：

則：

于是當像元(i,j)的灰度值x(i,j)滿足：

則將像元(i,j)判定為盲元。

為便于硬件實現(xiàn)，我們利用方差代替均方根進行上面的計算。

2.3 盲元的補償

盲元的補償基于圖像中的某一像元與其周圍或前后幀像元的響應具有較強的相關性，其方法主要有相鄰像元替代法、鄰域平均法、中值濾波法等，其中中值濾波法是一種非線性處理技術，能較好地抑制圖像中的尖峰噪聲，因此我們采用局部中值濾波的方法對檢測到的盲元進行補償。

如果像元(i,j)被判定為盲元，則計算窗口內(nèi)像元(i,j)的鄰域[(2N＋1)2－1]個像元的灰度中值，并用其替代像元(i,j)的灰度x(i,j)。

3 黑體成像實驗驗證

3.1 與輻射定標法對比實驗

輻射定標法是一種常規(guī)的盲元檢測方法，但目前并沒有通用的檢出標準，“3σ”方法是其中較常用的一種方法，其認為紅外探測器各像元對黑體成像的響應滿足正態(tài)分布，從而利用“3σ”準則對盲元進行判定。通過搭建實驗平臺，將輻射定標法與本文方法對盲元的檢測效果進行對比和分析，對本文方法檢出盲元的正確性進行驗證。

首先關閉紅外系統(tǒng)的盲元檢測與補償功能，采集紅外成像組件對20℃黑體成像的圖像，然后分別利用輻射定標法和本文方法對其中10 幅紅外圖像進行盲元檢測，計算兩種方法檢出盲元的數(shù)量和重合度，并將對比結果列于表1。

表1 輻射定標法和本文方法的對比（20℃黑體成像）Table 1 Comparison of methods of radiation calibration and this paper ( imaging blackbody at 20 ℃)

從表1可以看到，由于隨機盲元的存在，對于紅外成像組件對相同溫度黑體成像得到的圖像，本文方法和輻射定標法的盲元檢出數(shù)量均存在較大的波動，但兩種方法檢出盲元數(shù)量的變化趨勢相同，且具有較高的重合度，其盲元檢出重合度最高可以達到85.49%，平均為82.71%。因此，與輻射定標法相比，本文方法可以較正確地檢出紅外圖像中的盲元，且盲元檢出的重合度平均可以達到82%以上。

3.2 與局部“3σ”方法對比實驗

進一步，通過搭建實驗平臺，將局部“3σ”方法和本文方法對盲元的檢測和補償效果進行對比與分析，對本文方法的有效性進行驗證。

首先關閉紅外系統(tǒng)的盲元檢測與補償功能，采集紅外成像組件對20℃黑體成像的圖像，然后分別利用局部“3σ”方法和本文方法對連續(xù)20 幅圖像進行盲元檢測與補償，計算補償盲元的平均數(shù)量，再根據(jù)GB/T 17444-2013 中的定義計算盲元補償后圖像的像元平均噪聲，并計算盲元補償前、后的圖像中盲元數(shù)量，將對比結果列于表2。

從表2中可以看到，局部“3σ”方法和本文方法對盲元的檢測和補償效果相同，利用兩種方法分別對相同圖像中的盲元進行檢測與補償后，圖像像元的平均噪聲基本一致，分別為5.4016 和5.4263；由于局部“3σ”方法補償盲元后圖像的像元平均噪聲略低于本文方法，因此對于相同的原始圖像，計算得到的盲元總數(shù)略有差別，分別為4378 和4311；利用兩種方法分別進行盲元補償后，圖像中的盲元殘余數(shù)量相同，均為135；值得注意的是，兩種方法對20 幅原始圖像補償盲元的平均數(shù)量分別為14205 和10091，盲元的過檢數(shù)量分別為9962 和5915，相比于局部“3σ”方法，本文方法將盲元的過檢減少了40.62%。

表2 局部“3σ”方法和本文方法的對比（20℃黑體成像）Table 2 Comparison of methods of local “3σ” and this paper( imaging blackbody at 20 ℃)

對上述結果做進一步分析可以知道，局部“3σ”方法進行盲元檢測時，局部窗口內(nèi)像元的灰度最小均方根為σpartial＝0.3536，檢測盲元的最小判據(jù)3σpartial＝1.0607；而利用三維噪聲分析方法計算得到的圖像噪聲為σall＝Ntvh(t,v,h)＝3.8888，本文方法在檢測盲元時的最小判據(jù)為2σall＝7.7776，因此本文方法與局部“3σ”方法相比可以較為明顯地減少盲元的過檢。

利用紅外成像組件對5℃的黑體成像重復上述實驗，并將兩種方法進行盲元檢測和補償?shù)膶Ρ冉Y果列于表3。

從表3中可以看到，相比于局部“3σ”方法，本文方法將盲元的過檢減少了30.06%，兩種方法進行盲元補償后，圖像像元的平均噪聲和盲元殘余數(shù)量基本相同，本文方法與局部“3σ”方法的盲元檢測和補償效果相同。

表3 局部“3σ”方法和本文方法的對比（5℃黑體成像）Table 3 Comparison of methods of local “3σ” and this paper( imaging blackbody at 5 ℃)

另外，本文方法和局部“3σ”方法主要針對孤立盲元進行檢測與補償，對于連續(xù)相鄰的盲元無法做到全部有效的補償，因此兩種方法都存在一定的盲元漏檢，且漏檢率基本一致。但是，對于高分辨率的紅外相機，連續(xù)相鄰的盲元與塊狀目標在圖像中的表現(xiàn)極為相似，如何將兩者有效的區(qū)分，既不殘留盲元又不丟失目標，是有待進一步深入研究的地方。

從表1、表2和表3中還可以看到，本文方法仍然存在較為嚴重的盲元過檢，究其原因，本文方法以GB/T 17444-2013 和圖像的三維噪聲分析為基礎選取盲元檢測的最小判據(jù)，雖然較局部“3σ”方法有較為明顯的改進，但依然未能獲得最為合理的檢測判據(jù)，因此如何保證盲元在不漏檢的前提下不過檢仍然需要進一步深入的研究。

綜上，與輻射定標法相比，本文方法可以更簡捷、高效地檢出紅外圖像中的盲元，兩者的盲元檢出重合度平均可以達到82%以上；與局部“3σ”方法相比，本文方法可以在保證盲元檢測和補償效果的前提下，將盲元的過檢減少30%以上。

4 成像實驗驗證

4.1 地面外景成像實驗

通過搭建實驗平臺，利用該中波紅外相機對地面外景成像，分別獲取相機關閉和開啟盲元檢測與補償功能時相同地面景物的紅外圖像，對比兩種情況下圖像中異常黑、白點的有無和變化以及目標是否存在丟失等情況，對本文方法的有效性進行驗證。

圖4(a)為關閉紅外相機的盲元檢測與補償功能后對地面成像的紅外圖像（局部），可以看到，圖像中存在著較多的異常黑、白點，其中以圖像左下角最為嚴重，圖像質量受到了較為嚴重的影響；圖4(b)為開啟紅外相機盲元檢測與補償功能后，對相同地面景物成像的紅外圖像（局部），可以看到，圖4(a)中出現(xiàn)的異常黑、白點得到了有效的抑制，圖像質量得到了較明顯的改善，并且與圖4(a)相比，轎車的玻璃、車身金屬外殼等局部溫度較高的細節(jié)部分，在圖像中也被較完整地保留下來。圖5為圖4(b)的完整紅外圖像，可以看到，圖像質量良好，沒有明顯存在的異常黑、白點，且圖像細節(jié)豐富，與關閉盲元檢測與補償功能后獲得的紅外圖像相比，沒有明顯的圖像細節(jié)與目標丟失。

圖4 紅外圖像對比（局部）Fig.4 Comparison of infrared images (partial)

圖5 開啟盲元補償功能的地面外景紅外圖像Fig.5 Infrared image of ground after turning on the blind pixel compensation function

4.2 載機掛飛成像實驗

對該中波紅外相機進行了載機掛飛實驗，通過航拍對地成像進一步對本文方法的有效性進行驗證。

圖6和圖7分別為該紅外相機晝間和夜間的航拍圖像，在航拍時始終開啟系統(tǒng)的盲元檢測與補償功能，可以看到，紅外圖像細節(jié)豐富、圖像質量良好，圖像中不存在明顯異常的黑、白點。夜間航拍相比于晝間航拍時，由于地面景物間的溫差變小會導致地面景物的對比度下降，圖像信噪比隨之下降，因此在一般情況下，夜間航拍的紅外圖像中異常黑、白噪點會較晝間航拍的圖像多，但圖7中幾乎不存在由非景物導致的異常黑、白點，圖像質量良好，層次分明，因此，本文提出的改進的局部“3σ”方法對盲元進行的檢測和補償在該紅外相機中的應用是可行和有效的。

圖6 晝間紅外相機航拍圖像Fig.6 Aerial image taken by infrared camera in the daytime

圖7 夜間紅外相機航拍圖像Fig.7 Aerial image taken by infrared camera at night

5 結論

本文以GB/T 17444-2013 和圖像的三維噪聲分析方法為依據(jù)，以局部“3σ”方法和中值濾波法為基礎，提出了一種基于場景的盲元實時動態(tài)檢測與補償方法。對黑體成像的實驗結果表明，本文方法可以更簡捷、高效地檢出紅外圖像中的盲元，與輻射定標法相比，盲元檢出的重合度平均可以達到82%以上；本文方法與局部“3σ”方法具有相同的盲元檢測與補償效果，并可以將盲元的過檢率降低30%以上；通過地面外景成像和載機掛飛成像實驗的結果表明，本文方法可以對盲元起到很好的抑制作用，獲得的晝間和夜間航拍紅外圖像均不存在明顯異常的黑、白點，圖像質量優(yōu)良。因此，本文方法可以對盲元進行有效的檢測與補償，該方法在自研的某中波紅外相機中的應用是可行和有效的。