張祖漪,于殿泓,朱文杰,馮倫鵬,楊 芳

(西安理工大學(xué)機械與精密儀器工程學(xué)院,陜西 西安 710048)

0 引言

圖像超分辨率重構(gòu)信息技術(shù)是利用單幀或多幀低清晰度圖像進行信息加工的方式,重建出高分辨率圖像[1]。圖像超分辨率重建信息技術(shù)在軍事、遙感、醫(yī)療圖像、公共安全等領(lǐng)域都具有比較廣泛的應(yīng)用[2]。

早在20世紀60年代,Harris和Goodman就提出可以將超分辨率技術(shù)應(yīng)用到圖像處理領(lǐng)域[3]。Huang等利用傅里葉變換的平移特性完成了低分辨率圖像的超分辨率重建研究工作[4]。Tisa和Huang創(chuàng)造性地將圖像超分辨率由單幀擴展到多幀,并且給出了基于頻域的逼近方法。早期的圖像超分辨率重建技術(shù)大多是以頻域法[5]為基準進行的。頻域法雖然簡單、便捷,但提升空間不大。2000年,ALam[6]等在插值法的基礎(chǔ)上將低分辨率圖像映射至高分辨率網(wǎng)格上時,采用加權(quán)最近鄰算法實現(xiàn)了紅外圖像超分辨率重建。

目前,主流的、基于空域法的紅外圖像超分辨率重建算法主要分為基于插值、基于重建[7]和基于學(xué)習(xí)[8]這3種?；诓逯档某直媛手亟ㄋ惴◤膱D像內(nèi)部出發(fā),通過鄰域像素的加權(quán)融合得到新的插值像素,無需外部信息即可有效提升原始圖像的分辨率?；谥亟ǖ某直媛手亟ㄋ惴ㄐ枰獙D像的成像過程進行建模分析。精確的圖像退化模型是該算法的成功關(guān)鍵。這使得重構(gòu)算法的應(yīng)用和發(fā)展受到了很大的限制?；趯W(xué)習(xí)的超分辨率重建算法依賴大量的紅外圖像進行模型訓(xùn)練,并且訓(xùn)練得到的模型通常魯棒性較差。

為了提高紅外圖像的分辨率、盡可能消除圖像插值算法帶來的缺陷[9],本文研究了基于插值的單幀紅外圖像超分辨率重建算法,提出了邊插值邊濾波的圖像超分辨率重建方式,改善了圖像插值算法對紅外圖像的超分辨率重建效果。

1 經(jīng)典的圖像插值算法

基于插值的圖像超分辨率重建算法的原理是先將低分辨率圖像的像素映射到高分辨率圖像上,再利用高分辨率圖像上的空白像素坐標值求得對應(yīng)低分辨率圖像上的坐標值,最后通過低分辨率圖像上坐標點或鄰域進行像素值的計算并傳回高分辨率圖像中[10]。因為紅外圖像普遍分辨率較低,所以圖像插值算法可以在提高圖像分辨率的同時更好地發(fā)揮紅外圖像的優(yōu)勢[11]?；诓逯档乃惴ㄖ饕ㄗ罱彶逯捣ā㈦p線性插值法、雙三次插值法[12]。

最近鄰插值法的基本原理是取待插點中歐式間距最短的4個最近鄰像素點的灰度值作為該點的最大灰度值。該算法在空間插值中,只充分利用了插值運算點附近最近的圖像灰度值作為對該點的取值范圍。由于并未考慮到其他鄰近圖像的因素,空間插值運算后所得的圖像更易出現(xiàn)塊效應(yīng),進而造成圖像模糊[13]。

雙線性插值法是1種一階多項式的插值算法。雙線性插值法綜合考慮了目標坐標的周圍4個像素,用原圖像中4個點計算新圖像中的1個點。具體方法為:首先分析周圍4個像素之間的相互影響作用,然后對這4個像素分配相應(yīng)的權(quán)重,最后通過加權(quán)求和處理得到新的像素。因此,雙線性插值法的插值效果優(yōu)于最近鄰插值法,并且經(jīng)過算法處理后的圖像也相對平滑。

雙三次插值法又稱立方卷積插值法,是二維空間中常用的插值算法。該算法計算量大且相對復(fù)雜。其插值原理是利用待采樣點周圍16個點的灰度值作三次插值。該算法不僅考慮了4個直接相鄰點的灰度影響,而且兼顧了各鄰點間灰度值變化率的影響[14]。因此,雙三次插值法可以得到更接近高分辨率圖像的放大效果,但也導(dǎo)致了運算量的急劇增加[15]。

綜上所述,最近鄰插值算法是經(jīng)典插值算法中更容易實現(xiàn)且計算復(fù)雜性相對較低的算法。本文在最近鄰插值算法的基礎(chǔ)上進行了優(yōu)化,設(shè)計了1種將最近鄰插值與局部自適應(yīng)高斯相結(jié)合的紅外圖像超分辨率重建算法。

2 基于局部自適應(yīng)高斯的插值算法

本文考慮使用自適應(yīng)高斯濾波來處理紅外圖像超分辨率重建的理論依據(jù)有以下4點:紅外圖像本身只具備少量的高頻信息,所以在針對紅外圖像插值研究中可以忽略插值對細節(jié)造成的損失;基于插值的圖像處理算法容易導(dǎo)致插值圖像出現(xiàn)鋸齒和塊效應(yīng)現(xiàn)象;高斯濾波可以抑制鋸齒、塊效應(yīng);自適應(yīng)高斯濾波可以根據(jù)圖像的特點進行選擇性的處理。局部自適應(yīng)高斯濾波的一般過程如下。

①插值。這個步驟以最近鄰插值方式獲得插值像素。

(1)

式中:T為目標圖像大小;S為原始圖像大小;U為需要放大的倍率。

②局部自適應(yīng)高斯[16]。這個步驟將插值得到的T進行自適應(yīng)高斯濾波,并進行融合。

在二維圖像的平滑處理過程中采用高斯濾波器時,高斯函數(shù)的方差Sigma將是1個定值s。如果在平滑處理中使用較大的s將會導(dǎo)致過度平滑,從而使得二維圖像中缺少細節(jié)信息。如果是對平坦區(qū)域的平滑處理,則使用較大的s更好。而自適應(yīng)高斯濾波器能夠根據(jù)圖像的局部平滑特性選擇不同的s,使得經(jīng)過平滑處理后的圖像也可以保持較好的視覺效果。傳統(tǒng)的高斯濾波器一般表示為[17]：

(2)

式中:σ為標準差;k為高斯核;(x,y)為圖像的像素坐標,-k≤x,y≤k。

高斯濾波器在進行圖像處理時會剔除原始影像信息,從而導(dǎo)致影像模糊。自適應(yīng)高斯濾波器是在平滑結(jié)果和較好保持細節(jié)信息結(jié)果中取折中方案。自適應(yīng)高斯濾波器的函數(shù)如下[18]。

(3)

式中:σxy為標準差,-kxy≤x,y≤kxy。

若令最近鄰插值算法獲取的圖像像素為m、經(jīng)過自適應(yīng)高斯濾波處理的圖像像素為n,且a+b=1,則可以得到局部自適應(yīng)高斯處理Y的結(jié)果。

Y=am+bn

(4)

根據(jù)上述的圖像算法思路,本文的優(yōu)化算法流程如圖1所示。

圖1 優(yōu)化算法流程圖

3 試驗分析

試驗的硬件配置為Intel(R) Xeon(R) CPU E5-26700 @2.60 GHz,軟件設(shè)備為Windows10下的64位操作系統(tǒng),軟件編程為Matlab。

3.1 數(shù)據(jù)集

本文主要對公共紅外圖像數(shù)據(jù)集TNO和CVC-14展開研究。

試驗所需的部分紅外圖像如圖2所示。

圖2 試驗所需的部分紅外圖像

本文對公共紅外圖像數(shù)據(jù)集TNO的紅外圖像分別進行2倍率、3倍率和4倍率的降采樣,并對處理后的圖片分別作最近鄰插值、雙線性插值、雙三次插值、高斯最近鄰插值和局部自適應(yīng)高斯最近鄰插值等處理,以完成基于增強的紅外圖像超分辨率重建的試驗。

3.2 評價指標

超分辨率圖像的重建效果通常會有2種類型的評價方式,分別為主觀評價方式和客觀評價方式[19]。主觀評價方式是通過人眼觀察圖像重建效果的優(yōu)劣,給出圖像采集效果的評價?？陀^評價指標有峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity,SSIM)[20]。本文采用的評價方式為PSNR。PSNR評價方式能夠從全局視角評估圖像的重建效果。

(5)

式中:n的取值一般為8;M為2幅圖像之間的均方誤差;P為PSNR值。

P的數(shù)值越高,表示圖像失真越小,則圖像重建效果越好[21]。

(6)

式中:z為參考圖像;y為待評價圖像;H和W分別為圖像的高度和寬度。

3.3 算法有效性驗證

為了驗證優(yōu)化算法的性能,本文分別在2倍率、3倍率、4倍率下進行了3組不同的試驗,并復(fù)現(xiàn)了相應(yīng)倍率下的雙線性插值和雙三次插值,將其用于結(jié)果的對比參照。3組試驗分別為:最近鄰插值;高斯濾波最近鄰插值;局部自適應(yīng)高斯濾波最近鄰插值(本文算法)。

消融試驗設(shè)置如下。

①2倍率試驗:最近鄰插值算法+高斯算法采用1×1的高斯濾波器,σ值取0.1;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

②3倍率試驗:最近鄰插值算法+高斯算法采用3×3的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

③4倍率試驗:最近鄰插值算法+高斯算法采用5×5的高斯濾波器,σ值取0.5;最近鄰插值算法+局部自適應(yīng)高斯采用3×3的高斯濾波器,σ值自適應(yīng)選取;α、β的值分別為0.7、0.3。

本文對在TNO數(shù)據(jù)集上試驗的平均插值效果進行對比。消融試驗結(jié)果如表1所示。

表1 消融試驗結(jié)果

由表1可知,本文算法在不同倍率的超分辨率重建效果均優(yōu)于最近鄰插值和高斯最近鄰插值。所以本文算法可以顯著提高最近鄰插值的插值效果,且與高斯最近鄰插值存在著本質(zhì)區(qū)別。

3.4 不同算法的試驗對比

本文以PSNR作為客觀的定量評價指標,對本文算法、雙線性插值算法、雙三次插值算法和最近鄰插值算法進行對比。本文對TNO數(shù)據(jù)集的紅外圖像進行超分辨率重建的算法測試。不同算法的PSNR試驗結(jié)果對比如表2所示。

表2 不同算法的PSNR試驗結(jié)果對比

表2可以直觀地反映本文算法的超分辨率重建效果明顯優(yōu)于其他3種經(jīng)典的圖像插值算法。由上述試驗結(jié)果可知,相比于最近鄰插值算法的重建效果,經(jīng)過局部自適應(yīng)高斯濾波的最近鄰插值算法重建效果清晰得多。本文算法在紅外圖像超分辨率重建的效果得到一定程度的改善。

表2只是單純地展示了本文算法的超分辨率重建效果,并不足以證明本文算法的重建性能優(yōu)于其他3種經(jīng)典的圖像插值算法。為了更好地體現(xiàn)本文算法的有效性,本文針對上述算法分別進行了耗時試驗,并記錄了上述算法在不同倍率下運行時所耗費的時間。不同算法耗費的時間對比如表3所示。

表3 不同算法耗費的時間對比

由表3可知,最近鄰插值算法相對于雙線性插值、雙三次插值和本文算法而言耗時較少,在不追求較高分辨率的情況下具有較高的運算效率。本文算法和雙三次插值算法相對于最近鄰插值算法和雙線性插值算法耗時較多。在耗時時間相近的情況下,本文算法的超分辨率重建效果優(yōu)于雙三次插值算法。因為本文算法涉及自適應(yīng),即算法會在不同的圖像、尺寸的激勵下給出不同的響應(yīng),所以比其他3種經(jīng)典的插值算法多了1個自適應(yīng)的循環(huán)判斷過程,會有幾秒的耗時差距。

本文優(yōu)化算法的效率略低于其他3種經(jīng)典的插值算法。但結(jié)合前面論述的算法結(jié)果性能來看,本文算法能夠在僅多出不到2 s的耗時差距內(nèi)獲得較好的超分辨率重建效果。

以圖2所示的圖片為例,本文分別運用不同算法進行超分辨率重建試驗。不同超分辨率重建效果的對比如圖3所示。

圖3 不同超分辨率重建效果的對比

由圖3可知:經(jīng)過最近鄰插值算法處理的紅外圖像鋸齒現(xiàn)象和塊現(xiàn)象比較明顯;經(jīng)過雙線性插值處理的紅外圖像鋸齒和塊現(xiàn)象依然存在,但是有所改善;經(jīng)過雙三次插值處理的紅外圖像雖然有效改善了插值產(chǎn)生的塊效應(yīng),但是圖片整體比較模糊;經(jīng)過高斯最近鄰插值算法得到的紅外圖像鋸齒和塊效應(yīng)相較于最近鄰插值和雙線性插值有所改善;經(jīng)過基于局部自適應(yīng)高斯濾波的最近鄰插值算法(本文算法)處理得到的紅外圖像整體效果較好,雖然還會有一定的塊效應(yīng),但圖片的對比度和紋理細節(jié)都有所提升[22]。

4 結(jié)論

本文提出了1種基于插值的單幀紅外圖像超分辨率重建算法。該算法采用局部自適應(yīng)高斯濾波的方式,在最近鄰插值算法的基礎(chǔ)上進行優(yōu)化。為證明該算法的性能,本文通過多次試驗對比分析發(fā)現(xiàn),本文算法使得紅外圖像超分辨率重建的效果得到了有效改善。具體表現(xiàn)為:其重建結(jié)果的客觀評價指標與其他3種經(jīng)典的圖像插值算法相比提高了約2.8%～3.2%,并且能夠有效減少噪聲、改善鋸齒和模糊現(xiàn)象。本文算法可直接對紅外圖像進行超分辨率重建,具有重建速度快、效果好、易上手等優(yōu)點,可以滿足大部分基礎(chǔ)紅外圖像超分辨率重建工作的需求。

目前,圖像超分辨率重建的相關(guān)研究重點都集中在基于學(xué)習(xí)的領(lǐng)域。基于學(xué)習(xí)的超分辨率重建雖然重建效果好,但是設(shè)備要求高,對紅外圖像的數(shù)據(jù)量需求大。這不利于當下的研究。所以,僅需少量圖片就可以實現(xiàn)重建的超分辨率重建方式有很大的研究空間。一般的圖像插值方式都類似于1個低通濾波器,但是經(jīng)過低通濾波器的原始圖像會損失大部分的細節(jié)信息。本文算法在對紅外圖像進行插值超分辨率重建的同時能夠有效改善塊效應(yīng)和模糊現(xiàn)象,提高紅外圖像超分辨率重建效果。