劉超

摘 要

目前超分辨率的研究分成靜態(tài)圖像超分辨率和動(dòng)態(tài)圖像超分辨率兩大類(lèi)，靜態(tài)圖像超分辨率是指利用單張低分辨率圖像內(nèi)容來(lái)重建出高分辨率圖像，本質(zhì)上高分辨率圖像的高頻成分不能由原有低頻成分算出，故如何補(bǔ)足高頻成分以避免模糊現(xiàn)象是提升視覺(jué)質(zhì)量的關(guān)鍵也是研究重點(diǎn)。圖像去噪和超分辨率的目的是為了解決數(shù)字圖像分辨率不足所提出的技術(shù)。這個(gè)技術(shù)主要是應(yīng)用在某些只能得到單張低分辨率圖像的場(chǎng)合，利用僅有的一張低分辨率圖像來(lái)產(chǎn)生應(yīng)用上所需的高分辨率圖像。稀疏表示作為一種重要的數(shù)據(jù)編碼與表達(dá)方式，不僅在人類(lèi)的視覺(jué)認(rèn)知機(jī)理上具有明確的理論依據(jù)，而且在信號(hào)表達(dá)與重建理論方面得到了嚴(yán)格的證明和推導(dǎo)。本文主要采用稀疏表示理論，對(duì)圖像去噪和超分辨率重建的相關(guān)技術(shù)與算法進(jìn)行研究。

【關(guān)鍵詞】圖像去噪 超分辨率 重建 稀疏表示

1 圖像去噪和超分辨率重建的概述

動(dòng)態(tài)圖像超解析的步驟通常分成二個(gè)步驟：第一個(gè)步驟是從多張連續(xù)的圖像中，取一張圖像當(dāng)作我們的目標(biāo)圖像，然后去計(jì)算其它圖像相對(duì)于目標(biāo)圖像的位移差量。第二個(gè)步驟是根據(jù)所得到的位移量以及一些額外的信息，如圖像邊緣的方向、圖像的區(qū)域特性等等，最后得到一張高分辨率的圖像。以多張圖像來(lái)做超解析的優(yōu)點(diǎn)是可以參考的圖像信息變得多了，不同于靜態(tài)圖像超分辨率的信息僅有單張低分辨率內(nèi)容。一張數(shù)字圖像經(jīng)過(guò)次取樣成低分辨率，再應(yīng)用靜態(tài)圖像分辨率提高法還原成高分辨率時(shí)，再和原始數(shù)字圖像作比較，會(huì)發(fā)現(xiàn)兩張圖像有所差異。其差異程度的大小，光以言語(yǔ)形容給人的感覺(jué)也許不是那么明確。因此需要一些評(píng)估方式來(lái)裁決圖像質(zhì)量的好壞。圖像的質(zhì)量通常是利用人眼視覺(jué)來(lái)評(píng)估，由于人眼評(píng)估屬于主觀評(píng)估，因此必須嚴(yán)格訂定給分標(biāo)準(zhǔn)并且交由一群專(zhuān)業(yè)評(píng)論者給分，其圖像質(zhì)量的評(píng)估數(shù)值取全部評(píng)論者給分的平均，其優(yōu)點(diǎn)是符合稀疏表示。另一種質(zhì)量評(píng)估方式為客觀的數(shù)值評(píng)估，利用訂定的公式（如：PSNR）來(lái)估算圖像的質(zhì)量，優(yōu)點(diǎn)是容易計(jì)算，無(wú)須勞師動(dòng)眾；但缺點(diǎn)是數(shù)值評(píng)估不完全吻合視覺(jué)上的評(píng)估（如：PSNR 高未必代表圖像質(zhì)量佳）?；谏鲜霾煌u(píng)估方式各有其優(yōu)缺點(diǎn)，因此國(guó)際圖像壓縮標(biāo)準(zhǔn)JPEG2000 在選擇算法規(guī)格時(shí)，先以數(shù)值評(píng)估PSNR 找出質(zhì)量最佳的前三名，再利用人眼主觀評(píng)估做最終的圖像質(zhì)量裁決者。

2 稀疏表示的模型與算法

2.1 模型的建立

在重建信號(hào)品質(zhì)評(píng)估方面，一般常用的有均方根誤差（Root Mean Square Error，RMSE） 、信號(hào)噪聲比（Signal-to-Noise Ratio， SNR） 和信號(hào)峰噪聲比（PeakSignal-to-Noise Ratio， PSNR）。

假設(shè)f（i，j）表示原始高分辨率圖像信號(hào)，f （i，j）表示超解析重建后的信號(hào)，信號(hào)長(zhǎng)度為MxN，則對(duì)于任意（i，j）值，f （i，j）和f（i，j）間的誤差定義為：

ε=f （i，j）-f（i，j）

因此，兩張圖像間的總誤差為：

則兩張圖像間的均方根誤差（MSE）為：

而RMSE為MSE的平方根，因此定義如下：

目前ITU-T 的H.264 標(biāo)準(zhǔn)在評(píng)估彩色圖像質(zhì)量時(shí)所采用的數(shù)值評(píng)估方式，即PSNR的延伸，將RGB 彩色空間轉(zhuǎn)換到Y(jié)UV 彩色空間，再分別求出Y，U 和V 元素的PSNR，并給予不同的權(quán)重加總平均，即彩色圖像的評(píng)估方式。

2.2 以稀疏表示為基礎(chǔ)的高頻增強(qiáng)濾波器算法

由于SISR 方法當(dāng)中，主要的問(wèn)題在于高頻區(qū)域模糊不夠明顯，一般高頻信息泛指紋理區(qū)域和圖像邊緣區(qū)域，但是人眼對(duì)于紋理區(qū)域的變化并不如圖像邊緣敏感，因此目前一些提出的方法都只處理人眼較為敏感的圖像邊緣區(qū)域。但是如果算法能夠同時(shí)兼顧這兩種區(qū)域，則圖像質(zhì)量將能夠更趨于真正的高分辨率圖像。SISR 解決高頻信息不足的方法一般有兩個(gè)，第一個(gè)方法是加入新的高頻信息。第二個(gè)方法是強(qiáng)化微弱的高頻信息。前述兩個(gè)方法都是屬于前者，這類(lèi)方法都是利用一些假設(shè)條件或統(tǒng)計(jì)信息來(lái)增加新的高頻信息，因此可能造成圖像失真，而失去提高分辨率的意義；反之，如果強(qiáng)化原本就存在于低分辨率圖像中的高頻信息，則圖像比較能夠貼近真正的圖像，由于高頻增強(qiáng)濾波器的主要功能是增強(qiáng)圖像中的高頻，因此，能夠同時(shí)突顯圖像紋理和邊緣的高頻信息?；谏鲜龅母拍?，我們針對(duì)一次內(nèi)插的結(jié)果，提出以稀疏表示為基礎(chǔ)的高頻增強(qiáng)濾波器（HVS based High Emphasis Filter，簡(jiǎn)稱(chēng)HHEF），并利用高低分辨率圖像間對(duì)應(yīng)的關(guān)系加入一個(gè)后續(xù)補(bǔ)償限制條件。

高頻增強(qiáng)濾波器主要是為了突顯圖像中的高頻信息，因此必須先利用高通濾波器找出圖像中的高頻信息，再將這些高頻信息加諸在原始圖像上，使原始圖像的頻率變化能夠加大，因此圖像視覺(jué)質(zhì)量能夠得到改善。

3 結(jié)果分析與討論

3.1 重建結(jié)果分析

兩張數(shù)字圖像經(jīng) PSNR 計(jì)算后的結(jié)果值越大，則我們就認(rèn)為這兩張數(shù)字圖像越相似；換言之經(jīng)處理過(guò)的圖像越佳。注意??！ RMSE 比較低（或相對(duì) SNR 較高）并不意味主觀上重建信號(hào)的質(zhì)量就一定比較高。因?yàn)榇蠖鄶?shù)的圖像最終觀測(cè)者皆為人，以人的主觀角度來(lái)評(píng)估往往是更合適的，因此只可以將這些估算子當(dāng)成客觀標(biāo)準(zhǔn)來(lái)使用。

由于訓(xùn)練所產(chǎn)生的低解析-高解析對(duì)應(yīng)關(guān)系數(shù)據(jù)龐大，因此，要如何快速有效率的從龐大對(duì)應(yīng)數(shù)據(jù)中找出相符的信息，也是一個(gè)需要考慮的問(wèn)題。這個(gè)算法是一個(gè)相當(dāng)新穎的概念，但是，重建出高頻信息的過(guò)程繁瑣，而且產(chǎn)生的高頻信息未必存在于低分辨率圖像中。

3.2 圖像去噪和超分辨率重建的效果

動(dòng)態(tài)估測(cè)部分，Nimish 以傳統(tǒng)的區(qū)塊比對(duì)（block matching）算法為基礎(chǔ)作修改，將每個(gè)像素以多個(gè)動(dòng)態(tài)向量來(lái)表示，他們提出改變的理由在于傳統(tǒng)區(qū)塊匹配方式如果選用一個(gè)像素一個(gè)移動(dòng)向量，有時(shí)候并不能夠找出精準(zhǔn)的移動(dòng)向量。另外，Nimish也在區(qū)塊相似評(píng)估上加入彩色信息來(lái)提高區(qū)塊比對(duì)的精準(zhǔn)度。經(jīng)過(guò)動(dòng)態(tài)估測(cè)后可以得到一張初始化的高分辨率圖像，接著經(jīng)過(guò)以Landweber 算法為基礎(chǔ)的迭代算法，將未還原的的像素信息填補(bǔ)回去，使初始高分辨率圖像數(shù)值收斂以獲得最終的高分辨率圖像。

在理想狀況之下，由于重建HR所需要的相關(guān)信息都存在，因此在這個(gè)狀況之下可以分析出動(dòng)態(tài)圖像超分辨率的區(qū)塊匹配（block matching）算法是否夠精確。要客觀評(píng)估動(dòng)態(tài)圖像超分辨率可由圖像的數(shù)值評(píng)估PSNR和未匹配像素比例（Pixel Mismatch Rate， 以下簡(jiǎn)稱(chēng)PMR）兩個(gè)指標(biāo)。PSNR是一般常用來(lái)評(píng)估圖像質(zhì)量的客觀評(píng)估準(zhǔn)則。而PMR是指重建圖像的像素信息與真正HR未匹配點(diǎn)數(shù)占整張圖像點(diǎn)數(shù)的比例。而半理想狀況B是指仍然滿(mǎn)足理想狀況的第一個(gè)條件，LR仍然透過(guò)左上角次取樣方式來(lái)保留真正的HR像素信息，但是并不一定包含重建所需的四張畫(huà)面，因此必須利用多于理想數(shù)目的LR來(lái)近似理想圖像數(shù)目下所能提供的數(shù)據(jù)量，如果能夠近似出同樣的像素信息才有可能重建出真正的高分辨率圖像。

由于圖像畫(huà)面數(shù)目為已知，所以數(shù)據(jù)長(zhǎng)度不需要?jiǎng)討B(tài)擴(kuò)增，而且高/低分辨率圖像的隨機(jī)存取機(jī)率的頻率較高，因此，以固定長(zhǎng)度的數(shù)組結(jié)構(gòu)來(lái)儲(chǔ)存圖像序列是一種比較有效率的做法。高/低分辨率圖像率序列儲(chǔ)存的數(shù)據(jù)基于效率的考慮，低分辨率圖像序列存放的圖像信息為RGB 彩色圖像，而高分辨率圖像序列為了降低彩色空間重復(fù)轉(zhuǎn)換的問(wèn)題，高分辨率圖像序列所儲(chǔ)存的是分辨率強(qiáng)化后的YCbCr 彩色圖像。高分辨率圖像序列所存放的是前一次空間分辨率強(qiáng)化后圖像，而低分辨率圖像序列所存放的是用來(lái)重建高分辨率圖像的畫(huà)面。由于這些畫(huà)面是為了在后續(xù)的動(dòng)態(tài)估測(cè)中找出半精準(zhǔn)度位移，因此，低分辨率圖像必須透過(guò)內(nèi)插方式來(lái)獲得高分辨率大小的圖像，并將圖像轉(zhuǎn)換到Y(jié)CbCr 彩色空間。而高分辨率圖像因?yàn)橐呀?jīng)在圖像大小和彩色空間上滿(mǎn)足條件，因此不需要經(jīng)過(guò)如同低分辨率圖像的轉(zhuǎn)換。假如系統(tǒng)在取得必要的高分辨率參考圖像不存在，則系統(tǒng)會(huì)忽略這部分的畫(huà)面。

4 結(jié)論

本文提出以稀疏表示為基礎(chǔ)的高頻增強(qiáng)濾波器（HHFE）來(lái)改善圖像整體的高頻信息，減少模糊進(jìn)而提升圖像的視覺(jué)質(zhì)量，之后再透過(guò)高低分辨率間的取樣關(guān)系來(lái)進(jìn)行數(shù)值的校正（IC），使重建HR 像素?cái)?shù)值更趨于真正HR。所以透過(guò)本文所提的靜態(tài)圖像超分辨率方法可以在視覺(jué)質(zhì)量和客觀評(píng)估PSNR 上獲得改善。上述的實(shí)驗(yàn)結(jié)果顯示，本文所提的高頻增強(qiáng)濾波器和補(bǔ)償算法不僅算法簡(jiǎn)單、運(yùn)算量低，而且確實(shí)可以在視覺(jué)質(zhì)量和數(shù)值評(píng)估上獲得改善。雖然，上述Baboon 的PSNR 數(shù)值改善幅度并不像Moon 和Lena 大，但是其視覺(jué)效果仍獲得不少的改善。這也可以看出PSNR 的結(jié)果并不是能夠完全的與人眼視覺(jué)感受相同。

參考文獻(xiàn)

[1]李博，謝巍.基于自適應(yīng)分?jǐn)?shù)階微積分的圖像去噪與增強(qiáng)算法[J].系統(tǒng)工程與電子技術(shù)，2016（01）：185-192.

[2]黃麗韶，文海英，顧思思.基于方法噪聲稀疏表字典學(xué)習(xí)的圖像去噪算法[J].系統(tǒng)仿真學(xué)報(bào)，2016（01）：154-155.

[3]方敬，肖揚(yáng)，王東.小波-Contourlet與迭代Cycle Spinning相結(jié)合的SAR圖像去噪[J].應(yīng)用科學(xué)學(xué)報(bào)，2014（06）：605-610.

[4]王海軍.基于PSO_Trainlm BP模型的圖像去噪研究[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2014（21）：137-142.

[5]殷明，吳江敏，于立萍，等. 基于非下采樣四元數(shù)輪廓波變換域的圖像去噪[J]. 計(jì)算機(jī)應(yīng)用研究，2014，12：3902-3906.

[6]D.Needell，J.A.Tropp.CoSaMP：Iterative signal recovery from incomplete and inaccurate samples[J].Applied and Computational Harmonic Analysis. 2013（03）：82-83.

[7]Deanna Needell，Roman Vershynin. Uniform Uncertainty Principle and Signal Recovery via Regularized Orthogonal Matching Pursuit[J].Foundations of Computational Mathematics.2014（03）：632-633.