戚 曹，朱桂斌，陽 溢，劉博文，季曉勇

(重慶通信學院，重慶400035)

0 引言

盡管現(xiàn)在數(shù)碼攝相機能產(chǎn)生高分辨率的視頻圖像，但是在移動設備和監(jiān)控系統(tǒng)中也有大量的低質量感光器元件和低分辨率視頻圖像。傳統(tǒng)意義上，要想提高視頻圖像的分辨率，必須調整成像設備或盡可能縮短與目標間距離、或盡可能縮小成像設備的像元尺寸。但是，一方面由于視頻圖像采集設備像元尺寸的限制，人們往往得不到理想的高分辨率視頻圖像;另一方面，由于高分辨率的視頻圖像采集設備造價昂貴，體積龐大。總之，由于存在硬件技術瓶頸的束縛和經(jīng)濟成本的限制，使得人們對提高視頻圖像的分辨率充滿諸多期望。

視頻圖像超分辨率算法在計算機圖形學、圖像處理等領域被廣泛地研究與應用，這么多年所形成的算法在所使用圖像模型和輸入數(shù)據(jù)上有所差異。最經(jīng)典、最簡單的方法使用是線性插值方法，這個方法為了預測中間像素的值，通常使用線性濾波器來實現(xiàn)。線性插值方法是針對空間平滑信號或頻帶被限制信號來設計的，這些信號在自然圖像中通常不常見，而真實世界的圖像通常包含邊緣和高頻紋理區(qū)域的奇異點。因此，這類方法受制于邊緣相關的視覺塊效應，如振鈴效應，塊效應和模糊效應。文獻［1］對此進行了詳細的研究和闡述。針對此問題，文獻［2］和文獻［3］提出一個靈活的方法，作者在與圖像像素相關的2個不同尺度上使用一個基于例子的馬爾科夫隨機模型。這個模型使用一個通用圖像集的樣本塊來預測超分辨圖像中丟失的上頻帶。盡管這種方法可以在輸入圖像中增加細節(jié)和銳化邊緣，但是由于缺少一些相關例子，且在最近鄰塊的粗略搜索中產(chǎn)生了較高的錯誤率，產(chǎn)生了大量的噪聲和沿邊緣的不規(guī)則形狀。更復雜的超分辨率算法采用基于學習內(nèi)容的方法:文獻［4］提出基于聯(lián)合學習的單幀圖像超分辨率重建方法;文獻［5］提出基于字典學習的超分辨算法，這些算法減少了一些振鈴效應，并且取得了更好的效果。非二次平滑方程產(chǎn)生了非線性圖像正則化的不同類型，文獻［6］通過對總變分方程進行最小化實現(xiàn)圖像超分辨率重建。文獻［7］使用一種復雜的反饋控制框架來對相似測度最小化，這個框架在對其進行下采樣至輸入分辨率時，可以保持輸出圖像與輸入圖像一致。文獻［8］在多個較小尺度下用輸入圖像作為樣本塊的來源，同時在小塊上依賴圖像的自相似性。盡管相比于通用的數(shù)據(jù)庫，它提供了一個受限制尺寸的樣本數(shù)據(jù)庫，但是這個樣本庫與輸入待放大圖像更相關。文獻［9］基于圖像的局部自相似性，對圖像的高頻和低頻部分形成編碼表映射;文獻［9］先對低頻部分進行基于插值方法的重建，再利用映射關系實現(xiàn)高頻補償，從而實現(xiàn)超分辨率算法重建，圖像分辨率提升顯著。

本文提出基于局部自相似性的視頻圖像超分辨率算法，不同于文獻［7］和文獻［9］，本文無需編碼表映射，而是通過對基于輸入圖像自身的局部自相似性進行探索研究，通過在相關坐標鄰域中搜索圖像塊以實現(xiàn)高頻補償;再進行設計上采樣插值濾波器和下采樣平滑濾波器，以實現(xiàn)對高頻補償后的圖像進行濾波從而產(chǎn)生最終的樣本塊;超分辨算法采樣逐級放大、分多步組合實現(xiàn)視頻圖像的放大與增強，產(chǎn)生了更高質量的視頻圖像分辨率增強效果。同時，對視頻圖像利用局部自相似性方法，減少了圖像塊的檢索時間，降低了算法運算量。

1 局部自相似性

本文算法不依賴自然圖像數(shù)據(jù)庫作為樣本塊的圖像來源，本文所使用的局部自相似性算法探索了沿圖像周圍和其多尺度的相似性。自然圖像中存在一些如奇異點、邊緣細節(jié)等需要提升分辨率的特征細節(jié)部分，這部分可以通過在平滑下采樣圖像塊中找到相關的樣本圖像塊。通過在這些特征細節(jié)塊的像素坐標周圍局部區(qū)域中搜索并查找到相關樣本圖像塊，得到與其自相似性較高的圖像塊，本文稱這種特性為局部自相似性。在輸入圖像中，局部自相似性算法通過在相關坐標周圍的受限制鄰域中搜索樣本塊，通過對相關樣本塊進行檢索和查詢，最終用于高頻補償。相比于整幅圖像的全局搜索或外部自然圖像數(shù)據(jù)庫的搜索，這種方法大幅度地減少了最鄰近塊的檢索時間，降低了算法運算連幾個。檢索時間的大幅縮減無需以降低圖像視覺質量為代價，并且重建圖像不包含明顯的重疊塊。

1.1 利用局部自相似性進行高頻補償

放大因子較小時，可以對上采樣圖像中的每一個如5×5或10×10塊大小的圖像塊(也稱查詢塊)在下采樣圖像中的相應窗口如10×10或20×20(也稱為檢索塊)中查找最相似的塊，然后，根據(jù)最小誤差塊的位置取到高頻預測圖像中的相應塊，直接加到上采樣圖像中對應塊上，完成這一塊的高頻補償。重復操作于所有5×5或10×10的塊上。這樣便可以補償?shù)屯V波器損失的高頻部分。對此，定義插值操作(上采樣)U和平滑(下采樣)操作D，這些操作的放大比例t小于2。對于給定的輸入圖像I0，將圖像像素的疏網(wǎng)格定義為r0，密網(wǎng)格定義為r1。線性插值操作U將圖像從rt映射到rt+1，然后，將圖像I0插值到密網(wǎng)格r1;其中，rt，rt+1矩形像素網(wǎng)格的分辨率隨著放大比例t提升。則上采樣圖像L1=U(I0)，但它缺少了上頻帶的一部分，因此，樣本塊還需經(jīng)過下采樣平滑算子操作后提取得到

(1)式中:D是下采樣平滑算子，它能將rt映射到rt－1。首先，高頻預測是通過在上采樣圖像L1中用平滑圖像L0中最相似塊的q(p)∈r0匹配每個塊p∈r1。這種搜索不是針對L0中的每個塊，而是針對受限制的小窗口，這個小窗口集中于r0中相關坐標，比如r1中的查詢塊p。這就要求在設計操作算子U和D的時候確保2幅圖像高度相關。在匹配塊的輸入圖像中，整個高頻內(nèi)容H0(q)=I0(q)－L0(q)可以進行高頻補償I1(p)=L1(p)+H0(q(p))。圖1給出了選用一張細節(jié)和紋理區(qū)域內(nèi)容都比較豐富的圖片進行相應算子處理后的對比圖。

圖1 算子處理前后圖Fig.1 Images after and before processing

1.2 插值和平滑濾波器

針對經(jīng)過高頻補償后得到的圖像，算法使用上采樣和下采樣濾波器對其進行濾波，從而產(chǎn)生最終的樣本塊。通常，普通照相機的成像器件具有一種擴散功能，且包含一個模糊抗混疊濾波器，這是用來限制信號的帶寬以滿足采樣定律。因此，下采樣操作算子D會在rt+1采樣信號之前調整模糊所引起的差異，同樣情況也適用于插值操作U。由于輸入圖像采樣率較低，相機濾波器限制了其信號頻譜，因此，原始上采樣圖像L1應該包含這些數(shù)據(jù)，以便在更高采樣率上進行渲染操作。高頻帶的預測和圖像中奇異點的正確重建依賴于從上采樣圖像中正確地與輸入平滑圖像塊進行匹配。為了得到精確的匹配，平滑圖像L0=U(D(I0))和原始上采樣圖像L1=U(I0)中的奇異點必須有相似形狀。為了正確調整圖像獲取過程，下采樣操作算子應該將定義在rt+1上的線性方程映射到定義在rt上的線性方程。因此，本文定義C(x')=x'/β，其中，x'∈rt+1，且 β=(N+1)/N。要求:D(C(x'))(x)=D(x'/β)(x)=x。

對下采樣后函數(shù)f和放縮后函數(shù)f的間距進行調整，從而得到

本文用高斯函數(shù)f(x)=e－x2來調整圖像中的奇異點等單一特征所引起的變化，通過子像素位移μ和拉伸σ來調整可能引入的所有位移和尺寸變化。M是歸一化比例因子。本文使得下采樣操作算子D可以拓展至低頻，定義為

(4)式中:αS是用來對2個目標進行優(yōu)先組合的。通過運用拉格朗日法則，從(4)式中解得dj。通過相似方式可計算得到上采樣濾波器ui。

(5)式中:k將ui與dj重疊域的鄰域指數(shù)進行放大，且M'是歸一化常量。因ui在采樣信號之前需調整模糊所引起的差異，因此，得到

這里對C(x)和D(x)進行采樣約束:D(C'(x'))(x)=C(βx')(x)=x，其中，C'(x')=βx'。則(6)式中uj的最優(yōu)化問題轉換為

(7)式中，αU用來對C(x)和D(x)進行組合。

2 超分辨率算法

本文通過對基于輸入圖像自身的局部自相似性進行探索研究，通過在相關坐標鄰域中搜索圖像塊以實現(xiàn)高頻補償;再設計上采樣插值濾波器和下采樣平滑濾波器，以實現(xiàn)對高頻補償后的圖像進行濾波從而產(chǎn)生最終的樣本塊;超分辨算法采樣逐級放大、分多步組合實現(xiàn)視頻圖像的放大與增強。本文算法結構圖如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

一般的視頻圖像超分辨率算法，如雙線性插值、雙三次方插值、最近鄰差值法等，在視頻圖像放大后會產(chǎn)生模糊和振鈴效應，同時造成鋸齒效應，使得圖像的質量明顯下降。由文獻［10］中得到的實驗結論，局部自相似性中的尺度不變假設更加適用于放大因子較小的情況，如5∶4，6∶5等;并且實驗結論還可擴展至N+1∶N比例，如6∶5，5∶4，4∶3，3∶2，2∶1等。因此，本文中的視頻圖像超分辨率算法采用逐級放大的方式，如6∶5，5∶4，4∶3，3∶2等，再通過多步組合達到放大圖像的效果。對于超分辨率算法，參數(shù)的選擇是個很重要的因素。比如對于窗口塊的大小、放大因子的大小等都會影響到算法的結構性優(yōu)劣和算法運行速度。因此，本節(jié)注重對2個參數(shù)進行討論，并證明本文中對于參數(shù)選擇的重要性。

2.1 放大因子的選擇

超分辨率算法結構的主要依據(jù)是圖像在放大因子較小時，在較小的圖像塊中能得到與原圖近乎相似的結果，這樣便可以補償?shù)屯V波器損失的高頻。由文獻［10］中得到的實驗結論可擴展至N+1∶N比例，如5∶4，6∶5等。圖3呈現(xiàn)同一幅圖像中選取不同的N以確定N+1∶N的比值時，查詢和檢索塊之間的平均錯誤率為

(8)式中:(i，j)表示像素點;p(i，j)表示查詢塊的像素值;q(i，j)表示檢索塊的像素值。

N分別取1，2，3，4，5，即對應比例為2∶1，3∶2，4∶3，5∶4，6∶5這5組數(shù)據(jù)。選取的塊大小分別是查詢塊5×5像素塊的窗口和檢索塊10×10像素塊的窗口。平均錯誤率是用平均強度值歸一化每個彩色通道后，在紅綠藍(red green blue，RGB)彩色空間中計算，本節(jié)中以放大因子最小數(shù)所對應的6∶5為基準參考比例，對像素塊的中心像素局部區(qū)域6×6窗口用(8)式進行計算。圖3中清晰地顯示了隨著放大因子的增大，查詢和檢索塊之間的平均錯誤率提高。這是因為較大的放大因子在計算樣本圖像的時候包含了更強的平滑操作，并且樣本塊中不包含更孤立的奇異點。鑒于此，本文通過多步地執(zhí)行較小因子的放大步驟來對圖像進行放大，以此取得理想的最終效果。圖4顯示了不同上采樣因子下的超分辨率視頻圖像。隨著放大因子的增大，所產(chǎn)生的塊效應越明顯，模糊效應也逐漸增大。

圖3 不同放大因子下的平均錯誤率Fig.3 Mean error at different magnification factors

圖4 不同窗口大小下錯誤率Fig.4 Mean error at different window sizes

2.2 窗口塊大小的選擇

上面實驗數(shù)據(jù)結果表明了隨著放大因子的減小，平均錯誤率降低，最終圖像所產(chǎn)生的塊效應相對較少。本節(jié)中取一個較小的放大因子，即5:4來驗證窗口塊的大小對于最終圖像所產(chǎn)生的影響。如2.1節(jié)所述，本節(jié)平均錯誤率選取像素塊的中心像素局部區(qū)域6×6窗口用(8)式進行計算。圖5顯示了在5×5像素窗口，10×10像素窗口，20×20像素窗口中所使用的局部搜索算法結果，以及在整幅輸入圖像中通過最鄰近搜索的結果。通過圖4可以得出，本文提出的局部搜索算法比使用最鄰近搜索算法更加精確;隨著像素窗口的增大，錯誤率明顯地提升。在整幅圖像中，相比于最鄰近塊搜索，基于局部的搜索能在精度上取得較大的提高。

圖5 不同放大因子下的超分辨率視頻圖像Fig.5 Super resolution video images at different magnification factors

3 實驗結果

本文對放大因子進行漸進增大，比如5∶4，4∶3，3∶2等，以對視頻圖像進行超分辨研究。根據(jù)第2部分所獲得的2個關于放大因子和窗口塊大小的結論，本文實驗中取最小的放大因子6∶5作為基準，分別選取6∶5，5∶4，4∶3，3∶2，同時選取5×5的窗口大小來對視頻圖像進行放大3倍的效果增強。本文使用CPU為3.0G AMD Athlon(tm)X360的計算機在Matlab2013的平臺上編程進行實驗。實驗圖像選取2個具有不同特征和不同場景的視頻序列圖像，分別為“汽車序列”和“行人序列”?！捌囆蛄小奔y理清晰，圖像結構明顯;“行人序列”細節(jié)清晰，圖像畫質突出。對2個視頻序列圖像分別選取第1，11，21，31幀進行超分辨率重建，“汽車序列”輸入幀圖像尺寸大小為91×41;“行人序列”輸入幀圖像尺寸大小為61×61。本文算法在YCbCr彩色空間上實現(xiàn)，并且只對Y通道增加高頻信息。實驗結果證明，算法在圖像重建后質量有顯著提升。圖6，圖7分別為“汽車序列”和“行人序列”的原始低分辨率圖像輸入幀和經(jīng)過本算法得到的超分辨率視頻圖像重建輸出幀。從圖6—圖7中放大的文本部分可以明顯看出，經(jīng)過超分辨率重建后的圖像具有更高的分辨能力和更好的視覺效果。對汽車序列中的第21幀圖像，將本文算法結果與經(jīng)典算法如雙三次插值法(Bicubic［11］)、文獻［7］(Shan Q)和文獻［9］(Suetake N)中的算法所得結果進行比較，如圖8所示。實驗使用結構自相似性算子(structural similarity index measurement，SSIM)、均方根誤差(root mean square error，RMSE)等客觀評價算子，客觀評價算子的計算特定針對于歸一化圖像，這些歸一化圖像都是將原始圖像的［0，255］轉變?yōu)椋?，1］。

從圖8中可以看到，雙三次插值法(Bicubic［11］)、文獻［7］(Shan Q)和文獻［9］(Suetake N)］方法結果圖中產(chǎn)生的邊緣比本文算法結果產(chǎn)生的邊緣更加尖銳，而且引入了相當明顯的振鈴效應和模糊效應，整體主觀視覺效果很差。在客觀評價算子RMSE的比較上，如表1所示，本文算法均方誤差結果小于2種算法結果;在SSIM的比較上，本文算法都比2種算法的結果要大，充分顯示客觀上的優(yōu)越性。

本文算法通過采用逐級放大、分多步組合的方法實現(xiàn)視頻圖像的放大與增強，此方法極大地提升了主觀視覺質量和客觀評價效果，并且算法運算量和復雜度并無明顯提升。本文使用較小的放大比例因子6∶5，5∶4，4∶3，3∶2，對汽車序列的第21幀圖像再次進行實驗，實驗平臺和參數(shù)不變，并統(tǒng)計出每次運行時間，結果如表2所示。從表2可看出，運行一次放大比例因子過程的時間和運算量雖有一定增加，但總體復雜度未顯著提升，算法復雜度的數(shù)量級仍然沒有變化。這也主要是因為算法不依賴自然圖像數(shù)據(jù)庫作為樣本塊的圖像來源，而是通過在相關坐標鄰域中搜索子圖像塊最終實現(xiàn)超分辨率算法。

圖6 汽車序列第1，11，21，31幀重建結果Fig.6 1st，11th，21st，31stframe reconstruction results of cars sequence images

圖7 行人序列第1，11，21，31幀重建結果Fig.7 1st，11th，21st，31stframe reconstruction results of pedestrians sequence images

圖8 對第21幀圖像的各種方法比較結果Fig.8 Thecomparison results of the 21stframe images

表1 對“行人序列”的4幀進行客觀評價算子比較結果Tab.1 Objective evaluation comparison results of four frames

利用本文實驗平臺，在5×5像素窗口下，利用行人序列的第8幀圖像，將本文算法與在整幅輸入圖像中通過最鄰近搜索、文獻［7］、文獻［9］、文獻［11］等幾種算法進行時間復雜度的比較。驗證本文算法利用局部自相似方法減少圖像塊的檢索時間，降低算法運算量，結果如表3所示。表3中本文算法運行時間大幅度地低于其他參考算法，比最近鄰搜索甚至降低一個數(shù)量級，充分地證明本文算法利用局部自相似方法減少了圖像塊的檢索時間和降低了算法運算量。

表2 不同放大比例因子的運算時間統(tǒng)計Tab.2 Computing time at the different magnification factors

表3 不同算法的運算時間統(tǒng)計Tab.3 Computing time of different algorithms

4 總結

本文提出一種基于局部自相似性的視頻圖像超分辨率算法，對輸入圖像采用基于局部自相似性假設，通過在相關坐標鄰域中搜索樣本塊以實現(xiàn)高頻補償;算法利用上采樣和下采樣濾波器，采用逐級放大、分多步組合達到視頻圖像的放大，從而實現(xiàn)了視頻圖像超分辨率算法。實驗結果證明，對于視頻序列圖像，本文算法可以有效地重構現(xiàn)實情況中圖像的邊緣，且鋸齒和振鈴情況發(fā)生的可能性大幅下降;同時，對視頻圖像利用局部自相似性方法，減少了圖像塊的檢索時間，降低了算法運算量。然而，在一些有良好細節(jié)的雜亂區(qū)域中總是會有一些斑駁或瑕疵，今后工作將在高頻預測與相關區(qū)域的平滑操作上進行更深入的研究。

［1］THéVENAZ P，BLU T，UNSER M.Image interpolation and resampling，Handbook of Medical Imaging，Processing and Analysis［M］.San Diego CA，USA:Academic Press，2000，393－420.

［2］WIUIAM T F，THOUIS R J，EGDN C P.Example－based super resolution［J］.IEEE Computer Graphics and Applications，2002(22):56－65.

［3］WIUIAM T F，EGON C P，OWEN T C.Learning lowlevel vision［J］.International journal of computer vision，2000，40(1):25－47.

［4］浦劍，張軍平.基于詞典學習和稀疏表示的超分辨率方法［J］.模式識別與人工智能，2010(03):335－340.

PU Jian，ZHANG Junping.Super resolution method based on dictionary learning and sparse representation［J］.Pattern Recognition and Artificial Intelligence，2010(03):335－340.

［5］陳曉璇，齊春.基于低秩矩陣恢復和聯(lián)合學習的圖像超分辨率重建［J］.計算機學報，2014，37(6)，1372－1379.

CHEN Xiaoxuan，QI Chun.Super resolution reconstruction based on low rank matrix recovery and associative learning［J］.Chinese Journal of Computer，2014，37(6)，1372－1379.

［6］ALY H A，DUBOIS E.Image up－sampling using totalvariation regularization with a new observation model［J］.IEEE Transactions on Image Processing，2005，14(10):1647－1659.

［7］SHAN Q，LI Z，JIA J，et al.Fast image/video upsampling［J］.ACM Transactions on Graphics(TOG)，ACM，2008，27(5):153－159.

［8］EBRAHIMI M，VRSCAYE R.Solving the inverse problem of image zooming using“self－examples”，Image analysis and Recognition.［M］//Lecture Notes in Computer Scienc.［s.l.］:Springer Berlin Heidelberg，2007:117－130.

［9］SUETAKE N，SAKANO M，UCHINO E.Image superresolution based on local self－similarity［J］.Optical Review，2008，15(1):26－30.

［10］FREEDMAN G，F(xiàn)ATTALR.Image and video up－scaling from local self－examples［J］.ACM Transactions on Graphics，2010，28(3):1－10.

［11］KEYS，ROBERT.Cubic convolution interpolation for digital image processing［J］.IEEE Transactions on Acoustics，Speech and Signal Processing，1981:29(6):1153－1160.