劉偉儉　肖思達

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導(dǎo)致算法的計算量過大，不利于其在彩色視頻實時處理中的應(yīng)用。針對這一缺點，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關(guān)鍵詞：視頻超分辨率；亮度補償；核回歸函數(shù)

中圖分類號：TP39 文獻標(biāo)識碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號處理方法獲得較高分辨率圖像的技術(shù)，近年來成為了圖像處理領(lǐng)域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個病態(tài)問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計算量和復(fù)雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時間坐標(biāo)，ni是獨立同分布零均值的噪聲，P是時空領(lǐng)域采樣像素點的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計函數(shù)在任意點x的值，可以采用該點函數(shù)的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償?shù)男畔⒘浚瑫r，避免了對R、G、B三通道都進行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點擴散函數(shù)進行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現(xiàn)有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現(xiàn)有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數(shù)據(jù)對比可得，本文算法的計算量得以有效降低。

結(jié)語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計算量和復(fù)雜度，特別適合在彩色視頻實時處理中的應(yīng)用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導(dǎo)致算法的計算量過大，不利于其在彩色視頻實時處理中的應(yīng)用。針對這一缺點，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關(guān)鍵詞：視頻超分辨率；亮度補償；核回歸函數(shù)

中圖分類號：TP39 文獻標(biāo)識碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號處理方法獲得較高分辨率圖像的技術(shù)，近年來成為了圖像處理領(lǐng)域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個病態(tài)問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計算量和復(fù)雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時間坐標(biāo)，ni是獨立同分布零均值的噪聲，P是時空領(lǐng)域采樣像素點的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計函數(shù)在任意點x的值，可以采用該點函數(shù)的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償?shù)男畔⒘?，同時，避免了對R、G、B三通道都進行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點擴散函數(shù)進行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現(xiàn)有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現(xiàn)有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數(shù)據(jù)對比可得，本文算法的計算量得以有效降低。

結(jié)語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計算量和復(fù)雜度，特別適合在彩色視頻實時處理中的應(yīng)用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導(dǎo)致算法的計算量過大，不利于其在彩色視頻實時處理中的應(yīng)用。針對這一缺點，本文基于核回歸函數(shù)提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關(guān)鍵詞：視頻超分辨率；亮度補償；核回歸函數(shù)

中圖分類號：TP39 文獻標(biāo)識碼：A

1 概述

圖像超分辨率技術(shù)是一種基于信號處理方法獲得較高分辨率圖像的技術(shù)，近年來成為了圖像處理領(lǐng)域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術(shù)從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術(shù)可以用于圖像和視頻的許多應(yīng)用中，如：視頻監(jiān)控，醫(yī)學(xué)成像和衛(wèi)星成像。

視頻超分辨率重建作為一個病態(tài)問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應(yīng)用。Celiu等人提出了一種基于貝葉斯的自適應(yīng)視頻超分辨率重建方法，具有非常出色的細節(jié)恢復(fù)效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，在一定程度上降低了算法的計算量和復(fù)雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務(wù)是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數(shù)，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標(biāo)，ti是時間坐標(biāo)，ni是獨立同分布零均值的噪聲，P是時空領(lǐng)域采樣像素點的總數(shù)。

假設(shè)圖像數(shù)據(jù)局部足夠平滑，為了估計函數(shù)在任意點x的值，可以采用該點函數(shù)的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數(shù)：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構(gòu)如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應(yīng)用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償?shù)男畔⒘?，同時，避免了對R、G、B三通道都進行超分辨率重建的復(fù)雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結(jié)果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數(shù)據(jù)采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統(tǒng)一點擴散函數(shù)進行模糊處理，空間下采樣系數(shù)為4，再加上標(biāo)準(zhǔn)差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現(xiàn)有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結(jié)果顯示本文的算法重建的結(jié)果的PSNR和SSIM值，接近現(xiàn)有算法重建的值。這表明本文的算法接近現(xiàn)有算法的處理效果，其結(jié)果也與我們?nèi)搜壑饔^觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現(xiàn)基于7幀圖像的彩色視頻超分辨率重建，放大倍數(shù)為4，獲得1幀704*576的高分辨率圖像。

現(xiàn)有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現(xiàn)有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數(shù)據(jù)對比可得，本文算法的計算量得以有效降低。

結(jié)語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構(gòu)，在增大視頻序列重構(gòu)信息量的基礎(chǔ)上，大大降低了算法的計算量和復(fù)雜度，特別適合在彩色視頻實時處理中的應(yīng)用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.