吳利平　盧煜

1 引言

寬帶多媒體集群系統(tǒng)是多種通信技術(shù)的融合應(yīng)用，它是以強(qiáng)大的固網(wǎng)、寬帶、3G、TD-LTE等網(wǎng)絡(luò)資源為通信基礎(chǔ)，充分利用高速網(wǎng)絡(luò)帶寬和強(qiáng)大的多媒體業(yè)務(wù)服務(wù)支撐能力，實(shí)現(xiàn)移動(dòng)辦公、物聯(lián)網(wǎng)、電子商務(wù)等業(yè)務(wù)的集群通信系統(tǒng)。如圖1所示，寬帶多媒體集群系統(tǒng)采用大區(qū)制組網(wǎng)技術(shù)，保證大區(qū)域覆蓋；向下兼容窄帶，實(shí)現(xiàn)窄帶到寬帶的平滑過(guò)渡。與窄帶集群系統(tǒng)相比，寬帶多媒體集群系統(tǒng)在語(yǔ)音、短數(shù)據(jù)等基本業(yè)務(wù)的基礎(chǔ)上，增加了現(xiàn)場(chǎng)圖像、高速數(shù)據(jù)傳輸?shù)裙δ埽鰪?qiáng)了對(duì)事態(tài)的感知和信息共享能力，實(shí)現(xiàn)了更加高效的指揮調(diào)度。

在寬帶多媒體集群系統(tǒng)的圖像采集和傳輸過(guò)程中，由于采集設(shè)備性能與環(huán)境背景、信道噪聲干擾等諸多種因素影響，導(dǎo)致接收?qǐng)D像會(huì)出現(xiàn)運(yùn)動(dòng)模糊、噪聲干擾嚴(yán)重、質(zhì)量退化等現(xiàn)象。然而，由于寬帶多媒體系統(tǒng)通常運(yùn)行為行業(yè)專網(wǎng)，服務(wù)對(duì)象對(duì)圖像的分辨率、圖像質(zhì)量和實(shí)時(shí)性都有較高的要求，這給頻譜資源和信道帶寬有限的集群系統(tǒng)帶來(lái)了巨大的挑戰(zhàn)。因此，如何在不增加傳輸數(shù)據(jù)量和所需帶寬的情況下，提高現(xiàn)場(chǎng)圖像的質(zhì)量和分辨率以改善用戶使用效果，成為目前寬帶多媒體系統(tǒng)亟待解決的問(wèn)題。

本文將通過(guò)建立寬帶多媒體系統(tǒng)的圖像退化與復(fù)原模型，并在圖像復(fù)原過(guò)程中采用消噪濾波、去模糊化、超分辨率重建等圖像增強(qiáng)與恢復(fù)技術(shù)，來(lái)提高圖像的質(zhì)量和分辨率，改善服務(wù)用戶對(duì)現(xiàn)場(chǎng)圖像的感知與識(shí)別能力，從而進(jìn)而提升集群系統(tǒng)的指揮調(diào)度性能。

2 圖像退化與復(fù)原模型

在寬度多媒體集群系統(tǒng)中，視頻數(shù)據(jù)的采集、傳輸、增強(qiáng)和恢復(fù)過(guò)程可以等效為如圖2所示的圖像的退化和復(fù)原模型，其中，退化過(guò)程包括原始數(shù)據(jù)的下采樣和模糊退化以及傳輸過(guò)程中的噪聲干擾；而復(fù)原過(guò)程則可采用噪聲濾波、去模糊化和超分辨率重建等技術(shù)。在空域上，經(jīng)過(guò)退化后的加噪模糊圖像數(shù)學(xué)模型為[1]：

g（x，y）=h（x，y）*f（x， y）+η（x， y） （1）

其中，f（x，y）和η（x，y）分別表示原始圖像和噪聲，h（x，y）為點(diǎn)擴(kuò)散函數(shù)（PSF，Point Spread Function），“”為空間卷積符號(hào)。將上式模型寫(xiě)成等價(jià)的頻域表達(dá)式為：

G（u，v）=H（u，v）F（u，v）+N（u，v） （2）

式中

H（u，v）=∞-∞∞-∞ h（x，y）exp[-j2π（ux-vy）]dxdy為退化函數(shù)。

圖像復(fù)原就是要盡可能恢復(fù)退化圖像的原始面目，其原理是以圖像退化模型為基礎(chǔ)，采用各種逆退化處理方法進(jìn)行恢復(fù)，使圖像質(zhì)量得到改善。假設(shè)原始圖像f（x，y）和噪聲η（x，y）都是隨機(jī)變量，接收端對(duì)原始圖像為的估計(jì)為，圖像復(fù)原的目標(biāo)就是使得它們之間的誤差最?。?/p>

（3）

式中，表示求參數(shù)的期望。在圖像復(fù)原過(guò)程中，降噪濾波的作用是盡可能降低噪聲對(duì)復(fù)原過(guò)程和結(jié)果的干擾，去模糊化和超分辨率重建則既能有效提高圖像質(zhì)量又可以改善視覺(jué)效果，以便于后期圖像分析與識(shí)別。

3 寬帶多媒體系統(tǒng)的圖像增強(qiáng)與恢復(fù)

在寬帶多媒體系統(tǒng)的圖像復(fù)原過(guò)程中，采用適合的圖像增強(qiáng)與恢復(fù)技術(shù)不僅能夠改善視覺(jué)效果，改善圖像質(zhì)量、豐富信息量，加強(qiáng)圖像判讀和識(shí)別效果，而且能盡可能恢復(fù)退化圖像的原始面目，使圖像質(zhì)量得到改善，甚至可以提高圖像的分辨率。接下來(lái)將對(duì)噪聲濾除、去模糊化和超分辨率重構(gòu)等典型的圖像增強(qiáng)與恢復(fù)技術(shù)進(jìn)行詳細(xì)介紹，并對(duì)典型算法進(jìn)行性能分析和比較。

3.1 降噪濾波

圖像噪聲是圖像在采集、傳輸或轉(zhuǎn)換過(guò)程中產(chǎn)生的隨機(jī)干擾信號(hào)，容易造成圖像毛糙、質(zhì)量下降、特征淹沒(méi)，對(duì)圖像分析十分不利。主要的圖像噪聲包括高斯噪聲、椒鹽噪聲、周期噪聲、伽馬噪聲、指數(shù)噪聲和均勻噪聲等。圖像濾波是去除噪聲的有效方法，其原理是在空域以及頻域上對(duì)圖像信號(hào)進(jìn)行濾波處理[2]，常用的濾波算法的性能列表如表1所示；其中中值濾波對(duì)于斑點(diǎn)噪聲和椒鹽噪聲尤其有用，且計(jì)算復(fù)雜度適中，是圖像處理中的常用算法之一。

中值濾波算法[2]是J·W·Jukey于1971年首先提出的，它是以排序統(tǒng)計(jì)理論為基礎(chǔ)，能夠有效抑制非線性噪聲的圖像處理技術(shù)。中值濾波器原理是基于圖像濾波器周圍的圖像區(qū)域中像素的排序，然后由統(tǒng)計(jì)排序結(jié)果決定的值代替中心像素的值，從而消除孤立的噪聲點(diǎn)，其描述為：

（4）

其中A為截取圖像像素的窗口，可以是包括線段窗、方形窗、圓形窗、十字窗等的任意形狀。選取3×3方形窗口的均值濾波器和中值濾波器為例，圖3顯示的是加入椒鹽噪聲（噪聲方差為8）的圖像經(jīng)過(guò)這兩種濾波器處理后的效果圖，對(duì)比可見(jiàn)中值濾波器的效果是十分明顯的。由于中值濾波器計(jì)算復(fù)雜度不高，因此在寬帶多媒體系統(tǒng)中可以采用該濾波器來(lái)濾除部分噪聲。

圖3 均值濾波器和中值濾波器濾除椒鹽噪聲的效果圖

3.2 運(yùn)動(dòng)模糊消除

在視頻信號(hào)采集過(guò)程中，拍攝裝置與被攝景物都可能以較高速度運(yùn)動(dòng)，二者的相對(duì)運(yùn)動(dòng)容易造成一次曝光的場(chǎng)景能量在成像平面上的非正常積累，即引起圖像運(yùn)動(dòng)模糊。由于這種模糊具有普遍性，因此運(yùn)動(dòng)模糊圖像恢復(fù)已是近年來(lái)數(shù)字圖像處理領(lǐng)域研究的熱點(diǎn)問(wèn)題之一，其中經(jīng)典的恢復(fù)算法有逆濾波法、維納濾波法、最大熵恢復(fù)法、R-L法、刃邊函數(shù)法、PSF法等[3]。逆濾波法在存在噪聲情況下會(huì)對(duì)復(fù)原圖像產(chǎn)生嚴(yán)重影響，因此不適合用于無(wú)線環(huán)境下的圖像信號(hào)恢復(fù)。維納濾波法屬于反卷積算法，由于維納濾波器的復(fù)原效果良好，計(jì)算量較低，并且抗噪性能不錯(cuò)，因而在圖象復(fù)原領(lǐng)域得到了廣泛的應(yīng)用并不斷得到改進(jìn)和發(fā)展。

根據(jù)圖像恢復(fù)的目標(biāo)就是使得復(fù)原圖像與原始圖像的均方誤差最小，因此由維納濾波器（也稱最小均方誤差濾波器）得到原圖像估計(jì)的頻域表達(dá)式為：

（5）

式中γ為信噪比，在實(shí)際應(yīng)用中可以采用下式進(jìn)行估算：endprint

（6）

式中g(shù)i，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設(shè)圖像退化函數(shù)H（u，v）已知，只需要估計(jì)出退化圖像信噪比就可恢復(fù)出原始圖像。圖4顯示的是運(yùn)動(dòng)模糊圖像經(jīng)過(guò)維納濾波法恢復(fù)出的圖像，可以看出該算法的恢復(fù)效果還是比較理想的。

然而在實(shí)際系統(tǒng)中，圖像的點(diǎn)擴(kuò)散函數(shù)和模糊函數(shù)往往都是未知的，因此運(yùn)動(dòng)模糊圖像恢復(fù)的關(guān)鍵就在于模糊函數(shù)參數(shù)的準(zhǔn)確估計(jì)。假設(shè)原圖像中運(yùn)動(dòng)方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時(shí)間為T(mén)，則退化函數(shù)表達(dá)式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會(huì)存在明顯的平行暗線，如圖5所示。通過(guò)提取頻譜暗條紋方向和間距，就可以準(zhǔn)確檢測(cè)出退化圖像的模糊參數(shù)，從而得到退化函數(shù)[4]。

3.3 超分辨率重建

在圖像傳輸過(guò)程中，由于傳輸帶寬有限，通常難以實(shí)時(shí)傳輸高分辨率圖像信號(hào)。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個(gè)檔次，傳輸所需要帶寬將增大2～5倍。在大多數(shù)情況下人們都希望獲得分辨率高、畫(huà)面清晰的圖像，分辨率低的圖像往往不能達(dá)到要求，因此可以在系統(tǒng)接收端使用超分辨率重建技術(shù)來(lái)提高圖像的分辨率。

根據(jù)式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關(guān)系表達(dá)式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數(shù)，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運(yùn)動(dòng)矢量矩陣。根據(jù)式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個(gè)步驟（見(jiàn)圖6）：首先根據(jù)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息并進(jìn)行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值；然后通過(guò)非均勻插值得到高分辨率圖像柵格上的像素值，并進(jìn)行消噪平滑得到高分辨率圖像。在寬帶多媒體系統(tǒng)的接收端，可以根據(jù)視頻壓縮編碼信息中提取幀間運(yùn)動(dòng)信息，這將大大降低超分辨率重建的計(jì)算復(fù)雜度。

圖像插值[5]是通過(guò)插值增加單位面積內(nèi)的像素個(gè)數(shù)來(lái)提高分辨率，插值算法性能直接影響超分辨率圖像處理的結(jié)果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計(jì)算量遠(yuǎn)低于后者，比較適合于寬帶多媒體系統(tǒng)。雙線性次插值原理是根據(jù)在圖像空域坐標(biāo)附近的4個(gè)鄰點(diǎn)的灰度值，在水平和垂直兩個(gè)方向上根據(jù)插值點(diǎn)與相鄰點(diǎn)的距離確定相應(yīng)的權(quán)值，并計(jì)算出插值點(diǎn)的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標(biāo)（i，j）的像素灰度值。

在本文實(shí)驗(yàn)仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來(lái)重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術(shù)的恢復(fù)圖像效果。通過(guò)對(duì)比圖中的細(xì)節(jié)可以看出，恢復(fù)出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側(cè)的英文字母已經(jīng)可以辨識(shí)出“oni”，而在原始QCIF圖像中是非常模糊無(wú)法辨識(shí)的。

4 結(jié)束語(yǔ)

在寬帶多媒體集群系統(tǒng)中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對(duì)現(xiàn)場(chǎng)圖像的高分辨率、高清晰度和實(shí)時(shí)性要求。為了解決這一問(wèn)題，本文建立了寬帶多媒體系統(tǒng)中的圖像退化與復(fù)原模型，然后詳細(xì)介紹了幾種圖像增強(qiáng)與恢復(fù)技術(shù)，并通過(guò)比較典型算法的實(shí)驗(yàn)性能來(lái)選取適合于寬帶集群系統(tǒng)的圖像處理算法。實(shí)驗(yàn)效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強(qiáng)和恢復(fù)算法有效提高了圖像質(zhì)量和分辨率，對(duì)于改善圖像感知與識(shí)別性能，進(jìn)一步提升寬帶多媒體集群系統(tǒng)的圖像處理能力具有參考價(jià)值和指導(dǎo)意義。

參考文獻(xiàn)：

[1] 岡薩雷斯，伍茲. 數(shù)字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業(yè)出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實(shí)英，楊高波，譯. 2版. 北京： 電子工業(yè)出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運(yùn)動(dòng)模糊圖像恢復(fù)方法研究[J]. 計(jì)算機(jī)工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中g(shù)i，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設(shè)圖像退化函數(shù)H（u，v）已知，只需要估計(jì)出退化圖像信噪比就可恢復(fù)出原始圖像。圖4顯示的是運(yùn)動(dòng)模糊圖像經(jīng)過(guò)維納濾波法恢復(fù)出的圖像，可以看出該算法的恢復(fù)效果還是比較理想的。

然而在實(shí)際系統(tǒng)中，圖像的點(diǎn)擴(kuò)散函數(shù)和模糊函數(shù)往往都是未知的，因此運(yùn)動(dòng)模糊圖像恢復(fù)的關(guān)鍵就在于模糊函數(shù)參數(shù)的準(zhǔn)確估計(jì)。假設(shè)原圖像中運(yùn)動(dòng)方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時(shí)間為T(mén)，則退化函數(shù)表達(dá)式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會(huì)存在明顯的平行暗線，如圖5所示。通過(guò)提取頻譜暗條紋方向和間距，就可以準(zhǔn)確檢測(cè)出退化圖像的模糊參數(shù)，從而得到退化函數(shù)[4]。

3.3 超分辨率重建

在圖像傳輸過(guò)程中，由于傳輸帶寬有限，通常難以實(shí)時(shí)傳輸高分辨率圖像信號(hào)。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個(gè)檔次，傳輸所需要帶寬將增大2～5倍。在大多數(shù)情況下人們都希望獲得分辨率高、畫(huà)面清晰的圖像，分辨率低的圖像往往不能達(dá)到要求，因此可以在系統(tǒng)接收端使用超分辨率重建技術(shù)來(lái)提高圖像的分辨率。

根據(jù)式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關(guān)系表達(dá)式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數(shù)，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運(yùn)動(dòng)矢量矩陣。根據(jù)式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個(gè)步驟（見(jiàn)圖6）：首先根據(jù)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息并進(jìn)行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值；然后通過(guò)非均勻插值得到高分辨率圖像柵格上的像素值，并進(jìn)行消噪平滑得到高分辨率圖像。在寬帶多媒體系統(tǒng)的接收端，可以根據(jù)視頻壓縮編碼信息中提取幀間運(yùn)動(dòng)信息，這將大大降低超分辨率重建的計(jì)算復(fù)雜度。

圖像插值[5]是通過(guò)插值增加單位面積內(nèi)的像素個(gè)數(shù)來(lái)提高分辨率，插值算法性能直接影響超分辨率圖像處理的結(jié)果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計(jì)算量遠(yuǎn)低于后者，比較適合于寬帶多媒體系統(tǒng)。雙線性次插值原理是根據(jù)在圖像空域坐標(biāo)附近的4個(gè)鄰點(diǎn)的灰度值，在水平和垂直兩個(gè)方向上根據(jù)插值點(diǎn)與相鄰點(diǎn)的距離確定相應(yīng)的權(quán)值，并計(jì)算出插值點(diǎn)的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標(biāo)（i，j）的像素灰度值。

在本文實(shí)驗(yàn)仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來(lái)重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術(shù)的恢復(fù)圖像效果。通過(guò)對(duì)比圖中的細(xì)節(jié)可以看出，恢復(fù)出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側(cè)的英文字母已經(jīng)可以辨識(shí)出“oni”，而在原始QCIF圖像中是非常模糊無(wú)法辨識(shí)的。

4 結(jié)束語(yǔ)

在寬帶多媒體集群系統(tǒng)中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對(duì)現(xiàn)場(chǎng)圖像的高分辨率、高清晰度和實(shí)時(shí)性要求。為了解決這一問(wèn)題，本文建立了寬帶多媒體系統(tǒng)中的圖像退化與復(fù)原模型，然后詳細(xì)介紹了幾種圖像增強(qiáng)與恢復(fù)技術(shù)，并通過(guò)比較典型算法的實(shí)驗(yàn)性能來(lái)選取適合于寬帶集群系統(tǒng)的圖像處理算法。實(shí)驗(yàn)效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強(qiáng)和恢復(fù)算法有效提高了圖像質(zhì)量和分辨率，對(duì)于改善圖像感知與識(shí)別性能，進(jìn)一步提升寬帶多媒體集群系統(tǒng)的圖像處理能力具有參考價(jià)值和指導(dǎo)意義。

參考文獻(xiàn)：

[1] 岡薩雷斯，伍茲. 數(shù)字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業(yè)出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實(shí)英，楊高波，譯. 2版. 北京： 電子工業(yè)出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運(yùn)動(dòng)模糊圖像恢復(fù)方法研究[J]. 計(jì)算機(jī)工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中g(shù)i，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設(shè)圖像退化函數(shù)H（u，v）已知，只需要估計(jì)出退化圖像信噪比就可恢復(fù)出原始圖像。圖4顯示的是運(yùn)動(dòng)模糊圖像經(jīng)過(guò)維納濾波法恢復(fù)出的圖像，可以看出該算法的恢復(fù)效果還是比較理想的。

然而在實(shí)際系統(tǒng)中，圖像的點(diǎn)擴(kuò)散函數(shù)和模糊函數(shù)往往都是未知的，因此運(yùn)動(dòng)模糊圖像恢復(fù)的關(guān)鍵就在于模糊函數(shù)參數(shù)的準(zhǔn)確估計(jì)。假設(shè)原圖像中運(yùn)動(dòng)方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時(shí)間為T(mén)，則退化函數(shù)表達(dá)式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會(huì)存在明顯的平行暗線，如圖5所示。通過(guò)提取頻譜暗條紋方向和間距，就可以準(zhǔn)確檢測(cè)出退化圖像的模糊參數(shù)，從而得到退化函數(shù)[4]。

3.3 超分辨率重建

在圖像傳輸過(guò)程中，由于傳輸帶寬有限，通常難以實(shí)時(shí)傳輸高分辨率圖像信號(hào)。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個(gè)檔次，傳輸所需要帶寬將增大2～5倍。在大多數(shù)情況下人們都希望獲得分辨率高、畫(huà)面清晰的圖像，分辨率低的圖像往往不能達(dá)到要求，因此可以在系統(tǒng)接收端使用超分辨率重建技術(shù)來(lái)提高圖像的分辨率。

根據(jù)式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關(guān)系表達(dá)式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數(shù)，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運(yùn)動(dòng)矢量矩陣。根據(jù)式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個(gè)步驟（見(jiàn)圖6）：首先根據(jù)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息并進(jìn)行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值；然后通過(guò)非均勻插值得到高分辨率圖像柵格上的像素值，并進(jìn)行消噪平滑得到高分辨率圖像。在寬帶多媒體系統(tǒng)的接收端，可以根據(jù)視頻壓縮編碼信息中提取幀間運(yùn)動(dòng)信息，這將大大降低超分辨率重建的計(jì)算復(fù)雜度。

圖像插值[5]是通過(guò)插值增加單位面積內(nèi)的像素個(gè)數(shù)來(lái)提高分辨率，插值算法性能直接影響超分辨率圖像處理的結(jié)果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計(jì)算量遠(yuǎn)低于后者，比較適合于寬帶多媒體系統(tǒng)。雙線性次插值原理是根據(jù)在圖像空域坐標(biāo)附近的4個(gè)鄰點(diǎn)的灰度值，在水平和垂直兩個(gè)方向上根據(jù)插值點(diǎn)與相鄰點(diǎn)的距離確定相應(yīng)的權(quán)值，并計(jì)算出插值點(diǎn)的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標(biāo)（i，j）的像素灰度值。

在本文實(shí)驗(yàn)仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來(lái)重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術(shù)的恢復(fù)圖像效果。通過(guò)對(duì)比圖中的細(xì)節(jié)可以看出，恢復(fù)出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側(cè)的英文字母已經(jīng)可以辨識(shí)出“oni”，而在原始QCIF圖像中是非常模糊無(wú)法辨識(shí)的。

4 結(jié)束語(yǔ)

在寬帶多媒體集群系統(tǒng)中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對(duì)現(xiàn)場(chǎng)圖像的高分辨率、高清晰度和實(shí)時(shí)性要求。為了解決這一問(wèn)題，本文建立了寬帶多媒體系統(tǒng)中的圖像退化與復(fù)原模型，然后詳細(xì)介紹了幾種圖像增強(qiáng)與恢復(fù)技術(shù)，并通過(guò)比較典型算法的實(shí)驗(yàn)性能來(lái)選取適合于寬帶集群系統(tǒng)的圖像處理算法。實(shí)驗(yàn)效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強(qiáng)和恢復(fù)算法有效提高了圖像質(zhì)量和分辨率，對(duì)于改善圖像感知與識(shí)別性能，進(jìn)一步提升寬帶多媒體集群系統(tǒng)的圖像處理能力具有參考價(jià)值和指導(dǎo)意義。

參考文獻(xiàn)：

[1] 岡薩雷斯，伍茲. 數(shù)字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業(yè)出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實(shí)英，楊高波，譯. 2版. 北京： 電子工業(yè)出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運(yùn)動(dòng)模糊圖像恢復(fù)方法研究[J]. 計(jì)算機(jī)工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint