周 菡,于文斌
(1.中國電信陜西公司信息技術(shù)支撐中心,陜西西安 710071;2.西安電子科技大學(xué)通信工程學(xué)院,陜西西安 710071)
近年來以視頻和圖像等多媒體業(yè)務(wù)作為主要傳輸對象的通信技術(shù)成為當(dāng)今通信領(lǐng)域研究的重點(diǎn)。但是由于面臨著信道噪聲和頻帶緊缺等因素的影響,在網(wǎng)絡(luò)帶寬十分有限的情況下,只能使用較低的信道編碼效率,而較低信道編碼效率會造成傳輸冗余的增加,降低信道利用率。因此更好地進(jìn)行數(shù)據(jù)壓縮和差錯控制成為多媒體通信技術(shù)的關(guān)鍵問題。
不平等錯誤保護(hù)技術(shù),目前已在圖像和視頻的無線傳輸中得到廣泛關(guān)注[1]。以視頻業(yè)務(wù)信息的傳輸為例,在視頻比特流中的各個部分有著不同的重要性,某些比特對錯誤的抵抗能力比其他比特要差,從而需要對信號的不同部分給予不同等級的保護(hù)。不等差錯保護(hù)作為聯(lián)合信源信道編碼的一種,在網(wǎng)絡(luò)資源有限情況下,根據(jù)業(yè)務(wù)碼流中的不同部分的重要性不同,采用不同的信道保護(hù)機(jī)制,從而獲得可用視頻或圖像業(yè)務(wù)。目前不等差錯保護(hù)策略主要有兩個研究方向:一是研究如何對信源編碼端數(shù)據(jù)進(jìn)行等級劃分;二是對等級劃分后的數(shù)據(jù)采用怎樣的不等編碼保護(hù)問題。而這其中對于業(yè)務(wù)碼流信息中的各個部分重要性的分析和劃分就顯得尤為重要,碼流信息按重要性劃分為接下來的不平等差錯編碼保護(hù)提供了可能。對MPEG-2[2-3]碼流信息的不等差錯保護(hù)也引起了廣泛關(guān)注。
文中對MPEG-2視頻碼流信息的重要性劃分方式進(jìn)行研究,提出一種基于幀間層次的視頻碼流劃分方案。仿真結(jié)果表明本文所提的層次劃分方式優(yōu)于傳統(tǒng)的基于圖像幀的劃分方式經(jīng)不等差錯保護(hù)后視頻恢復(fù)效果。
下面以MPEG-2視頻標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則,結(jié)合不同圖像幀(I,P,B幀)對視頻重建所起作用不同提出一種簡單有效的視頻碼流劃分方式,即幀間層次劃分方式。該劃分方式區(qū)分不同的圖像幀,以及圖像幀中的不同層次,根據(jù)各圖像幀中不同層次對視頻重建貢獻(xiàn)度不同,將視頻碼流進(jìn)行分類劃分。
在測試幀內(nèi)層次劃分時,選用一個增強(qiáng)層,取數(shù)據(jù)分割的優(yōu)先級斷點(diǎn)值為69,可將圖像幀中的內(nèi)容分割為兩層,將視頻碼流分成6組不同類型的數(shù)據(jù),即I幀基本層,I幀增強(qiáng)層,P幀基本層,P幀增強(qiáng)層,B幀基本層和B幀增強(qiáng)層。在不同信道誤碼率情況下對這6組不同類型的信息分別引入隨機(jī)錯誤,則重建視頻圖像的PSNR均值如表1所示。
表1 各幀不同層次出錯后重建視頻圖像PSNR均值 /dB
根據(jù)表1中的仿真實(shí)驗(yàn)計(jì)算結(jié)果可知,對同一圖像幀的基本層及增強(qiáng)層,在相同誤碼率時重建視頻圖像PSNR均值的存在著差異;不同圖像幀的相同層次之間出錯后重建視頻圖像的PSNR均值也存在差異。視頻增強(qiáng)層對誤碼率有要求,若要接收并使用視頻增強(qiáng)層則必須滿足其相應(yīng)的誤碼要求。
根據(jù)仿真結(jié)果,PSNR均值達(dá)到33~38 dB為準(zhǔn)對視頻碼流進(jìn)行分類,則視頻碼流被分成4類不同重要性的等級。其中I幀的基本層對誤碼要求最高作為第一等級信息數(shù)據(jù);P幀基本層和I幀的增強(qiáng)層出錯恢復(fù)效果接近,對誤碼要求低于第1類作為第2等級信息;B幀的基本層及P幀的增強(qiáng)層作為第3等級信息;B幀增強(qiáng)層的容錯能力最強(qiáng),該類信息為第4等級。
根據(jù)視頻碼流信息中基本層和增強(qiáng)層對視頻所起作用的不同,結(jié)合I,P,B幀圖像對視頻所起作用不同的原則劃分整個視頻碼流,最終得到4類對視頻重建貢獻(xiàn)度不同的碼流信息:
第1類信息 包括視頻碼流中的頭、控制信息,I幀圖像的基本層;
第2類信息 包括I幀圖像增強(qiáng)層,P幀圖像的基本層;
第3類信息 包括P幀圖像增強(qiáng)層,B幀圖像的基本層;
第4類信息 包括B幀的增強(qiáng)層及視頻碼流中的填充信息。
按照層次結(jié)構(gòu)劃分方式,在選用的視頻樣本中各類信息所占比例為:0.1701,0.2801,0.4426,0.1072。
根據(jù)上面的不同重要性級別內(nèi)容,視頻碼流信息按照層次劃分方式進(jìn)行劃分的結(jié)構(gòu)示意圖如圖1所示,圖中的“H”表示圖像頭及slice頭信息,該類信息歸到第一等級的信息中予以重點(diǎn)保護(hù)。
圖1 視頻碼流層次劃分方式
根據(jù)視頻層次對視頻貢獻(xiàn)作用不同結(jié)合不同圖像幀的數(shù)據(jù)劃分方式,在劃分時利用MPEG-2標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則[7-8],劃分方式簡單,劃分后所得到的不同類信息的對重建視頻所起作用也有所不同。圖2為不同等級信息在不同誤碼情況下的重建視頻圖像的PSNR均值曲線。各類信息的PSNR均值曲線區(qū)分明顯,其中第1、2等級在不同誤碼時的重建視頻圖像PSNR均值曲線接近,而與第3、4類信息差距較大。
基于幀間層次的視頻碼流劃分方案是基于視頻標(biāo)準(zhǔn)中數(shù)據(jù)分割原則,根據(jù)各幀不同層次對重建視頻所起的作用不同的基礎(chǔ)上提出的,實(shí)際上是對碼流信息中不同類型的數(shù)據(jù)按照數(shù)據(jù)分割方式進(jìn)行了劃分。
圖2 不同信息出錯后重建視頻圖像PSNR均值曲線
根據(jù)MPEG-2標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則,結(jié)合不同圖像幀,提出將視頻文件分為了4個不同重要性類別的分類方式。業(yè)務(wù)信息的不平等差錯保護(hù)傳輸,在完成了業(yè)務(wù)信息的劃分之后,需要對不同等級的信息進(jìn)行不等差錯編碼保護(hù)。下面按照幀間層次劃分方式對所選用的視頻樣本進(jìn)行分類,對分類信息進(jìn)行不平等差錯編碼保護(hù)仿真實(shí)驗(yàn)。
在仿真測試時將一個編碼分組長度(1504 bit)根據(jù)四類信息所占比例{0.1701,0.2801,0.4426,0.1072},分為4個不同長度用于不同類信息的傳輸。仿真條件:信道為加性高斯白噪聲信道。所采用的信道編碼方式為ZS-IGLDPC,設(shè)置編碼結(jié)構(gòu)中的4類(k=4)不同重要性信息的重復(fù)次數(shù)分別為:Rep1=7,Rep2=6,Rep3=5,Rep4=4;信道編碼碼率為0.5211。對層次劃分所得的4類信息進(jìn)行不等差錯編譯碼仿真,圖3為4類信息的誤碼性能曲線。
圖3 按層次劃分方式不等差錯保護(hù)誤碼曲線
在不同信噪比時計(jì)算4類信息經(jīng)信道不等差錯保護(hù)傳輸后重建視頻圖像的PSNR均值,所得結(jié)果如表2所示。
表2 幀間層次劃分UEP重建視頻圖像PSNR均值 dB
通過上表中不難發(fā)現(xiàn),在選取的信道條件下,采用幀間層次劃分的視頻碼流的不平等差錯保護(hù)的重建視頻圖像的PSNR均值要高于不分類情況下均等保護(hù)重建視頻圖像的PSNR均值,且高于按傳統(tǒng)圖像幀劃分時重建視頻圖像的PSNR均值。在信息信噪比為2.6 dB時,按照層次劃分方式相比不分類情況,重建視頻圖像的PSNR均值約有8 dB的提高;相比傳統(tǒng)的按圖像幀的劃分方式進(jìn)行不等差錯保護(hù)的視頻恢復(fù)圖像,其PSNR均值約有4 dB的提高。
在信噪比為2.6 dB時,不同分類方式經(jīng)相應(yīng)信道編碼保護(hù)后重建視頻圖像效果直觀圖如圖4所示。
圖4 2.6 dB時不同分類方式重建視頻圖像效果直觀圖
圖4中的畫圓圈部分為視頻圖像出錯位置,按照層次劃分方式經(jīng)不等差錯編碼保護(hù)后的重建視頻效果要優(yōu)于碼流不分類均等差錯保護(hù)的情況,相比傳統(tǒng)的按照圖像幀劃分經(jīng)不等差錯保護(hù)的方式在視頻恢復(fù)效果上也有所提高。
基于幀間層次的視頻碼流劃分方式是在MPEG-2的數(shù)據(jù)分割原則基礎(chǔ)上結(jié)合圖像幀對視頻影響作用不同而提出的,層次劃分過程復(fù)雜度不高,相比傳統(tǒng)劃分方式,在區(qū)分圖像幀基礎(chǔ)上,只需區(qū)分圖像幀中的不同層次數(shù)據(jù)即可。通過仿真測試驗(yàn)證,視頻采用幀間層次進(jìn)行碼流信息劃分,作不等差錯編碼保護(hù)之后所獲得的重建視頻效果要優(yōu)于不分類情況,相比傳統(tǒng)的圖像幀不同的劃分方式,效果也有較大的提升。
[1] SRINIVASAN M,CHELLAPA R,BURLINA P.Adaptive source-channel subband video coding for wireless channels[C].Workshop on Multimedia Signal Processing,1997.
[2] CHIARIGLIONE L.MPEG and multimedia communications[J].IEEE Trans.Circuits and Systems for Video Technology,1997,7(1):5 -18.
[3] HASKELL B G.Image and video coding - emerging standards and beyond[J].IEEE Trans.Circuits and Systems for Video Technology,1998,8(7):814 -837.
[4] 孔繁鏘,吳成柯,張方,等.一種基于聯(lián)合信源信道自適應(yīng)的不等錯誤保護(hù)方法[J].電視技術(shù),2004(11):8-11.
[5] 楊海明,趙明生.多媒體會議中圖像通信的不等差錯保護(hù)技術(shù)實(shí)現(xiàn)[J].電視技術(shù),2004(6):80-82.
[6] 陳孫陽,陳穎琪,王慈.視頻傳輸不等差錯保護(hù)方案設(shè)計(jì)[J].電視技術(shù),2010(6):87 -89,105.
[7] 鄭偉國,肖自美,楊群星.變碼率MPEG-2視頻編碼的統(tǒng)計(jì)特性及數(shù)據(jù)分割可分級的新方法[J].通信學(xué)報,1998,19(10):32-39.
[8] 胡棟.視頻分級編碼及可靠傳輸?shù)木幋a技術(shù)研究[D].上海:上海交通大學(xué),2007.