曾文獻,李子會,馬倩倩
(河北經(jīng)貿(mào)大學 信息技術(shù)學院,河北 石家莊 050061)
●教育教學研究
基于H.264視頻壓縮技術(shù)的網(wǎng)絡(luò)授課系統(tǒng)設(shè)計
曾文獻,李子會,馬倩倩
(河北經(jīng)貿(mào)大學 信息技術(shù)學院,河北 石家莊 050061)
H.264具有較高的編碼效審、更好的網(wǎng)絡(luò)適應能力和容錯功能,針對其特點和關(guān)鍵技術(shù)在高壓縮率、高圖像質(zhì)量、低帶寬的目標下對網(wǎng)絡(luò)授課系統(tǒng)中的功能模塊進行設(shè)計,可以有效地改善網(wǎng)絡(luò)授課系統(tǒng)在視頻處理方面的性能,使網(wǎng)絡(luò)教學更加生動。
H.264;視頻壓縮;網(wǎng)絡(luò)授課系統(tǒng)
網(wǎng)絡(luò)授課系統(tǒng)是集計算機技術(shù)、多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)等多學科為一體的融合產(chǎn)物,為用戶提供了時間地點可分散、資源可共享的交互式學習方式,突破了傳統(tǒng)教學模式的“束縛”[1]。這種教學方式有助于提高學生的獨立探索和協(xié)同工作能力。網(wǎng)絡(luò)授課系統(tǒng)在今后的教學中必將作為一種全新的手段而被廣泛應用,但當前其仍然存在著一些不足:視頻數(shù)據(jù)流對網(wǎng)絡(luò)帶寬及實時性要求很高,而網(wǎng)絡(luò)的傳輸速率往往達不到要求,例如,對于分辨率為1 024×768、幀率為30fps的條件下,傳輸碼率要求為(1 024×768×3)×30×8≈540Mbps,并且還要傳輸控制命令、交流信息以及傳輸頭信息等,應用以前的視頻壓縮算法達到的效果不是令人十分滿意,如果為了降低帶寬而采用了太大的壓縮比又會導致圖像的質(zhì)量不能滿足教學需求,而壓縮標準的出現(xiàn)很好地解決了這一問題。
以往的H.261、MPEG-2和MPEG-4等壓縮標準在網(wǎng)絡(luò)授課系統(tǒng)的視頻編碼中已經(jīng)得到了廣泛的應用。而由“國際電聯(lián)(ITU-T)”和“國際標準化組織(ISO)”共同組建的聯(lián)合視頻組(JVT)公布的H.264標準,不僅具有良好的帶寬適應性,還具有非常高的視頻壓縮率。在同等圖像質(zhì)量的條件下,H.264的壓縮比是MPEG-4的1.5倍~2倍,是H.263的大約1倍。在校園網(wǎng)傳輸所占的帶寬中,MPEG-1在25幀/s傳輸時需500kps帶寬,MPEG-4在25幀/s傳輸時需256kps帶寬,而H.264在25幀/s傳輸時只需125kps帶寬[2]??傊瑧肏.264標準不僅具有較大的壓縮比、降低了帶寬,同時仍具有流暢的高清晰畫面。
相對于以前的視頻編碼標準,H.264具有更高的編碼效率,更清晰的視頻畫面,更好的網(wǎng)絡(luò)適應能力及容錯功能等。它不僅包含一個規(guī)定視頻編碼算法的視頻編碼層(VCL,Video Coding Layer),還包括了一個規(guī)定網(wǎng)絡(luò)傳輸規(guī)范的網(wǎng)絡(luò)抽取層(NAL,Network Abatraction Layer)。VCL 采取的編碼框架仍是傳統(tǒng)的混合編碼框架,但它采用多種新技術(shù)所產(chǎn)生的累積效果使編碼效率有了很大的提高。NAL主要是用來提供視頻數(shù)據(jù)的頭部信息,以適應各種媒體的傳輸、存儲和支持VCL層的數(shù)據(jù)在不同網(wǎng)絡(luò)中的應用,從而實現(xiàn)網(wǎng)絡(luò)友好性的任務。
H.264中采用了多種新的幀內(nèi)預測方法、可變尺寸塊的運動補償技術(shù)、多參考幀的運動補償技術(shù)、4×4整數(shù)變換技術(shù)、新的環(huán)路濾波技術(shù)、熵編碼等,這些技術(shù)使其在具有高壓縮比的同時還擁有高質(zhì)量和流暢的圖像。
為了提高編碼效率,能夠更好地消除圖像的空間冗余,H.264的幀內(nèi)編碼采用幀內(nèi)預測模式。其原理主要依據(jù)圖像相鄰宏塊間的相關(guān)性,先通過己編碼的宏塊(尤其是當前宏塊左邊和上邊的相鄰宏塊)來預測當前宏塊得到預測值,如圖1所示(大寫字母代表鄰近已經(jīng)解碼重構(gòu)的參考像素,小寫字母表示待預測像素),然后將當前宏塊與預測值作差,最后將差值進行變換編碼。預測分為8×8色度塊、16×16亮度塊和4×4亮度塊三種模式。
圖1 4×4亮度塊的預測
4×4亮度塊幀內(nèi)預測模式包括:模式0(垂直預測),當 A、B、C、D 在圖像內(nèi),a、e、i、m 像素的預測值為 A;模式 1(水平預測),當 J、K、L、M 在圖像之內(nèi),a、b、c、d 像素的預測值為 J;模式 2(DC 系數(shù)預測),當左邊和上邊像素都在圖像內(nèi),是A、B、C、D、J、K、L、M這8個像素值的平均值。當左邊和上邊像素只有一邊在圖像內(nèi)時,預測值為那一邊四像素的均值。當左邊和上邊像素都不在圖像內(nèi)時,每個像素的預測值均為128;模式3和4是對角線方向,方向分別是朝向左下和右下;模式5、6、7和8分別是豎直偏右、水平偏下、豎直偏左和水平偏上方向上的預測。
8×8色度信號塊的預測模式包括:DC模式,當A、B、J、K 都不在幀內(nèi)時,有 a=b=e=f=128;水平模式,當只有 J和 K 在幀內(nèi)時,a=b=(J+2)/4,e=f=(K+2)/4;垂直模式,當只有 A 和 B 在幀內(nèi),a=e=(A+2)/4,b=f=(B+2)/4;平面模式(Plane),當 A、B、J、K 都在幀內(nèi)時,a=(A+J+2)/4,b=(B+2)/4,e=(K+2)/4,f=(B+K+2)/4。
當圖像包含少量信息時,H.264采用16×l6亮度塊的幀內(nèi)預測,這種預測方式也分垂直模式、水平模式、DC模式、平面模式(Plane)四種。
1.不同塊大小的幀間預測。H.264標準中進行幀間預測的每個 16×l6 宏塊可分為 8×16,16×8,8× 8,8×4,4×8,4×4 的小塊進行編碼(見圖 2)。這種靈活細致的劃分,更容易接近圖像中實際運動對象的形狀,大大提高了運動估計的精確度,從而對運動細節(jié)的處理和視覺效果的提高有很大的幫助。
圖2 塊的劃分
2.高精度的運動估計算法。H.264的運動估計可以達到1/4、1/8像素,它主要是通過插值來獲得像素值。其中1/2像素預測值由一個6抽頭濾波得到,1/4像素的預測值則由相鄰的整數(shù)像素和1/2像素的均值得出。因為1/8像素精度需采用大量的插值濾波器,且計算復雜度大大增加,故一般不考慮1/8像素精度運動矢量。
H.264使用最多5個參考幀進行幀間預測。與使用一個參考幀相比,使用5幀參考幀會節(jié)省約5%~10%的數(shù)據(jù)。P幀和B幀的參考圖像存儲在不同的緩沖區(qū)中,分為前向預測參考幀緩沖區(qū)和后向預測參考幀緩沖區(qū),對其的存取和釋放采用的是先進先出的模式。處理過程為:在參考幀緩沖區(qū)內(nèi)選取一個或多個預測信息,然后對預測信息作平均,已完成編碼的圖像存儲在參考幀緩沖區(qū)內(nèi),最后將這些得到的多假設(shè)信息用作參考[3]。
多參考幀的使用不僅提高了編碼壓縮的效率,而且顯著增強了圖像傳輸?shù)娜蒎e性,有效抑制了錯誤的擴散。但由于必須為增加的參考幀提供更多的內(nèi)存空間和增加索引值,這也就增加了系統(tǒng)在存儲和時間方面的開銷。
H.264提供了兩種熵編碼模式:統(tǒng)一的變長編碼(UVLC)和基于內(nèi)容的自適應二值算術(shù)編碼(CABAC)[4]。UVLC更為簡單,但效率低下且位率較高;CABAC效率很高,允許給每個字符分配非整數(shù)個比特,但實現(xiàn)較為復雜。兩者相比,在相同圖像質(zhì)量下編碼視頻信號使用CABAC將會使比特率降低10%~15%[5]。
網(wǎng)絡(luò)授課系統(tǒng)是一種利用網(wǎng)絡(luò)及多媒體技術(shù),可以模擬課堂環(huán)境的新型教學模式,具有強大的教學能力和便捷的操作能力。此外,在校園內(nèi)開展網(wǎng)絡(luò)教學,將極大地豐富網(wǎng)上教學資源。這些將更大限度地發(fā)揮計算機及網(wǎng)絡(luò)資源在教學中的作用,對蓬勃發(fā)展的網(wǎng)絡(luò)教育來說具有積極的推動作用,是智能化校園必備的新型教學系統(tǒng)。
目前流行的多媒體網(wǎng)絡(luò)授課系統(tǒng),根據(jù)設(shè)計原理和實現(xiàn)方式的不同可分為三類:純軟件方式、純硬件方式、軟硬件結(jié)合方式[6]。純軟件方式是指全部用軟件來實現(xiàn)的網(wǎng)絡(luò)授課系統(tǒng)。純硬件方式是指在電腦中安裝一塊帶有CPU的多媒體智能網(wǎng)卡,該網(wǎng)卡自行完成系統(tǒng)的控制處理任務,多媒體信號和控制信號都是由這專門的網(wǎng)卡獨立傳輸。軟硬件結(jié)合方式是通過在電腦中安裝一塊無CPU多媒體網(wǎng)卡,專門用于音視頻的傳輸,但鍵盤、鼠標產(chǎn)生的控制處理任務都由軟件完成。軟硬混合模式綜合了純軟件和純硬件兩者的優(yōu)點,故選擇軟硬件結(jié)合方式進行開發(fā)。
本文設(shè)計的網(wǎng)絡(luò)授課系統(tǒng)具有課程直播、互動交流、網(wǎng)絡(luò)課件制作、COD課件點播、網(wǎng)絡(luò)考試、網(wǎng)絡(luò)簽到、點名和網(wǎng)絡(luò)答疑、批改作業(yè)的系統(tǒng)功能(見圖3)?;咏涣魇侵冈谑谡n過程中教師和學生之間可以進行文字和聲音的交流。網(wǎng)絡(luò)考試是從題庫中隨機抽取各類型試題組成試卷。網(wǎng)絡(luò)簽到、點名可以檢查學生到課情況。網(wǎng)絡(luò)答疑、批改作業(yè),學生可以將問題或作業(yè)提交給教師,教師將答復回復給學生。課程直播將教師的多媒體課件、講解實況和環(huán)境實況組合在一起,進行同步的壓縮。系統(tǒng)將采集的視頻和聲音數(shù)據(jù)進行壓縮后,對學生機進行實時傳輸,從而達到實時多媒體通信的目的。因為教師機的屏幕信息與教師的影像、聲音是同步傳輸?shù)?,所以學生不僅可以看到教師的屏幕信息,而且可以看到聽到教師的面容、聲音。網(wǎng)絡(luò)課件制作是在直播過程中將壓縮的復合流錄制成一個文件,或分別錄制成多個文件,生成可編輯的視頻教學課件并存儲到服務器。課件點播COD(Courseware-On-Demand)是以同步播放的形式,將視頻、音頻等存放在服務器上的文件通過網(wǎng)絡(luò)傳送給學生,實現(xiàn)一個虛擬的網(wǎng)絡(luò)教室。本文以課程直播為例介紹H.264在授課系統(tǒng)中的應用。
圖3 網(wǎng)絡(luò)授課系統(tǒng)結(jié)構(gòu)圖
在教學中面授是非常重要的,但由于教師和教室的限制,使接受面授的學生受到限制。課程直播很好地解決了這一問題,它將主播教室的教學情景(包括教師的影像、聲音、教師機屏幕、計算機操作過程與鼠標運動軌跡等)實時地向?qū)W生接收端進行發(fā)送。教學過程中主播教室與任意接收端還可以進行實時語音、文字交互,很好地模擬了上課環(huán)境。
經(jīng)試驗發(fā)現(xiàn),教師機屏幕的幀率為5fps~10fps時,即可滿足教學需求。由于課程視頻有它自身的特點,相鄰兩幀圖像往往只有小局部的差異,所以它們之間的相關(guān)性很高;教師機屏幕在一段時間內(nèi)可能不變,講課過程中有時也需要重復播放以前的幀。針對這些特性,利用H.264幀間編碼對不同塊大小的幀間預測和高精度的運動估計算法去除圖像幀間的相關(guān)性,使視頻壓縮,只需保存更小的運動矢量和殘差數(shù)據(jù),這就在更大程度上降低了碼率,從而保證了畫面的清晰流暢;在教師機屏幕不變時,則利用H.264技術(shù)并不發(fā)送屏幕信息;多參考幀技術(shù)的應用,在重復播放以前幀時,可以很好地提高編碼效率。
課程直播模塊包括以下幾部分,如圖4所示。將教師機屏幕圖像、教師影像和聲音采集后實時編碼成流,并將文件流發(fā)送到服務器,然后服務器將得到的文件流通過校園網(wǎng)發(fā)送給學生端,文件流在學生端進行實時解碼、播放[2]。
圖4 課程直播流程圖
采用H.264音視頻編解碼技術(shù),對原始的音視頻信號進行壓縮編碼并轉(zhuǎn)化為適合網(wǎng)絡(luò)傳輸?shù)膹秃狭?,?jīng)測試,視頻流暢且清晰。
本系統(tǒng)采用H.264視頻壓縮,有效地改善了網(wǎng)絡(luò)授課系統(tǒng)在視頻處理方面的性能。H.264的高壓縮比、高質(zhì)量圖像以及很好的網(wǎng)絡(luò)適應性為網(wǎng)絡(luò)授課系統(tǒng)應用提供了廣闊的平臺,使網(wǎng)絡(luò)教學更加生動。雖然H.264的視頻解壓縮技術(shù)應用在網(wǎng)絡(luò)授課系統(tǒng)中表現(xiàn)出了許多優(yōu)點,但也存在一些問題需要解決:如隨著教學規(guī)模的不斷擴大,如何使教學系統(tǒng)支持更多的用戶同時在線學習,將成為網(wǎng)絡(luò)授課系統(tǒng)的一個關(guān)鍵問題,為此我們將繼續(xù)探索,不斷改進。
[1]劉義,蘭鳳霞.淺談網(wǎng)絡(luò)教學系統(tǒng)的設(shè)計與應用[J].農(nóng)業(yè)網(wǎng)絡(luò)信息,2005,(6).
[2]盧靜,周兵.多路嵌入式H.264視頻服務器的設(shè)計[J].微計算機信息,2007,(35).
[3]齊琳琳,向建勇.H.264視頻壓縮關(guān)鍵技術(shù)及其應用前景[J].電子科技,2005,(10).
[4]曾文獻,李子會.三維視頻編碼技術(shù)研究[J].硅谷,2011,(22).
[5]黃宇達,李向前.新一代視頻壓縮標準H.264及其未來發(fā)展方向簡述[J].福建電腦,2006,(9).
[6]湯春林.多媒體網(wǎng)絡(luò)教學系統(tǒng)的設(shè)計與實現(xiàn)[D].長沙:國防科學技術(shù)大學,2002.
The Design of Network Teaching System based on H.264 Video Compression Technology
Zeng Wenxian,Li Zihui,Ma Qianqian
H.264 has high coding efficiency,better adaption ability to the network and fault tolerant function,in view of its characteristic and key technology,under the aims of high compression rate,high image quality and low bandwidth of network, we can design the function module of the teaching system,thus can effectively improve the performances of network teaching system in the aspects of the video processing,and make the network teaching more vividly.
H.264;video compression;network teaching system
GP37
A
1673-1573(2012)01-0115-04
2011-09-13
曾文獻(1971-),男,陜西旬陽人,河北經(jīng)貿(mào)大學信息技術(shù)學院副教授,碩士生導師,研究方向為圖形圖像處理、嵌入式技術(shù);李子會(1986-),女,河北衡水人,河北經(jīng)貿(mào)大學信息技術(shù)學院碩士研究生,研究方向為圖形圖像處理、計算機應用技術(shù)。
責任編輯、校對:杜 瑩