楊培楨
(91917部隊,北京 100089)
隨著互聯(lián)網(wǎng)技術(shù)在現(xiàn)代社會中應(yīng)用范圍的不斷擴大和應(yīng)用層次的不斷深化,網(wǎng)絡(luò)視頻通信在遠(yuǎn)程視頻會議、遠(yuǎn)端視頻醫(yī)療、遠(yuǎn)程視頻教育、網(wǎng)絡(luò)視頻游戲以及互動電視等領(lǐng)域的應(yīng)用也越來越廣泛[1]。為了進(jìn)一步提高網(wǎng)絡(luò)視頻通信的應(yīng)用質(zhì)量與數(shù)據(jù)傳輸效率,優(yōu)化網(wǎng)絡(luò)視頻通信終端用戶的使用體驗,需要改善網(wǎng)絡(luò)視頻通信的數(shù)據(jù)傳輸流暢度與視頻畫質(zhì)清晰度。網(wǎng)絡(luò)視頻通信主要包括視頻源數(shù)據(jù)采集、視頻數(shù)據(jù)編碼、視頻數(shù)據(jù)傳輸、接收端的視頻數(shù)據(jù)解析以及視頻顯示等流程,其數(shù)據(jù)交換是雙向的,即通信的雙方可以同時作為數(shù)據(jù)的接收端與輸出端。通常情況下,提高網(wǎng)絡(luò)視頻通信的畫質(zhì)會占用更多的帶寬[2]。如果網(wǎng)絡(luò)帶寬資源足夠豐富,則可以通過提高視頻傳輸碼率來優(yōu)化視頻通信的質(zhì)量?,F(xiàn)代網(wǎng)絡(luò)用戶數(shù)量不斷增加,同時用戶對網(wǎng)絡(luò)的要求越來越高,網(wǎng)絡(luò)帶寬資源越來越緊張。基于此,通過優(yōu)化網(wǎng)絡(luò)視頻通信編碼方案,同時配套科學(xué)的網(wǎng)絡(luò)視頻通信質(zhì)量評價方案,在不增加傳輸帶寬的情況下實現(xiàn)高質(zhì)量、高效率的視頻通信。
按照空間環(huán)境與人的相對關(guān)系,網(wǎng)絡(luò)視頻通信的場景通常可以分為近景、中景以及遠(yuǎn)景。近景場景多為人物特寫或集中在人物的面部區(qū)域,通信雙方可以清楚地看到對方的面部表情;中景場景通常覆蓋整個人物的影像,更加突出的是人物的整體肢體動作;遠(yuǎn)景場景除了覆蓋人物本身外,還會切入一定比例的空間環(huán)境影像,通信雙方的關(guān)注點主要表現(xiàn)為識別對方生物身份與基本環(huán)境概況[3]。針對不同場景的視頻通信編碼,在空間維度與時間維度上有所區(qū)別。
確定網(wǎng)絡(luò)視頻通信編碼方案時,應(yīng)遵循視頻通信或流媒體傳輸碼率低于網(wǎng)絡(luò)端到端有效帶寬的基本原則。高清商務(wù)會議等網(wǎng)絡(luò)視頻通信場景中,應(yīng)考慮在限制帶寬不超過2 Mb/s的前提下提高服務(wù)質(zhì)量[4]。同時,由于帶寬受現(xiàn)實網(wǎng)絡(luò)環(huán)境影響較大,因此可以從 300 kb/s、600 kb/s、1 Mb/s、1.5 Mb/s或 2 Mb/s等參數(shù)中選取合適的帶寬值,并在相應(yīng)編碼方案下設(shè)定合適的帶寬限制值。綜合考慮既往網(wǎng)絡(luò)視頻通信場景與視頻窗口大小的設(shè)定情況,由于高分辨率會造成編碼難度與碼率增加,同時其應(yīng)用場景較少,因此可以從360P、480P、720P以及1 080P等分辨率參數(shù)中進(jìn)行選擇。在確定幀率時,由于增大幀率會大幅提高編碼碼率,而且超過30 fps的幀率在常規(guī)性主流視頻通信場景中并無顯著應(yīng)用優(yōu)勢與應(yīng)用價值,因此設(shè)定編碼參數(shù)時擬采用低于30 fps的幀率,從10 fps、15 fps以及25 fps中選擇合適的幀率參數(shù)。
確定以上參數(shù)的范圍后,還需要注意在碼率較低時網(wǎng)絡(luò)視頻通信的幀率與分辨率均會受到較為明顯的限制,且編碼所致的量化矩陣會造成視頻在傳輸過程中出現(xiàn)較為明顯的失真現(xiàn)象。綜合以上分析,確定碼率后應(yīng)選擇合適的分辨率與幀率,結(jié)合實際網(wǎng)絡(luò)條件與視頻通信質(zhì)量要求配置相應(yīng)的編碼參數(shù)。網(wǎng)絡(luò)視頻通信編碼參數(shù)組合如表1所示。
表1 網(wǎng)絡(luò)視頻通信編碼參數(shù)組合
壓縮解碼也是網(wǎng)絡(luò)視頻通信的重要流程,可以利用專門的開源計算機程序FFmpeg來完成。該程序可以實現(xiàn)數(shù)字音視頻的記錄與轉(zhuǎn)化,得到流化音視頻。FFmpeg程序中內(nèi)嵌了libvpx與libx264等多種類型的視頻編碼庫與解碼庫,其兼容Windows、MacOS以及Linux等主流操作系統(tǒng),能夠便捷地完成H.264、VP8、AV1以及VP9等多種格式視頻的編碼與解碼。如果編碼器未特別說明,則默認(rèn)為x264編碼器。
目前,較為主流的網(wǎng)絡(luò)視頻通信質(zhì)量評價方法主要有絕對分類評級(Absolute Category Rating,ACR)法、具有隱藏參考的絕對分類評級(Absolute Category Rating with Hidden Reference,ACR-HR)法、損傷分類評級(Damage Classification Rating,DCR)法以及成對比較(Paired Comparison,PC)法等[5]。其中,ACR法與ACR-HR法均是通過測試者觀看并對每一個視頻進(jìn)行打分來完成評價,ACR-HR法附加了測試視頻中需包含源參考視頻的條件。DCR法要求測試者比較測試視頻與源參考視頻的差別來進(jìn)行評價。應(yīng)用PC法時,測試視頻為兩兩一組連續(xù)播出,測試者對比兩者的差別并進(jìn)行評價[6]。
在某種程度上,對源視頻進(jìn)行壓縮編碼時造成圖像質(zhì)量降低在所難免,如果在相應(yīng)的場景下視頻圖像質(zhì)量處于可接受的區(qū)間內(nèi),則認(rèn)為視頻通信編碼的方案可行。在視頻通信編碼的質(zhì)量評價方法中,ACR法的實現(xiàn)難度更低且更容易操作,而PC法在相近視頻的質(zhì)量區(qū)分方面具有更加顯著的優(yōu)勢。
當(dāng)網(wǎng)絡(luò)帶寬受限時,經(jīng)過編碼的視頻難免會出現(xiàn)圖像質(zhì)量或播放流暢度降低的問題,在相應(yīng)場景下能夠滿足用戶使用要求與標(biāo)準(zhǔn)的即為可行性編碼方案,開展視頻通信編碼的質(zhì)量評價時也應(yīng)遵循這一原則[7]。結(jié)合《多媒體設(shè)備用主觀視頻質(zhì)量評估方法》(ITU-T P.910—2008),可以將網(wǎng)絡(luò)視頻通信編碼質(zhì)量分為很差(1級)、較差或有明顯不適感(2級)、一般(3級)、可以接受(4級)以及舒適(5級)。
控制視頻播放環(huán)境的光照與播放設(shè)備保持不變,選擇30名普通工作人員開展基于網(wǎng)絡(luò)通信編碼的視頻質(zhì)量測試。其中,A測試視頻為單人視頻會議場景,B測試視頻為多人視頻會議場景,C測試視頻為多人舞蹈遠(yuǎn)程教學(xué)場景。按照一定的標(biāo)準(zhǔn)對得到的數(shù)據(jù)進(jìn)行篩選,以剔除偶然性數(shù)據(jù)。通過計算平均值,得到部分測試數(shù)據(jù)對比結(jié)果如表2所示。
表2 部分測試數(shù)據(jù)評價對比
對于A測試視頻而言,當(dāng)碼率限制為300 kb/s時,幀率為10 fps具有更好的應(yīng)用效果。當(dāng)碼率限制提高到1 500 kb/s時,兩種編碼策略均具有較高的評分。在單人視頻會議場景下,人物的面部細(xì)節(jié)與畫面清晰度要求相對較高,而畫面并不會出現(xiàn)頻繁的變化,選定10 fps的幀率可較好地匹配高碼率與低碼率。當(dāng)視頻分辨率提高到720P時,會造成量化步長顯著增大且畫面精細(xì)程度大幅降低?;诖?,針對A類視頻通信場景,低碼率條件下應(yīng)選擇低分辨率、低幀率以及小窗播放模式,高碼率條件下應(yīng)選擇高分辨率播放模式。
對于B測試視頻而言,當(dāng)碼率限制為300 kb/s時,幀率為10 fps具有更好的應(yīng)用效果。在多人視頻會議場景下,人物較多,視頻通信對畫面的連貫度要求相對較高,而對個人面部細(xì)節(jié)變化的捕捉要求相對較低。當(dāng)碼率提高到300 kb/s時,分辨率為720P的應(yīng)用效果更好。無論選擇高碼率或低碼率,均應(yīng)優(yōu)先設(shè)置相對較高的播放分辨率。
對于C測試視頻而言,碼率限制為300 kb/s且分辨率為360P時的評價得分最低,這兩種方案應(yīng)被判定為失敗的編碼參數(shù)配置方案。當(dāng)碼率限制為1 500 kb/s或者300 kb/s時,幀率為25fps具有更好的應(yīng)用效果。在多人舞蹈遠(yuǎn)程教學(xué)場景下,人物動作跨度較大,整體運動軌跡較為復(fù)雜,視頻接收方對畫面的連貫性要求較高,而對人物的表情要求較低。在25 fps的幀率條件下,選擇720P的分辨率和1 500 kb/s的碼率得到了較高的評價得分?;诖耍叻直媛逝c高碼率的配置方案較為合適。
綜上所述,針對網(wǎng)絡(luò)視頻通信的編碼方案,若碼率受到顯著的限制,則視頻經(jīng)編碼后會出現(xiàn)不可避免的分辨率降低或幀率損失問題,需要合理配置分辨率與幀率才能得到較高的用戶評價得分。針對不同的網(wǎng)絡(luò)視頻通信場景,用戶的需求也存在較大差異,合理設(shè)計編碼方法的評價方案,以用戶的實際體驗為導(dǎo)向優(yōu)化各編碼配置方案。未來應(yīng)繼續(xù)深化對網(wǎng)絡(luò)視頻通信編碼方案的評價研究,以推動視頻通信技術(shù)的發(fā)展。