攝影技術(shù)誕生以來,人們從未停止過對更真實影像的追求。彩色電視讓電視呈現(xiàn)的畫面從黑白變?yōu)椴噬?,讓人們感受到了更真實的世界。而視頻的呈現(xiàn)需要視頻編碼技術(shù)的支持。2002年還是DVD流行的時代——視頻領域?qū)I(yè)的說法屬于標清,即標準清晰度視頻。
2002年初發(fā)生了DVD專利收費事件,每臺DVD機出口時面臨十幾美元的專利追索,導致很多DVD機被國外海關扣押,當時一個問題是我們國家能否有自己自主的視頻編解碼技術(shù)、標準,這時計算機專家高文(現(xiàn)北京大學教授,中國工程院院士)站出來帶頭做了這件事情,就是發(fā)起成立AVS工作組(數(shù)字音視頻編解碼技術(shù)標準工作組),牽頭制定自己的國家標準。那時我是高老師的博士生,非常幸運能跟隨高老師一起做這樣有意義的事情,到現(xiàn)在已經(jīng)整整20年了。
起初,我國在這一領域技術(shù)非常落后、人才力量薄弱,AVS工作組帶動我國在視頻編解碼領域快速發(fā)展,培養(yǎng)了一大批人才,形成了自主的技術(shù)標準體系以及生態(tài)系統(tǒng),實現(xiàn)了從落后到領先的根本性變化。在這20年間,AVS1、AVS+、AVS2,以及AVS3等視頻編碼國家標準在AVS工作組的努力下相繼制定,我國構(gòu)建了技術(shù)創(chuàng)新、專利許可、標準制定、芯片研制、系統(tǒng)開發(fā)和應用推廣的生態(tài)圈,并從技術(shù)源頭上掌握了視頻產(chǎn)業(yè)發(fā)展的主動權(quán)。
簡單來說,AVS1、AVS+主要是面向高清數(shù)字電視廣播的編解碼技術(shù)標準,AVS+是AVS1的優(yōu)化和演進。而隨著技術(shù)進步,電視尺寸越來越大,視頻畫面越來越清晰,進入超高清的時代,幀率、色彩精度等視頻質(zhì)量參數(shù)越來越高,但這也意味著視頻的數(shù)據(jù)量變得越來越大。例如,1秒50幀的4K超高清視頻原始數(shù)據(jù)量約為12G比特,如此大的數(shù)據(jù)量讓存儲卡很快就存滿了。因此,數(shù)據(jù)壓縮是視頻存儲、傳輸非常重要的需求之一。AVS2主要面向4K超高清視頻的壓縮。壓縮效率可達到300倍,更直觀地說,使用AVS2技術(shù)進行壓縮的視頻所占用的存儲容量,比上一代技術(shù)減少了50%。
而當下的AVS3面向8K超高清電視廣播,是最新一代的編碼標準,AVS3視頻標準基準檔次是AVS標準第一次領先國外標準制定完成,芯片和編碼器的研發(fā)都要領先于國外標準推出,這是AVS標準發(fā)展上的一個里程碑,它的應用將使我國的AVS3+5G+8K產(chǎn)業(yè)部署與發(fā)展走向全球領先?;贏VS3可以讓觀眾在更低的帶寬代價下享受同樣的視覺質(zhì)量。
AVS3編解碼標準也應用在北京2022年冬奧會賽事直播中。在AVS3編解碼技術(shù)的賦能下,8K超高清相比之前的高清、4K超高清更清晰、更具沉浸感,特別是對體育賽事這樣的視頻節(jié)目,能夠提供更好的視覺效果。另外,除了傳統(tǒng)8K直播,還有全景視頻、多視角等呈現(xiàn)形式,觀眾可以選擇不同角度觀看,通過交互更進一步提升用戶的參與感。
對觀眾來說,技術(shù)的驅(qū)動還帶來了一些變化,雖然這些變化和AVS3這個具體標準可能沒有非常緊密的關系,但總體上確實是技術(shù)驅(qū)動帶來了很多變化。技術(shù)驅(qū)動發(fā)展提供了更多形式的內(nèi)容和觀看渠道、方式,如觀眾觀看形式多樣化,觀眾能在電視上、手機上看像冬奧會開幕式那樣的重大直播活動;有的影院開通了直播,觀眾能到影院觀看;還有AR(增強現(xiàn)實)、人工智能等技術(shù)手段生產(chǎn)出更吸引人的比賽內(nèi)容,給觀眾帶來更豐富、優(yōu)質(zhì)的觀賽感受。
冬奧會要為觀眾呈現(xiàn)體育盛宴,尤其是在主觀質(zhì)量、延時等細節(jié)方面有著非常高的要求。基于此,我們對技術(shù)和軟件都進行了反復的測試,不斷完善,也和咪咕的技術(shù)團隊進行了深入的探討,最終給觀眾帶來了很好的觀看效果。
具體而言,為了“備戰(zhàn)”北京2022年冬奧會,做好AVS3 8K直播系統(tǒng),團隊在編解碼算法上做了優(yōu)化,提升編解碼效率,降低編解碼功耗。此外,團隊還進行了傳輸上的優(yōu)化,能夠保證碼流的流暢傳輸、不卡頓等。然而,AVS3編碼在顯著提升性能的同時,復雜度也明顯提升,因此我們基于AVS3編碼的特點在塊劃分、參考幀決策等各個編碼工具上都進行了深度的優(yōu)化,最終實現(xiàn)了8K超過60fps的實時編碼。
在此次冬奧會中,AVS3標準也是首次在移動端直播場景應用及落地。在解碼方面,這次主要是針對移動端的應用進行針對性的設計。移動端的算力很寶貴,因此我們對解碼架構(gòu)進行了針對性的設計,可以更好地利用移動終端的計算資源,從而獲得更好的解碼效率。
在冬奧會上的應用實例也更加堅定了我們對自主標準的信心,相信隨著科研水平的不斷提升,越來越多的自主技術(shù)會成為社會發(fā)展的核心力量。此外,超高清技術(shù)在未來不僅能服務于傳統(tǒng)廣電領域,還將會在智慧醫(yī)療、安防、深空探索等領域產(chǎn)生重要影響。主要面向廣播影視應用、關注視頻壓縮效率的傳統(tǒng)視頻編碼,正在向新興視頻應用領域擴展。新興視頻應用如智慧城市、無人駕駛等強調(diào)對于視頻內(nèi)容的智能分析與理解,需要更智能的視覺內(nèi)容表示形式,這些應用需求正在推動視頻編碼從基于像素的編碼到基于視覺特征的編碼形式演變。目前,團隊正在積極推動技術(shù)標準的制定和推廣應用,預計近期會取得重要進展。
作者簡介
馬思偉 北京圖象圖形學學會常務理事,北京大學信息科學技術(shù)學院教授,主要研究方向為視頻處理、視頻編碼。AVS視頻組聯(lián)合組長,從2002年起陸續(xù)參與AVS1,AVS+,AVS2,以及AVS3國家標準的制定。
推介單位:北京圖象圖形學學會
編輯:倪妮F6010C05-28F7-4F67-90EF-DE28E6C02A84