邱鍇

一、背景

近年來，在線教育發(fā)展勢頭磅礴，其具有高效、便捷、低門檻、教學(xué)資源豐富等優(yōu)點(diǎn);加上“互聯(lián)網(wǎng)+”推動，在線教育平臺規(guī)模逐漸擴(kuò)大，據(jù)中國行業(yè)研究報(bào)告網(wǎng)數(shù)據(jù)顯示，預(yù)計(jì)未來幾年將繼續(xù)保持20%左右的速度增長，保持在千億級以上，產(chǎn)品有著廣闊的發(fā)展空間。

網(wǎng)絡(luò)直播迅速發(fā)展成為一種新的互聯(lián)網(wǎng)文化業(yè)態(tài)，視頻直播技術(shù)已經(jīng)得到了非常廣泛的應(yīng)用，從秀場到游戲、再到電商、旅游、教育等各個領(lǐng)域，直播的潛能已被無限拓展。

教育直播市場需求速增長的時(shí)代，在流量風(fēng)暴推動下，中國移動借勢在教育直播領(lǐng)域發(fā)力，研發(fā)具有行業(yè)競爭力的自有產(chǎn)品微課堂。

二、關(guān)鍵技術(shù)

（一）音視頻流

視頻流：主要通過Pc教師客戶端采集視頻流推送到CDN，CDN再進(jìn)行分發(fā)，觀眾端進(jìn)行拉流觀看。

音視頻流特點(diǎn)：

（1）更清晰流暢的音質(zhì)。音頻引擎提供了多種編解碼（opus、AMR-wB、AMR-NH、G.711（PcMA/Pc MIJ）、G.729、AAC等），采用了AEC/AES（回聲消除）、ANR（噪聲消除）、AGC（音頻增益控制）、ARS（自動碼率調(diào)整）、PLC（丟包隱藏）、FEC（前向糾錯）等多種技術(shù)，明顯改善了音頻的質(zhì)量，無論對端的音量是20分貝還是150分貝，無論對端背景噪聲是鞭炮、人聲、還是工業(yè)噪音，即便在60%丟包的情況下，本端聽到的語音都清晰流暢，且保持在80至100分貝的舒適音量。

（2）更加清晰明亮的畫質(zhì)。視頻引擎采用了智能曝光及圖像增強(qiáng)等先進(jìn)的視頻采集增強(qiáng)技術(shù)，通過模擬和數(shù)字處理方式智能調(diào)節(jié)亮度和對比度，明顯改善了較暗光線環(huán)境下的視頻效果，使畫質(zhì)更清晰明亮。

（3）音視頻傳輸抗丟包。移動網(wǎng)絡(luò)的不穩(wěn)定性、高丟包率一直是影響移動通信用戶體驗(yàn)的大障礙;音視頻引擎采用了獨(dú)創(chuàng)的高精度智能算法和先進(jìn)的QoS質(zhì)量控制技術(shù)，解決了因設(shè)備和網(wǎng)絡(luò)差異引起的音視頻質(zhì)量不穩(wěn)定和體驗(yàn)無法最佳化的問題，在網(wǎng)絡(luò)狀態(tài)好的時(shí)候支持高清語音和高清視頻通話、在網(wǎng)絡(luò)狀態(tài)不佳時(shí)能智能調(diào)節(jié)語音和視頻的清晰度，不至于通話因網(wǎng)絡(luò)干擾而被中斷，讓用戶在復(fù)雜網(wǎng)絡(luò)狀態(tài)下也能享受清晰流暢的音視頻通話。

視頻編解碼及傳輸層除了使用傳統(tǒng)的FIR、FEC和NACK等技術(shù)外，還采用了兩種抗丟包技術(shù)RPSI-SLI（引用幀選擇技術(shù)），通過編解碼（支持H-264，VP8）和RTCP反饋的深度合作，通過RFC4585規(guī)定的兩種反饋控制機(jī)制RPSI/SLI來實(shí)現(xiàn)發(fā)送端和接收端的信息交流及控制，能夠大大降低網(wǎng)絡(luò)丟包對視頻質(zhì)量的損傷。另外，媒體引擎中還使用了自動幀速率控制（SFrC）、碼率自適應(yīng)（AR8）、分辨率自適應(yīng)（resolution control）等算法，對幀速率做了非常精細(xì)的控制，使得在給定的網(wǎng)絡(luò)條件下能夠達(dá)到相對最佳的視頻主觀質(zhì)量，即使網(wǎng)絡(luò)丟包率較高時(shí)（最高60%丟包），仍能提供比較清晰流暢的音視頻體驗(yàn)。

（二）文件流

文檔流：Pc教師客戶端將文檔、涂鴉等轉(zhuǎn)換成圖片通過Http、Socket協(xié)議直接傳輸給觀眾。

（三）音視頻流與文件流

直播音視頻單流推送時(shí)，交互的信息較少，樣式相對單一。

音視頻流與文件流雙流：融合雙向流技術(shù)，不僅能提供了豐富的文件流（課件、涂鴉、聊天等）使得主播和觀眾交互方式更多樣，還有以下三個方面效益：

（1）降低對網(wǎng)絡(luò)帶寬的要求：文檔流作為主流，文檔、涂鴉等以圖片的形式傳輸?shù)接^看端，既保證了高清顯示又降低了消耗流量;將視頻流作為輔助流可以設(shè)置較低的分辨率，不僅提高視頻流暢性，而且降低流量消耗

（2）提高了轉(zhuǎn)碼效率：流文件越大，轉(zhuǎn)碼所需時(shí)間約長，將文件流與視頻流分離，大大少于合流形成流媒體，降低轉(zhuǎn)碼時(shí)長，減少轉(zhuǎn)碼的排隊(duì)時(shí)長

（3）視頻流和文件流雙流混合成私有格式文件，避免相關(guān)文件外傳造成損失。

視頻流和文件流兩個通道進(jìn)行傳輸將導(dǎo)致雙流在時(shí)間上存在不同步的問題，因此，需時(shí)間校準(zhǔn)算法實(shí)現(xiàn)視頻流和文件流同步顯不：

視頻流采集后推流到CDN，CDN通道分發(fā)傳輸存在大約12秒的時(shí)間延遲，這個延遲主要由三方面造成：老師推流時(shí)設(shè)置的關(guān)鍵幀2秒;rtmp協(xié)議大約5秒;客戶端播放器緩存一段時(shí)間才播放，大約也是5秒

而文檔流是及時(shí)傳輸，大約1秒就會顯示，為了規(guī)避時(shí)間同步的問題，采用如下技術(shù)方案：

在正常網(wǎng)絡(luò)情況下對rtmp、flv、hls等協(xié)議傳輸?shù)囊曨l，從老師端開始推流到學(xué)生端顯示平均的延遲時(shí)間大約12秒，文檔流進(jìn)行延遲約12秒顯示;為文件流建立時(shí)間軸，以保證視頻流和文檔流按時(shí)間軸同步。

（1）自動校準(zhǔn)：若遇到網(wǎng)絡(luò)不穩(wěn)定等情況，根據(jù)時(shí)間軸，每5分鐘實(shí)現(xiàn)自動校準(zhǔn)。

（2）手動校準(zhǔn)：點(diǎn)擊重新拉流可以重新同步時(shí)間。

中國移動微課堂有效降低教育、培訓(xùn)行業(yè)的直播門檻，為學(xué)校、培訓(xùn)機(jī)構(gòu)、公司提供更方便的直播能力，教育直播、培訓(xùn)直播、會議直播助力行業(yè)發(fā)展。