高朝龍,張景波,蔡星娟

(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

1 引 言

隨著網(wǎng)絡(luò)技術(shù)以及視頻編解碼技術(shù)的發(fā)展,視頻通信得到快速的發(fā)展,疫情期間,遠(yuǎn)程視頻會議迎來井噴式發(fā)展并且被廣泛應(yīng)用于人們的日常生活中[1].騰訊會議與釘釘?shù)纫曨l會議軟件可以滿足日常會議需求,但是像一些特定場景,比如醫(yī)院等對隱私要求比較高的行業(yè),開發(fā)一套獨(dú)立的視頻會議系統(tǒng)尤為重要.傳統(tǒng)的視頻會議都是基于客戶端開發(fā),用戶需要下載應(yīng)用才能開啟視頻會議,現(xiàn)在越來越多的視頻會議系統(tǒng)是基于Web端開發(fā).WebRTC(Web Real-Time Communications)[2,3]是一種實(shí)現(xiàn)網(wǎng)頁端實(shí)時通信的技術(shù),該技術(shù)通過瀏覽器來實(shí)現(xiàn)視頻通話,而不需要下載客戶端,極大地方便了用戶使用.目前大部分的音視頻通信軟件都是基于WebRTC技術(shù)開發(fā),WebRTC實(shí)現(xiàn)了點(diǎn)到點(diǎn)在瀏覽器之間的通信.

WebRTC發(fā)展?jié)摿薮?預(yù)計(jì)到2026年,市場規(guī)模達(dá)到29.8億.WebRTC有多種應(yīng)用場景,其中包含流媒體播放,直播以及視頻通話.在流媒體播放中,為了適應(yīng)不同用戶的需求,MBR(Multi-Bitrate Streaming)和ABR(Adaptive Bitrate Streaming)[4,5]被廣泛研究.ABR是碼率自適應(yīng)調(diào)整算法,它會根據(jù)客戶端網(wǎng)絡(luò)狀況對碼率進(jìn)行調(diào)整,從而實(shí)時為用戶提供最高的視頻質(zhì)量.而MBR是多碼率策略,它將視頻流編碼成多個不同碼率的碼流以供接收端選擇,編碼器確定了碼率之后,碼流不會根據(jù)網(wǎng)絡(luò)條件進(jìn)行調(diào)整.在流媒體播放和直播中,視頻流來源都是固定的碼率,ABR是單個流自適應(yīng)轉(zhuǎn)碼成多個流,而MBR則是編碼器編碼多個碼率并發(fā)送給CDN.傳統(tǒng)的ABR僅從接收端報(bào)文決定發(fā)送碼率,例如GCC(Google Congestion Control)[6,7],主要是從時延和丟包的角度進(jìn)行碼率調(diào)整.發(fā)送端基于丟包率對上傳碼率進(jìn)行調(diào)整,接收端基于延時對上傳碼率進(jìn)行調(diào)整.然后由媒體引擎根據(jù)碼率來配置編碼器,從而實(shí)現(xiàn)碼率的自適應(yīng)調(diào)整.Wang等人[8]針對多人互動直播場景設(shè)計(jì)了自適應(yīng)碼率算法,同時考慮收發(fā)碼率,發(fā)送端采用SVC編碼,提高了主播的用戶體驗(yàn).Petrangeli等人[9]針對基于WebRTC的遠(yuǎn)程教育提出了視頻碼率動態(tài)自適應(yīng)方法,根據(jù)網(wǎng)絡(luò)帶寬對發(fā)送端碼率重新計(jì)算.而在多人視頻會議場景中,每個客戶端既是視頻發(fā)送端,又是視頻接收端,因此在對碼率進(jìn)行調(diào)整的時候,需要同時考慮接收和發(fā)送碼率.多人視頻會議區(qū)別于一對一的視頻通話,視頻會議房間用戶較多,每個用戶的設(shè)備和網(wǎng)絡(luò)環(huán)境不同,視頻需求也不同,網(wǎng)絡(luò)狀況好的用戶希望獲得高質(zhì)量的視頻,網(wǎng)絡(luò)狀況差的用戶希望降低視頻質(zhì)量以保證視頻的流暢性.

因此,如何滿足不同用戶的需求是多人視頻會議亟待解決的問題.針對這些異構(gòu)網(wǎng)絡(luò)環(huán)境,優(yōu)化網(wǎng)絡(luò)傳輸參數(shù),調(diào)整客戶端上傳的碼率,可以有效地改善視頻會議性能.基于WebRTC技術(shù)的多人視頻會議主要包括Mesh,MCU和SFU 3種架構(gòu),而SFU架構(gòu),由于對服務(wù)端消耗更小,同時支持發(fā)送多碼率,客戶端靈活性好,支持高負(fù)載,因此是當(dāng)前主流的方案,大多數(shù)廠商采用SFU架構(gòu),例如思科,ZOOM和騰訊會議等.為了適應(yīng)不同客戶端的需求,SFU架構(gòu)通過Simulcast[10,11]和SVC[12]兩種模式來實(shí)現(xiàn)MBR.Simulcast模式下,每個發(fā)送端通過編碼器編碼上傳三路不同分辨率的視頻流,SFU服務(wù)器根據(jù)接收端的網(wǎng)絡(luò)狀況轉(zhuǎn)發(fā)不同分辨率的音視頻數(shù)據(jù).由于SFU架構(gòu)服務(wù)器不對視頻流進(jìn)行處理,因此不能像MCU架構(gòu)那樣使用GCC算法實(shí)現(xiàn)碼率自適應(yīng).在對視頻會議研究中,Grozev[13]等人使用simulcast模式進(jìn)行編碼,參會人發(fā)送三路視頻流,SFU將高質(zhì)量的視頻流轉(zhuǎn)發(fā)給討論中的人員.為了適應(yīng)接收端的帶寬變化以及提高視頻質(zhì)量,Petrangelo[14]等人使用整數(shù)線性規(guī)劃對發(fā)送端碼率進(jìn)行重計(jì)算.這些方法都是從接收端帶寬出發(fā),沒有從服務(wù)器的帶寬消耗以及多路視頻流的視頻質(zhì)量的角度,考慮視頻會議的整體性.碼率的大小決定了帶寬消耗和視頻質(zhì)量,為了使得視頻會議更加合理化,需要對客戶端上傳的多個碼率同時進(jìn)行優(yōu)化,得到最優(yōu)的傳輸碼率.為了讓視頻架構(gòu)服務(wù)于中小型企業(yè),在減少客戶端帶寬消耗的同時,需要盡可能地減少服務(wù)器的成本,而SFU架構(gòu)服務(wù)器成本主要來源于上行帶寬.

由于視頻會議發(fā)送端也是接收端,因此需要統(tǒng)籌兼顧發(fā)送碼率和接收碼率,同時考慮多個目標(biāo).針對視頻會議中的多碼率控制問題,本文構(gòu)建了高維多目標(biāo)模型[15,16],同時對每個客戶端上傳的三路視頻流的碼率進(jìn)行優(yōu)化,并用高維多目標(biāo)優(yōu)化算法進(jìn)行求解,得到目標(biāo)權(quán)衡下的最優(yōu)傳輸碼率序列.借助高維多目標(biāo)優(yōu)化算法可以生成一組由非支配解組成的pareto解集,該解集可以滿足不同需求下的最優(yōu)解.因此,本文針對基于Simulcast+SFU架構(gòu)下的視頻會議多碼率優(yōu)化的問題引入高維多目標(biāo)模型,構(gòu)造包含客戶端帶寬消耗比,視頻質(zhì)量,碼率差和服務(wù)器上行帶寬消耗4個目標(biāo)的高維多目標(biāo)模型.本研究成果能在多個權(quán)衡目標(biāo)中找到一個折衷解決方案,對提升多人視頻會議在復(fù)雜環(huán)境下的通話質(zhì)量具有重要的理論借鑒意義及很強(qiáng)的應(yīng)用價(jià)值.

2 基本理論

2.1 WebRTC多人視頻通訊架構(gòu)

WebRTC是一種實(shí)現(xiàn)web端在線視頻通訊的技術(shù),無需安裝應(yīng)用,直接通過瀏覽器即能使用視頻會議功能,極大地方便了客戶端的使用.WebRTC是一種P2P技術(shù),建立視頻通訊是可以去中心化的,但是在大型多人視頻通訊場景,使用端到端直連,在客戶端上會出現(xiàn)嚴(yán)重的帶寬和性能問題.因此針對多人視頻通訊場景,由3種架構(gòu)類型:Mesh、MCU、SFU,其中Mesh架構(gòu)是基于端到端直連的設(shè)計(jì)方案.

圖1展示了4人會議場景下的3種架構(gòu)示意圖,其中圓形代表參加視頻會議的客戶端.在表1中列出了3種架構(gòu)的連接數(shù)和上行下行數(shù).

表1 架構(gòu)對比

圖1 架構(gòu)對比圖

Mesh架構(gòu):如圖1(a)所示,客戶端兩兩建立p2p連接,端與端之間互相傳輸視頻流,該架構(gòu)的優(yōu)點(diǎn)在于不需要中心服務(wù)器進(jìn)行轉(zhuǎn)發(fā).由于每個客戶端需要給其他視頻接收端上傳視頻流,上行帶寬消耗比較大,另外視頻編解碼均在客戶端,對客戶端的CPU消耗比較大.Mesh架構(gòu)僅適用于人數(shù)比較少的視頻會議,一般用于5人以下的視頻會議場景.

MCU架構(gòu):MCU架構(gòu)目前應(yīng)用比較廣泛,但是由于該架構(gòu)下視頻流是在服務(wù)端進(jìn)行編碼,因此需要對不同接收端的視頻進(jìn)行轉(zhuǎn)碼,對服務(wù)器的CPU消耗巨大[17],抖動緩沖區(qū)較大,端到端之間的時延長.MCU服務(wù)器將各客戶端上傳的視頻流混合編碼成單個視頻流,并向其他參與會議的客戶端轉(zhuǎn)發(fā)該視頻流.從表1可以看出,MCU架構(gòu)帶寬消耗較小,每個客戶端僅需要向服務(wù)器上傳一路音視頻流,同時接收一路經(jīng)服務(wù)端合流編碼后的視頻流,客戶端的壓力較小.但是對服務(wù)器需要對視頻流重新解碼編碼、解碼、混合,對CPU資源消耗較大,因此MCU架構(gòu)對服務(wù)器的壓力很大,使用此架構(gòu)需要配置性能好的服務(wù)器.

SFU架構(gòu):SFU與MCU架構(gòu)相似,都是借助服務(wù)器對音視頻流進(jìn)行轉(zhuǎn)發(fā),不同的是SFU服務(wù)器端不對視頻流進(jìn)行編碼與合流,只是將接收到的視頻流轉(zhuǎn)發(fā)給視頻會議房間中的其他客戶端,因此相比MCU架構(gòu),SFU服務(wù)器的壓力比較小,并且數(shù)據(jù)更安全.另外,在客戶端資源消耗上,SFU架構(gòu)對客戶端的下行帶寬消耗比較大.不過隨著5G技術(shù)的發(fā)展,帶寬問題得到有效的改善,SFU架構(gòu)符合未來發(fā)展潮流.

2.2 Simulcast模式和SVC模式

多人視頻會議由于參會人數(shù)比較多,并且不同客戶端的網(wǎng)絡(luò)狀況和終端設(shè)備不同,為了滿足不同設(shè)備在不同網(wǎng)絡(luò)環(huán)境下的視頻通話需求,SFU采用了MBR策略.SFU架構(gòu)下兩種MBR模式:SVC和Simulcast.

SVC模式:是一種可伸縮的分級編碼模式,它在視頻編碼時將視頻分成多層——核心層、中間層和擴(kuò)展層.上層依賴于底層,而且越上層越清晰,越底層越模糊.在帶寬不好的情況下,只傳輸?shù)讓?即核心層,在帶寬充足的情況下,上傳高層碼流提高視頻質(zhì)量.Zoom和思科采用的都是SVC模式.

Simulcast模式:指視頻的發(fā)送者即視頻會議客戶端,通過視頻編碼器將單個分辨率的視頻編碼成3個不同分辨率的視頻流,并發(fā)送給SFU服務(wù)器.而SFU服務(wù)器根據(jù)各客戶端的網(wǎng)絡(luò)狀況將接收到的三路視頻流進(jìn)行選擇性轉(zhuǎn)發(fā).目前國內(nèi)的聲網(wǎng)采用的就是Simulcast模式.

與SVC分層編碼方式相比,Simulcast的操作更簡單,實(shí)用性更強(qiáng),因此本文針對Simulcast模式下的多碼流傳輸問題進(jìn)行優(yōu)化,調(diào)整房間內(nèi)各客戶端的傳輸碼率,提高視頻會議整體性能.

3 高維多目標(biāo)模型

針對Simulcast模式,不同分辨率的碼流所對應(yīng)的碼率是動態(tài)變化的,如何在減少客戶端帶寬消耗的同時,盡可能地提高視頻質(zhì)量、降低服務(wù)器的帶寬消耗是本文的研究重點(diǎn).視頻會議多碼率優(yōu)化旨在從整體出發(fā),從房間的概念考慮視頻會議整體體驗(yàn),并從客戶端和服務(wù)器兩個方面對傳輸碼率進(jìn)行優(yōu)化,使得視頻會議碼率分配更合理,視頻會議性能更好,在滿足這些目標(biāo)的同時,盡可能地提高視頻質(zhì)量.對視頻房間進(jìn)行統(tǒng)籌規(guī)劃,從客戶端帶寬消耗,服務(wù)器成本,以及視頻質(zhì)量3個角度出發(fā),構(gòu)建4個目標(biāo)函數(shù)同時對視頻會議進(jìn)行優(yōu)化.

高維多目標(biāo)模型示意圖如圖2所示,在視頻會議中,每個參與方在發(fā)送視頻的時候需要對視頻進(jìn)行編碼,從而減少帶寬消耗.在對傳輸視頻進(jìn)行編碼之前,SFU服務(wù)器通過帶寬評估模塊[18]獲取各個客戶端的網(wǎng)絡(luò)帶寬,并通過構(gòu)建的高維多目標(biāo)模型計(jì)算得到各客戶端碼率傳輸?shù)膒areto最優(yōu)解集,SFU服務(wù)器將得到的每個客戶端的碼率值傳給客戶端,客戶端根據(jù)接收到的值對視頻流重新編碼.客戶端將編碼后的三路視頻流發(fā)送給SFU服務(wù)器,最后,SFU服務(wù)器按照接收端的網(wǎng)路狀況將不同分辨率的視頻轉(zhuǎn)發(fā)給各客戶端.

圖2 多碼率優(yōu)化高維多目標(biāo)模型

服務(wù)器可利用Simulcast技術(shù)實(shí)現(xiàn)多碼流傳輸,視頻流發(fā)送端通過視頻編碼器編碼三路分辨率不同的視頻流,分別代表高清、標(biāo)清和流暢.高分辨率視頻流適用于網(wǎng)絡(luò)狀況好的客戶端接收視頻數(shù)據(jù),可以獲取高質(zhì)量的視頻;低分辨率視頻流適用于網(wǎng)路狀況不好的客戶端接收音視頻數(shù)據(jù),僅需要較少的碼率即可實(shí)現(xiàn)較清晰的視頻.三路碼率實(shí)現(xiàn)的是多用戶需求的視頻會議,解決異構(gòu)網(wǎng)絡(luò)下的客戶端體驗(yàn)問題.

Simulcast模式旨在滿足不同用戶實(shí)際帶寬和設(shè)備需求,基于SFU架構(gòu),客戶端在向其他的客戶端推送視頻流的時候,視頻編碼器將客戶端采集到的單路視頻流編碼成3個不同分辨率的視頻流,SFU服務(wù)器根據(jù)接收端的實(shí)際狀況轉(zhuǎn)發(fā)合適的視頻流.

每個客戶端推流的三路視頻流可以表示成公式(1),每一路對應(yīng)一個固定分辨率.

(1)

(2)

在分辨率一定的情況下,碼率與清晰度成正比關(guān)系,碼率越高,圖像越清晰;碼率越低,圖像越不清晰.

本章將介紹多人視頻會議多碼率優(yōu)化的高維多目標(biāo)模型的構(gòu)建,模型包含4個目標(biāo):客戶端帶寬消耗比、視頻質(zhì)量、碼率差和服務(wù)器上行帶寬消耗.高維多目標(biāo)模型構(gòu)建如下:

目標(biāo)1.最小化客戶端帶寬消耗比

SFU架構(gòu),每個客戶端上行視頻流數(shù)據(jù),下行其他客戶端發(fā)送的視頻流數(shù)據(jù),發(fā)送端發(fā)送的視頻流消耗帶寬包括發(fā)送端消耗的上行帶寬和接收端的下行帶寬.當(dāng)房間會議中的參會人員比較多的時候.整個視頻會議需要占用的帶寬會特別大,會嚴(yán)重影響視頻會議的通話性能.另外由于網(wǎng)絡(luò)波動較大,不同客戶端的實(shí)際帶寬不同,因此需要根據(jù)客戶端的實(shí)際帶寬對上傳的音視頻流的碼率進(jìn)行調(diào)整,降低房間內(nèi)客戶端的帶寬消耗.在公式(3)中,構(gòu)建了客戶端帶寬消耗比模型,用來反映視頻會議房間內(nèi)的客戶端平均帶寬消耗比.

(3)

(4)

目標(biāo)2.最大化房間視頻質(zhì)量

視頻質(zhì)量與傳輸碼率,分辨率和幀率有關(guān),其中傳輸碼率是影響視頻質(zhì)量的關(guān)鍵因素[19],本文不考慮幀率的影響,僅考慮分辨率以及碼率.碼率越大,傳輸?shù)囊曨l流數(shù)據(jù)越多,越能反映出真實(shí)的視頻效果.對于視頻會議房間三路不同分辨率的視頻,用傳輸?shù)囊粢曨l客觀評價(jià)分?jǐn)?shù)來衡量視頻質(zhì)量,建立房間視頻質(zhì)量模型.

(5)

qk表示第k個客戶端推送三路視頻流的平均視頻質(zhì)量,即會議房間中視頻接收方得到的視頻質(zhì)量期望.SFU服務(wù)器在進(jìn)行轉(zhuǎn)發(fā)的時候,假定轉(zhuǎn)發(fā)的概率是隨機(jī)的,即轉(zhuǎn)發(fā)每一路的視頻流的概率均相同,為1/3.qk的計(jì)算表達(dá)式如公式(6),其中f表示視頻質(zhì)量關(guān)于分辨率和碼率的函數(shù)[20],R代表分辨率.該函數(shù)可以通過擬合得出:

(6)

目標(biāo)3.最大化碼率差

在Simulcast模式下的視頻會議中,為了滿足不同用戶的需求,每個參會客戶端上傳三路不同分辨率的視頻流以供服務(wù)器轉(zhuǎn)發(fā).每個分辨率對應(yīng)一個碼率,碼率的大小決定了當(dāng)前分辨率下的視頻質(zhì)量.在碼率一定的情況下,分辨率與視頻質(zhì)量成反比,分辨率越高,像素點(diǎn)越多,視頻越不清晰.高分辨率的視頻對碼率的要求高,因此在減少帶寬消耗的同時,對高分辨率的碼流應(yīng)分配大的碼率,即三路視頻流的碼率差值盡可能地大,為此,本文構(gòu)建如下碼率差模型:

(7)

目標(biāo)4.最小化服務(wù)器帶寬消耗

基于SFU架構(gòu)的WebRTC服務(wù)器不需要對客戶端推送的視頻流進(jìn)行編碼以及合流,因此視頻通話對服務(wù)器的CPU消耗很小,服務(wù)器只需要將各個客戶端推送的視頻流轉(zhuǎn)發(fā)給視頻流接收方,消耗上行帶寬,如果上行帶寬消耗過量,則會導(dǎo)致客戶端不能正常接收到視頻流.對于多人視頻會議的服務(wù)端而言,由于需要應(yīng)對大規(guī)模用戶以及房間數(shù)目比較多的情況,為了滿足視頻會議的正常進(jìn)行,對服務(wù)器的上行帶寬要求也比較高.另外需要的上行帶寬越大,服務(wù)器成本越高,因此應(yīng)該盡可能地降低服務(wù)端的上行帶寬消耗.

對于Simulcast模式,每個客戶端會通過編碼器編碼上傳三路不同碼流,服務(wù)器根據(jù)客戶端實(shí)際狀況轉(zhuǎn)發(fā)合適的碼流.本文將最大上行帶寬消耗作為目標(biāo)函數(shù),即最大上行帶寬消耗等于各客戶端上傳的最大碼率之和.服務(wù)器帶寬消耗模型如公式(8)所示:

(8)

因此本文構(gòu)建的高維多目標(biāo)模型如下:

F=[bandc,quality,dis,bands]

(9)

4 算法設(shè)計(jì)

4.1 個體編碼

由第3節(jié)可知,本文將各個客戶端的傳輸碼率作為決策變量,通過高維多目標(biāo)優(yōu)化算法,得到最優(yōu)碼率組合.將每個客戶端的三路不同分辨率的碼率按高中低順序排列,對于參會人數(shù)為N的視頻會議房間,決策變量個數(shù)為3N,碼率值序列可表示為:

(10)

將序列中的每個元素進(jìn)行歸一化,得到各碼率在[0,1]中的映射為:

(11)

歸一化后的碼率值序列為

(12)

對于在線視頻會議多碼率優(yōu)化問題,本文采用實(shí)數(shù)編碼對決策變量進(jìn)行編碼,編碼長度為3N.使用實(shí)數(shù)編碼對歸一化后的碼率值進(jìn)行編碼,生成初始種群,種群中的每個個體表示為一個C*序列,種群初始化后,通過迭代更新得到最優(yōu)的歸一化碼率序列C*.在每次迭代時,需要將每代種群個體映射回實(shí)際碼率值序列C.

4.2 多指標(biāo)交配池選擇策略

在高維多目標(biāo)優(yōu)化算法求解過程中,交配池選擇是關(guān)鍵的一個過程,用于選擇好的個體進(jìn)行交叉變異,交配池的選擇影響著算法最終的性能.使用單一指標(biāo)進(jìn)行交配池選擇無法適應(yīng)不同的問題,因此本文提出了一種基于多指標(biāo)交配池選擇策略的MaOEA-MIPS,提高交配池的多樣性,在交配池選擇中,本文將適應(yīng)度,ASF[21],角度以及FC[22]等指標(biāo)作為交配池生成策略,提出了一種基于集成選擇的高維多目標(biāo)優(yōu)化算法MAOEA-MIPS.適應(yīng)度值可以反映種群個體的優(yōu)劣性,ASF值可以反映出每個解的最佳收斂程度,基于角度信息的評價(jià)準(zhǔn)則能消除個體收斂程度的影響,FC值可以反映種群的收斂性.適應(yīng)度和角度是常用的指標(biāo),因此,本節(jié)重點(diǎn)介紹ASF和FC.

4.2.1 成績標(biāo)量函數(shù)

ASF表示成績標(biāo)量函數(shù),通過加權(quán)向量w=(w1,w2,…,wM)和參考點(diǎn)z={z1,z2,…,zM}來構(gòu)造,可以將多目標(biāo)轉(zhuǎn)化成單目標(biāo)進(jìn)行求解,公式(13)為改進(jìn)版的ASF,前半部分為原始的ASF,原始ASF在解決高維多目標(biāo)優(yōu)化問題中會失效,因此在后半部分添加了附加項(xiàng),其中增廣系數(shù)ρ設(shè)置為10-4.

(13)

權(quán)重向量wi為個體x在每個目標(biāo)對應(yīng)權(quán)重偏好,定義為:

(14)

其中,當(dāng)wi=0時,權(quán)重偏好wi用10-6替換.

4.2.2 收斂偏好函數(shù)

收斂偏好函數(shù)由切比雪夫函數(shù)和偏好向量構(gòu)成,用于衡量個體的收斂性能.FC的定義如公式(15)所示,切比雪夫距離為兩個點(diǎn)在坐標(biāo)維度上差值的最大值,FC(u)值越小,反映了收斂性越好,z={z1,z2,…,zM}表示每個目標(biāo)函數(shù)上的理想點(diǎn)集合,zi=minu∈Pfi(u).fi(u)表示個體u在第i個目標(biāo)上的函數(shù)值.

FC(u)=max1≤i≤M{Wu,i|fi(u)-zi)}

(15)

其中,偏好向量定義為:

(16)

MAOEA-MIPS算法框架圖如算法1所示,在交配池選擇過程中,本文基于適應(yīng)度,ASF,角度以及FC這4種指標(biāo)設(shè)計(jì)了3種交配池選擇策略,并讓它們以相同的概率進(jìn)行選擇得到種群交配池.算法使用模擬二進(jìn)制交叉變異生成子代,并與原種群合并產(chǎn)生新的種群.在環(huán)境選擇過程中,為了保證種群大小的一致性,使用角度信息和歐式距離對種群個體進(jìn)行選擇和淘汰.種群個體到理想點(diǎn)的歐氏距離反映了種群的收斂性,個體之間的角度反映了種群的多樣性,因此在淘汰個體時,可以去除多樣性小并且收斂性差的個體.

算法1.MAOEA-MIPS算法偽代碼

輸入：初始化種群P,設(shè)置相關(guān)的參數(shù)

1. 初始外部歸檔集合E;

2. 計(jì)算理想點(diǎn);

3. When gen

4. 生成隨機(jī)數(shù)a=rand(0,1);

5. If a<1/3:

6. 使用基于適應(yīng)度函數(shù)的錦標(biāo)賽方式得到交配池pool;

7. If 1/3<=a<2/3:

8. 使用FC指標(biāo)得到交配池pool;

9. If a>=2/3:

10. 使用ASF和角度信息指標(biāo)得到交配池pool;

11. 模擬二進(jìn)制交叉變異得到子代O,新種群P=P∪O;

12. 計(jì)算P中個體之間的角度和個體與理想點(diǎn)的歐式距離;

13. If|P|>N:

14. 選擇角度最小的兩個個體p1,p2,刪除距離短的個體;

15. 更新歸檔集E;

輸出：外部歸檔集E

4.3 算法時間復(fù)雜度分析

算法主要包含以下3個過程:1)多指標(biāo)交配池選擇過程;2)交叉變異過程;3)環(huán)境選擇過程.在算法中,算法的終止條件設(shè)定為最大迭代次數(shù).對于每一代,多指標(biāo)交配池選擇過程中,需要對M維決策變量的N個個體計(jì)算指標(biāo)值.其中適應(yīng)度函數(shù)和FC指標(biāo)的時間復(fù)雜度是O(MN),而計(jì)算角度信息指標(biāo)和ASF時間復(fù)雜度為O(N2),根據(jù)指標(biāo)選擇交配池的時間復(fù)雜度為O(N),因此交配池選擇過程的時間復(fù)雜度為O(MN)+O(N2).交叉變異過程的時間復(fù)雜度較小為O(N).其中M表示目標(biāo)的個數(shù),N表示種群的大小.

在環(huán)境選擇過程中,需要對2N個個體進(jìn)行非支配排序,并從中選出N個個體進(jìn)入到下一代,在選擇最后一個非支配層時,利用角度和歐式距離進(jìn)行個體的選擇.其中,非支配排序的時間復(fù)雜度是O(MN2),計(jì)算個體之間的角度和個體與理想點(diǎn)的歐式距離的時間復(fù)雜度為O(N2).因此環(huán)境選擇的時間復(fù)雜度為O(MN2).綜上所述,本文提出的MAOEA-MIPS算法的整體時間復(fù)雜度為O(MN2).

5 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)所有的仿真實(shí)驗(yàn),均在windows10,Matlab2016b版本下運(yùn)行,并通過Matlab接口調(diào)用python程序,對比實(shí)驗(yàn)在優(yōu)化算法平臺(PlatEMO)上進(jìn)行.

5.1 MAOEA-MIPS算法性能實(shí)驗(yàn)

本研究選擇DTLZ(1～7)函數(shù)作為測試集,測試函數(shù)配置如表2所示,最大迭代次數(shù)設(shè)置成10000,交叉概率為0.9,變異概率為0.1.

表2 DTLZ測試函數(shù)參數(shù)設(shè)置

表3 參數(shù)設(shè)置

表4 高維多目標(biāo)優(yōu)化算法對比結(jié)果

表5 不同參會人數(shù)結(jié)果對比

在高維多目標(biāo)優(yōu)化中,反向代際距離(IGD)和超體積(HV)是兩個常用的評價(jià)指標(biāo).本實(shí)驗(yàn)采用IGD值來評估算法的性能.計(jì)算公式見公式(17):

(17)

其中,Z代表均勻分布在pareto最優(yōu)前沿面上的參考點(diǎn)集合,|Z|表示點(diǎn)集的個數(shù).P代表算法得到的最優(yōu)解集,d表示Z中點(diǎn)到解集P的最小距離.d越小,反映了解集P越接近真實(shí)pareto前沿,即算法收斂性好,另外,解集P應(yīng)盡可能地覆蓋最優(yōu)前沿面,即多樣性好.

為了驗(yàn)證算法的性能,本文將MAOEA-MIPS與NSGA-Ⅲ[23],GREA[24],PICEAG[25],MAOEA-DDFC[22]4個算法進(jìn)行比較,并在DTLZ測試函數(shù)集上測試,結(jié)果如表6所示,其中加粗字體表示算法中的最好值.MAOEA-MIPS在大部分測試實(shí)例中IGD值優(yōu)于其他算法.這是因?yàn)槠渌麕讉€算法均是采用單一指標(biāo)選擇交配池,無法協(xié)調(diào)多樣性和收斂性,而MAOEA-MIPS考慮多個指標(biāo),增加了種群選擇壓力,算法性能更好.

表6 算法在DTLZ測試函數(shù)上的比較

5.2 MAOEA-MIPS解決多碼率優(yōu)化高維多目標(biāo)模型

在使用高維多目標(biāo)優(yōu)化算法進(jìn)行仿真實(shí)驗(yàn)的時候,需要提前構(gòu)建視頻會議場景模型,以10人視頻會議場景為例,假定客戶端的網(wǎng)路帶寬均在15～20Mbps之間,隨機(jī)生成10個不同網(wǎng)絡(luò)環(huán)境的客戶端,每個客戶端上傳3路視頻流.在表3中列出了仿真實(shí)驗(yàn)所需的相關(guān)參數(shù)設(shè)置,根據(jù)會議場景進(jìn)行仿真設(shè)置并構(gòu)建對應(yīng)的高維多目標(biāo)模型,然后使用高維多目標(biāo)優(yōu)化算法進(jìn)行求解.本節(jié)設(shè)計(jì)了兩個實(shí)驗(yàn):一個是不同高維多目標(biāo)優(yōu)化算法結(jié)果對比實(shí)驗(yàn),另一個是不同參會人數(shù)場景下的目標(biāo)值對比實(shí)驗(yàn).

5.3 實(shí)驗(yàn)分析

在實(shí)驗(yàn)1中,本研究將不同的高維多目標(biāo)優(yōu)化算法用于10人會議場景中,并對實(shí)驗(yàn)結(jié)果進(jìn)行了分析,在實(shí)驗(yàn)2中,分析了不同參會人數(shù)對視頻會議的影響.

表4為10人視頻會議場景下的不同高維多目標(biāo)優(yōu)化算法的性能分析,MAOEA-MIPS在多個目標(biāo)上表現(xiàn)優(yōu)異,其中客戶端帶寬消耗比最小,視頻質(zhì)量較優(yōu),服務(wù)端上行帶寬消耗最小.其中客戶端帶寬消耗比最小為0.470,最大為1.084,優(yōu)于其他算法,帶寬消耗比小的解適用于網(wǎng)絡(luò)狀況不好的情況.對于服務(wù)器上行帶寬消耗方面,MAOEA-MIPS與NSGA-Ⅲ接近,明顯優(yōu)于其他3種算法,表明MAOEA-MIPS可以極大地降低服務(wù)器上行帶寬消耗,減少服務(wù)器成本.碼率差反映的是碼流之間的差異性,當(dāng)碼率差保持在一個較高值,碼流離散程度更大,視頻流多樣性更好,MAOEA-MIPS與其他4種算法碼率差沒有明顯區(qū)別.在視頻質(zhì)量方面,MAOEA-MIPS在最差值優(yōu)于其他4種算法,在最好值上僅次GREA,平均值和GREA和PICEAG接近,NSGA-Ⅲ的視頻質(zhì)量最低.

最好結(jié)果和平均結(jié)果反映了算法在模型上的收斂性,最差結(jié)果反映了算法的多樣性.為了更好地反映算法的性能,在圖3中繪制了箱線圖.其中長條內(nèi)橫線表示外部歸檔集中的中位數(shù),圓圈表示外部歸檔集中的離散解.

圖3 箱線圖

為了分析房間人數(shù)對視頻會議的影響,在實(shí)驗(yàn)2中,參會人數(shù)分別設(shè)置成2,10,20,30和50.將MAOEA-MIPS用于求解高維多目標(biāo)優(yōu)化模型,不同參會人數(shù)對應(yīng)不同的會議場景.實(shí)驗(yàn)結(jié)果如表5所示,由于最終解是一個pareto解集,本文取解集的平均值來表示各目標(biāo)值.

從表5中可知,客戶端帶寬消耗比和服務(wù)器上行帶寬消耗與參會人數(shù)呈正相關(guān),MAOEA-MIPS可以保證視頻質(zhì)量和碼率差維持在較好的范圍.2人參會的時候,就是典型的一對一的視頻通話,客戶端帶寬消耗比較小,僅為0.273.當(dāng)客戶端帶寬消耗比大于1時,視頻會議不能正常進(jìn)行,在本實(shí)驗(yàn)設(shè)置的帶寬下,視頻會議最大可支持的參會人數(shù)約為14人.當(dāng)會議人數(shù)達(dá)到50的時候,客戶端帶寬消耗比達(dá)到了3.828,說明客戶端需要約70Mbps的帶寬.實(shí)驗(yàn)結(jié)果證明,SFU架構(gòu)對客戶端帶寬要求較高,而5G的發(fā)展,將解決帶寬限制問題,因此在客戶端帶寬允許的情況下,MAOEA-MIPS可以有效提高多人視頻會議整體性能.

6 結(jié) 論

本文針對多人視頻會議中多碼率優(yōu)化問題,建立多碼率優(yōu)化的高維多目標(biāo)模型,并且將高維多目標(biāo)優(yōu)化算法用于解決模型中的高維多目標(biāo)優(yōu)化問題.在模型求解中,本文提出了一種基于多指標(biāo)交配池選擇策略的MAOEA-MIPS算法,仿真結(jié)果表明,使用提出的高維多目標(biāo)模型對視頻會議進(jìn)行優(yōu)化,可以較好地提升視頻會議整體性能以及系統(tǒng)的實(shí)用性,同時證明了MAOEA-MIPS的有效性.在未來的工作中,可以對高維多目標(biāo)模型進(jìn)行改進(jìn),并探索更優(yōu)的算法進(jìn)行求解,進(jìn)一步提高視頻會議系統(tǒng)的性能.