孫 鵬，白光偉，沈 航，顧一鳴

(南京工業(yè)大學 計算機科學與技術(shù)學院，江蘇 南京 211816)

0 引 言

根據(jù)思科視覺網(wǎng)絡索引[1]的預計，到2021年視頻流將占世界移動數(shù)據(jù)流量的四分之三。視頻服務提供商想讓自己提供的流媒體視頻服務得到用戶認可，則需要一種以用戶接受程度為基準的評價方法作為對他們服務的一種度量準則，用戶體驗質(zhì)量[2](quality of experience，QoE)由此產(chǎn)生。

QoE涉及到一些主觀因素，這些因素很多都是非線性的，現(xiàn)有的客觀視頻質(zhì)量評估(VQA)方法被證明不能充分地模擬QoE[3]建模，但VQA模型的結(jié)果仍是QoE預測系統(tǒng)設計中一個重要因素。視頻質(zhì)量評估(VQA)模型包括全參考模型(FR)、部分參考模型(RR)和非參考模型(NR)。

同樣客觀的服務質(zhì)量評價(QoS)都不足以直接用來模擬QoE建立模型，因此需要整合VQA、QoS相關(guān)指標以及會影響到QoE一些關(guān)于人類認知方面如記憶性、新近性[4]等因素。

本文提出訓練一種連續(xù)時間的QoE預測模型，并且將連續(xù)時間QoE預測視為一種時間序列預測問題。已有文獻[5]提出采用線性自回歸平均移動距離(autoregressive-moving-average，ARMA)模型來進行預測時間序列。雖然該模型更容易分析，但是其基于一種平穩(wěn)性假設，然而預測主觀QoE是非平穩(wěn)且具有復雜時間依賴性的過程，因此本文采用一種基于LSTM(長短期記憶)的神經(jīng)網(wǎng)絡為引擎預測視頻流用戶連續(xù)QoE的方法，簡稱L-QoE。LSTM在序列標記[6]、視覺識別等應用中對復雜時間依賴關(guān)系的建模是有效的。所提L-QoE模型依賴于3個輸入特征，即：①瞬時視頻感知質(zhì)量(short-time perceived video quality)用SPVQ表示；②播放狀態(tài)指示(playback indicator)表示為PI；③自上次視頻受損以來經(jīng)歷的時間，表示為T1。在已公開連續(xù)的QoE數(shù)據(jù)庫上對L-QoE進行了評估，結(jié)果與當前的QoE預測方法相比，本文提出方法預測結(jié)果的精確度更高。

1 相關(guān)工作

QoE預測模型需要以QoE受損視頻和相關(guān)人類主觀評分數(shù)據(jù)庫為載體進行設計和評估。研究人員設計了許多主觀視頻質(zhì)量數(shù)據(jù)庫[3,7,8]，但是這些數(shù)據(jù)庫不能模擬視頻由網(wǎng)絡引起的失真。本文研究目標涉及了如重載卡頓和壓縮失真等混合動態(tài)視頻損傷對用戶觀看流媒體視頻體驗質(zhì)量的影響，選用LIVE Netflix[9,10]數(shù)據(jù)庫來對連續(xù)時間的QoE預測器進行訓練，該數(shù)據(jù)庫是基于帶寬可用模型模型設計，并且模擬應用多種視頻失真模式(如圖1所示)。

圖1 LIVE Netflix數(shù)據(jù)庫中受損視頻演示

近期研究提出的QoE預測方式分為回顧性和連續(xù)性；回顧性QoE預測模型會輸出一個總結(jié)觀看完視頻QoE的總體得分數(shù)值。當前許多QoE預測模型都屬于回顧性QoE預測模型，例如Yeganeh H等[11]提出的DQS模型，該模型的精確度不高。Duanmu Z等[12]提出SQI模型和Bampis CG等[3]提出基于學習的Video ATLAS模型以及Zhang Y等[13]提出的FDT預測模型等。但是，這些模型只能進行全局測量，因此不能捕捉到觀看流式視頻時主觀體驗質(zhì)量在某一時刻的變化，從而實時性表現(xiàn)很差。

因此本文部署連續(xù)時間預測模型，將連續(xù)時間QoE預測問題作為一種時間序列預測分析，公式表述

y(t)=f(y(t-1),y(t-2),…,y(1),x(t))

(1)

式(1)表述利用過去一段時間內(nèi)被預測QoE數(shù)值y(t-1∶1)以及視頻的時間特征x(t)來預測未來一段時間內(nèi)所需該視頻的QoE數(shù)值y(t)。這樣度量QoE頻率會更高，有很強的實時性，非常適合服務提供商在優(yōu)化資源分配時進行參考。

在連續(xù)時間QoE預測方面的問題上，已有文獻[14-16]，分別使用H-W和NARX模型對僅受動態(tài)比特率變化影響的視頻進行連續(xù)時間的QoE預測。上述模型的問題是輸入特征單一不全面，不能充分地描述影響人類主觀QoE的因素，因此導致模型預測精確度不高。

在最近的研究中，文獻[17]提出了一種被稱為NLSS-QoE的基于傳統(tǒng)狀態(tài)空間方法的非線性QoE預測模型，該模型在一定程度上模擬了在預測過程中復雜的時間依賴關(guān)系，但其固定對于時間依賴性的量化參數(shù)，無法適應在實際中的動態(tài)變化。

總結(jié)先前關(guān)于QoE的研究或多或少存在著以下問題：

(1)訓練模型時所用的數(shù)據(jù)庫存在局限性；

(2)提出的模型只能滿足單種輸入特征；

(3)與QoE相關(guān)的記憶性，動態(tài)性以及其產(chǎn)生過程中非線性沒有被模擬出來；

(4)缺乏將連續(xù)時間QoE預測轉(zhuǎn)化為時間序列預測的有效措施。

為了建立實時性好精確度高的預測模型，需要克服這些問題，本文也將在后面章節(jié)中就這些問題提出相應的解決方案。

2 QoE預測建模

2.1 問題建模

根據(jù)國際電信聯(lián)盟對QoE的定義：最終用戶主觀感知的應用程序或服務的總體質(zhì)量[18]。許多心理視覺實驗研究都假設，人類視覺系統(tǒng)(HVS)中視覺質(zhì)量與感知體驗之間的關(guān)系是高度非線性的[19]，用戶在觀看視頻時產(chǎn)生的QoE實質(zhì)是外界刺激的非線性函數(shù)。視覺QoE是動態(tài)以及時變的，在一系列因素例如視頻的重載和碼率變化下的影響下，HVS會產(chǎn)生滯后效應，即過去事件的發(fā)生在當前時刻對QoE留下了非?？捎^的影響。滯后效應本質(zhì)上意味著QoE產(chǎn)生過程在本質(zhì)上是非馬爾可夫的，在于最開始事件序列中存在著一種影響當前QoE的記憶。隨著時間不斷推移，QoE產(chǎn)生過程會具有長時間跨度的一種依賴關(guān)系，如圖2所示。

圖2 QoE產(chǎn)生過程的非馬爾可夫性

由于滯后效應，連續(xù)時間的QoE體現(xiàn)出非馬爾可夫時間動態(tài)性。為了捕捉這種動態(tài)，本文使用了LSTM，在文獻[20]中已被證明其在建立具有長期時序依賴關(guān)系的序列數(shù)據(jù)方面是有效的。LSTM已經(jīng)成功地應用于解決諸如序列標記[6]、視覺識別[21]和機器翻譯等復雜問題。在此基礎上，本文提出了一種基于LSTM的連續(xù)QoE預測模型。

2.2 LSTM神經(jīng)網(wǎng)絡框架

本文找尋一個合適的神經(jīng)網(wǎng)絡框架，即LSTM模型：LSTM(long short-term memory)模型是一種RNN變種，而遞歸神經(jīng)網(wǎng)絡(recurrent neural network，RNN)是目前就所知在時間序列預測模型最常用并且最強大的工具。LSTM架構(gòu)核心是cell狀態(tài)(cell state)，其作用是將信息從上一個cell傳遞到下一個cell，和其它部分只有很少的線性的相互作用。LSTM在一般RNN結(jié)構(gòu)添加了3類閥門：遺忘閥門(forget gate)，輸入閥門(input gate)和輸出閥門(output gate)。這些閥門用于判斷模型網(wǎng)絡的記憶態(tài)在該層輸出結(jié)果是否達到閾值從而加入到當前該層計算中。閥門由一個sigmoid函數(shù)和一個點乘操作組成。sigmoid函數(shù)的輸出值在[0,1]區(qū)間，0代表完全丟棄，1代表完全通過。模型中所需要的記憶功能由這些閥門節(jié)點實現(xiàn)。因此，通過調(diào)節(jié)閥門的開關(guān)可以實現(xiàn)早期的時間序列對最終結(jié)果的影響。每一層包括閥門節(jié)點的權(quán)重都會在每一次模型反向傳播訓練過程中更新，經(jīng)典LSTM單元節(jié)點結(jié)構(gòu)如圖3所示。

圖3 LSTM單元結(jié)構(gòu)

根據(jù)LSTM的結(jié)構(gòu)，每個LSTM單元工作的公式描述如下

ft=σ(Wf·[Ht-1,xt]+bf)

(2)

it=σ(Wi·[Ht-1,xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

Ht=ot×tanh(ct)

(7)

此外，LSTM利用輸入閥門，遺忘閥門和輸出閥門使得自循環(huán)的權(quán)重可以自適應調(diào)整，從而在一定程度上規(guī)避了梯度消失的問題。

2.3 L-QoE模型

x(t)=[x1(t),x2(t),x3(t),…,xm(t)]

(8)

p(y(t)|y(t-1),y(t-2),…,y(1))≠p(y(t)|y(t-1))

(9)

其中，式(9)中條件概率為p(y(t)|y(t-1),y(t-2),…,y(1))，QoE產(chǎn)生表現(xiàn)出高度時間依賴性，但這種長時間依賴性很復雜，使用單個LSTM單元可能無法有效地捕獲它們。因此目前想法是建議建立一個LSTM網(wǎng)絡來學習這些涉及到QoE預測過程的依賴關(guān)系，其表述如圖4所示。這個提議的動機來自于各種基于LSTM的解決方案，這些解決方案已被證明能夠成功地解決一些涉及復雜依賴關(guān)系問題，例如序列學習[22]，活動識別和圖像描述。

圖4 L-QoE網(wǎng)絡架構(gòu)

(10)

單元cell狀態(tài)更新總體上描述公式如下

(11)

從式(10)、式(11)中可以看出，輸入特征x(t)對于連續(xù)的QoE預測是至關(guān)重要的。所選的輸入特征應該有效的捕獲和整合能夠在LSTM狀態(tài)轉(zhuǎn)換中影響QoE預測的因素。本文在下面小節(jié)中，討論輸入特征向量x(t)的組成。

2.4 輸入特征選擇

出于它們被證實的有效性[23]，本文在L-QoE中使用了以下3個特征來預測QoE：

(1)瞬時視頻感知質(zhì)量(short-time perceived video quality,SPVQ)：定義為當前呈現(xiàn)給用戶的視頻片段的感知質(zhì)量，使用現(xiàn)有的視頻質(zhì)量評估指標(VQA)作為輸入。例如采用全參考(FR)的MS-SSIM，VMAF；部分參考的(RR)STRRED，以及無參考的(NR)的NIQE。

(2)播放狀態(tài)指示(playback indicator，PI)：當前的視頻播放狀態(tài)，用布爾值表示，即

(12)

(3)距最近發(fā)生視頻重載經(jīng)歷的時間(T1)：一個重載事件后通常是一個恢復階段，在這個階段中，由于卡頓而下降的QoE會隨著播放過程的進行而恢復。本文使用T1，一個變量來跟蹤自上次重載事件發(fā)生以來經(jīng)過的時間，并且假設QoE的恢復和T1成正相關(guān)。

在下面的章節(jié)中討論了在QoE數(shù)據(jù)庫上的L-QoE的實施和性能評估。

3 L-QoE實現(xiàn)

3.1 數(shù)據(jù)庫選擇和描述

本文使用已公開的連續(xù)QoE數(shù)據(jù)庫對提出的L-QoE模型進行訓練和評估。數(shù)據(jù)庫的細節(jié)，以及訓練和測試流程的描述如下。

LIVE Netflix數(shù)據(jù)庫：該數(shù)據(jù)庫包含在56個實驗者參與下從移動設備上提供的112個視頻的主觀評估中收集的約5000個連續(xù)和回顧性主觀QoE評分。它是基于帶寬可用模型模型設計的，并且在來自Netflix和其它公開可用視頻源劃分出14不同種類視頻內(nèi)容，每個種類中有8個視頻且采用不同的視頻播放模式，數(shù)據(jù)庫中的視頻分辨率為1920×1080。數(shù)據(jù)庫中視頻的連續(xù)QoE分數(shù)的范圍為[-2.26,1.52]，分值與QoE成正相關(guān)。

為了減少內(nèi)容和模式依賴，我們將數(shù)據(jù)庫中14種內(nèi)容劃分為兩個不相交的集合：一個訓練集和一個包含不重疊內(nèi)容的測試集；具體表述為：用j為庫中視頻做編號，即j∈[1,2,…,112]，對于每個j對應的視頻，排除與j具有相同內(nèi)容種類或相同播放模式的所有其它視頻，將這些視頻定義為第j號訓練集，而與其對應的測試集只包含單獨視頻j，每個訓練測試集含有(14-1)×(8-1)=91個視頻。

3.2 性能評估度量方法

所提出的模型對QoE預測性能使用以下4種度量方法進行量化：①線性相關(guān)系數(shù)(LCC);②斯皮爾曼等級相關(guān)系數(shù)(SROCC);③歸一化的根均方差(RMSEn);④中斷率(OR)。

LCC的定義公式為

(13)

SROCC定義公式為

(14)

(15)

式中：N為實際進行預測的次數(shù)；而OR則表示預測序列落在在實際值序列的兩倍置信區(qū)間之外的頻率，公式定義

(16)

式中：置信區(qū)間范圍設為95%，即CIy(t)=95%。其中SROCC和LCC的值越高，預測模型性能越好，具有更好的單調(diào)性和線性精度，而較低的RMSEn和OR數(shù)值則表明該模型具有較好的預測結(jié)果相似度。SROCC和LCC僅在樣本之間互相獨立時才能獲得最好效果，而RMSEn不能捕獲時序性誤差變化，OR則是不能評判在置信區(qū)間內(nèi)預測值與實際值的誤差大小。由于模型中預測分數(shù)是高度時間依賴性的，因此將本文上述4種方法組合起來評估QoE預測模型的性能。

3.3 L-QoE網(wǎng)絡的參數(shù)選擇

在這一節(jié)研究LSTM網(wǎng)絡含有的層數(shù)m和單元數(shù)n對QoE預測的影響，圖5說明L-QoE在LSTM網(wǎng)絡中配置不同的層數(shù)m和單元數(shù)n的預測性能變化通過改變層數(shù)和LSTM單元的數(shù)量，在LIVE Netflix數(shù)據(jù)庫上使用SPVQ、PI和T1這些輸入特征檢查預測性能。

圖5 各種L-QoE網(wǎng)絡配置的QoE預測性能

從圖5觀察到，當網(wǎng)絡配置在2層及以上，LSTM單元在15個以上時在LCC和OR的表現(xiàn)趨于飽和。當LSTM層數(shù)超過2層時，模型僅產(chǎn)生了輕微的性能改善，并且在配置超過4個LSTM層時模型性能開始下降。這可能是因為隨著LSTM單元和層數(shù)增加，網(wǎng)絡變得越來越深，而訓練這樣一個更大的網(wǎng)絡可能會因為潛在過度擬合而導致效率降低。綜合考慮性能表現(xiàn)以及計算消耗，在仔細研究LCC和OR性能的基礎上，選用2個LSTM層和每層16個單元的配置是LSTM網(wǎng)絡預測QoE最佳選擇，即m=2，n=16。下一節(jié)中將討論提出的輸入特征對QoE預測的影響。

4 實驗結(jié)果與分析

4.1 輸入特征貢獻

本節(jié)研究證實各個輸入特征(SPVQ，PI，T1)的不同組合對QoE預測的貢獻，即將這些特征組合輸入到L-QoE網(wǎng)絡中，并在LIVENetflix數(shù)據(jù)庫上評估它們的QoE預測性能。在這里采用STRRED作為SPVQ以及2層16個單元的LSTM網(wǎng)絡進行實驗。圖6說明了在不同的特征組合下模型LCC以及OR的表現(xiàn)，將各個輸入特征組合全部列出：a:SPVQ、b:PI、c:T1、d:SPVQ+PI、e:PI+T1、f:SPVQ+T1、g:SPVQ+PI+T1；其中越高的LCC和越低的OR值越能說明模型性能的優(yōu)越性。結(jié)果如圖6所示，結(jié)果顯示g組的表現(xiàn)最好，即采用全部輸入特征：SPVQ，PI，T1作為L-QoE的輸入驅(qū)動，隨后討論L-QoE連續(xù)性預測表現(xiàn)。

4.2 L-QoE的預測表現(xiàn)

圖6 各種輸入特征組合的QoE預測性能

圖7、圖8、圖9分別直觀展現(xiàn)本文提出的L-QoE模型以及作為對比的NARX[16]、H-W[21,27]模型在LIVE Netflix數(shù)據(jù)庫上某個視頻序列中的預測表現(xiàn)，圖中實線與虛線分別表示實際與預測的QoE數(shù)值。

圖7 L-QoE在數(shù)據(jù)庫上分別以MS-SSIM，STRRED，NIQE作為SPVQ的度量方法的表現(xiàn)

圖8 NARX在數(shù)據(jù)庫上分別以STRRED，MS-SSIM，NIQE作為SPVQ的度量方法的表現(xiàn)

圖9 H-W在數(shù)據(jù)庫上分別以STRRED，MS-SSIM，NIQE作為SPVQ的度量方法的表現(xiàn)

表1 L-QoE和其它模型的QoE預測性能

實驗結(jié)果表明，提出的L-QoE網(wǎng)絡模型能夠捕獲QoE預測過程中復雜的長時間依賴關(guān)系，因此我們推斷L-QoE是一種高效、有效的QoE預測模型。

4.3 L-QoE的回顧性預測表現(xiàn)

本節(jié)探究能否通過L-QoE的連續(xù)性預測分數(shù)推算用戶的回顧性QoE。除連續(xù)的QoE評分外，LIVE Netflix數(shù)據(jù)庫還提供主觀研究中每個視頻結(jié)束時獲得的總體QoE分數(shù)。分別使用平均匯總和中值匯總兩種策略，將預測的連續(xù)時間QoE分值推算出的回顧性QoE分數(shù)，用與回顧性QoE評分的實際值的相關(guān)性來評價結(jié)果。分別使用LCC與SROCC作為性能度量方法，通過使用兩種匯總策略，結(jié)果見表2。即模型所展現(xiàn)出的回顧性QoE預測值與實際值之間的線性相關(guān)性以及單調(diào)性的表現(xiàn)非常好。實驗結(jié)果也展示出可通過L-QoE模型得出的連續(xù)時間QoE預測值來推算該視頻的回顧性QoE值。

表2 不同匯總策略推算回顧性QoE的預測性能

5 結(jié)束語

本文提出一種預測連續(xù)時間QoE的L-QoE模型，該模型采用LSTM網(wǎng)絡來捕獲與QoE的產(chǎn)生和預測過程中復雜時間依賴關(guān)系。該模型進行的QoE預測使用了一組能確定QoE的特征，在LIVENetflix數(shù)據(jù)庫對所提出的模型進行了綜合評價。結(jié)果表明，L-QoE提供一個很好的預測結(jié)果并且預測精確度要優(yōu)于近期提出的一些預測模型。在未來工作中，我們打算繼續(xù)探究并描述QoE預測過程中的復雜時間依賴性，尋找一個魯棒通用的QoE預測方法，可以在更多不同的QoE數(shù)據(jù)庫以及不同場景的流視頻上提供更好的預測精確度。