張 杰，馮 欣，劉 智

(重慶理工大學(xué) a.電氣與電子工程學(xué)院； b.計(jì)算機(jī)科學(xué)與工程學(xué)院, 重慶 400054)

1 研究背景

高速發(fā)展的寬帶與無線網(wǎng)絡(luò)技術(shù)使得網(wǎng)絡(luò)視頻成為人們進(jìn)行遠(yuǎn)程會(huì)議、獲取新聞資訊、電影、電視等數(shù)字信號(hào)的重要渠道之一。為用戶提供高質(zhì)量的視頻在當(dāng)前新的視頻壓縮技術(shù)和更寬的網(wǎng)絡(luò)帶寬環(huán)境下成為可能。然而，在無線網(wǎng)絡(luò)環(huán)境下傳輸?shù)囊曨l往往同時(shí)存在視頻編碼失真或因網(wǎng)絡(luò)擁塞或延遲造成各種丟包失真。與編碼失真相比，丟包失真具有明顯的局部性，即馬賽克現(xiàn)象、局部變形(圖像的某些區(qū)域不連續(xù)、不清晰)、屏幕局部頻繁閃爍等損傷，而這些局部失真往往會(huì)引起用戶明顯的視覺注意變化。因此，能夠有效地度量用戶對(duì)網(wǎng)絡(luò)視頻的評(píng)價(jià)方式，特別是針對(duì)存在多種丟包失真的網(wǎng)絡(luò)視頻，構(gòu)建一種符合人眼視覺感知機(jī)理的、高效的客觀質(zhì)量評(píng)估系統(tǒng)，對(duì)于網(wǎng)絡(luò)視頻的高質(zhì)量應(yīng)用具有重要意義。

近年來，大多數(shù)圖像或視頻客觀質(zhì)量評(píng)估方法都嘗試融入視覺的選擇性注意特性。這類方法通?；谶@樣的假設(shè)：如果失真發(fā)生在人眼敏感的頻率段[1-3]、空間上視覺的顯著注意區(qū)域、重要區(qū)域、感興趣區(qū)域[4-13]，那么這部分的失真將容易被人眼察覺。實(shí)驗(yàn)結(jié)果表明：這些方法都比沒有考慮視覺注意因素的方法有不同程度的改進(jìn)。感知視覺包含2個(gè)重要的階段：基于自底向上視覺顯著特征驅(qū)動(dòng)的預(yù)注意階段和自頂向下基于知識(shí)或任務(wù)驅(qū)動(dòng)的主動(dòng)注意階段。主動(dòng)視覺是靈長類動(dòng)物在一定任務(wù)或先驗(yàn)知識(shí)驅(qū)動(dòng)下的主動(dòng)過程，因此主動(dòng)視覺注意認(rèn)知研究常常被抽象為自頂向下先驗(yàn)知識(shí)驅(qū)動(dòng)下的視覺顯著注意計(jì)算問題。目前，基于視覺顯著注意信息對(duì)失真加權(quán)的客觀評(píng)估方法[1-10]是以自底向上的方式驅(qū)動(dòng)視覺對(duì)圖像顯著失真的預(yù)注意，其中典型的顯著區(qū)域檢測模型是Itti[13]提出的基于顯著視覺注意力的自底向上顯著區(qū)域檢測模型，該模型已廣泛應(yīng)用于圖像/視頻壓縮、機(jī)器人視覺等領(lǐng)域。

采用視頻的空間-時(shí)間預(yù)測編碼技術(shù)，視頻在網(wǎng)絡(luò)傳輸環(huán)境下，一個(gè)數(shù)據(jù)包的丟失會(huì)使之后連續(xù)幀的相應(yīng)預(yù)測信息丟失，從而造成圖像塊的錯(cuò)誤匹配在空間和時(shí)間上蔓延。網(wǎng)絡(luò)丟包失真視頻在空間上具有局部的不連續(xù)、局部顯著的異常錯(cuò)誤等特征，在時(shí)間上也表現(xiàn)為突然引入的異常事件；而錯(cuò)誤可能發(fā)生在圖像的正中間或者一個(gè)運(yùn)動(dòng)對(duì)象上，給視覺效果帶來明顯的影響；也可能出現(xiàn)在背景、角落或相對(duì)靜止的區(qū)域而不易被人眼察覺。傳統(tǒng)的客觀質(zhì)量評(píng)估方法(如：峰值信噪比 PSNR、平方差 MSE)是對(duì)所有失真像素進(jìn)行平均考慮，忽略了不同區(qū)域的失真會(huì)給用戶帶來不同的視覺感受，尤其對(duì)于具有明顯局部性的受丟包損傷的網(wǎng)絡(luò)視頻，這類方法的不足更加明顯。研究表明：對(duì)于視頻而言，運(yùn)動(dòng)特征更容易吸引人們的注意，在視頻內(nèi)容的感知中起重要作用，尤其是在對(duì)視頻時(shí)間域的失真捕捉上。不同于空間顯著性模型只考慮了空間位置信息[14-17]，時(shí)間-空間顯著模型考慮了空間和時(shí)間兩方面特征。STAQ模型[18]通過計(jì)算中心-周圍之間的差異度測量其與相鄰體素的相似度，是一種計(jì)算自底向上顯著圖的時(shí)間-空間模型。文獻(xiàn)[19-20]建立了基于時(shí)間-空間顯著信息的評(píng)價(jià)模型。針對(duì)網(wǎng)絡(luò)視頻的實(shí)時(shí)性要求，并考慮丟包損傷視頻在空間-時(shí)間域的視覺注意力變化，本文提出了一種基于時(shí)間-空間的顯著信息的視覺注意檢測模型。

另一方面，無線網(wǎng)絡(luò)環(huán)境下的失真視頻往往遭受多丟包多失真因素(如失真位置、失真長度、失真程度、失真數(shù)量、寬恕效應(yīng)等)的影響，且客觀質(zhì)量評(píng)估方法需要滿足實(shí)際質(zhì)量評(píng)估系統(tǒng)的實(shí)時(shí)性、高效性要求。本文研究包含多丟包多失真類型的視頻序列的空間-時(shí)間視覺特征，分析各種失真因素對(duì)視頻感知質(zhì)量評(píng)估的影響，構(gòu)建了“影響因素評(píng)估模型”。利用該評(píng)估模型中的空間-時(shí)間視覺注意變化的質(zhì)量度量方法，構(gòu)建符合不同丟包失真視頻質(zhì)量感知機(jī)理的主動(dòng)視覺注意的部分參考客觀質(zhì)量評(píng)估方法，實(shí)現(xiàn)對(duì)整個(gè)視頻質(zhì)量的綜合評(píng)估，并在無線網(wǎng)絡(luò)環(huán)境下視頻會(huì)議的數(shù)據(jù)中進(jìn)行了實(shí)驗(yàn)。

2 基于時(shí)-空域顯著事件的視頻顯著性檢測模型

視頻的空間-時(shí)間中若存在明顯的局部突變，如空間中的馬賽克、時(shí)域上的突發(fā)刺激等都給人類視覺注意帶來明顯的改變。本文在前期研究的基礎(chǔ)上進(jìn)一步探索提出了一種基于時(shí)-空域顯著事件的視頻顯著性檢測算法，其流程如圖1所示。

圖1 基于時(shí)-空域顯著事件的視頻顯著性檢測算法流程

顯著事件一般是指在視頻中，由于局部的突發(fā)刺激和場景的快速切換等而引起觀看者眼動(dòng)的事件。在整個(gè)視頻中顯著事件能反映人眼關(guān)注的顯著區(qū)域在空間和時(shí)域上的變化。本文提出的時(shí)-空域顯著事件的視頻顯著性檢測算法基于自底向上顯著注意快速提取的空間模型，采用計(jì)算速度較快的盒濾波器(Boxfilter)代替高斯尺度空間。Boxfilter在給定的滑動(dòng)窗口大小下，對(duì)每個(gè)窗口內(nèi)的像素值進(jìn)行快速相加求和，這種優(yōu)化方法可以使復(fù)雜度為O(MN)的求和、求方差等運(yùn)算降低到O(1)或近似于O(1)的復(fù)雜度。在得到視頻幀的空間顯著圖之后，計(jì)算視頻中每幀圖像的平均顯著值(MeanSM)作為該幀的顯著值。選取5幀為滑動(dòng)窗口(通過多次實(shí)驗(yàn)測試發(fā)現(xiàn)以5幀為滑動(dòng)窗口實(shí)驗(yàn)效果最佳)，從而選出顯著事件所屬的視頻段。利用式(1)計(jì)算第j個(gè)滑動(dòng)窗口內(nèi)幀圖像集合顯著值(MeanSM)的標(biāo)準(zhǔn)差(SM_σj)。

(1)

為了更好地了解滑動(dòng)窗口內(nèi)顯著值的頻率變化情況，通過傅里葉函數(shù)對(duì)滑動(dòng)窗口內(nèi)幀圖像的顯著值(MeanSM)進(jìn)行變換，選取傅里葉變換后的頻域系數(shù)作為窗口內(nèi)顯著值(MeanSM)頻率(ω)變化的依據(jù)。實(shí)驗(yàn)表明：選取最大的頻域系數(shù)對(duì)顯著值變化的描述最好，故得到所有的滑動(dòng)窗口的頻率值表示為：

(2)

其中：ω(·)表示對(duì)第j個(gè)窗口N幀的顯著值MeanSMi做傅里葉變換，并取得傅里葉頻譜除去DC系數(shù)后的最大系數(shù)。實(shí)驗(yàn)結(jié)果表明：只通過窗口標(biāo)準(zhǔn)差SM_σ或頻率ω表征顯著事件不能充分反映在時(shí)間域上人類視覺系統(tǒng)注意焦點(diǎn)的變換，如圖2所示。

圖2中示例視頻“l(fā)ancaster”第2 894幀到2 994幀的顯著值在時(shí)間域上的分布情況被標(biāo)注的區(qū)域依次是：場景s切換、字幕進(jìn)入、手的運(yùn)動(dòng)和場景切換。在第2 904幀左右，空間域顯著值在時(shí)間域上幅值變化較大，但是其頻率變化很小，反映到真實(shí)的視頻中是一艘貨輪在江面上緩慢的運(yùn)動(dòng)，行駛經(jīng)過一個(gè)雕像。人眼在看這段視頻時(shí)不會(huì)注意到貨船的運(yùn)動(dòng)，而是注意了它的背景。在第2 924幀左右，空間域顯著值的幅值和頻率在時(shí)間域上變化劇烈，反映真實(shí)視頻中的場景切換，而觀測者的視覺也會(huì)隨場景切換而變動(dòng)。

圖2 示例視頻“l(fā)ancaster”中的顯著事件標(biāo)注

統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果表明，引起觀察者眼動(dòng)的顯著事件體現(xiàn)在顯著值的3類情況：① 顯著值的幅值波動(dòng)較大；② 滑動(dòng)窗口內(nèi)的顯著值頻率劇烈變化；③ 滑動(dòng)窗口內(nèi)顯著值的幅值和頻率都有較大變化。基于此，本文提出利用窗口的顯著值標(biāo)準(zhǔn)差SM_σj和頻率變化SM_ωj的加權(quán)融合作為表征時(shí)域顯著事件顯著度的值：

(3)

其中:SM_σj表示第j個(gè)滑動(dòng)窗口內(nèi)顯著值的標(biāo)準(zhǔn)差；SM_ωj表示第j個(gè)滑動(dòng)窗口內(nèi)顯著值的頻率值；α為平衡加權(quán)系數(shù)(本文實(shí)驗(yàn)中設(shè)置為1.5)；M為視頻中包含的滑動(dòng)窗口的數(shù)目。

圖3給出了示例視頻“l(fā)ancaster” 第2 894幀到2 994幀的顯著注意均值的時(shí)域分布。黑框?yàn)槔帽疚奶岢龅臅r(shí)-空域視覺顯著事件檢測算法檢測出的顯著事件。其中，滑動(dòng)窗口值為20?？梢钥闯觯簷z測結(jié)果與圖2中手動(dòng)標(biāo)注的顯著事件基本一致，即該算法成功檢測出與人眼感知相符的顯著事件。

圖3 示例視頻“Lancaster”時(shí)-空域視覺顯著性事件檢測算法的檢測結(jié)果

3 基于時(shí)-空域主動(dòng)視覺注意的網(wǎng)絡(luò)視頻質(zhì)量評(píng)估方法

本文提出一種基于時(shí)-空域主動(dòng)視覺注意的部分參考信息的客觀質(zhì)量評(píng)估方法，并在多丟包、多失真網(wǎng)絡(luò)視頻環(huán)境下構(gòu)建了同時(shí)滿足視覺感知特性和無線網(wǎng)絡(luò)視頻實(shí)時(shí)性的客觀質(zhì)量評(píng)估方法。該方法將發(fā)送端視頻作為參考視頻，為了實(shí)現(xiàn)視頻數(shù)據(jù)的實(shí)時(shí)評(píng)估，將原發(fā)送端視頻中的視頻幀的顯著注意信息(原圖1/16大小)作為視頻數(shù)據(jù)包的負(fù)載部分與視頻一起傳輸?shù)揭曨l終端，作為部分參考信息為主動(dòng)視覺注意質(zhì)量評(píng)估方法提供先驗(yàn)視覺信息。

3.1 基于空間主動(dòng)視覺注意的質(zhì)量評(píng)估方法

本文提出的空間視覺注意的網(wǎng)絡(luò)視頻質(zhì)量評(píng)估方法(如圖4所示)將視頻按照壓縮參數(shù)劃分為若干個(gè) GOP(group of pictures)段。首先對(duì)受損網(wǎng)絡(luò)視頻段的視頻幀應(yīng)用圖1中的自底向上快速顯著注意提取算法提取視頻的空間顯著信息，然后構(gòu)建結(jié)構(gòu)差異度測量方法的空間域注意變化來表征失真的視覺可見性。

圖4 視覺空間域主動(dòng)注意的網(wǎng)絡(luò)視頻客觀質(zhì)量評(píng)估方法

基于結(jié)構(gòu)差異度(saliency diviation difference structure similarity index,SDDSSIM)的顯著注意變化質(zhì)量度量方法如式(4)所示。

(4)

(5)

3.2 基于時(shí)間-空間主動(dòng)視覺注意的網(wǎng)絡(luò)視頻質(zhì)量評(píng)估方法

丟包引起的錯(cuò)誤不僅會(huì)在空間上擴(kuò)散，而且會(huì)在時(shí)間序列上造成某些運(yùn)動(dòng)目標(biāo)的改變或可見的異常錯(cuò)誤，并在之后的一個(gè)GOP內(nèi)的連續(xù)幀傳播。根據(jù)基于時(shí)-空域顯著事件的視頻顯著性檢測算法(如圖1所示)，對(duì)每一視頻段(GOP)得到GOPi的時(shí)-空顯著注意度量Frame_SMGOPi(由式(3)得到)，通過衡量視覺注意力在時(shí)間上的變化幅度來評(píng)估視頻時(shí)間域的感知質(zhì)量。

對(duì)視頻進(jìn)行客觀質(zhì)量評(píng)估時(shí)，視頻空間域的失真評(píng)估應(yīng)與時(shí)間域的評(píng)估信息有機(jī)結(jié)合。網(wǎng)絡(luò)視頻遭受的失真能改變視覺注意在空間上的轉(zhuǎn)移，同時(shí)丟包錯(cuò)誤的發(fā)生也能造成視頻時(shí)間域上的異常事件。對(duì)于同時(shí)具有這種空間-時(shí)間視覺特征的網(wǎng)絡(luò)丟包視頻，丟包錯(cuò)誤在空間上引起的視覺注意轉(zhuǎn)移量越大，其在時(shí)間上引起的注意變化的波動(dòng)越大，則這些錯(cuò)誤越影響視頻的視覺感知質(zhì)量。因此，對(duì)于網(wǎng)絡(luò)丟包失真視頻的質(zhì)量評(píng)估，本文進(jìn)一步提出將視頻的空間域顯著性變化信息與時(shí)間域顯著變化信息進(jìn)行加權(quán)融合，得到視覺注意的時(shí)-空聯(lián)合失真評(píng)估，如圖5所示。

圖5 時(shí)間-空間主動(dòng)視覺注意的網(wǎng)絡(luò)視頻質(zhì)量評(píng)估方法

由此聯(lián)合視覺注意空間-時(shí)域質(zhì)量評(píng)估方法，得到一個(gè)視頻段GOPi的感知質(zhì)量分?jǐn)?shù)：

QscoreGOPi=SDDSSIMGOPi+β·Frame_SMGOPi

(6)

其中β為時(shí)域質(zhì)量度量融合的加權(quán)系數(shù)，本文實(shí)驗(yàn)設(shè)置為1.3。

3.3 多種失真因素的視頻質(zhì)量評(píng)估方法

在得到各GOP的評(píng)價(jià)結(jié)果后，進(jìn)一步分析判斷整個(gè)視頻失真的綜合評(píng)估。通過考慮多錯(cuò)誤、丟包失真的視頻數(shù)據(jù)的多種質(zhì)量因素，包括計(jì)算失真程度、失真數(shù)量、錯(cuò)誤密集度和視覺寬恕效應(yīng)構(gòu)建評(píng)估模型，實(shí)現(xiàn)對(duì)整個(gè)視頻質(zhì)量的綜合評(píng)估。本文通過實(shí)施一系列主觀測試實(shí)驗(yàn)，分別對(duì)影響質(zhì)量分?jǐn)?shù)的各種因素進(jìn)行了定量分析，并由此得出了相應(yīng)的客觀質(zhì)量評(píng)估方法：

1) 單個(gè)丟包失真的失真程度度量。對(duì)于只有單個(gè)失真的視頻段，通過累加被檢測的感知失真視頻段的質(zhì)量評(píng)估值：

(7)

其中：SMSSIMn=SDDSSIMn+β·Frame_SMn為提出的時(shí)-空視覺注意質(zhì)量評(píng)估方法應(yīng)用于視頻的第n幀，其中n=1表示檢測到的第1個(gè)錯(cuò)誤幀。e-rD用于描述對(duì)失真隨著時(shí)間所發(fā)生的視覺寬恕效應(yīng);D為最后被檢測到有失真的視頻幀直到視頻結(jié)束的時(shí)延(s)；EL為錯(cuò)誤長度，即錯(cuò)誤發(fā)生的第一幀到視頻段的最后一幀的長度；r為主觀等級(jí)的最小二乘擬合得到的常數(shù)；L是視頻段的長度。φ()為對(duì)度量失真段的范圍度量：

2) 丟包失真分布類型度量。對(duì)于失真不均勻的分布，通過計(jì)算失真密集度來衡量不均勻分布對(duì)感知質(zhì)量的影響：

CD=e-cLloss(1-e-kN)

(8)

其中：N是被檢測到失真視頻的數(shù)量；Lloss為失真時(shí)延，被定義為從第一個(gè)被檢測到失真的視頻幀開始到最后一個(gè)有失真的視頻幀起始的時(shí)間(s)。對(duì)于只有1個(gè)失真視頻幀的情況，Lloss被設(shè)置為0，c和k為超參數(shù)。在式(8)中，對(duì)于具有相同失真時(shí)延的視頻數(shù)據(jù)，如果被檢測到失真的視頻幀數(shù)目越多，失真發(fā)生的越密集；對(duì)于具有相同失真視頻幀的視頻數(shù)據(jù)，如果Lloss越大，則失真的分布越分散。

3) 多丟包失真的失真程度度量。結(jié)合以上單個(gè)失真度量和失真分布類型度量，定義含有多失真不均勻分布失真的視頻質(zhì)量度量為：

(9)

其中：Di為每個(gè)被檢測到失真的視頻段之間的時(shí)延(s),W(Di)=e-rDi。

該質(zhì)量評(píng)估方法可以對(duì)已接收的某一視頻段GOPi進(jìn)行實(shí)時(shí)評(píng)估，在得到評(píng)估分?jǐn)?shù)后，若分?jǐn)?shù)低于相應(yīng)的不能接收的級(jí)別，則向視頻發(fā)送端反饋評(píng)價(jià)結(jié)果，發(fā)送端可及時(shí)對(duì)質(zhì)量較差的視頻段進(jìn)行重傳。

4 實(shí)驗(yàn)與性能分析

4.1 主觀實(shí)驗(yàn)與參數(shù)設(shè)置

本文選取工科類專業(yè)本科學(xué)生60名，對(duì)5個(gè)不同場景和復(fù)雜度的視頻，根據(jù)不同丟包失真創(chuàng)建了51個(gè)視頻序列(其中包括單個(gè)丟包和多丟包的不同失真長度、失真程度、失真可見性、失真位置及失真密集度的失真視頻序列)，并結(jié)合視覺寬恕效應(yīng)，做了一系列主觀測試實(shí)驗(yàn)。根據(jù)主觀實(shí)驗(yàn)結(jié)果分析，對(duì)單個(gè)丟包的各種失真因素(失真長度，失真程度、失真位置，失真可見性和視覺寬恕效應(yīng))，提出了式(7)的客觀質(zhì)量評(píng)估度量方法。通過最大化皮爾遜(Pearson)相關(guān)系數(shù)，得到ELmin=2，r=0.01；通過對(duì)多丟包失真密集度的主觀測試實(shí)驗(yàn)，得到式(8)中的參數(shù)值為c=0.002，k=0.8；結(jié)合單個(gè)失真度量和失真分布類型度量方法，通過主觀測試實(shí)驗(yàn)，得到多丟包不均勻失真的視頻質(zhì)量度量方法。

4.2 實(shí)驗(yàn)結(jié)果分析

本文采用以上評(píng)估方法對(duì)實(shí)時(shí)性和質(zhì)量要求較高的無線網(wǎng)絡(luò)環(huán)境下視頻會(huì)議的數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)。如圖6、7所示，視頻數(shù)據(jù)在2個(gè)基于web的視頻會(huì)議終端上進(jìn)行測試。由一臺(tái)終端向另一臺(tái)發(fā)送視頻源數(shù)據(jù)，另一臺(tái)終端接受數(shù)據(jù)。實(shí)驗(yàn)分別模擬了5種不同的網(wǎng)絡(luò)環(huán)境，即通過設(shè)置不同的隨機(jī)丟包率，模擬實(shí)現(xiàn)不同程度的終端畫面延遲。5組數(shù)據(jù)的視頻長度為3 min，幀率為30幀/s。將視頻按照壓縮參數(shù)劃分為若干個(gè)GOP(group of pictures)段，即每一幀內(nèi)幀(I幀)開始為一個(gè)GOP。通過對(duì)視頻序列的劃分，可實(shí)現(xiàn)在終端視頻播放之前的緩沖階段對(duì)部分已解碼視頻段的質(zhì)量評(píng)估。這樣，即使該視頻段的質(zhì)量達(dá)到了人眼視覺不能接受的程度，也可以在用戶觀看之前重傳該GOP段的數(shù)據(jù)。為了檢測以上基于視頻GOP段評(píng)估方法的有效性，本文對(duì)該組實(shí)驗(yàn)實(shí)施了一組主觀測試實(shí)驗(yàn)。該實(shí)驗(yàn)遵照ITU-R BT.500-11標(biāo)準(zhǔn)中的單刺激質(zhì)量評(píng)估方法，即評(píng)估者只觀看待測視頻并對(duì)其進(jìn)行評(píng)分，每名評(píng)估者觀看的視頻GOP段被隨機(jī)的給出。16名非視頻領(lǐng)域?qū)＜覅⑴c了此項(xiàng)實(shí)驗(yàn)，每名評(píng)估者在連續(xù)觀看完一個(gè)待測視頻后，按照5級(jí)評(píng)分制標(biāo)度給出質(zhì)量分?jǐn)?shù)。

圖6、7 反映了不同質(zhì)量評(píng)估方法對(duì)兩組測試數(shù)據(jù)的評(píng)估結(jié)果。圖6為隨機(jī)丟包率設(shè)置在10%的視頻會(huì)議數(shù)據(jù)；圖7為丟包率設(shè)置在10%，視頻前后加入5 s延時(shí)的視頻會(huì)議數(shù)據(jù)。其中，每幅子圖中的2幅圖像分別為發(fā)送端視頻幀對(duì)應(yīng)的顯著信息圖和接收端視頻幀對(duì)應(yīng)的顯著信息圖。圖下方第1組結(jié)果為用傳統(tǒng)的平均平方誤差(Mean Square Error)測量方法得到的質(zhì)量失真；第2組結(jié)果為用本文提出的基于空間主動(dòng)視覺注意的質(zhì)量評(píng)估方法的評(píng)估結(jié)果；第3組結(jié)果為本文提出的基于時(shí)間-空間主動(dòng)視覺注意的質(zhì)量評(píng)估方法的評(píng)估結(jié)果?？梢钥闯觯涸趫D像本身由于延遲造成很大錯(cuò)誤(由Pixel MSE衡量)的視頻段，實(shí)際上并不太被視覺注意感知，而本文提出的時(shí)間-空間視覺注意變化的評(píng)估方法(SMMOSL)能夠更好地反映人眼的感知質(zhì)量；另一方面，在某些有較大視頻內(nèi)容變化的視頻段，很小的延遲錯(cuò)誤(由Pixel MSE衡量)就會(huì)引起視覺的注意，即得到較大的時(shí)間-空間視覺注意評(píng)估值。綜合實(shí)驗(yàn)結(jié)果，本文提出的基于時(shí)間-空間主動(dòng)視覺注意的質(zhì)量評(píng)估方法能比傳統(tǒng)方法更好地反映人眼的視覺感知質(zhì)量，且能夠滿足網(wǎng)絡(luò)視頻質(zhì)量評(píng)估實(shí)時(shí)性的要求。

圖6 不同質(zhì)量評(píng)估方法的檢測結(jié)果(實(shí)驗(yàn)視頻的隨機(jī)丟包率為10%)

圖7 不同質(zhì)量評(píng)估方法的檢測結(jié)果(實(shí)驗(yàn)視頻隨機(jī)丟包率為10%，視頻前后加入5 s延遲)

5 結(jié)束語

本文針對(duì)無線網(wǎng)絡(luò)受丟包損傷的視頻序列提出了一種基于時(shí)-空域主動(dòng)視覺注意變化的部分參考顯著注意信息的客觀質(zhì)量評(píng)估方法。視覺顯著性檢測算法采用時(shí)-空域顯著事件的視頻顯著性檢測算法，充分考慮了由丟包帶來的視頻局部失真在時(shí)域和空域上對(duì)視覺注意的影響。其次，本文針對(duì)網(wǎng)絡(luò)視頻中包含的多丟包、多失真類型的質(zhì)量因素進(jìn)行了綜合評(píng)估，提出了一個(gè)基于時(shí)間-空間域的部分參考客觀質(zhì)量評(píng)估方法。在無線網(wǎng)絡(luò)環(huán)境下視頻會(huì)議的數(shù)據(jù)中進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：提出的基于時(shí)-空域主動(dòng)視覺注意的質(zhì)量評(píng)估方法相比傳統(tǒng)方法能更好地反映人眼的視覺感知質(zhì)量，且能滿足網(wǎng)絡(luò)視頻質(zhì)量評(píng)估的實(shí)時(shí)性。