夏裕建 　孫　涵

(南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院　江蘇 南京 210016)

?

監(jiān)控視頻異常檢測與質(zhì)量診斷

夏裕建 孫涵

(南京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院江蘇 南京 210016)

摘要監(jiān)控視頻可能會出現(xiàn)一系列影響視頻質(zhì)量的異常情況，如清晰度、亮度異?；蛘咭曨l畫面存在噪聲、偏色、畫面凍結(jié)、水波紋、以及水平雜波等故障的情況。針對這些情況，提出監(jiān)控視頻異常檢測與質(zhì)量診斷算法。算法分析上述各種異常情況，利用圖像的灰度統(tǒng)計(jì)信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異分析，完成相應(yīng)的異常檢測與質(zhì)量診斷。實(shí)驗(yàn)結(jié)果表明，該方法可以有效地對監(jiān)控視頻進(jìn)行異常檢測與質(zhì)量診斷。

關(guān)鍵詞異常檢測質(zhì)量診斷灰度統(tǒng)計(jì)信息梯度信息中值濾波幀間差異

0引言

視頻監(jiān)控是安防系統(tǒng)的重要組成部分，它具有直觀、準(zhǔn)確、及時(shí)等優(yōu)勢，被廣泛應(yīng)用在生產(chǎn)管理、商場監(jiān)控、智能交通等各種場景中。視頻質(zhì)量是視頻監(jiān)控系統(tǒng)的重要技術(shù)指標(biāo)，影響監(jiān)控視頻質(zhì)量的因素有很多，例如攝像機(jī)鏡頭狀況、傳輸線路狀況以及人為干擾等。因此，對監(jiān)控視頻進(jìn)行異常檢測與質(zhì)量診斷是視頻監(jiān)控中的一個(gè)重要環(huán)節(jié)。

視頻質(zhì)量診斷方法可以分為主觀方法[1]和客觀方法[2]。主觀方法由于繁復(fù)耗時(shí)而不便在視頻監(jiān)控場景中應(yīng)用，所以在視頻監(jiān)控場景中對視頻質(zhì)量進(jìn)行診斷使用的大多是客觀方法。視頻質(zhì)量診斷的客觀方法可以代替其主觀方法，對視頻質(zhì)量進(jìn)行迅速、有效的診斷，且其診斷結(jié)果可以提供給視頻接收端，用來進(jìn)行傳輸參數(shù)的優(yōu)化，從而最大地利用傳輸帶寬并達(dá)到傳輸?shù)囊曨l質(zhì)量最佳。

由于視頻質(zhì)量診斷在諸多領(lǐng)域發(fā)揮著重要作用，越來越多的公司開始研究相關(guān)技術(shù)[3]。Sarnoff公司開發(fā)了基于人類視覺系統(tǒng)HVS(HumanVisualSystem)的JNDmetrixTM模型用于視頻質(zhì)量診斷。Tektronix公司在1997年推出圖像質(zhì)量分析產(chǎn)品—PQA200之后，又推出了PQA300和PQA500等一系列圖像與視頻質(zhì)量診斷產(chǎn)品。VideoClarity開發(fā)的ClearView系列提供完整的軟硬件設(shè)備，采用全參考的影像評價(jià)方法，可提供數(shù)字對數(shù)字、模擬對模擬的動態(tài)影像評分及糾錯。Symmetricom公司的QoEAssuranceDivision為IPTV領(lǐng)域的運(yùn)營商、有線電視運(yùn)營商、服務(wù)提供商和企業(yè)等提供了端到端的在線視頻質(zhì)量檢測、在線故障診斷等產(chǎn)品。Opticom公司推出的PEVQ系列產(chǎn)品基于HVS的概念，提供了一整套可重復(fù)的客觀視頻質(zhì)量診斷方案。Semaca公司致力于影像智能技術(shù)和測試設(shè)備的研發(fā)和開發(fā)，其推出的VQLab軟件能為用戶提供高效、可靠的視頻質(zhì)量診斷。

上述各公司推出的產(chǎn)品在特定的應(yīng)用環(huán)境中可以有效地發(fā)揮作用，但是都只是采用了全參考模型的視頻質(zhì)量診斷方法。本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法基于無參考模型[4]，無需提供參考視頻，評價(jià)結(jié)果更接近人類視覺感知結(jié)果，使用范圍更加廣泛。本文方法考慮了多種視頻異常情況，包括視頻清晰度、亮度異常，視頻畫面存在噪聲、偏色、畫面凍結(jié)、水波紋以及水平雜波等故障的異常情況。本文對上述各種異常情況進(jìn)行分析，基于圖像的灰度統(tǒng)計(jì)信息提出監(jiān)控視頻圖像亮度異常的檢測與評價(jià)方法；基于圖像的梯度信息提出監(jiān)控視頻圖像清晰度異常以及畫面存在水平雜波異常的檢測與評價(jià)方法；基于幀間差異分析提出監(jiān)控視頻圖像存在畫面凍結(jié)與水波紋異常的檢測與評價(jià)方法；基于中值濾波分析提出監(jiān)控視頻畫面存在噪聲異常的檢測與評價(jià)方法；結(jié)合監(jiān)控視頻畫面偏色異常檢測與評價(jià)方法，實(shí)現(xiàn)對監(jiān)控視頻的各種異常的檢測與質(zhì)量評價(jià)。實(shí)驗(yàn)證明，本文提出的方法可以有效地對監(jiān)控視頻進(jìn)行異常檢測與質(zhì)量診斷。

1監(jiān)控視頻異常檢測與質(zhì)量診斷

本文對監(jiān)控視頻中容易出現(xiàn)的異常情況進(jìn)行了分析，包括視頻清晰度或亮度異常，視頻畫面存在噪聲、偏色、畫面凍結(jié)、水波紋以及水平雜波等故障的異常情況。利用圖像的灰度統(tǒng)計(jì)信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異的分析，針對上述異常情況分別設(shè)計(jì)了異常檢測與質(zhì)量診斷的方法。

1.1基于圖像灰度統(tǒng)計(jì)信息的監(jiān)控視頻異常檢測與質(zhì)量診斷

1.1.1圖像的灰度統(tǒng)計(jì)信息

在圖像處理中經(jīng)常需要把彩色圖像轉(zhuǎn)化成灰度圖像，這個(gè)過程叫做圖像的灰度化處理[5]?；叶戎档木岛头讲钍强梢酝ㄟ^灰度圖像直接計(jì)算，也可以通過灰度圖像的直方圖來進(jìn)行計(jì)算。為了降低計(jì)算的復(fù)雜度，本文采取了下式對彩色圖像進(jìn)行灰度化處理:

Y=R×0.3+G×0.59+B×0.11

(1)

灰度圖像的直方圖是圖像灰度級的函數(shù)，它表示圖像中具有某種灰度級的像素的個(gè)數(shù)。直方圖統(tǒng)計(jì)是常用的圖像處理技術(shù)之一，本文中很多的圖像統(tǒng)計(jì)數(shù)據(jù)并不是直接利用圖像計(jì)算得到的，而是先求圖像的直方圖。然后統(tǒng)計(jì)直方圖得到的相關(guān)數(shù)據(jù)，例如本文中灰度圖像灰度值的均值和方差就是使用了直方圖統(tǒng)計(jì)的方法來計(jì)算的。

灰度圖像的均值與方差在本文方法中出現(xiàn)了多次，灰度圖像的均值與方差有其對應(yīng)的物理意義。均值是一組數(shù)據(jù)的平均值，灰度圖像的均值大小反映了圖像的平均亮度的高低，圖像的均值越大，圖像的平均亮度越高。方差是用來描述一組數(shù)據(jù)波動程度的量，灰度圖像的方差則反映了圖像高頻部分的分量，圖像方差越大，其信息量越大，能量越大，從而圖像的對比度也越大。

1.1.2亮度異常檢測與質(zhì)量診斷

視頻的亮度信息是衡量圖像質(zhì)量的重要指標(biāo)之一。攝像機(jī)故障、增益控制紊亂、照明條件異常等原因可能引起視頻畫面過亮或過暗的視頻亮度異常。人眼對于亮度異常非常敏感，亮度異常故障會嚴(yán)重影響視頻的質(zhì)量，對視頻的亮度異常進(jìn)行檢測和診斷是非常必要的。

本文對監(jiān)控視頻圖像的亮度信息進(jìn)行評價(jià)的主要方法是平均灰度的方法，使用視頻圖像的平均灰度來代表亮度信息，然后根據(jù)事先預(yù)設(shè)的閾值來判斷視頻圖像是否存在亮度異常，給出視頻質(zhì)量診斷結(jié)果。

具體亮度評價(jià)步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)計(jì)算灰度圖像的直方圖；(3)根據(jù)直方圖計(jì)算灰度圖像的均值和方差；(4)利用均值計(jì)算出亮度的評價(jià)值如下所示：

GrayValue=(μ×100/255)

(2)

其中μ是第三步中計(jì)算得到的灰度圖像的均值。式中先乘以100再除以255是為了將亮度評價(jià)值映射到0～100之間，做歸一化處理，下文中類似的歸一化處理過程將不再特意說明。

最后將計(jì)算得到的亮度評價(jià)值與預(yù)設(shè)的參考值進(jìn)行對比。如果亮度評價(jià)值大于過亮參考值，就認(rèn)為視頻圖像偏亮；如果亮度評價(jià)值小于過暗參考值，就認(rèn)為視頻圖像偏暗，視頻存在亮度異常故障。

1.2 基于圖像梯度信息的監(jiān)控視頻異常檢測與質(zhì)量診斷

1.2.1圖像的梯度信息

梯度[6]是圖像灰度的變化情況，圖像在邊緣處灰度值發(fā)生明顯的變化，所以圖像的梯度可以用來提取圖像的邊緣。圖像的平均梯度反映了圖像細(xì)節(jié)變化的速率，可以用來反映圖像的清晰程度。

本文求梯度強(qiáng)度的方法就是將圖像各像素與這兩個(gè)方向的算子作卷積，然后選擇其中較大的值作為求得的梯度值的。

1.2.2清晰度異常檢測與質(zhì)量評價(jià)

視頻清晰度是衡量視頻質(zhì)量最主要、直接的因素，也是人類感知圖像質(zhì)量最主要的特征。監(jiān)控視頻由于聚焦不當(dāng)、鏡頭損壞等原因引起視野主體部分圖像模糊，出現(xiàn)視頻內(nèi)容中高頻區(qū)域內(nèi)空間細(xì)節(jié)丟失和邊緣清晰度減弱等情況，這就是視頻清晰度異常的表現(xiàn)。

隨著數(shù)字圖像處理技術(shù)的發(fā)展，人們在空域、時(shí)域等多方面對圖像清晰度進(jìn)行研究[7-9]。目前主要有基于空域的梯度函數(shù)算法、基于頻域的頻域變換算法以及基于圖像信息的熵函數(shù)評價(jià)算法。本文的清晰度評價(jià)方法是對視頻圖像在空域進(jìn)行運(yùn)算，計(jì)算得到圖像的梯度信息，最終采用平均梯度強(qiáng)度作為圖像清晰度的評價(jià)準(zhǔn)則。

具體清晰度評價(jià)步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)通過水平與垂直Sobel算子計(jì)算灰度圖像的水平與垂直方向的梯度值，并選取其中較大值作為圖像的梯度值；(3)計(jì)算梯度圖像的直方圖，并濾除不能代表邊緣信息的低梯度值；(4)計(jì)算剩余梯度值的均值和方差；(5)利用均值和方差計(jì)算出清晰度的評價(jià)值如下所示：

(3)

(4)

最后將計(jì)算得到的清晰度評價(jià)值與預(yù)設(shè)的參考值進(jìn)行對比。如果清晰度評價(jià)值小于參考值，就認(rèn)為視頻圖像不清晰，視頻存在清晰度異常故障。

1.2.3水平雜波異常檢測與質(zhì)量評價(jià)

監(jiān)控視頻經(jīng)常會出現(xiàn)無信號的故障，本文提到的水平雜波故障是其中的一種。監(jiān)控視頻圖像中出現(xiàn)白色的噪點(diǎn)以及黑白色的條紋，伴隨著水平雜波，沿著垂直方向緩慢運(yùn)動。出現(xiàn)這種無信號水平雜波大多是因?yàn)橐曨l傳輸環(huán)節(jié)出現(xiàn)了問題。監(jiān)控視頻出現(xiàn)無信號故障，但是視頻畫面還在運(yùn)動，普通的視頻質(zhì)量診斷方法無法診斷這種異常情況，所以實(shí)現(xiàn)對這種無信號水平雜波的異常情況進(jìn)行檢測與質(zhì)量評價(jià)是本文的一個(gè)重要創(chuàng)新。

現(xiàn)有視頻質(zhì)量診斷研究對于視頻圖像無信號水平雜波這種情況的研究基本是空白，而本文注意到自然圖像中沒有如此密集的梯度。所以采用統(tǒng)計(jì)通過水平Sobel算子濾波后的圖像中梯度的密集程度的方法來判斷視頻中是否存在無信號水平雜波故障。

具體無信號水平雜波評價(jià)步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)對視頻做Y方向的Sobel算子濾波，得到水平方向的梯度值；(3)統(tǒng)計(jì)Y方向上Sobel算子濾波后的圖像的直方圖，并統(tǒng)計(jì)梯度值小于閾值的像素點(diǎn)個(gè)數(shù)；(4)利用上一步中計(jì)算的像素點(diǎn)個(gè)數(shù)計(jì)算得出無信號水平雜波的評價(jià)值如下所示：

(5)

(6)

其中nSum為統(tǒng)計(jì)得到的梯度值小于閾值t=50的像素點(diǎn)個(gè)數(shù)，nSum值越小則說明梯度圖像中高梯度越密集，越可能存在無信號水平雜波異常，m×n為圖像像素個(gè)數(shù)。

最后將計(jì)算得到的無信號水平雜波的評價(jià)值與預(yù)設(shè)的參考值進(jìn)行比較。如果無信號水平雜波評價(jià)值小于參考值，就認(rèn)為視頻圖像存在無信號水平雜波的故障。

1.3基于幀間差異的視頻異常檢測與質(zhì)量評價(jià)算法

1.3.1視頻幀間差異分析

監(jiān)控視頻相鄰兩幀的幀間差異在本文方法中多次被用到，而求幀間差異采用的是求圖像差值的技術(shù)。求兩幅圖像的差值圖像是在兩幅圖像對應(yīng)的位置處的像素之間進(jìn)行運(yùn)算，并將其結(jié)果賦給輸出圖像中對應(yīng)位置的像素點(diǎn)。本文求幀間差異的方法是求相鄰兩幀圖像對應(yīng)位置像素點(diǎn)灰度值之差的絕對值，這樣可以確保新的灰度值不會超出原圖像允許的動態(tài)范圍。具體公式如下所示：

Δf(x,y)=|f(x,y,t)-f(x,y,t-1)|

(7)

求差值圖像在圖像處理中一般用以消除背景，是圖像處理中經(jīng)常使用的一種技術(shù)。對運(yùn)動視頻兩幅相鄰的視頻圖像求差值圖像，可以求得視頻中的運(yùn)動目標(biāo)的位置和形狀。本文中多次使用了求差值圖像的技術(shù)，不僅有求相鄰兩幀圖像的幀間差異來求目標(biāo)圖像的應(yīng)用，還有求對應(yīng)圖像與其中值濾波后的圖像的差值圖像的應(yīng)用。

1.3.2畫面凍結(jié)異常檢測與質(zhì)量評價(jià)

監(jiān)控視頻有一種異常情況是出現(xiàn)信號缺失和畫面凍結(jié)故障。信號缺失和畫面凍結(jié)一般表現(xiàn)為監(jiān)控畫面為純色藍(lán)屏或黑屏，監(jiān)控畫面始終保持在同一幀畫面上，不會隨著時(shí)間的變化而改變。引起這些故障的原因可能是前端攝像機(jī)損壞、傳輸線路老化或者人為因素等。

上述監(jiān)控視頻無信號和畫面凍結(jié)的異常情況有一個(gè)特征，即當(dāng)監(jiān)控視頻出現(xiàn)信號缺失或者畫面凍結(jié)的故障時(shí)，視頻圖像相鄰兩幀內(nèi)容不變。本文檢測視頻信號缺失和畫面凍結(jié)的方法就是根據(jù)上述特征來設(shè)計(jì)的。

具體畫面凍結(jié)評價(jià)步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像；(2)通過當(dāng)前圖像與歷史圖像的差圖像計(jì)算幀間差異；(3)計(jì)算差圖像的直方圖；(4)根據(jù)直方圖統(tǒng)計(jì)差值小于特定閾值的像素個(gè)數(shù)；(5)利用差值小于特定閾值的像素個(gè)數(shù)計(jì)算得出畫面凍結(jié)的評價(jià)值如下所示：

(8)

(9)

其中countchange為統(tǒng)計(jì)得到的差值小于閾值t=5的像素個(gè)數(shù)。

最后將計(jì)算得到的畫面凍結(jié)的評價(jià)值與預(yù)設(shè)的參考值進(jìn)行比較。如果畫面凍結(jié)的評價(jià)值小于參考值，就認(rèn)為視頻圖像存在畫面凍結(jié)的故障。

1.3.3水波紋異常檢測與質(zhì)量評價(jià)

監(jiān)控視頻畫面中有時(shí)會出現(xiàn)水波紋干擾，水波紋在圖像中是模糊的帶狀干擾，并且隨著運(yùn)動軌跡運(yùn)動。水波紋運(yùn)動的像素點(diǎn)通道值變化較小，且運(yùn)動有一定的方向性。監(jiān)控視頻信號水波紋故障產(chǎn)生的原因有視頻傳輸線質(zhì)量不好、供電系統(tǒng)電源問題、附近有很強(qiáng)的干擾源等。水波紋干擾嚴(yán)重時(shí)會出現(xiàn)監(jiān)控視頻圖像無法觀看的問題，對水波紋故障的檢測和評價(jià)是很有必要的。

如上所述，求監(jiān)控視頻相鄰兩幀的差值圖像即幀間差異可以求得視頻的運(yùn)動目標(biāo)及其運(yùn)動軌跡，水波紋的痕跡也可以通過求幀間差異的方法來求得。本文采用的檢測視頻水波紋故障的方法就是基于視頻相鄰幀的幀間差異來設(shè)計(jì)的。

具體水波紋的評價(jià)步驟如下：(1)把采集到的相鄰兩幅圖像轉(zhuǎn)為灰度圖像；(2)通過當(dāng)前圖像與歷史圖像的差圖像計(jì)算幀間差異，得到運(yùn)動物體與水波紋；(3)計(jì)算差圖像的直方圖；(4)根據(jù)直方圖統(tǒng)計(jì)并利用合適的閾值找出符合水波紋特征的像素；(5)利用上一步中的像素個(gè)數(shù)計(jì)算得出水波紋的評價(jià)值如下所示：

(10)

(11)

其中couontripple為符合水波紋特征的像素點(diǎn)的個(gè)數(shù)，是差值大于t1=5小于等于t2=10的像素個(gè)數(shù)。

最后將計(jì)算得到的水波紋的評價(jià)值與預(yù)設(shè)的參考值進(jìn)行比較。如果水波紋的評價(jià)值大于參考值，就認(rèn)為視頻圖像存在水波紋的故障。

1.4基于中值濾波的視頻異常檢測與質(zhì)量診斷

1.4.1圖像的中值濾波分析

中值濾波是一種非線性平滑技術(shù)[10]，它用處于按灰度值排序后的窗口的中間位置的灰度值來代替原來窗口中心的灰度值，常用的窗口大小有3×3或者5×5。中值濾波具有非常好的抗噪性能，且不會造成圖像邊緣模糊，在消除圖像中噪聲點(diǎn)的應(yīng)用中非常受歡迎。

本文對視頻圖像進(jìn)行中值濾波采用了快速中值濾波的技術(shù)，利用了直方圖的統(tǒng)計(jì)特性來計(jì)算。對圖像的每一行，僅對一個(gè)待處理的像素進(jìn)行領(lǐng)域像素直方圖求取，并計(jì)算其中值。當(dāng)窗口模板往右移動時(shí)，觀察當(dāng)前中值左右像素個(gè)數(shù)的變化情況，并進(jìn)行判斷：如果當(dāng)前左右像素個(gè)數(shù)無變化，則當(dāng)前的中值仍滿足條件，中值無變化；如果當(dāng)前左邊的像素個(gè)數(shù)多余總個(gè)數(shù)的一半，則當(dāng)前中值左移；如果當(dāng)前左邊的像素個(gè)數(shù)少于總個(gè)數(shù)的一半，則當(dāng)前中值右移。這樣的處理方式在有效地消除了噪聲點(diǎn)之外還降低了中值濾波的計(jì)算復(fù)雜度，減少了中值濾波需要的時(shí)間，具有很高的應(yīng)用價(jià)值。

1.4.2噪聲異常檢測與質(zhì)量評價(jià)

視頻圖像中出現(xiàn)的雜亂的飛點(diǎn)、刺、線狀等干擾，被稱為噪聲現(xiàn)象。線路老化、傳輸故障、接觸不良、電磁干擾等因素會造成視頻圖像出現(xiàn)干擾的故障。噪聲的出現(xiàn)嚴(yán)重影響了人們對于圖像的感受，對于圖像質(zhì)量的影響是非常大的，故本文也考慮到了對噪聲的檢測和評價(jià)。

目前，對于噪聲的檢測可以在頻域計(jì)算圖像的信噪比[11]，但是計(jì)算圖像信噪比需要計(jì)算功率譜，而功率譜的計(jì)算比較困難。故本文采取的是基于空域中相鄰兩幀圖像求差運(yùn)算分析而設(shè)計(jì)出的檢測視頻圖像噪聲異常方法。

具體噪聲評價(jià)步驟如下：(1)把采集到的圖像轉(zhuǎn)為灰度圖像;(2)對灰度圖像進(jìn)行中值濾波，濾去圖像中的噪聲點(diǎn)；(3)用灰度圖像減去中值濾波后的圖像得到差圖像;(4)計(jì)算差圖像的直方圖；(5)根據(jù)直方圖統(tǒng)計(jì)計(jì)算得到差圖像的均值和方差；(6)利用上一步得到的方差計(jì)算得出噪聲的評價(jià)值如下所示：

(12)

其中σdiff為計(jì)算得到的差值圖像的方差。

最后將計(jì)算得到的噪聲的評價(jià)值與預(yù)設(shè)的參考值進(jìn)行比較。如果噪聲的評價(jià)值小于參考值，就認(rèn)為視頻圖像存在噪聲故障。

1.5偏色視頻異常檢測與質(zhì)量診斷

圖像的顏色是圖像非常重要的特征，監(jiān)控視頻的圖像可能會出現(xiàn)全屏單一偏色或者多種顏色混雜的帶狀偏色故障，這是由監(jiān)控系統(tǒng)線路接觸不良、外部干擾或者攝像頭故障等原因造成的。偏色故障會干擾人們對監(jiān)控視頻內(nèi)容的判斷，且對于基于監(jiān)控系統(tǒng)的后續(xù)視頻圖像處理例如目標(biāo)檢測、圖像分割等研究有很大的阻礙，所以監(jiān)控視頻的偏色異常檢測和評價(jià)也是非常有必要的。

現(xiàn)有的檢測視頻圖形偏色故障的方法主要有直方圖統(tǒng)計(jì)法、灰度世界法和白色區(qū)域法。直方圖統(tǒng)計(jì)法對于大面積單一顏色的自然圖像無法準(zhǔn)確判斷；灰度世界法對于環(huán)境過暗或者過量的場景無法準(zhǔn)確判斷；白色區(qū)域法適用于存在鏡面反射的圖像，但是對于沒有白色或高光成飛存在的圖像是無法準(zhǔn)確判斷的。本文采取的方法是基于文獻(xiàn)[12]中提出的基于圖像色度的平均值和色度分布特性的圖像偏色檢測算法。

具體偏色的評價(jià)步驟如下：(1)將輸入圖像轉(zhuǎn)到Lab空間；(2)分別求色度a和b的均值和方差；(3)計(jì)算出圖像平均色度D和色度中心距M的比值K作為評價(jià)值，具體如下所示：

D=sqrt(aMeana×Mean+bMean×bMean)

(13)

M=sqrt(aVar×aVar+bVar×bVar)+c

(14)

ColorErrorValue=D/M

(15)

其中aMean和bMean為色度a和b的均值，aVar和bVar為色度a和b的方差。式(14)中c是一個(gè)很小的正數(shù)，是為了防止公式(15)中出現(xiàn)除0的情況。

最后將計(jì)算得到的偏色的評價(jià)值與預(yù)設(shè)的參考值進(jìn)行比較。如果偏色評價(jià)值大于參考值，就認(rèn)為視頻圖像存在偏色故障。

2實(shí)驗(yàn)結(jié)果與分析

本文選取了8段監(jiān)控視頻來進(jìn)行實(shí)驗(yàn)，圖1—圖8分別為其截圖。

圖1　清晰度異常視頻1　　　　圖2　亮度異常視頻2

圖3　噪聲異常視頻3　　　圖4　畫面凍結(jié)異常視頻4

圖5　偏色異常視頻5　　　　圖6　水波紋異常視頻6

圖7　無信號水平雜波異常視頻7　　　圖8　無異常視頻8

由于本文的實(shí)驗(yàn)對象是大量的監(jiān)控視頻，基于單幀或者相鄰幾幀圖像計(jì)算所得到的結(jié)果容易產(chǎn)生誤差。為了避免單幀檢測結(jié)果的誤報(bào)，給出統(tǒng)計(jì)意義上的結(jié)果，本文實(shí)驗(yàn)采用了求多幀圖像結(jié)果保存到隊(duì)列，然后返回隊(duì)列中值的方法。

本文設(shè)置了隊(duì)列長度為100，在當(dāng)前幀號小于隊(duì)列長度值時(shí)不返回任何消息，若當(dāng)前幀號大于隊(duì)列長度值，將當(dāng)前隊(duì)列中計(jì)算得到的所有評價(jià)值的中間值返回。具體計(jì)算所有評價(jià)值中間值采用的是類似直方圖統(tǒng)計(jì)的方法，對于當(dāng)前隊(duì)列中計(jì)算得到的所有評價(jià)值，統(tǒng)計(jì)其出現(xiàn)的次數(shù)。然后按照從小到大排序，計(jì)算從最小評價(jià)值到當(dāng)前評價(jià)值出現(xiàn)次數(shù)的總和。當(dāng)最小評價(jià)值到當(dāng)前評價(jià)值出現(xiàn)次數(shù)的總和大于等于當(dāng)前隊(duì)列長度值的一半時(shí)，就可以確定當(dāng)前評價(jià)值是當(dāng)前隊(duì)列的評價(jià)值的中值。

為了驗(yàn)證本文方法的有效性，本文選取的8段視頻分別對應(yīng)清晰度、亮度異常以及視頻畫面出現(xiàn)噪聲、畫面凍結(jié)、偏色、水波紋以及水平雜波故障的異常視頻。最后一段視頻為正常視頻，是為了與異常視頻進(jìn)行對比實(shí)驗(yàn)，具體實(shí)驗(yàn)結(jié)果如表1所示。

表1　本文方法各視頻評分結(jié)果

本文視頻亮度評價(jià)方法是基于圖像的灰度統(tǒng)計(jì)信息的。本文選取的亮度參考值為20和80，視頻亮度評價(jià)值高于80說明視頻圖像亮度偏高，評價(jià)值低于20說明視頻亮度越低，只有視頻亮度評價(jià)值處于適當(dāng)?shù)姆秶鷥?nèi)才可以認(rèn)為視頻亮度正常。本文實(shí)驗(yàn)中視頻2的亮度評價(jià)值為16，相比其他測試視頻亮度評價(jià)值明顯偏低，所以存在亮度偏低異常。

本文視頻清晰度和無信號水平雜波評價(jià)方法是基于圖像的梯度信息的。關(guān)于清晰度異常情況，本文選取的清晰度參考值為80，視頻清晰度評價(jià)值越高，說明視頻圖像越清晰，當(dāng)視頻清晰度評價(jià)值小于80時(shí)，則認(rèn)為該視頻存在清晰度異常。例如實(shí)驗(yàn)中視頻1和視頻3，其清晰度評價(jià)值分別為57和63，明顯比其他視頻清晰度評價(jià)值低，所以存在清晰度異常。關(guān)于無信號水平雜波情況，本文選的無信號水平雜波參考值為60，這是本文考慮到的一種特殊情況。水平雜波評價(jià)值越大，則說明是無信號水平雜波的可能性越小，而當(dāng)水平雜波評價(jià)值小于60時(shí)，則可以判斷視頻發(fā)生了水平雜波故障。例如本文中視頻7，其無信號水平雜波值只有11，相比于其他視頻，明顯的偏小，所以存在水平雜波故障。

本文視頻畫面凍結(jié)和水波紋評價(jià)方法是基于圖像的幀間差異分析的。關(guān)于畫面凍結(jié)情況，本文選取的畫面凍結(jié)參考值為10，視頻畫面凍結(jié)評價(jià)值越高說明畫面越?jīng)]有凍結(jié)的可能性，當(dāng)畫面凍結(jié)評價(jià)值低于10的時(shí)候，則認(rèn)為視頻出現(xiàn)畫面凍結(jié)故障。例如本文測試的視頻4，由于為純黑屏的視頻，所以計(jì)算得到的值為0，遠(yuǎn)遠(yuǎn)小于其他視頻對應(yīng)的數(shù)值，表示視頻發(fā)生了畫面凍結(jié)的故障。由于是純黑屏的視頻，所以其他評價(jià)值也為0或100，可以認(rèn)為清晰度、亮度也有異常。關(guān)于水波紋故障的情況，本文選取的水波紋參考值為10，水波紋評價(jià)值越高說明視頻存在水波紋的可能越大，當(dāng)水波紋評價(jià)值大于10時(shí)，可以判斷視頻發(fā)生了水波紋故障。例如本文中的視頻6，其水波紋評價(jià)值達(dá)到43，明顯比其他視頻的評價(jià)值大，所以存在水波紋異常。

本文視頻噪聲評價(jià)方法是基于圖像的中值濾波分析的。對于噪聲異常的情況，本文選取的參考值為80，噪聲評價(jià)值越大說明圖像越趨向于沒有噪聲，當(dāng)圖像噪聲評價(jià)值超過小于80時(shí)，則認(rèn)為圖像存在噪聲故障。例如本文實(shí)驗(yàn)中的視頻1和視頻3，其噪聲評價(jià)值為67和76，與其他視頻相比偏小，可以看到存在噪聲干擾故障的判斷。

關(guān)于偏色的情況，本文選取偏色參考值為40，評價(jià)值越大則越有可能存在偏色故障，計(jì)算得到的偏色評價(jià)值大于40時(shí)，則認(rèn)為視頻圖像發(fā)生偏色故障。例如本文中視頻5，其偏色評價(jià)值為68，明顯大于其它視頻的偏色評價(jià)值，所以存在偏色異常。

最后，視頻8是本文特意選擇的一段沒有質(zhì)量異常的視頻，用以跟其他視頻進(jìn)行對比。在這里可以看到，計(jì)算得到的各個(gè)評價(jià)值都在安全范圍內(nèi)，沒有輸出異常警告，可見本文的監(jiān)控視頻異常檢測方法確實(shí)是有效的。關(guān)于參考值的設(shè)定，本文加入?yún)⒖贾档脑O(shè)定是為了便于讓視頻質(zhì)量評價(jià)的結(jié)果與人工主觀判斷一致，具體參考值可以根據(jù)實(shí)際應(yīng)用場景進(jìn)行微調(diào)。

為了進(jìn)一步驗(yàn)證本文方法的有效性，選用了無參考圖像質(zhì)量評價(jià)方法NIQE[13]來與本文算法進(jìn)行對比試驗(yàn)。NIQE算法對圖像的評分越高，圖像質(zhì)量越好，評分越低說明圖像有質(zhì)量問題。

由于NIQE算法不考慮圖像的彩色信息，而視頻畫面凍結(jié)故障體現(xiàn)不出視頻圖像質(zhì)量問題，故這里只對上文中視頻1-視頻3、視頻6-視頻8進(jìn)行實(shí)驗(yàn)。這里截取相應(yīng)視頻中相鄰的若干幀圖像，利用NIQE算法與本文算法分別對其進(jìn)行質(zhì)量評價(jià)，取其平均值作為最終評價(jià)結(jié)果，最終結(jié)果如表2所示。

表2　本文算法與NIQE算法結(jié)果對比

結(jié)合表1與表2可以看出，本文算法得到的評價(jià)值與NIQE算法得到的評價(jià)值具有很好的相關(guān)性，對NIQE算法認(rèn)為質(zhì)量低下的圖像本文算法也檢測出其存在各種故障，且本文算法計(jì)算復(fù)雜度較低。

3結(jié)語

本文針對監(jiān)控視頻這一特殊的視頻內(nèi)容，考慮了監(jiān)控視頻經(jīng)常遇到的故障以及造成的視頻質(zhì)量問題。針對各種情況分別分析其特征，利用圖像的灰度統(tǒng)計(jì)信息、梯度信息，結(jié)合圖像的中值濾波和幀間差異分析，提出了相應(yīng)的異常檢測與質(zhì)量診斷方法。本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法只需要提供待測試的監(jiān)控視頻，無需參考視頻或者其相關(guān)信息的提供，屬于無參考的視頻質(zhì)量診斷模型。實(shí)驗(yàn)證明，本文提出的監(jiān)控視頻異常檢測與質(zhì)量診斷方法可以有效地對監(jiān)控視頻進(jìn)行異常檢測與質(zhì)量診斷。

參考文獻(xiàn)

[1]BITelecommunication.ITU-TR.800:Methodsforsubjectivedeterminationoftransmissionquality[R].InternationalTelecommunicationUnion-TelecommunicationStandardisationSector(ITU-T),1996.

[2]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].ImageProcessing,IEEETransactionson,2004,13(4):600-612.

[3] 高新波，路文．視覺信息質(zhì)量評價(jià)方法[M]． 西安：西安電子科技大學(xué)出版社，2011.

[4]WangZ,BovikAC.Modernimagequalityassessment[J].SynthesisLecturesonImage,Video,andMultimediaProcessing,2006,2(1):156.

[5]KimY,JangC,DemouthJ,etal.Robustcolor-to-grayvianonlinearglobalmapping[C]//ACMTransactionsonGraphics(TOG).ACM,2009:161.

[6]FattalR,LischinskiD,WermanM.Gradientdomainhighdynamicrangecompression[C]//ACMTransactionsonGraphics(TOG).ACM,2002:249-256.

[7]CaviedesJ,ObertiF.Anewsharpnessmetricbasedonlocalkurtosis,edgeandenergyinformation[J].SignalProcessing:ImageCommunication,2004,19(2):147-161.

[8]CaviedesJ,GurbuzS.No-referencesharpnessmetricbasedonlocaledgekurtosis[C]//ImageProcessing.2002.Proceedings.2002InternationalConferenceon.IEEE,2002:53-56.

[9]SchmidC,MohrR.Localgrayvalueinvariantsforimageretrieval[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(5):530-534.

[10]ChenT,MaKK,ChenLH.Tri-statemedianfilterforimagedenoising[J].ImageProcessing,IEEETransactionson,1999,8(12):1834-1838.

[11]PetrovicNI,CrnojevicV.Universalimpulsenoisefilterbasedongeneticprogramming[J].ImageProcessing,IEEETransactionson,2008,17(7):1109-1120.

[12] 莊自超.面向視頻監(jiān)控的視頻質(zhì)量檢測系統(tǒng)的設(shè)計(jì)與開發(fā)[D].華中師范大學(xué),2011.

[13]MittalA,SoundararajanR,BovikAC.Makinga“completelyblind”imagequalityanalyzer[J].SignalProcessingLetters,IEEE,2013,20(3):209-212.

ANOMALY DETECTION AND QUALITY DIAGNOSIS OF SURVEILLANCE VIDEO

Xia YujianSun Han

(School of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,Jiangsu,China)

AbstractA series of anomalies that affect video quality may occur in surveillance videos,such as sharpness and brightness anomalies.And there may be the failures of noises,colour cast,picture freezing,water ripples,or horizontal noise waves,etc.,existing in video pictures as well.In view of this,we propose an anomaly detection and quality diagnosis algorithm for surveillance videos.This algorithm analyses the anomalies mentioned above,uses grayscale statistical information and gradient information of the image,combines with image’s median filtering and inter-frame difference analysis,and completes the corresponding anomaly detection and quality diagnosis.Experimental results show that the method proposed can effectively do anomaly detection and quality diagnosis on the surveillance video.

KeywordsAnomaly detectionQuality diagnosisGrayscale statistical informationGradient informationMedian filteringInter-frame difference

收稿日期：2014-12-04。國家自然科學(xué)基金項(xiàng)目(61203246,61375021);江蘇省自然科學(xué)基金項(xiàng)目(SBK201322136)。夏裕建，碩士生，主研領(lǐng)域：數(shù)字圖像處理，視頻質(zhì)量診斷。孫涵，副教授。

中圖分類號TP391.41

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.040