李瑞民，董 亮

(1.上海風(fēng)格信息技術(shù)股份有限公司，上海201804;2.上海市文化廣播影視監(jiān)測(cè)中心，上海200002)

數(shù)字電視圖像層靜幀和黑場(chǎng)報(bào)警的判斷算法

李瑞民1，董 亮2

(1.上海風(fēng)格信息技術(shù)股份有限公司，上海201804;2.上海市文化廣播影視監(jiān)測(cè)中心，上海200002)

在數(shù)字電視的安全播出中，圖像層的監(jiān)測(cè)是關(guān)鍵，也是最直觀的一步，所以圖像層監(jiān)控算法就顯得尤為重要。針對(duì)這一問題，從當(dāng)前數(shù)字電視中的黑場(chǎng)、靜幀這兩個(gè)最常見報(bào)警方式入手，通過對(duì)當(dāng)前主流算法及這兩種報(bào)警本身的特點(diǎn)進(jìn)行分析，找出一組高效可行的算法，并通過程序進(jìn)行驗(yàn)證。

圖像層;黑場(chǎng);靜幀;無(wú)聲;碼流;報(bào)警

1 圖像層靜幀和黑場(chǎng)報(bào)警

當(dāng)前的數(shù)字電視中，對(duì)節(jié)目信號(hào)的監(jiān)控是整個(gè)播出鏈路中最重要的一個(gè)環(huán)節(jié)。如果僅從概念上來看，與數(shù)字信號(hào)相關(guān)的報(bào)警可以分為物理層報(bào)警、碼流層報(bào)警和圖像層報(bào)警，其中的物理層報(bào)警主要是物理鏈路(有線網(wǎng)絡(luò)的網(wǎng)線，無(wú)線網(wǎng)絡(luò)的射頻、微波)是否正常;碼流層報(bào)警則是節(jié)目流是否存在無(wú)法同步、碼流不能滿足正常播出要求等問題;而圖像層則是當(dāng)前所播的圖像是不是電視臺(tái)計(jì)劃要播放的圖像內(nèi)容。對(duì)前兩層的故障監(jiān)控都可以通過巡檢制度等制度和協(xié)議分析等技術(shù)手段進(jìn)行排查，而對(duì)于圖像層的故障，其原因多樣，有些帶有明顯的主觀性，因而判斷相對(duì)復(fù)雜，然而圖像層又是與電視觀眾距離最近，觀眾有最直接切身感受，因而圖像層的故障監(jiān)控自然是重中之重。

首先，這里的“圖像”是廣義的圖像，既包括有視頻畫面，也包括有電視伴音、字幕、臺(tái)標(biāo)、時(shí)鐘等畫面輔助內(nèi)容。通常情況下，電視臺(tái)對(duì)“圖像層”的監(jiān)控主要分為三大報(bào)警，分別是:黑場(chǎng)(Black Screen)、靜幀(Frame Freeze)、無(wú)聲(Sound Loss)。黑場(chǎng)就是屏幕上主要畫面區(qū)域呈現(xiàn)黑色，這意味著信號(hào)斷了;靜幀，即畫面靜止不動(dòng)，這意味著信號(hào)斷了或編碼器壞了;無(wú)聲即聲音信號(hào)沒有電平值或聲音低于正常收聽的閾值，這意味著編碼器壞了。

理想環(huán)境下的報(bào)警分析并不難。如黑場(chǎng)就是判斷整個(gè)屏幕所有像素的RGB信息全為0;而靜幀就是判斷相鄰兩幀的同一位置像素值是否完全相等;無(wú)聲就是讀到的聲音值為最小值。但結(jié)合數(shù)字電視現(xiàn)實(shí)的使用環(huán)境，不難發(fā)現(xiàn)這些判斷并沒有想象中那么簡(jiǎn)單，需要同時(shí)考慮的因素有:

1)編解碼器的影響。大部分視頻的壓縮算法都是失真壓縮算法，這會(huì)導(dǎo)致對(duì)于某一顏色的解碼再解碼，在色差或亮度上做一些小的調(diào)整。例如黑場(chǎng)不再是RGB上的全0，而是所有像素都非常接近于黑色;靜幀也不是相鄰兩幀或多幀之間的完全相等，而是所有幀都近似相等。

2)正中電視節(jié)目區(qū)之外的元素的影響。如頻道的臺(tái)標(biāo)、當(dāng)前時(shí)間、當(dāng)前節(jié)目名稱、滾動(dòng)新聞和廣告提示，有時(shí)節(jié)目黑場(chǎng)了，但這些周邊元素仍然存在。

3)節(jié)目場(chǎng)景的影響。如電視節(jié)目在在播出“通知”的時(shí)候，整個(gè)屏幕內(nèi)容會(huì)暫停幾秒不做任何改變。人們的說話本身就有停頓，有時(shí)會(huì)導(dǎo)致數(shù)秒的無(wú)聲效果。

2 算法設(shè)計(jì)

分析“黑場(chǎng)、靜幀、無(wú)聲”這三個(gè)報(bào)警，無(wú)聲的判斷相對(duì)簡(jiǎn)單，只需要判斷聲音電平值小于某個(gè)閾值即可，所以無(wú)聲的判斷不再詳述，下面著重介紹對(duì)黑場(chǎng)、靜幀的算法判斷。

目前，對(duì)于數(shù)字電視中圖像層報(bào)警的分析還不多，所以還沒有成熟的、公認(rèn)的算法，對(duì)一些已具備該功能的設(shè)備來說，其算法也尚屬未公開階段。所以對(duì)算法的分析以及算法間的對(duì)比，主要還是集中在與模式識(shí)別算法的對(duì)比上。

2.1 常規(guī)算法的不足

模式識(shí)別本身的研究已有很多，但分析這些通用算法也能發(fā)現(xiàn)其中的一些不足，這些不足不一定是算法本身的問題，更多的是這些算法沒有考慮數(shù)字電影、數(shù)字電視圖像本身的特殊性。而這些正是本報(bào)警算法的關(guān)鍵，所以值得詳細(xì)討論。

要保證數(shù)字電視節(jié)目的流暢播放，1 s要播放25 f畫面，這意味著每一幀畫面數(shù)據(jù)的接收、解碼、播放、報(bào)警判斷的總時(shí)間必須在40 ms以內(nèi)完成。其中的接收、解碼、播放時(shí)間相對(duì)固定，因而報(bào)警算法的效率尤為重要。體現(xiàn)在算法上，很多模式識(shí)別算法需要對(duì)全屏所有數(shù)據(jù)進(jìn)行分析后才能得出結(jié)論。如果能在算法處理中，只對(duì)部分?jǐn)?shù)據(jù)進(jìn)行分析就能判斷出結(jié)果，無(wú)疑會(huì)提高效率，增加時(shí)效性。

從時(shí)間上進(jìn)行分析，在廣電行業(yè)的節(jié)目播出中，節(jié)目異常通常是較小概率事件，更多的狀況是節(jié)目播出正常。根據(jù)哈夫曼(David Huffman)編碼的理論，如果算法能快速地識(shí)別出當(dāng)前節(jié)目是正常播出，則可以迅速退出報(bào)警判斷，并給出正確的結(jié)論，從而提高整體效率。很多模式識(shí)別算法，為了考慮圖像的通用性，容易把一個(gè)圖像各像素視作等概率隨機(jī)分布，因而大多是按行優(yōu)先或按列優(yōu)先，圖像從左上角坐標(biāo)向右下角坐標(biāo)依次線性處理。然而視頻節(jié)目本身，除非導(dǎo)演的特殊需要，否則常常會(huì)把最想展示，最需要引起觀眾注意的細(xì)節(jié)放在屏幕的正中間或四周。比如新聞播報(bào)類的節(jié)目，有時(shí)除了播音員的嘴部在動(dòng)，其余位置都沒有動(dòng)，而這時(shí)播音員的嘴部又處于屏幕正中間，因此如果每次算法都從左上角向右下角依次掃描，則每幀畫面需要查找全屏的一半，才發(fā)現(xiàn)屏幕變化的位置。如果能結(jié)合節(jié)目特點(diǎn)，無(wú)疑也能提高算法效率。

從技術(shù)上進(jìn)行分析，當(dāng)前數(shù)字電視碼流中，最常用的是MPEG-2格式［1］，該格式對(duì)圖像處理的算法是DCT算法(Discrete Cosine Transform)［2］，該算法結(jié)合圖像的相關(guān)性而把圖像分成若干矩形塊，并對(duì)每一塊進(jìn)行統(tǒng)一分析以進(jìn)一步提高圖像的相關(guān)性。而在圖像監(jiān)控中，圖像層報(bào)警算法所要查找的正是圖像中的“不相關(guān)性”，所以這種分塊算法反而會(huì)降低識(shí)別效果，因此良好的報(bào)警查找算法應(yīng)避免使用DCT算法中既定的分塊結(jié)果，而是盡量尋找相關(guān)性越弱的塊，這樣算法就越能盡快判斷出結(jié)果。

2.2 算法設(shè)計(jì)

綜合以上各點(diǎn)，需要按如下原則進(jìn)行算法設(shè)計(jì)。

首先，由用戶定制一個(gè)黑場(chǎng)和靜幀的判斷區(qū)域，這樣可以避開臺(tái)標(biāo)、時(shí)鐘等元素。該區(qū)域的設(shè)定，一種辦法是采用掩碼矩陣算法，即事先制作一個(gè)與當(dāng)前分辨率一樣的矩陣，矩陣中每個(gè)變量的值都是布爾型(BOOL)，在實(shí)施判斷的時(shí)候，如果該值為TRUE，則參與判斷，否則不參與判斷。另一種辦法是整個(gè)屏幕的范圍內(nèi)，定制多個(gè)互不重疊的矩陣區(qū)域，所有判斷則都在這些矩陣中間。當(dāng)然，最簡(jiǎn)單、最實(shí)用的辦法是只在屏幕中心區(qū)域向四周擴(kuò)展，最終定制一個(gè)盡可能大的一個(gè)區(qū)域。

其次，為了使算法簡(jiǎn)單，可以將所選的判斷區(qū)域再等分成若干小的區(qū)域塊，將每個(gè)區(qū)域塊看作為一個(gè)大的“像素”進(jìn)行整體判斷。根據(jù)圖像中兩個(gè)像素離得越近，則兩個(gè)像素相似的概率越大的圖像像素相關(guān)性原理分析，DCT算法中的每個(gè)區(qū)域塊像素分辨率為16×16［3］，而報(bào)警的判斷正是要打破這種相關(guān)性，因而可以有意避開該劃分方式，改為其他的方式，如24×24。

第三，在各判斷算法中，都由判斷區(qū)域的中心，分別向上、下、左、右4個(gè)方向擴(kuò)展開的順序進(jìn)行判斷，而不是由左上角，向右下角的順序進(jìn)行判斷。如前所述，這是基于電視節(jié)目中最關(guān)鍵的節(jié)目?jī)?nèi)容通常在屏幕正中心，這也正是減少整體判斷時(shí)間的關(guān)鍵。

第四，增加特定區(qū)域的優(yōu)先判斷。即使上述算法已由中心區(qū)域向四周進(jìn)行擴(kuò)展，仍然是連續(xù)進(jìn)行判斷的。同樣，根據(jù)上述圖像像素相關(guān)性原理，如果能大跨度地跳躍像素間的距離，則可以更大程度上避免圖像像素的相關(guān)性。因此，一個(gè)可行的辦法是在進(jìn)行上述算法之前，可以先在判斷區(qū)域的4個(gè)角和正中心區(qū)域先采集若干個(gè)區(qū)域塊，首先進(jìn)行判斷。如果區(qū)域塊中數(shù)據(jù)不是黑場(chǎng)或靜幀，則整屏也不是黑場(chǎng)或靜幀。

根據(jù)以上各點(diǎn)，本文算法流程圖如圖1所示。

圖1 算法流程圖

3 算法測(cè)試和驗(yàn)證

為了驗(yàn)證上面算法的可行性和效率，通過Microsoft Visual C++2005 SP2編寫一個(gè)監(jiān)測(cè)算法，該算法使用FFmpeg做基本流的解碼工作，然后在每一幀中分別做3種報(bào)警的監(jiān)測(cè)。

FFmpeg是一組跨平臺(tái)的視頻和音頻流SDK，提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案，該SDK開源免費(fèi)的，但使用其源代碼的人或組織必須將使用該SDK的系統(tǒng)同樣開源和免費(fèi)。利用這套SDK可以接通過網(wǎng)絡(luò)傳來的TS(Transport Stream)流，并通過合適的解碼器進(jìn)行解碼，并生成屏幕像素?cái)?shù)據(jù)矩陣，利用數(shù)據(jù)矩陣就可以對(duì)屏幕數(shù)據(jù)進(jìn)行算法分析。

3.1 理論分析

假設(shè)當(dāng)前的電視節(jié)目是一個(gè)分辨率為800×592的標(biāo)清節(jié)目［4］，為了說明方便，將其轉(zhuǎn)換為16×16區(qū)域塊組成，則“分辨率”變成了50×37。在模式識(shí)別的方式下，由于要判斷所有的數(shù)據(jù)塊，所以每幀要判斷50×37=1 850個(gè)數(shù)據(jù)塊。而在上述算法的情況下，如果當(dāng)前沒有黑場(chǎng)、靜幀報(bào)警，假設(shè)80%的畫面變化區(qū)域在屏幕正中心和4個(gè)角的區(qū)域(共5個(gè)塊)，20%的畫面位于其余區(qū)域，則每幀要判斷0.8×5+0.2×(5+50×37)=375個(gè)數(shù)據(jù)塊。在區(qū)域塊比較的數(shù)量上，其效率提高了(1 850-375)/375≈393%。

假設(shè)當(dāng)前的電視節(jié)目是一個(gè)分辨率為1 920×1 072的高清節(jié)目，利用同樣的方式可以將整個(gè)圖像區(qū)域分為120×67的區(qū)域塊矩陣，則每幀要判斷120×67=8 040個(gè)數(shù)據(jù)塊。同樣假設(shè)，則該算法要比較的區(qū)域塊數(shù)為1 613個(gè)數(shù)據(jù)塊，最終區(qū)域塊比較的效率提高為398%。

3.2 測(cè)試效果

根據(jù)上述算法使用FFmpeg讀取TS流，通過avcodec_open函數(shù)打開解碼器，并進(jìn)行解碼。之后每調(diào)用一次av_read_frame函數(shù)，都可以收到一個(gè)完整的音頻幀或視頻幀像素矩陣，設(shè)定屏幕正中4/5的區(qū)域?yàn)閳?bào)警判斷區(qū)域。無(wú)論是黑場(chǎng)，還是靜幀，像素的偏差為5%以內(nèi)的視為“近似相等”。全屏所有區(qū)域塊的數(shù)據(jù)必須全部“近似相等”，并持續(xù)500 ms，才認(rèn)為報(bào)警的發(fā)生。所不同的是黑場(chǎng)的比較值是0，而靜幀的比較是相鄰的兩幀圖像。

值得一提的是，在圖1所示的流程圖中，結(jié)合上文分析，算法采用了5個(gè)特定區(qū)域優(yōu)先比的機(jī)制，電視節(jié)目大概率下都是正常的節(jié)目，而每個(gè)節(jié)目場(chǎng)景中，正中間及4個(gè)角的變化概率大于其他位置，所以算法可以快速地判斷出正常播出時(shí)不是黑場(chǎng)，也不是靜幀，從而大幅度減少了比較量，減少了CPU和內(nèi)存資源，提高了效率。

當(dāng)發(fā)生靜幀時(shí)，程序判斷正中間和4個(gè)角區(qū)域塊是相等的，進(jìn)而判斷其他位置的數(shù)據(jù)塊也是相等的，并且這種狀態(tài)持續(xù)了半秒鐘以上，所以發(fā)出靜幀報(bào)警，并且隨著報(bào)警時(shí)間的增長(zhǎng)，靜幀時(shí)長(zhǎng)也在累計(jì)。圖2是當(dāng)靜幀報(bào)警累計(jì)到3分38秒時(shí)的故障實(shí)例圖。

圖2 軟件實(shí)測(cè)實(shí)例圖(截圖)

4 小結(jié)

通過對(duì)電視臺(tái)信號(hào)監(jiān)控中的5大類主要報(bào)警的介紹，在分析了各類報(bào)警的特征及應(yīng)用限制之后，結(jié)合現(xiàn)有各算法中的一些不足，針對(duì)各個(gè)報(bào)警的各種具體應(yīng)用，用，制作了針對(duì)性很強(qiáng)的算法，并通過程序驗(yàn)證了該算法的正確性和可靠性。通過測(cè)試證明，算法是可行的，效率可以滿足正常播出中監(jiān)控系統(tǒng)的需要。相信通過對(duì)算法的研究，為電視信號(hào)監(jiān)控“消滅漏報(bào)，減少誤報(bào)”做出貢獻(xiàn)。

［1］王子微，楊盈昀.淺析超高清數(shù)字電視視頻壓縮編碼技術(shù)［J］.電視技術(shù)，2013，37(13):1-3.

［2］惠新標(biāo)，鄭志航.數(shù)字電視技術(shù)基礎(chǔ)［M］.北京:電子工業(yè)出版社，2009.

［3］侯宏花.數(shù)字圖像處理與分析［M］.北京:北京理工大學(xué)出版社，2011.

［4］蔡曉霞，崔巖松，鄧中亮，等.下一代視頻編碼標(biāo)準(zhǔn)關(guān)鍵技術(shù)［J］.電視技術(shù)，2012，36(2):80-84.

Black Screen and Freeze Alarm Algorithm in Digital Television Image-layer

LIRuimin1，DONG Liang2
(1.Shanghai Figure Information Technology Co.Ltd.，Shanghai201804，China; 2.Shanghai Culture Broadcasting Inspection Center，Shanghai200002，China)

In secure broadcasting digital TV，monitor of image-layer is the key，and it is also themost intuitive one step，so the image layermonitoring algorithm is particularly important.From the current common black screen，freeze frame of these two kinds of common alarm method，his paper，based on the currentmainstream algorithm and the two alarm the characteristics of analysis，so as to find out a set of feasible and efficient algorithm，and was verified by program.

image-layer;black screen;freeze;sound lose;code stream;alarm.

TN919.83

A

?? 雯

2013-05-02

【本文獻(xiàn)信息】李瑞民，董亮.數(shù)字電視圖像層靜幀和黑場(chǎng)報(bào)警的判斷算法［J］.電視技術(shù)，2014，38(23).

上海市廣播電視技術(shù)監(jiān)測(cè)中心項(xiàng)目

李瑞民(1973— )，博士，高級(jí)工程師，主要從事廣電領(lǐng)域內(nèi)的計(jì)算機(jī)安全技術(shù)、網(wǎng)絡(luò)設(shè)備與信號(hào)監(jiān)控等領(lǐng)域的研究與應(yīng)用;

董 亮(1980— )，本科，工程師，主要從事廣播電視、網(wǎng)絡(luò)視聽、網(wǎng)絡(luò)文化等領(lǐng)域的監(jiān)測(cè)研究與應(yīng)用。