賴 俊，張江鑫

(浙江工業(yè)大學省通信網(wǎng)應用技術研究重點實驗室，浙江杭州310023)

0 引言

近年來，隨著通信技術的提高，視頻業(yè)務也得到了快速發(fā)展。然而由于網(wǎng)絡擁塞等原因，視頻傳輸中有時會發(fā)生丟包，且錯誤將會在時域和空域上擴散，嚴重影響接收端的視頻質量，因此，一個解碼端的差錯掩蓋技術是十分必要的。H.264參考模型里采用的是雙線性插值算法，這種方法只對平滑區(qū)域取得較好的恢復效果，對邊緣區(qū)域恢復效果不夠理想。為克服這個缺點，方向插值算法先找出邊緣方向，然后沿著邊緣方向進行插值，一定程度判斷了邊緣信息［1］。而自適應空域差錯掩蓋算法則把丟失宏塊劃分為平滑塊和邊緣塊，分別采用雙線性插值算法和方向插值算法進行插值，取得一定改進效果［2］。文獻3提出基于人臉特征的自適應空域差錯掩蓋方法，先通過人臉檢測技術檢測出人臉，然后對人臉區(qū)域采用水平方向插值的方法，對其它區(qū)域則采用文獻2的自適應插值算法，利用了人臉五官呈水平方向的特征，取得一定改進效果，但用的依舊是插值的方法，恢復區(qū)域容易模糊，而五官位置模糊是難以讓人接受的?；谝陨犀F(xiàn)狀，本文提出一種基于人臉對稱性的差錯掩蓋方法，對符合條件的人臉區(qū)域取得較好的視覺效果，一定程度上避免了插值算法造成的五官特征模糊。

1 方法分析

實際視頻業(yè)務中，人臉往往是人們關注的焦點，一旦人臉區(qū)域出錯，將會嚴重影響視覺效果，因此對人臉區(qū)域的差錯掩蓋也顯得極為重要。人臉區(qū)域又是非常有自身特點的一塊區(qū)域，文獻3利用了人臉五官大致呈水平方向的特征進行水平插值，然而插值的方法依舊容易造成模糊;本文利用人臉對稱的特點，對于呈現(xiàn)對稱的人臉，若其中半邊人臉有象素丟失，就用另外半邊對應位置的象素進行掩蓋而對于其它區(qū)域，采用文獻2自適應插值算法進行掩蓋，具體方法流程圖如圖1所示。

圖1 方法流程圖

2 對稱人臉區(qū)域的掩蓋

2.1 膚色分割

人臉檢測是指對于一幅給定的圖像，采用一定的策略對其進行搜索以確定其是否含有人臉，常用的策略有基于膚色分割的方法和基于人臉特征的方法。由于本文是要在差錯掩蓋中應用人臉檢測方法，因而被檢測的人臉很可能是丟失掉一些部分的不完全人臉，顯然進行類人臉特征計算可能會就出現(xiàn)一些錯誤，因此采用基于膚色分割的方式進行初步的人臉檢測。

常用的顏色空間主要有:YCbCr，HSV，YIQ等，由于YCbCr空間具有將色度CbCr與亮度Y分離的特點，因此選擇在YCbCr空間進行膚色分割。在YCbCr空間中提取人臉候選區(qū)，膚色區(qū)域相對集中，可以采用高斯分布來描述這種分布［4］。且由于本文中用于仿真的視頻序列是4∶2∶0的yuv格式，與YCbCr格式視頻一樣，因而不需要進行從其它顏色空間到YCbCr空間的轉換。計算各個象素屬于膚色的可能性大小，取值范圍為［0，1］。采用文獻4中的計算方式對各象素與膚色的相似程度進行計算，計算公式為:

圖2 膚色分割效果

2.2 相似度判斷并掩蓋

對于有必要進行特殊的人臉差錯掩蓋的人臉區(qū)域，大多已經(jīng)丟失了人臉關鍵信息，因此本文沒有在膚色分割基礎上根據(jù)人臉關鍵信息做進一步的檢測，而是對膚色分割后的每塊連續(xù)區(qū)域先進行垂直分割，分割后對兩側未丟失的區(qū)域進行相似度判斷，以此排除非人臉的膚色區(qū)域，同時也排除了沒有對稱的人臉。

首先假設檢測出的每塊連續(xù)都是對稱的人臉，且對稱的人臉區(qū)域計算垂直分割線的一種方法是找到這塊區(qū)域在水平方向上最寬的線段并計算其中點，然后在這個中點做這條最寬線段的垂線，這條垂線就是連續(xù)區(qū)域的分割線，接下來就對分割線兩側的區(qū)域進行相似度判斷。

采用文獻5中的方法來計算分割線兩側區(qū)域的相似度，根據(jù)圖像灰度值數(shù)據(jù)，相似度計算公式如下:

式中，α和β分別為相似系數(shù)和相對歐氏距離系數(shù)的權重，且α+β=1，根據(jù)文獻5人臉跟蹤算法經(jīng)過的訓練，這里α和β分別取值為0.21和0.79，F(xiàn)k，a和Fk，b分別為分割線兩側都沒有丟失，且位置對稱的相應象素點的灰度值，F(xiàn)k，max和Fk，min則分別是最大和最小的灰度值。

相似度計算后，需要與一個閾值δ進行比較，當Aab＞δ，判定當前檢測區(qū)域為對稱的人臉區(qū)域，采用對稱拷貝的方式進行掩蓋，即對于對稱的人臉區(qū)域，當分割線一側有象素丟失，而另一側位置與其位置對稱的象素未丟失，則把未丟失的象素拷貝到丟失象素位置，完成掩蓋;當Aab＜δ，則判定當前檢測區(qū)域為常規(guī)區(qū)域，使用傳統(tǒng)的自適應插值算法進行掩蓋。經(jīng)過對不同視頻序列測試，本文將閾值δ取為0.86的時候取得的判斷較為準確，但也可能還存在更好的取值方式。幾個不同圖像人臉區(qū)域的相似度如圖3所示，其中圖3(b)的相似度為0.852，其傾斜幅度太大，不適合直接用本文的人臉對稱掩蓋算法，而圖3(a)、(c)、(d)都滿足本文算法要求。

圖3 不同圖像人臉區(qū)域的相似度

3 實驗與分析

本文采用H.264的JM86模型作為測試平臺，分別用QCIF格式的Miss America、Carphone、Foreman序列進行測試，測試序列長度均為30幀，幀率為30fps，QP=28，經(jīng)編碼后輸出為RTP格式的包流，通過高版本JM的rtp_loss模擬丟包，并在丟包率為10%的環(huán)境下，選取BI算法和ASEC算法與本文算法做比較。

幾種算法重建的第0幀F(xiàn)oreman圖像和第10幀Miss America圖像分別如圖4、5所示，圖4、5中的(a)(d)分別表示錯誤標記、方向插值算法、自適應插值算法和本文算法。從主觀效果圖中可以看出，在對稱的人臉部分，特別是對于比較容易成為視覺焦點的五官位置，本文算法掩蓋的視覺效果比插值算法掩蓋的效果更理想。

圖4 Foreman序列第0幀3中算法主觀質量比較

圖5 Miss America序列第10幀3中算法主觀質量比較

幾種算法PSNR值比較的曲線圖如圖6所示，本文算法PSNR值較方向插值算法高出0.2 3.8dB，較自適應插值算法高出0 0.1dB。本文的人臉掩蓋算法與自適應插值算法只在人臉部分的個別宏塊處理時有所區(qū)別，因此高出的0 0.1dB都是在人臉中的小部分區(qū)域里體現(xiàn)出的，雖然本身數(shù)值不大，但考慮到所處理區(qū)域面積較小，依然能夠體現(xiàn)本文算法在處理對稱人臉時的優(yōu)越性。

圖6 Foreman序列中受損I幀3種算法掩蓋客觀質量比較

4 結束語

本文提出一種基于人臉對稱性的差錯掩蓋方法，雖然只適用于對稱的人臉區(qū)域，但是一旦滿足使用條件之后，可以較好地恢復出人臉五官，相對于插值算法獲得更好的視覺效果。而如何能夠在更多的情況去利用人臉的對稱性，如針對傾斜方向的人臉也可以作對稱掩蓋，將是后續(xù)的一個工作方向。

［1］ Kim W，Koo J，Jeong J.Fine directional interpolation for spatial error concealment［J］.IEEE Transactions on Consumer Electronics，2006，52(3):1 050 －1 056.

［2］ 彭強，張慶明，徐錦亮.基于邊緣檢測的空域自適應差錯掩蓋算法［J］.鐵道學報，2008，30(6):58－62.

［3］ 楊志偉，張慶明，彭強.基于人臉特征的自適應空域差錯掩蓋算法［J］.信息通信技術，2009，(4):19－22.

［4］ 艾學軼，吳彥文，汪亭亭.復雜背景下多姿態(tài)人臉快速檢測算法［J］.計算機工程與設計，2010，31(14):3 265－3 273.

［5］ 張楊，葉舒帆，高立群.一種基于相似離度匹配的人臉精確跟蹤算法［J］.東北大學學報(自然科學版)2011，32(2)，188－192.