孟利民,包軼名

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

基于局部特征的圖像插值算法在B/S視頻監(jiān)控中的應(yīng)用

孟利民,包軼名

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

摘要：在B/S模式的視頻監(jiān)控應(yīng)用中，針對傳統(tǒng)的雙線性插值圖像放大算法會造成圖像細節(jié)模糊的問題，提出一種改進算法.先計算4個鄰點灰度的標(biāo)準(zhǔn)差，通過判斷標(biāo)準(zhǔn)差是否大于某個閾值來將圖像分為邊緣區(qū)域和非邊緣區(qū)域，對于非邊緣區(qū)域的像素點直接使用雙線性插值算法，對于邊緣區(qū)域的像素點，采用最鄰近和雙線性插值算法進行加權(quán)融合所得的結(jié)果.并設(shè)計與實現(xiàn)了B/S模式的視頻監(jiān)控系統(tǒng)，在系統(tǒng)中應(yīng)用改進算法對視頻圖像進行放大.實驗結(jié)果表明，該算法可以避免最鄰近插值產(chǎn)生的局部鋸齒問題，同時也改進了雙線性插值造成的圖像細節(jié)模糊，能夠改善視頻圖像放大后的視覺效果。

關(guān)鍵詞：B/S模式;視頻監(jiān)控;圖像放大;雙線性插值;加權(quán)融合

Image interpolation algorithm based on local feature and its application in B/S video surveillance

MENG Limin, BAO Yiming

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:In order to solve the problem of image detail fuzzy caused by traditional bilinear interpolation algorithm used in B/S mode video surveillance application, this paper proposes an improved algorithm. In this algorithm, the standard deviation of grey value of the 4 neighbor points are calculated, then the image is divided into edge region and non-edge region according to a certain threshold. For the pixels in non-edge region, the bilinear interpolation algorithm will be used directly. For the pixels in edge region, the nearest neighbor and bilinear interpolation algorithms are used to get weighted fusion result. A B/S mode video surveillance system is designed and implemented in this paper and the improved algorithm is usded to zoom the video image in the system. The experimental results indicate that the algorithm can avoid local aliasing problem caused by nearest neighbor interpolation and improve the image detail fuzzy problem caused by bilinear interpolation. So it can improve the visual effect of the zoomed video image。

Keywords:B/S mode; video surveillance; image zooming; bilinear interpolation; weighted fusion

傳統(tǒng)的視頻監(jiān)控應(yīng)用軟件一般由C/S模式來實現(xiàn)[1]，然而由于這種模式的軟件維護成本高，客戶端的安裝和更新也較為麻煩，已經(jīng)越來越少地被開發(fā)者所采用[2].與此同時，由于互聯(lián)網(wǎng)的飛速發(fā)展，以及B/S模式相較于C/S模式的優(yōu)勢，將具體的應(yīng)用以Web頁面的形式呈現(xiàn)在瀏覽器中已經(jīng)成為軟件開發(fā)的主流.而在B/S模式的視頻監(jiān)控應(yīng)用中，視頻圖像的放大是最常用的功能之一，人們經(jīng)常希望利用這種方式來更好地觀察圖像的一些細節(jié).視頻圖像放大實質(zhì)上是對視頻幀所對應(yīng)的數(shù)字圖像進行放大，主要方法是利用差值算法.圖像插值是圖像超分辨處理的重要環(huán)節(jié)，不同的插值算法有不同的精度，插值算法的好壞也直接影響著圖像的失真程度[3]。

傳統(tǒng)的圖像插值算法有最鄰近插值和雙線性插值等，雖然它們實現(xiàn)簡單，計算復(fù)雜度低，但是由于對每個像素都用相同方法進行處理，沒有考慮到圖像局部特征，所以效果都不太理想[4].因此，一些基于邊緣的圖像放大算法被提出.文獻[5]采用Canny算子檢測邊緣，并對邊緣進行分類，去除平滑邊緣，保留階梯邊緣，并對階梯邊緣的方向進一步細化分類.文獻[6]采用Prewitt算子檢測邊緣，并引入灰度補償，還利用了邊緣像素的方向特性估計邊緣，并對邊緣和非邊緣像素分類插值.然而這些方法都要對圖像邊緣進行較精確的檢測，計算復(fù)雜度過大，并且在圖像放大倍數(shù)不是很高的情況下，實際視覺效果并沒有實質(zhì)性的提升，在針對視頻圖像放大這種需求的環(huán)境下，實用度不高.筆者提出一種雙線性插值的改進算法，用一種較簡單的方法對圖像邊緣進行劃分，對于邊緣像素點采用最鄰近插值和雙線性插值結(jié)果進行加權(quán)求和的特殊處理.在實際的B/S模式視頻監(jiān)控應(yīng)用的環(huán)境下對該算法進行實現(xiàn)，并利用該算法對彩色視頻幀進行放大操作后進行效果評估，實驗結(jié)果表明，該算法可以同時改進最鄰近插值的局部鋸齒效應(yīng)和雙線性插值的細節(jié)模糊，改善放大后視頻幀的質(zhì)量。

1傳統(tǒng)圖像放大算法

圖像放大算法可以歸結(jié)為如何根據(jù)源圖像的信息來填充放大后圖像的每一個像素值，一般采用前向映射的方法，即將放大后圖像的像素坐標(biāo)根據(jù)放大比例算出其在源圖像中所對應(yīng)的坐標(biāo).假設(shè)將一副m×n的圖像放大到M×N，其中M>m，N>n.那么放大后圖像坐標(biāo)為(x,y)的像素點在源圖像中所對應(yīng)的坐標(biāo)(x′,y′)可確定為

(1)

通常所得出的(x′,y′)為小數(shù)坐標(biāo)。

最鄰近插值法的思想是直接將源圖像中距離(x′,y′)最近的點的像素值作為(x′,y′)的像素值，它只是簡單地進行像素值的拷貝，所以在放大后的圖像中會出現(xiàn)多個鄰近像素的值相同的結(jié)果，從而導(dǎo)致圖像出現(xiàn)方塊鋸齒效應(yīng)，視覺效果很不理想。

雙線性插值是利用了需要處理的原始圖像像素點周圍的四個像素點的相關(guān)性,通過雙線性算法計算得出的，如圖1所示。

圖1　雙線性插值示意圖Fig.1　Schematic diagram of bilinear interpolation

假設(shè)f(x,y)代表源圖像中坐標(biāo)為(x,y)點處的像素值，那么(x′,y′)處的像素值為

f(x′,y′)=(1-u)(1-v)f(a,b)+u(1-v)f(a+

1,b)+(1-u)vf(a,b+1)+uvf(a+1,b+1)

(2)

式中u和v分別代表(x′,y′)與(a,b)之間的橫向與縱向距離，可表示為

u=x′-a

v=y′-b

(3)

可見雙線性插值法利用了所求像素點周圍鄰近的4個像素點的線性平均權(quán)值計算目標(biāo)像素點的值，可以產(chǎn)生一種平滑過渡的效果，避免了最鄰近插值的局部鋸齒效應(yīng)，所得圖像整體視覺效果較好.但是如果這鄰近的4個像素的值差別過大，那么雙線性插值的準(zhǔn)確度就會變得不可靠，結(jié)果造成了圖像局部細節(jié)模糊[7]。

2基于局部特征的雙線性插值算法

雙線性插值法造成局部細節(jié)模糊的原因是所求像素點鄰近的4個像素點像素值差別過大，而圖像中最有可能出現(xiàn)這種情況的便是局部的邊緣區(qū)域，因此有必要將圖像先劃分為邊緣區(qū)域和非邊緣區(qū)域.然而傳統(tǒng)的邊緣劃分方法計算過于復(fù)雜，可以使用一種基于閾值的簡便方法[8].首先計算所求像素點鄰近4個像素點灰度值的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差越大說明目標(biāo)像素點鄰域的灰度變化越大，所包含的邊緣信息越多[9]，因此可以將該標(biāo)準(zhǔn)差與同一個設(shè)定好的閾值相比較，如果大于閾值，則將所求像素點歸為邊緣區(qū)域，反之則將其歸為非邊緣區(qū)域.假設(shè)g(a,b)為源圖像中坐標(biāo)為(a,b)的像素點的灰度值，則4個鄰點的灰度標(biāo)準(zhǔn)差s為

(4)

(5)

如果s小于預(yù)先設(shè)定的閾值th，則認為該像素點位于非邊緣區(qū)域，直接采用雙線性插值求出結(jié)果.反之如果s大于閾值th，則認為該像素位于邊緣區(qū)域，可以根據(jù)該點到其最鄰近點的距離給最鄰近插值和雙線性插值分配權(quán)重，然后對兩者進行加權(quán)求和得出最終結(jié)果，如圖2所示。

圖2　構(gòu)造權(quán)重示意圖Fig.2　Schematic diagram of constructing weights

Wbl=1-Wn

(6)

式中：Wn代表最鄰近插值權(quán)重；Wbl代表雙線性插值權(quán)重.進而最終的所求結(jié)果f(x′,y′)可表示為

f(x′,y′)=Wnfn(x′,y′)+Wblfbl(x′,y′)

(7)

式中：fn代表最鄰近插值的結(jié)果；fbl代表雙線性插值的結(jié)果.采用這種方法考慮了所求像素點到其最鄰近點的距離，綜合了最鄰近插值和雙線性插值的結(jié)果，對于邊緣像素點可以取得更為理想的插值結(jié)果，也可以減小由于邊緣檢測誤差所帶來的影響.整個改進算法可以由下列步驟來描述：

1) 遍歷放大圖像的每一個像素，根據(jù)式(1)求出其在源圖像中對應(yīng)的坐標(biāo)(x′,y′)。

2) 求出(x′,y′)周圍的4個鄰點，并計算每個鄰點的灰度值。

3) 根據(jù)式(4)計算4個鄰點灰度值的標(biāo)準(zhǔn)差s。

4) 若s小于閾值th，則直接根據(jù)式(2)使用雙線性插值法求出f(x′,y′)；若s大于th，則根據(jù)式(6)構(gòu)造最鄰近插值和雙線性插值的權(quán)重，并由式(7)得出f(x′,y′)。

3B/S視頻監(jiān)控系統(tǒng)設(shè)計

用Struts2來搭建整個B/S模式視頻監(jiān)控Web應(yīng)用，設(shè)計框圖如圖3所示。

圖3　視頻監(jiān)控Web應(yīng)用設(shè)計框圖Fig.3　Design diagram of video surveillance web application

這是一個典型的MVC模式的設(shè)計[10]，以Struts2中的Action作為控制器，保存視頻參數(shù)信息的Java類作為數(shù)據(jù)模型，JSP頁面作為視圖.用戶通過瀏覽器發(fā)起請求之后，由Action處理對應(yīng)請求，它創(chuàng)建自定義類SipSenderAndReceiver的實例對象，這其中利用MjSip開源庫封裝了發(fā)送和接收SIP消息的功能，我們通常是通過SIP協(xié)議來建立音視頻會話的[11].Action通過SipSenderAndReceiver實例將請求發(fā)送給SIP服務(wù)器，由SIP服務(wù)器處理之后再將結(jié)果返回.Action將返回的數(shù)據(jù)封裝到數(shù)據(jù)模型對象中，最后JSP頁面從數(shù)據(jù)模型對象中取出有用的數(shù)據(jù)顯示給用戶。

這里針對具體需求設(shè)計了LoginAction，DevListAction和InviteVideoAction.用戶首先會訪問登錄頁面，輸入用戶名和密碼進行登錄操作，此時登錄請求會被LoginAction處理.LoginAction會將用戶名與用SHA1算法加密過的密碼通過SipSenderAndReceiver對象發(fā)送給SIP服務(wù)器進行驗證，成功以后會將請求重定向到DevListAction.DevListAction的任務(wù)是發(fā)送設(shè)備信息請求的SIP消息給SIP服務(wù)器，解析服務(wù)器返回的設(shè)備信息，并跳轉(zhuǎn)到視頻監(jiān)控主頁面顯示設(shè)備列表.用戶可以在主頁面選擇某臺在線設(shè)備并向其發(fā)送視頻請求，InviteVideoAction會將該請求發(fā)送給SIP服務(wù)器，服務(wù)器會再將請求轉(zhuǎn)發(fā)給對應(yīng)的視頻采集設(shè)備，并將請求結(jié)果和一些視頻參數(shù)，如解碼所需的序列參數(shù)集SPS和圖像參數(shù)集PPS返回給InviteVideoAction，這樣一個視頻會話就建立起來了。

視頻會話建立完成以后，對應(yīng)設(shè)備會通過RTP協(xié)議將視頻數(shù)據(jù)發(fā)送給流媒體服務(wù)器，再由流媒體服務(wù)器轉(zhuǎn)發(fā)到客戶端.客戶端通過調(diào)用JSP頁面中的ActiveX控件的接口函數(shù)[12]，傳入之前從SIP服務(wù)器獲得的視頻解碼參數(shù).接口函數(shù)中建立了VideoSourceFilter→ffdshow Video Decoder→VMR Video Renderer這樣的DirectShow鏈路完成視頻數(shù)據(jù)接收，解碼和顯示模塊.其中在自定義的VideoSourceFilter中開啟了H.264視頻流的RTP接收線程，并對接收到的視頻數(shù)據(jù)進行整理，形成視頻幀緩存，最后將緩存中的視頻幀數(shù)據(jù)推送給ffdshow.ffdshow負責(zé)將H.264視頻數(shù)據(jù)進行解碼，還原成YUV420格式后再推送給VMR.VMR負責(zé)視頻幀的渲染，它最終將視頻呈現(xiàn)在用戶面前，實際效果如圖4所示。

圖4　視頻監(jiān)控Web應(yīng)用界面Fig.4　User interface of video surveillance web application

4圖像插值算法的實現(xiàn)及其性能評價

在上述B/S模式視頻監(jiān)控應(yīng)用的環(huán)境下，我們對上文中提出的改進算法做了實現(xiàn).為了驗證改進算法的有效性，將分別對其進行主觀評價和客觀評價.首先對于主觀評價，取352×288像素的源視頻幀，如圖5所示.分別用最鄰近插值，雙線性插值和改進算法放大3倍至1 056×864像素，再取其局部細節(jié)進行視覺評估.實驗中取邊緣判定閾值th=70.結(jié)果如圖6所示。

圖5　352×288源視頻幀F(xiàn)ig.5　352×288 Source video frame

圖6　放大后圖像局部比較Fig.6　Local comparison of zoomed image

由圖6可以明顯看出：最鄰近插值出現(xiàn)了局部方塊鋸齒效應(yīng)，而雙線性插值和改進算法都可以避免出現(xiàn)鋸齒.而改進算法相較于雙線性插值的優(yōu)勢是可以改善雙線性插值造成的圖像局部細節(jié)模糊問題，為了驗證這一點取放大后圖像的另一部分細節(jié)進行比較，結(jié)果如圖7所示。

圖7　放大后圖像細節(jié)清晰度比較Fig.7　Detail clarity comparison of zoomed image

仔細對比圖7中的上下兩幅圖可以發(fā)現(xiàn)：使用改進算法可以有效地改善雙線性插值造成的數(shù)字細節(jié)局部模糊的現(xiàn)象，這正是由于對于邊緣像素點，綜合考慮最鄰近插值和雙線性插值，采用根據(jù)其距離最鄰點距離構(gòu)造兩者權(quán)重的方法所帶來的效果。

對于客觀評價，可以通過計算均方誤差MSE來評估，計算式為

(8)

式中：M為源圖像寬度；N為源圖像高度；f0(i,j)為源圖像中坐標(biāo)為(i,j)點處的像素值；f(i,j)為源圖像由某一算法放大后，再由相同算法縮小到與源圖像相同大小后所得的圖像中坐標(biāo)為(i,j)點處的像素值[13].這里將352×288像素的源圖像分別用雙線性插值和改進算法放大到800×600像素，再由相應(yīng)算法縮小到352×288像素，由于源視頻幀是RGB24格式的彩色圖像，所以需要分別計算R分量，G分量和B分量的MSE，結(jié)果如表1所示。

表1　MSE計算結(jié)果

由表1可以看出:改進算法R，G，B分量的均方誤差都要小于雙線性插值算法，說明經(jīng)改進算法處理過后的圖像與源圖像的差距比雙線性插值要小，也反映了改進算法的效果要優(yōu)于雙線性插值。

5結(jié)論

以B/S模式視頻監(jiān)控應(yīng)用中的視頻圖像放大需求為背景，針對用傳統(tǒng)的雙線性插值算法進行圖像放大雖然可以避免出現(xiàn)方塊鋸齒效應(yīng)，但是會出現(xiàn)局部細節(jié)模糊的問題，提出一種基于雙線性插值的改進算法，利用閾值法將待插值的像素點分為邊緣像素點和非邊緣像素點，對于邊緣像素點綜合考慮最鄰近和雙線性插值，對兩者構(gòu)造權(quán)重，求得加權(quán)后的結(jié)果.在實際的B/S視頻監(jiān)控Web應(yīng)用中利用改進算法對視頻放大模塊進行實現(xiàn)并分析效果.實驗結(jié)果從主觀的視覺效果和客觀的均方誤差分別入手，驗證了改進算法的有效性，從而也說明了該方法可以被應(yīng)用于實際的B/S視頻監(jiān)控應(yīng)用的圖像放大模塊中。

參考文獻：

[1]何超，俞立，張丹．遠程控制實驗Web系統(tǒng)設(shè)計和開發(fā)[J]．浙江工業(yè)大學(xué)學(xué)報，2009，37(5)：473-476．

[2]JIANG Changgen, HUANG Minghe, TANG Jie. Design and implementation of video conference system based on flex and J2EE[C]//International Conference on Image Analysis and Signal Processing. Taizhou: IEEE，2009：184-186。

[3]張海燕，吳方．幾種插值算法的比較研究[J]．計算機技術(shù)與發(fā)展，2012，22(2)：234-237．

[4]KIM H C, PARK S J, WANG Jin, et al. Advanced bilinear image interpolation based on edge features[C]//First International Conference on Advances in Multimedia. Colmar: IEEE，2009：33-36．

[5]孔繁庭，侯國強．圖像放大中的邊緣細化算法研究[J]．計算機應(yīng)用與軟件，2010，27(4)：261-263．

[6]郭海霞，郭海龍，解凱．基于邊緣信息改進的雙線性插值算法[J]．計算機工程與應(yīng)用，2011，47(31)：171-174．

[7]左飛，萬晉森，劉航．Visual C++數(shù)字圖像處理開發(fā)入門與編程實踐[M]．北京：電子工業(yè)出版社，2008．

[8]吳錫生，黨向盈，趙勇．基于閾值控制的邊緣自適應(yīng)快速圖像插值算法[J]．計算機工程，2007，33(22)：226-228．

[9]龔昌來，楊冬濤．一種改進的雙線性插值圖像放大算法[J]．激光與紅外，2009，39(8)：899-901．

[10]毛俊，彭宏，孟利民．基于Django框架的車載定位系統(tǒng)PDF報表下載軟件的設(shè)計與實現(xiàn)[J]．浙江工業(yè)大學(xué)學(xué)報，2012，40(4)：446-449．

[11]徐志江，莊壯，孟利民．一種基于Android智能手機的車載定位查詢軟件[J]．浙江工業(yè)大學(xué)學(xué)報，2013，41(6)：655-659．

[12]吳金策，杜勁松．B/S架構(gòu)嵌入式視頻監(jiān)控系統(tǒng)客戶端設(shè)計[J]．電視技術(shù)，2013，37(3)：188-192．

[13]劉政林，肖建平，鄒雪城，等．基于邊緣的實時圖像縮放算法研究[J]．中國圖象圖形學(xué)報，2008，13(2)225-229．

(責(zé)任編輯：陳石平)

中圖分類號：TP37

文獻標(biāo)志碼：A

文章編號：1006-4303(2015)02-0217-05

作者簡介：孟利民(1963—)，女，浙江金華人，教授，研究方向為多媒體數(shù)字通信、無線通信與網(wǎng)絡(luò)、嵌入式系統(tǒng)，E-mail：mlm@zjut.edu.cn。

基金項目：國家自然科學(xué)基金資助項目(61372087)

收稿日期：2014-11-12