吳承隆，肖 龍，姜永櫟，虞永方

(1.寧波市杭州灣大橋發(fā)展有限公司 安全營運部，浙江 寧波315327;2.寧波海視智能系統(tǒng)有限公司 研發(fā)部，浙江 寧波315040)

杭州灣跨海大橋作為特大型橋梁，由于其處于海面上的地理位置關(guān)系，使得其天氣條件變化較多，而且很多時候表現(xiàn)不規(guī)律。而在普通的視頻監(jiān)控中，監(jiān)控畫面多受環(huán)境因素的影響。主要表現(xiàn)如下:海面大風(fēng)導(dǎo)致的畫面抖動;夜晚對向車道燈光對射攝像頭;雨水導(dǎo)致的路面積水;霧天引起的能見度過低。

海面大風(fēng)導(dǎo)致畫面抖動。由于是跨海大橋，橋面上風(fēng)力較大，使得架設(shè)在橋面上的攝像機(jī)存在晃動，從而導(dǎo)致畫面抖動。普通的智能監(jiān)控所涉及的畫面往往是靜止畫面，然后檢測畫面中運動物體，而整個畫面的抖動，使得檢測抖動畫面中的運動物體難度增加。夜晚對向車道燈光對射到攝像頭。在夜晚的高速行駛過程中，車輛使用光線強烈的遠(yuǎn)光燈，對向車道的燈光往往使畫面呈現(xiàn)出大片燈光，由于燈光也是運動物體，所以容易形成誤報，同時有可能導(dǎo)致發(fā)生交通事件但檢測不到。雨水常常導(dǎo)致路面積水。雨天對于處在海面上的杭州灣大橋來說，是尋常事件，但由于雨水會引起橋面的積水，車輛在行駛過程中映射到橋面形成倒影，從而給使檢測帶來了難度。霧天引起的能見度過低。車輛一旦出現(xiàn)停留，容易引起交通事故，但由于攝像頭的能見度較低導(dǎo)致視頻畫面的圖像模糊不清，而這也是智能監(jiān)控中難以實現(xiàn)的地方。惡劣天氣情況如圖1所示。

圖1 惡劣天氣下的視頻情況

1 國內(nèi)外現(xiàn)狀

智能交通事件檢測系統(tǒng)是目前世界交通運輸領(lǐng)域的前沿研究課題，發(fā)達(dá)國家提出并執(zhí)行了一系列研究計劃，對交通事件的自動檢測因其能夠有效地預(yù)測交通事件的發(fā)生，并對已經(jīng)發(fā)生的交通事件作出迅速的反應(yīng)，基于視頻的交通監(jiān)控技術(shù)的研究與應(yīng)用，隨著數(shù)字圖像技術(shù)、計算機(jī)技術(shù)、模式識別技術(shù)的發(fā)展越來越被重視，近年來已經(jīng)成為圖像處理、智能交通等研究領(lǐng)域的重點［1－6］。

2 系統(tǒng)實現(xiàn)方式

由于杭州灣跨海大橋獨特的自然環(huán)境和實際運營需求，利用計算機(jī)視覺與數(shù)字圖像處理技術(shù)，結(jié)合當(dāng)前跨海大橋監(jiān)控的需要和已有的監(jiān)控設(shè)施，研究在各種氣候條件下，實現(xiàn)道路上運動車輛自動檢測、運動狀態(tài)檢測、交通事件檢測等目標(biāo)，自動快速檢測出車輛逆行，違章停車、緩慢行駛、灑落物、出現(xiàn)行人等交通事件，并自動記錄相關(guān)數(shù)據(jù)。圖2為交通安全事件檢測和聯(lián)勤預(yù)警系統(tǒng)的技術(shù)流程圖［7－9］。

圖2 交通安全事件檢測和聯(lián)勤預(yù)警系統(tǒng)的技術(shù)流程圖

2.1 交通事件監(jiān)測技術(shù)

交通安全事件檢測技術(shù)主要由以下幾部分組成:處理惡劣天氣模塊、背景建模、目標(biāo)跟蹤、人工智能的人車分離模塊以及安全事件檢測模塊。

2.2 處理惡劣天氣模塊

將影響視頻檢測的惡劣天氣因素進(jìn)行歸納，整合到一個處理惡劣天氣的模塊，該模塊包括由于海風(fēng)引起畫面晃動的穩(wěn)像模塊，大霧天由于視線模糊而增強圖像質(zhì)量的去霧模塊，夜晚對向車道強烈的燈光照射而用來處理的燈光抑制模塊，針對雨天路面積水導(dǎo)致過往車輛在水中形成的倒影，夜晚雨水導(dǎo)致的路面反光等來進(jìn)行處理的雨天去干擾模塊［10－11］。

夜晚去燈光:由于燈光的出現(xiàn)主要在晚上，所以首先要判斷當(dāng)前狀態(tài)下，是否為夜晚。系統(tǒng)采用了一種簡單的閾值分割方式來判斷視頻畫面是否為夜晚。根據(jù)杭州灣大橋的特征，夜晚的畫面灰度值在0～50和200以上的比例較大，所以通過二分閾值，當(dāng)比例到達(dá)設(shè)定的閾值內(nèi)，則認(rèn)為是夜晚［12－13］。

當(dāng)判斷出是夜晚時，采用特征點和紋理信息的方法。由于燈光內(nèi)部較平滑，內(nèi)部像素值較大，所以周邊不會存在特征點和紋理信息，可以通過該區(qū)域內(nèi)是否存在著足夠的特征點從而可以判斷該區(qū)域是否為燈光區(qū)域。

雨天去干擾:雨天的干擾原本是出現(xiàn)在夜晚，路面積水導(dǎo)致有倒影，形成誤報。根據(jù)選用的規(guī)則可以劃分每個車道，在該車道內(nèi)如果由于下雨導(dǎo)致的反光，在夜間亮度較大，可以設(shè)置一個變動的閾值，來判斷該車道內(nèi)的是否存在著雨天光照的影響［14－15］。

Step1首先判斷視頻畫面，根據(jù)畫面像素值的亮度畫面灰度值在0～50和200以上的比例判斷是否為夜晚。

Step2獲取每個規(guī)則車道內(nèi)的高亮度，若不存在，則不是夜晚雨天。

Step3若存在高亮度部分，則檢測高亮區(qū)域內(nèi)是否有足夠數(shù)量的特征點存在。

Step4如果不存在則認(rèn)為該區(qū)域為雨天光照引起的區(qū)域，若檢測中該區(qū)域內(nèi)有足夠特征點出現(xiàn)，則認(rèn)為有車輛進(jìn)入，開始檢測。

2.3 背景建模

背景差分法基本思想是，將當(dāng)前幀圖像像素值與事先存儲或者實時得到的背景模型對應(yīng)像素值相減，若差值大于某一閾值，則判定該像素點屬于運動目標(biāo)，否則判定此像素點屬于背景場景，經(jīng)閾值分割處理并二值化后得到運動目標(biāo)前景掩模(Foreground Mask)［16－18］。

研究中，首先采用對像素值使用卡爾曼濾波的方式去得到背景

式中，Bt代表在時間t的背景模型;Dt代表當(dāng)前幀與Bt的差值;而Mt代表運動目標(biāo)的二值掩碼。

該方法在前景目標(biāo)出現(xiàn)比較少時，有較好的效果，但背景被其他目標(biāo)遮擋時，該算法就失效了。還有一個問題就是Mt的產(chǎn)生通常是通過Dt閾值和應(yīng)用形態(tài)學(xué)操作。這樣的自反饋會使濾波變得不穩(wěn)定。舉個例子，一個簡單的檢測可能會由于被突然變化的光照而導(dǎo)致檢測失敗。

為解決上述問題，采用一種包含有外部特征的線索來生成更具魯棒性的Mt，除此之外，修正了上述的背景模型，以解決突然的或者短時的光線變化。使用如下更新方程

式中，Ic()是亮度調(diào)節(jié)函數(shù);Nt表示最近時間內(nèi)的中值，這里采用15幀表示，為保證計算速度，采用背景更新率為每秒2幀的速度更新背景，則15幀需7～8 s。采用Ic()亮度調(diào)節(jié)函數(shù)，應(yīng)用于每個R，G，B值中

其中，kR，kG，kB的值由RC/R，GC/G，BC/B通過前面15幀圖像中該位置的像素值計算得到。(RC，GC，BC)表示的是當(dāng)前幀上該位置的像素值。

通過上述的背景建模方式可以獲得一個前景二值圖像，前景為白色，背景為黑色。二值圖像是指整幅圖像畫面內(nèi)僅含黑、白二色的圖像，之間不存在其他灰度變化。二值化處理是運動目標(biāo)檢測與提取交通參數(shù)的前提，通過確定閾值T，將差值圖像中各像素f(x，y)與T比較，大于或等于T，則f(x，y)為運動目標(biāo)像素，否則f(x，y)為背景像素。由于目標(biāo)存在與背景顏色相似的部分，使得檢測的目標(biāo)存在空洞和分裂的情況，因此，要對背景差分所得到的運動目標(biāo)二值圖像做進(jìn)一步后處理。通過獲得的目標(biāo)進(jìn)行形態(tài)學(xué)處理，主要應(yīng)用膨脹和腐蝕操作，獲得比較完整的目標(biāo)，為匹配打下基礎(chǔ)。

2.4 目標(biāo)匹配

當(dāng)通過背景建模獲得處理完的前景圖像后，需要對該前景目標(biāo)區(qū)域中的判斷是否含有足夠的特征點數(shù)，如果滿足，則進(jìn)行目標(biāo)匹配和跟蹤，如果不滿足，則表明不是虛假目標(biāo)，不進(jìn)行目標(biāo)跟蹤。

為實現(xiàn)復(fù)雜條件下對不同類型的目標(biāo)的穩(wěn)定跟蹤，在計算機(jī)視覺領(lǐng)域的區(qū)域協(xié)方差矩陣(Region Covariance Matrix)算法的基礎(chǔ)上結(jié)合特征點的方法，實現(xiàn)了一種目標(biāo)跟蹤的方法，經(jīng)過大量的實驗測試，取得了較好的效果［19－20］。

在具體的跟蹤過程中，采用9維數(shù)據(jù)特征表示運動目標(biāo)，如式(4)所示

其中，R，G，B表示為色彩信息;x，y表示為位置信息;I表示為灰度信息。由于在背景建模的過程中也采用了該特征，在計算過程中能夠減小計算量，提高運算速度。

為使目標(biāo)的跟蹤更加準(zhǔn)確，在采用協(xié)方差矩陣的基礎(chǔ)上，加入特征點的檢測。如果該目標(biāo)內(nèi)特征點數(shù)沒有到達(dá)一定數(shù)量則不計算特征區(qū)域的協(xié)方差，從而減少因為燈光引起的誤報［21－27］。

2.5 人車分離模塊

在人車分類中，研究采用HOG－LBP的前景提取方式來實現(xiàn)人車分離。梯度方向直方圖和局部二值模式方法(HOG－LBP)的訓(xùn)練實現(xiàn)［28－29］，流程如下:

Step1獲取訓(xùn)練圖像。

Step2計算該訓(xùn)練圖像的梯度方向直方圖(HOG)。(1)梯度計算。(2)直方圖統(tǒng)計的方向單元劃分(Orientation Binning)。(3)描述符塊。

Step3計算該訓(xùn)練圖像的局部二值模式(LBP)。(1)選取統(tǒng)一模式LBP8，12。(2)計算像素周邊的LBP模式，轉(zhuǎn)換為十進(jìn)制的模式。(3)統(tǒng)計LBP直方圖。

Step4將HOG和LBP的直方圖聯(lián)立，形成一個訓(xùn)練直方圖。

Step5將計算出的訓(xùn)練直方圖放入SVM分類器中進(jìn)行訓(xùn)練，從而獲得分類識別數(shù)據(jù)?；贖OGLBP方式的實現(xiàn)。

梯度方向直方圖和局部二值模式方法(HOGLBP)的識別實現(xiàn)，流程如下:

Step1獲取需要識別的圖像。

Step2計算該訓(xùn)練圖像的梯度方向直方圖(HOG)。(1)梯度計算。(2)直方圖統(tǒng)計的方向單元劃分(Orientation Binning)。(3)描述符塊。

Step3計算該訓(xùn)練圖像的局部二值模式(LBP)。(1)選取統(tǒng)一模式LBP8，12。(2)計算像素周邊的LBP模式，轉(zhuǎn)換為十進(jìn)制的模式。(3)統(tǒng)計LBP直方圖。

Step4將HOG和LBP的直方圖聯(lián)立，形成一個識別直方圖。

Step5將計算出的識別直方圖與訓(xùn)練階段得出的識別數(shù)據(jù)進(jìn)行卷積，從而得到一個結(jié)果的輸出。

Step6如果該輸出為1，表明是人;如果輸出為0，表明為車輛;如果輸出是－1，表明是其他的物體，這里定義為灑落物。

3 智能安全事件的檢測實現(xiàn)

安全事件識別的流程如下［30－32］:

Step1當(dāng)檢測出運動目標(biāo)是，先通過人車分類模塊區(qū)分是屬于哪個類型。

Step2通過目標(biāo)跟蹤的運動方向來確定是否為逆向行駛。

Step3通過目標(biāo)跟蹤的運動距離大小來確定違章停車和緩慢行駛。

通過以上操作，可以將安全事件檢測完成。

4 系統(tǒng)運行結(jié)果

通過以上的方式實現(xiàn)的算法已在杭州灣大橋中運行，結(jié)果如圖3～圖6所示。

5 結(jié)束語

視頻處理技術(shù)已經(jīng)成為智能交通中的一個重要組成部分，并且己經(jīng)顯示出廣泛的前景。針對高速交通橋梁中存在的各種交通問題進(jìn)行研究，分析了各種交通問題，提出較好的解決方案，并將研究成果應(yīng)用于杭州灣跨海大橋。通過在杭州灣大橋的實際應(yīng)用，該系統(tǒng)能夠很好地檢測車輛。然而在實際的檢測過程中，也存在著由于惡劣天氣所引起的一些誤報和漏報，這需要在下一步進(jìn)行提高和繼續(xù)的發(fā)展。

［1］BALLARD D H.Generalizing the hough transform to detect arbitrary shapes［J］.Readings in Computer Vision Issues，Problems，Principles，and Paradigms，1987(1):714－725.

［2］CROES G A.A method for solving traveling－salesman problems［J］.Operations Research，1958 6(6):791－812.

［3］HEIKKIL?M，PIETIK?INEN M，SCHMID C.Description of interest regions with local binary patterns［J］.Pattern Recognition，2009，42(3):425－436.

［4］MIKOLAJCZYK K，SCHMID C.Indexing based on scale invariant interest points［C］.In IEEE International Conference on Computer Vision，2001:525－531.

［5］MIKOLAJCZYK K，SCHMID C.An affine invariant interest point detector［C］.In European Conference on Computer Vision，2002:128－142.

［6］MORELL J，YU G.ASIFT:a new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2009，2(2):438－469.

［7］ 袁基煒，史忠科.一種快速運動目標(biāo)的背景提取算法［J］.計算機(jī)應(yīng)用研究，2004(8):128－129.

［8］ROSENFELD A，VANDERBURG G.Coarse－fine template matching［J］.IEEE Trans.Syst.Man.Cyb.，1977(7):104－107.

［9］ 劉亞，艾海舟，徐光佑.一種基于背景模型的運動目標(biāo)檢測與跟蹤算法［J］.信息與控制，2002(31):315－319.

［10］TURK M，PENTLAND A.Face recognition using eigenfaces［C］.Maui，HI:Proc.IEEE Conf.on Computer Vision and Pattern Recognition，1991:586－591.

［11］BLACK M，JEPSON A.Eigentracking:robust matching and tracking of articulated objects using a view－based representation［J］.Intl.J.of Comp.Vision，1998(26):63－84.

［12］LEUNG T，MALIK J.Representing and recognizing the visual appearance of materials using three－dimensional textons［J］.Intl.J.of Comp.，2001(43):29－44.

［13］GEORGESCU B，MEER P.Point matching under large image deformations and illumination changes［J］.IEEE Trans.Pattern Anal.Machine Intell，2004(26):674－688.

［14］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］.Kauai，HI:Proc.IEEE Conf.on Computer Vision and Pattern Recognition，2001(1):511－518.

［15］LOWE D.Distinctive image features from scale－invariant keypoints［J］.Intl.J.of Comp.，2004(6):91－110.

［16］GEORGESCU B，SHIMSHONI I，MEER P.Mean shift based clustering in high dimensions:A texture classification example［C］.Nice，F(xiàn)rance:Proc.9th Intl.Conf.on Computer Vision，2003(8):456－463.

［17］詹翔，周焰.一種基于局部方差的霧天圖像增強算法［J］.計算機(jī)應(yīng)用，2007，27(2):510－512.

［18］吳恩華，柳有權(quán).基于圖形處理器(GPU)的通用計算［J］.計算機(jī)輔助設(shè)計與圖形學(xué)報，2004，16(5):601－612.

［19］丁禮燈，席敏.淺談智能交通系統(tǒng)在交通管理中的應(yīng)用［J］.科技創(chuàng)業(yè)月刊，2008(4):149－150.

［20］董濤，董慧穎.基于大氣調(diào)制傳遞函數(shù)的天氣退化圖像復(fù)原方法研究［J］.沈陽理工大學(xué)學(xué)報，2006，25(5):39－42.

［21］ABDOU I E，DUSAUSSOY N J.Survey of image quality measurements［C］.Dallas，Texas:Processings of 1986 ACM Fall Joint Computer Conference，1986:71－78.

［22］WANG Z，SHEIKH H R，BOVIK A C.Objective video quality assessment，111e handbook of video databases:design and applications［M］.USA:RC Press，2003.

［23］RUSSO F.An image enhancement technique combining sharpening and noise reduction［J］.IEEE Transactions on Instrumentation and Measurement，2002，51(4):824－828.

［24］APOLO R F，SEARA R.A measure for perceptual image quality assessment［C］.Barcelona，Spain:Proc.OfInt.Conf.on Image Proc.，2003:433－436.

［25］ROSENFELD A，VANDERBURG G.Coarse－fine template matching［J］.IEEE Trans.Syst.Man.Cyb.，1977(7):104－107.

［26］SHEIKH H R，BOVIK A C.Image information and visual quality［J］.IEEE Transactions on Image Processing，2006:430－444.

［27］MAYACHE A，EUDE T，CHERIFI H.A comparison of image quality models and metrics based on human visual sensitivity［C］.Chicago，Illinois，USA:Proc.of IEEE Int.Conf.on Image Processing，1998:409－413.

［28］SHEIKH H R，BOVIC A C，CORMACK L.Blind quality assesment of JPEG2000 compressed images using natural scene statistics［C］.In Proc.of the Thirty—Seventh Asilomar Conf.on Signals，Systems and Computers，2003:1403－1407.

［29］HEYMANN S，MULLER K，SMOLIC A，et al.Sift implementation and optimizmion for general－purpose gpu［C］.In Proceedings of WSCG，2007:317－322.

［30］COMELIS N L V G.Fast scale invariant feature detection and matching on programmable graphics hardware［C］.Greece:CVPR，2008.

［31］RUSSO F.An image enhancement technique combining sharpening and noise reduction［J］.IEEE Transactions on Instrumentation and Measurement，2002，51(4):824－828.

［32］馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究［J］.北京測繪，2007(3):19－22.