基于視頻碼流的交通標志檢測

2022-01-27 13:39楊京晶李付江張起貴

太原理工大學學報 2022年1期

楊京晶，李付江，張起貴

(太原理工大學信息與計算機學院，太原 030024)

交通標志檢測是在汽車運行過程中和復雜的室外交通環(huán)境下進行的，比一般靜止的圖像檢測更難，主要體現在標志種類繁多、運動模糊、復雜多變的光照 (天氣)條件、背景環(huán)境干擾、拍攝角度使交通標志位置傾斜等問題[1]。

目前交通標志檢測方法主要包括傳統的圖像檢測方法和基于深度學習的交通標志檢測方法。傳統圖像檢測方法如基于色彩空間的檢測方法[2-3]、基于形狀特征的檢測方法[4-6]和采用兩者結合方法[7-11]等，傳統圖像檢測方法容易受環(huán)境影響，無法滿足高精度實時檢測要求；基于深度學習的交通標志檢測方法[12-15]具有較高的檢測精度，因其采用的神經網絡結構復雜，網絡參數眾多，故存在計算復雜度高，難以滿足系統實時性的要求。而實際采集到的數據往往是視頻數據，既包含交通標志空間特征也包含時間特征，上述兩種方法處理的對象都是靜止圖像，只考慮交通標志空間特征，未能很好利用其時間特征。本文提供了一種基于視頻碼流而非像素的交通標志檢測方法，直接利用視頻碼流中碼流特征信息，不需要對視頻碼流完全解碼，避免了在解碼過程中整數IDCT變換、反量化、重構和環(huán)路濾波等耗時的操作。

1 交通標志邊緣檢測

汽車運行過程中拍攝的視頻數據是經過視頻編碼算法壓縮后的數據，目前視頻壓縮適用的國際標準主要有H.264和H.265，國內標準為AVS，它們都采用了基于塊的混合編碼算法。假定視頻碼流采用視頻壓縮標準為H.264，基本塊大小為4×4.在視頻編碼碼流中，對于幀內預測編碼塊而言，幀內預測模式、像素殘差分布情況CBP和像素殘差經過熵編碼后都會寫入碼流。

對交通標志邊緣部分而言，因具有固定形狀和較明顯色彩，與周圍環(huán)境差別明顯，其幀內預測模式多采用4×4塊預測模式，而非16×16塊預測模式；其像素殘差情況CBP值亮度和色度DC直流分量和AC交流分量多數情況不為0，色度AC交流分量基本不為0，其像素殘差值較大，尤其是色度UV殘差值更明顯?？梢酝ㄟ^分析預測模式、像素殘差情況CBP和像素殘差等信息對交通標志進行檢測。

具體的交通標志邊緣檢測步驟如下：

第一步：對視頻碼流幀內預測碼流進行部分解碼，部分解碼后得到宏塊類型和幀內預測模式、量化參數QP、像素殘差分布情況CBP值和像素殘差值，解碼過程中整數IDCT變換、反量化、重構和環(huán)路濾波等耗時的操作不需要完成。

第二步：根據宏塊類型和幀內預測模式判斷該基本塊為交通標志邊緣的概率p1，當幀內預測模式為幀內16×16預測模式時，則設置p1=0；當幀內預測模式為幀內4×4預測模式時，則設置p1=1.

第三步：根據像素殘差分布情況CBP值判斷該基本塊為交通標志邊緣的概率p2.像素殘差分布情況CBP值包含亮度DC系數、亮度AC系數、色度DC系數和色度AC系數是否為0，構建像素殘差分布情況向量a=[a1,a2,a3,a4]，向量包含4個元素a1、a2、a3和a4.DC系數為0設置a1=0，否則設置a1=1；亮度AC系數為0設置a2=0，否則設置a2=1；色度DC系數為0設置a3=0，否則設置a3=1；色度AC系數為0設置a4=0，否則設置a4=1.設置像素殘差分布情況權值向量w1=[0.2,0.2,0.3,0.3]，求此時概率p2

(1)

第四步：求概率p3=p1×p2，當p3<0.5時，判斷該基本塊不為交通標志邊緣部分，否則根據像素殘差值做進一步判斷。

第五步：基本塊殘差值取亮度DC系數絕對值YDC，色度取色度DC系數絕對值UDC、VDC，色度交流系數絕對值求和SUAC，SVAC.根據量化參數分別設置閾值TYDC、TUDC、TVDC、TUAC和TVAC.構建像素殘差值閾值向量b=[b1,b2,b3,b4,b5]，向量包含5個元素b1、b2、b3、b4和b5，其中

b1=YDC/TYDC；b2=UDC/TUDC；
b3=VDC/TVDC；b4=SUAC/TUAC；
b5=SVAC/TVAC.

(2)

設置像素殘差值閾值權值向量w2=[0.12,0.22,0.22,0.22,0.22]，w2各權值求和為1，經實驗色度殘差包含更多交通標志邊緣部分信息，故分配較高權值。求殘差判斷閾值Tre

(3)

第六步：當Tre

通過以上步驟，將圖片所有基本塊進行判斷，判斷其是否為交通標志邊緣部分。

2 交通標志初步檢測

對所有基本塊是否為交通標志邊緣部分判斷后進行二值化處理。如判斷為是交通標志邊緣部分，賦值255，否則賦值0.采用形態(tài)學的開操作進行交通標志噪聲處理，用閉操作重建開操作過程中丟失的邊緣部分信息，得到交通標志集合A.所得交通標志集合存在大量干擾區(qū)域，需要對干擾區(qū)域進行處理。通過交通標志的先驗信息，如交通標志的形狀和底色信息排除干擾區(qū)域。

中國現行的交通標志標準主要有：警告標志、禁令標志、指示標志和指路標志。其形狀為圓形、三角形和矩形，可通過研究這3種形狀的幾何特性來排除干擾項。采用幾何屬性圓形度、矩形度、伸長度對初步檢測的交通標志區(qū)域進行判斷。定義區(qū)域的長和寬分別為H和W，區(qū)域的周長為L，區(qū)域的面積為A，定義區(qū)域圓形度為物體形狀接近圓形的程度，記為C，其表達式為：

(4)

定義區(qū)域的矩形度為對應物體形狀接近矩形的程度R，其表達式為：

(5)

其中，R的取值范圍為[0,1]，矩形物體R的取值為1，圓形物體R的取值為π/4，三角形物體R的取值為0.5.

由于采集的交通標志圖像受到采集角度、外界環(huán)境以及基本塊預處理操作的影響，圖形形狀并不一定規(guī)則，這在一定程度上會影響C和R參數的值。因此，通過對多組拍攝的交通標志圖像進行統計的基礎上，給出了這兩個值的取值范圍圓形標志：C>0.75,R>0.65.

三角形標志：0.45

矩形標志：0.650.75.

當交通標志幾何特性C和R不滿足以上取值范圍，則判定為偽交通標志，進行去除。

根據交通標志A邊緣基本塊的殘差閾值情判斷交通標志A的底色。交通標志底色為藍色，體現到UV殘差值中，其交通標志邊緣部分U殘差值較大；底色為紅色，體現到UV殘差值中，其交通標志邊緣部分V殘差值較大；底色為黃色，體現到UV殘差值中，其交通標志邊緣部分U和V殘差值絕對值求和值較大。假定交通標志A邊緣包含n個4×4基本塊，第i個基本塊色度取色度DC系數絕對值UDC,i和VDC,i，色度交流系數絕對值求和SUAC,i和SVAC,i，藍色判決閾值TBDC和TBAC，紅色判決閾值TRDC和TRAC，黃色判決閾值TYeDC和TYeAC.當UDC,i>TBDC且SUAC，i>TBAC，判斷該交通標志基本塊i底色為藍色；當VDC,i>TRDC且SVAC,i>TRAC，判斷該交通標志基本塊i底色為紅色；當UDC,i和VDC,i絕對值的和超過TYeDC并且SUAC,i和SVAC,i絕對值之和超過TYeAC，判斷該交通標志基本塊i底色為黃色。統計n個4×4基本塊底色為藍色數目m1，且m1>(n-3)時，該交通標志底色為藍色；統計n個4×4基本塊底色為紅色數目m2，且m2>(n-3)時，該交通標志底色為紅色；統計n個4×4基本塊底色為黃色數目m3，且m3>(n-3)時，該交通標志底色為黃色。

當交通標志底色不為藍色、紅色或黃色，則判斷該交通標志為偽交通標志，進行去除。

根據形狀幾何特性判斷的交通標志集和通過交通標志底色判斷去偽操作后，得到初步判斷的交通標志集。

3 交通標志修正檢測

實際視頻序列包含交通標志時間特征，可利用視頻幀間預測編碼碼流信息對交通標志進行修正檢測，通過分析預測模式、像素殘差情況CBP和運動矢量信息對規(guī)則標志檢測進行修正。對于通過幀內預測初步確定的規(guī)則標志而言，采用幀間預測編碼后，因其已經在參考幀出現，故預測模式以16×16預測模式居多，且運動矢量變化較小，不會出現劇烈變化，像素殘差情況CBP值為0居多，尤其是UV殘差。

以交通標志A所在塊中心為搜索起點，向上下左右對5個整像素運動矢量分別進行搜索，搜索與交通標志A最匹配區(qū)域，以運動矢量殘差值絕對值求和為最小值為最佳匹配區(qū)域B.按照H.264解碼順序對視頻碼流幀間預測碼流進行解碼，解碼得到宏塊類型和幀間預測模式、運動矢量殘差值、像素殘差分布情況CBP值后，終止H.264解碼，不需要進行后續(xù)解碼過程中像素殘差解碼、整數IDCT變換、反量化、重構和環(huán)路濾波等耗時的操作。統計交通標志B幀間預測模式概率分布p.當每個4×4基本塊預測模式為SKIP模式或16×16模式，則預測模式值Mi=1，否則Mi=0.假定交通標志B包含n個4×4基本塊，統計交通標志B預測模式概率分布p.

p=∑Mi/n.

(6)

其中，Mi為4×4基本塊預測模式值，n表示交通標志B包含4×4基本數量。當p<0.6時，對交通標志進行修正，此交通標志B為偽交通標志，不是交通標志。當判斷交通標志B不是偽交通標志時，利用運動矢量殘差值對交通標志做進一步判斷。對交通標志B運動矢量殘差值絕對值進行求和SMVD

(7)

式中：RMV,ix為4×4基本塊橫向運動矢量殘差，RMV,iy為4×4基本塊縱向運動矢量殘差，ABS為取絕對值運算。當SMVD>TMVD，對交通標志進行修正，此交通標志B為偽交通標志，不是交通標志。當判斷交通標志B不是偽交通標志時，利用像素殘差分布情況對交通標志做進一步判斷。根據像素殘差分布情況CBP值，統計交通標志B亮度DC系數、亮度AC系數、色度DC系數和色度AC系數是否為0的求和值。

(8)

式中：YDC表示4×4基本塊亮度DC系數情況，不為0時，YDC=1，否則YDC=0；YAC表示4×4基本塊亮度AC系數情況，不為0時，YAC=1，否則YAC=0；ZDC表示4×4基本塊色度DC系數情況，不為0時，ZDC=1，否則ZDC=0；ZAC表示4×4基本塊色度AC系數情況，不為0時，ZAC=1，否則ZAC=0.當SCBP>TCBP，對交通標志進行修正，此交通標志B為偽交通標志，不是交通標志。

通過交通標志預測模式概率分布，矢量殘差值絕對值求和以及像素殘差分布情況CBP值統計情況，對交通標志進行修正。

本文算法整體流程圖如圖1所示。

圖1 算法流程圖Fig.1 Flow chart of algorithm

4 實驗結果及分析

采用GTSRB和CCTSDB數據集進行實驗，測試所提方法的有效性。GTSRB數據集包含39 209幅訓練圖像和12 630幅測試圖像。數據集中的德國交通標志共有43個小類，尺寸從15 pixel×15 pixel到250 pixel×250 pixel.CCTSDB中國交通數據集標注數據有3大類：指示標志、禁止標志、警告標志，包含15 734張圖像。

圖2和圖3是本文算法在不同碼率和不同視頻序列檢測效果圖，其中圖2(a)和圖2(b)分別是CCTSDB數據集中序列號為05880和05882圖片的原圖；圖3(a)和圖3(b)分別是CCTSDB數據集中序列號09200和05922圖片的原圖；圖2(c)和圖3(c)是邊緣檢測后經過二值化處理后的圖，圖2(d)和圖3(d)是經形態(tài)學開/閉操作處理后的圖，圖2(e)和圖3(e)是初步檢測結果圖，圖2(f)和圖3(f)是修正檢測結果圖。從圖2-圖3中可以看出，經過初步檢測后，交通標志很大程度能夠正確檢測，但也存在一些背景被誤檢，如一些規(guī)則圖形和車牌標志等，可以通過修正檢測降低誤檢率。

圖2 碼率為1M的檢測效果對比圖Fig.2 Comparison of experimental results(1M)

圖3 碼率為1.2M的檢測效果對比圖Fig.3 Comparison of experimental results(1.2M)

算法采用的評價指標為檢測率、誤檢率和檢測時間。檢測率=PT/(PT+NF)，誤檢率=PF/(PT+PF).其中，PT表示正確檢測出來的交通標志數量，PF表示背景被檢測為交通標志的數量，NF表示交通標志被檢測為背景的數量。本文算法的檢測情況見表1-表4，其中，表1是GTSRB數據集檢測結果，表2-表4是CCTSDB數據集不同碼率情況下檢測結果。

表1 GTSRB數據集檢測方法比較Table 1 Comparison of detection methods for GTSRB

表2 在碼率為1.2M下的CCTSDB數據集檢測方法比較Table 2 Comparison of detection methods for CCTSDB under bit rate of 1.2M

表3 在碼率為1M下的CCTSDB數據集檢測方法比較Table 3 Comparison of detection methods for CCTSDB under bit rate of 1M

表4 在碼率為700 k下的CCTSDB數據集檢測方法比較Table 4 Comparison of detection methods for CCTSDB under bit rate of 700 k

GTSRB數據集圖像尺寸較小，故檢測耗時較少。GTSRB數據集圖片獨立拍攝，時間相關性弱，故采用修正檢測算法在降低誤檢率時的效果不明顯。CCTSDB數據集采用的是連續(xù)拍攝的畫面，圖片時間相關性強，采用修正檢測算法在平均檢測率降低很少情況下，大大降低了誤檢率，在不同編碼碼率下有較好檢測效果，平均檢測率為96.9%，平均誤檢率為4.3%，平均檢測時間為0.36 s，本文算法更適合于實際視頻拍攝場景。

為了驗證本文方法的有效性，利用文獻[9]檢測方法、文獻[10]檢測方法和本文方法，對CCTSDB數據集1 000幅圖像進行交通標志檢測測試。3種方法的檢測結果如表5所示。

表5 三種方法檢測結果Table 5 Detecting result of three methods

實驗結果表明，本文方法的檢測率分別比文獻[9]方法高0.7%，和文獻[10]方法的檢測率相差不大，但誤檢率比文獻[9]方法和文獻[10]方法分別低3.9%和6.1%，由于采用時間相關性誤檢率有較大降低。平均檢測時間比文獻[9]方法和文獻[10]方法分別低0.06 s和0.12 s，因本文算法直接對碼流進行特征提取，避免了解碼過程中整數IDCT變換、反量化、重構和環(huán)路濾波等耗時的操作。

5 結束語