朱澤堯 胡慶武 王 玥 艾明耀

(武漢大學(xué)遙感信息工程學(xué)院 武漢 430000)

0 引 言

智能交通系統(tǒng)(ITS)是一個(gè)可以準(zhǔn)時(shí)、準(zhǔn)確、高效運(yùn)行的交通運(yùn)輸管理體系[1-2]，其中交通流實(shí)時(shí)監(jiān)控是ITS的關(guān)鍵.利用固定在道路上的地磁線圈、攝像機(jī)等傳感器計(jì)算通過(guò)傳感器監(jiān)視范圍的車輛信息可進(jìn)行道路斷面車輛檢測(cè)[3-4].但傳感器使用和維護(hù)成本高昂，受制于傳感器的斷面單點(diǎn)檢測(cè)[5]的空間覆蓋有限，很難滿足城市級(jí)別的交通流監(jiān)控.近年來(lái)，越來(lái)越多的商業(yè)對(duì)地觀測(cè)視頻衛(wèi)星在軌運(yùn)行，包括美國(guó)SkySat-1,2、中國(guó)吉林1號(hào)視頻衛(wèi)星等.與傳統(tǒng)地球觀測(cè)衛(wèi)星和地面車輛監(jiān)控視頻相比，視頻衛(wèi)星能夠?qū)χ付▍^(qū)域的大范圍“凝視”觀測(cè)，可實(shí)現(xiàn)對(duì)觀測(cè)場(chǎng)景的大范圍動(dòng)態(tài)監(jiān)測(cè)，從而可以以高空間、高時(shí)間分辨率實(shí)時(shí)檢測(cè)交通狀況[6]，在廣域監(jiān)測(cè)領(lǐng)域具有巨大的潛力和優(yōu)勢(shì)，已經(jīng)成為一種新型智能交通管理手段.

基于交通監(jiān)控視頻檢測(cè)車輛運(yùn)動(dòng)法包括背景差分法、幀間差法和光流法.王永超[7]利用自適應(yīng)閾值方法，結(jié)合顏色和邊緣信息針對(duì)場(chǎng)景光照變化和靜止物體改變運(yùn)動(dòng)狀態(tài)等情形，對(duì)背景差分法進(jìn)行改進(jìn).何烈云[8]在幀差法進(jìn)行車輛檢測(cè)的基礎(chǔ)上，運(yùn)用視頻處理技術(shù).天基虛擬參照物，提高車速測(cè)算精度.曾黃麟[9]將幀差法和光流法融合，用幀差法檢測(cè)運(yùn)動(dòng)區(qū)域，再利用差分影像的光流場(chǎng)進(jìn)行運(yùn)動(dòng)車輛跟蹤.劉國(guó)英[10]提出了一種二次幀差背景建模方法，利用連續(xù)幀差檢測(cè)靜態(tài)像素點(diǎn)，利用這些像素點(diǎn)構(gòu)建背景，最后基于動(dòng)態(tài)特征對(duì)車輛進(jìn)行追蹤.韓建峰[11]將灌流法與分水嶺算法相結(jié)合，對(duì)前景產(chǎn)生的車輛粘連情況采用改進(jìn)分水嶺算法完成分割.Davis[12]根據(jù)獲取大量車輛和周圍環(huán)境的顏色、坡度和結(jié)構(gòu)特性建立一個(gè)特征集，通過(guò)部分最小二乘分析對(duì)高維特征空間進(jìn)行降維，并根據(jù)多級(jí)多分辨率策略加速建立特征集.Baligar[13]完全基于車輛的顏色特征進(jìn)行檢測(cè).Beyerer[14]借助Faster R-CNN深度學(xué)習(xí)框架挖掘車輛的非語(yǔ)義特征.以上車輛運(yùn)動(dòng)檢測(cè)方法通常使用基于特征方法對(duì)視頻上中等尺寸車輛進(jìn)行識(shí)別，但受到空間分辨率限制，衛(wèi)星視頻影像上的車輛一般只占幾個(gè)到幾十個(gè)像元，并且車輛和背景道路之間的對(duì)比度較低，使得基于地面高清視頻車輛檢測(cè)算法無(wú)法適用于視頻衛(wèi)星影像車輛檢測(cè).

視覺背景提取算法(visual background extraction，ViBe)是由Droogenbroeck[15]提出的一種像素級(jí)視頻背景建?；蚯熬皺z測(cè)算法，具有較好的魯棒性和較高的檢測(cè)效率.它在不同環(huán)境下表現(xiàn)出良好的適應(yīng)性和實(shí)時(shí)性.本文提出了一種基于吉林一號(hào)視頻衛(wèi)星影像和ViBe算法的實(shí)時(shí)車輛跟蹤方法，通過(guò)對(duì)吉林一號(hào)視頻星的原始視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到適用于車輛檢測(cè)的影像幀序列，使用ViBe算法進(jìn)行運(yùn)動(dòng)車輛檢測(cè)，在道路約束下提取車輛位置、輪廓等信息.在此基礎(chǔ)上利用車輛的形狀和運(yùn)動(dòng)混合特征進(jìn)行車輛跟蹤，獲取車輛的運(yùn)動(dòng)軌跡并計(jì)算車速交通參數(shù)，實(shí)現(xiàn)對(duì)城市廣域范圍交通流同步凝視監(jiān)測(cè).

1 方 法

文中提出的視頻衛(wèi)星車輛跟蹤方法針對(duì)視頻衛(wèi)星的凝視特征，通過(guò)ViBe從視頻衛(wèi)星影像幀中可靠提取車輛，以連續(xù)視頻幀影像進(jìn)行車輛跟蹤和車輛速度計(jì)算，進(jìn)而實(shí)現(xiàn)對(duì)車輛跟蹤監(jiān)控，其算法流程見圖1.

圖1 方法流程

文中提出的視頻衛(wèi)星車輛跟蹤算法主要包括四個(gè)步驟：①衛(wèi)星視頻數(shù)據(jù)的預(yù)處理；②基于ViBe算法的衛(wèi)星視頻車輛檢測(cè)；③視頻影像上檢測(cè)車輛跟蹤；④車輛速度計(jì)算.通過(guò)預(yù)處理，分離道路信息，利用ViBe算法對(duì)運(yùn)動(dòng)車輛進(jìn)行檢測(cè).在得到檢測(cè)結(jié)果后，提出了一種序貫車輛跟蹤算法，實(shí)現(xiàn)對(duì)車速計(jì)算，通過(guò)實(shí)際視頻衛(wèi)星數(shù)據(jù)驗(yàn)證了本文方法的可行性和有效性.

1.1 視頻衛(wèi)星數(shù)據(jù)預(yù)處理

針對(duì)視頻衛(wèi)星數(shù)據(jù)特質(zhì)，對(duì)原始視頻衛(wèi)星數(shù)據(jù)預(yù)處理步驟如下.

步驟1視頻衛(wèi)星抽幀 抽幀需要綜合考慮視頻衛(wèi)星影像分辨率和車輛平均速度，吉林一號(hào)視頻衛(wèi)星影像分辨率為0.8 m，對(duì)車輛在衛(wèi)星圖像上估算運(yùn)動(dòng)速度為3～12像素/s，本文以0.5 s時(shí)間間隔提取幀影像.

步驟2車輛檢測(cè)ROI區(qū)域設(shè)定 為了降低錯(cuò)檢率并提高處理效率，以道路矢量圖層設(shè)定一定緩沖區(qū)建立視頻衛(wèi)星車輛檢測(cè)ROI區(qū)域，見圖2.

圖2 車輛檢測(cè)ROI區(qū)域

步驟3隨機(jī)噪聲濾波 衛(wèi)星視頻采集和傳輸過(guò)程中，不可避免產(chǎn)生噪聲.受限于成像分辨率，車輛在影像上表現(xiàn)為10像素左右，與噪聲大小相近.不加處理時(shí)，隨機(jī)噪聲容易造成虛假運(yùn)動(dòng)信息.本文采用高斯濾波去除隨機(jī)噪聲，卷積模板為3×3.

1.2 改進(jìn)的ViBe運(yùn)動(dòng)車輛檢測(cè)

從視頻衛(wèi)星影像上運(yùn)動(dòng)車輛檢測(cè)的ViBe算法步驟如下.

步驟1背景模型的建立 ViBe算法一個(gè)重要特點(diǎn)是采用單證影像進(jìn)行模型初始化，對(duì)每一個(gè)像素x建立一個(gè)樣本集M′(x)={V1,…,Vn}作為背景模型，背景模型的初始化過(guò)程就是對(duì)像素的樣本集進(jìn)行填充，為

M′(x)={V′(y|y∈N(x))}

(1)

式(1)為時(shí)刻t像素x的背景模型；N(x)為x的鄰域.

步驟2前后景劃分 記SR(x)為像素x在色彩空間中以V(x)為圓心的一個(gè)半徑為R的圓；計(jì)算像素x背景模型中樣本像素和V(x)的歐氏距離，統(tǒng)計(jì)背景樣本落在圓內(nèi)的個(gè)數(shù)#(SR(V(x)∩{V1,…,VN}))，當(dāng)個(gè)數(shù)大于閾值#min時(shí)，認(rèn)為當(dāng)前像素屬于背景，否則歸為前景，為

If #(SR(V(x)∩{V1,…,VN}))≥#min

x=background

elsex=foreground

(2)

步驟3前后景劃分形態(tài)學(xué)車輛檢測(cè) 運(yùn)動(dòng)檢測(cè)實(shí)質(zhì)是確定影像上的運(yùn)動(dòng)區(qū)域，得到前景和后景的二分圖像，通過(guò)形態(tài)學(xué)算子進(jìn)行后處理，分離各個(gè)運(yùn)動(dòng)車輛并得到相應(yīng)位置和形狀信息.本文用最小外接矩形對(duì)分離后的運(yùn)動(dòng)車輛進(jìn)行框定，以最小外接矩形的中心坐標(biāo)作為車輛的位置坐標(biāo)，最小外接矩形的長(zhǎng)寬比和周長(zhǎng)作為車輛的形狀信息.車輛Vi的特征為(xVi,yvi,rationVi,areavi)，分別指車輛Vi最小外接矩形中心坐標(biāo)、長(zhǎng)寬比和車輛所占面積.

步驟4二次幀間差快速消除鬼影 背景模型初始化時(shí)，背景包含運(yùn)動(dòng)目標(biāo)，可能會(huì)導(dǎo)致前景圖中出現(xiàn)鬼影.ViBe背景更新策略去除鬼影較慢，幀間差法可以快速確定運(yùn)動(dòng)區(qū)域.基于此特征，文中對(duì)相鄰幀做幀差法得到前景圖，與ViBe算法得到前景圖進(jìn)行與運(yùn)算，快速消除鬼影區(qū)域.m1為當(dāng)前待處理影像，m0,m2為m1的前一幀和后一幀影像.對(duì)m0,m1和m1,m2執(zhí)行幀間差得到前景圖n0,n1,n2為通過(guò)ViBe算法得到的前景圖.將幀差法和ViBe算法得到的檢測(cè)結(jié)果進(jìn)行與操作，已實(shí)現(xiàn)快速去除鬼影區(qū)域.考慮到存在車輛重疊情況且在短時(shí)間車輛被視作勻速直線運(yùn)動(dòng)，m0,m1和m1,m2的時(shí)間間隔不同.

n3=(n0∪n1)∩n2

(3)

1.3 衛(wèi)星視頻車輛跟蹤

車輛檢測(cè)結(jié)果中存在錯(cuò)誤檢測(cè)，通過(guò)車輛跟蹤獲取車輛運(yùn)動(dòng)軌跡，進(jìn)而利用車輛運(yùn)動(dòng)信息進(jìn)行二次濾波，提高檢測(cè)的正確率.車輛跟蹤的實(shí)質(zhì)是對(duì)于每一幀檢測(cè)得到的車輛和下一幀的檢測(cè)結(jié)果進(jìn)行匹配，根據(jù)匹配結(jié)果得到該車輛的運(yùn)動(dòng)軌跡.本文提出一種形狀和運(yùn)動(dòng)混合特征的車輛跟蹤方法(見圖3)，其基于如下設(shè)定：對(duì)于真實(shí)的運(yùn)動(dòng)車輛，它的運(yùn)動(dòng)軌跡應(yīng)該是連續(xù)的，并且在一個(gè)短時(shí)間域內(nèi)可以視作是一條直線.

圖3 單個(gè)車輛跟蹤算法

文中提出一種形狀和運(yùn)動(dòng)混合特征的車輛跟蹤方法主要包括基于車輛形狀的初匹配和基于車輛運(yùn)動(dòng)特征的軌跡跟蹤兩個(gè)部分.在對(duì)同一目標(biāo)車輛跟蹤完成后，重復(fù)進(jìn)行下一目標(biāo)的跟蹤，循環(huán)完成所有車輛的跟蹤.

1)基于車輛形狀的初匹配 每一真實(shí)車輛在影像序列上對(duì)應(yīng)一條運(yùn)動(dòng)軌跡，不同幀間的位移對(duì)應(yīng)軌跡上的一段，因此將每一幀影像上的車輛分為兩種狀態(tài)，為

n=1,2，…,N

(4)

對(duì)于state=-1的車輛(及未確定所在軌跡車輛)，通過(guò)形狀特征在下一幀影像上尋找匹配的車輛，根據(jù)對(duì)應(yīng)車輛在兩幀影像上位置，建立初始運(yùn)動(dòng)軌跡.按照式(5)進(jìn)行車輛匹配.

match(V1,V2)=

(5)

式中：area(V1)為車輛V1所占面積；ratio(V1)為車輛V1最小外接矩形框的長(zhǎng)寬比；相鄰兩幀之間，面積和長(zhǎng)寬比分別小于閾值T1,T2的車輛將被視作同一車輛.

(6)

車輛跟蹤環(huán)節(jié)在相鄰幀影像間進(jìn)行搜索匹配車輛時(shí)，存在建筑物陰影、高架橋、隧道遮擋和車輛漏檢情況，會(huì)導(dǎo)致車輛跟丟.因此，本文建立了一個(gè)車輛預(yù)測(cè)函數(shù)，當(dāng)前車輛在下一幀影像中沒有找到符合條件的匹配目標(biāo)，則當(dāng)前車輛在后nFrame幀影像上位置的預(yù)測(cè)值為

(7)

式中：(xi,yi)為車輛在第幀上的位置坐標(biāo)；(xPrei+nFrame,yPrei+nFrame)為車輛預(yù)測(cè)得到的在i+nFrame幀上的位置坐標(biāo)；dis和ori為車輛最新一段軌跡距離和方向.當(dāng)出現(xiàn)車輛跟丟的情況時(shí)，根據(jù)預(yù)測(cè)函數(shù)計(jì)算車輛在后nFrame幀影像上位置，將和預(yù)測(cè)位置最近的相似目標(biāo)判斷為同一車輛，并更新車輛對(duì)應(yīng)的運(yùn)動(dòng)軌跡.

1.4 運(yùn)動(dòng)車輛車速計(jì)算

得到的車輛運(yùn)動(dòng)軌跡后，可以確定車輛在每一幀上的位置.利用車輛對(duì)應(yīng)像素在不同間的移動(dòng)距離、衛(wèi)星視頻空間分辨率和幀序列的時(shí)間間隔，為

resolution*3.6 km/h

(8)

式中：n1(x,y),n2(x,y)為車輛Vi在n1,n2幀影像上的位置；dt為相鄰幀時(shí)間間隔；resolution為影像的空間分辨率.

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用2017年4月拍攝的中國(guó)天津地區(qū)的吉林一號(hào)視頻影像數(shù)據(jù).吉林一號(hào)衛(wèi)星組包括一顆光學(xué)遙感衛(wèi)星、兩顆視頻衛(wèi)星和一顆技術(shù)驗(yàn)證衛(wèi)星，衛(wèi)星軌道均為高約650 km的太陽(yáng)同步軌道，其中視頻星獲取的影像空間分辨率達(dá)1.12 m[16]，成像方式為凝視成像，具體參數(shù)見表1.

表1 “吉林一號(hào)”視頻星數(shù)據(jù)

為了定量評(píng)價(jià)車輛檢測(cè)方法優(yōu)劣，使用以下兩個(gè)指標(biāo)評(píng)價(jià)檢測(cè)質(zhì)量：Completeness,Correctness.計(jì)算方法為

Completeness=TP/(TP+FP)

Correctness=TP/(TP+FN)

(8)

式中：TP為被正確檢測(cè)到的車輛；FN為未被檢測(cè)到的車輛；FP為誤判為車輛的其他區(qū)域.

2.2 實(shí)驗(yàn)結(jié)果分析

1)運(yùn)動(dòng)車輛檢測(cè) 選取衛(wèi)星視頻影像上天津火車站高架附近的道路進(jìn)行運(yùn)動(dòng)車輛跟蹤實(shí)驗(yàn)，將本文ViBe算法與經(jīng)典的背景差分法和三幀差法進(jìn)行對(duì)比，其中背景差分法選取前10幀影像，采用幀平均法建立背景，三幀差法采用二維交叉熵閾值對(duì)運(yùn)動(dòng)檢測(cè)結(jié)果進(jìn)行分割.在得到運(yùn)動(dòng)前景圖后，考慮到車輛在影像上面積，對(duì)單連通區(qū)域大于25像素的前景塊進(jìn)行剔除.背景差分法存在一定數(shù)量的殘余車輛，在車輛密集區(qū)域，背景道路被車身遮擋，無(wú)法區(qū)分前景和背景導(dǎo)致誤判，而ViBe算法檢測(cè)誤判優(yōu)于傳統(tǒng)的背景差分法.特別是在車流密集的地方，ViBe算法在識(shí)別運(yùn)動(dòng)車輛時(shí)表現(xiàn)出更穩(wěn)健的檢測(cè)性能.

進(jìn)一步根據(jù)以下準(zhǔn)則定量計(jì)算檢測(cè)結(jié)果：對(duì)于用最小外接矩形框定的區(qū)域，有多個(gè)像元與實(shí)際運(yùn)動(dòng)車輛重疊，那么就被判斷為正確檢測(cè)(TP)，否則歸為錯(cuò)誤檢測(cè)(FP)；FN指的是沒有被識(shí)別的車輛.表2～3為不同區(qū)域算法的結(jié)果對(duì)比.

表2 第300幀影像上車輛密集區(qū)域檢測(cè)結(jié)果對(duì)比

表3 第300幀影像上車輛稀疏區(qū)域檢測(cè)結(jié)果對(duì)比

由表2～3可知，ViBe算法車輛檢測(cè)無(wú)論是在車輛密集區(qū)域還是稀疏區(qū)域均優(yōu)于傳統(tǒng)的背景差分算法，在車輛密集區(qū)域，傳統(tǒng)背景差分法檢測(cè)正確率低于50%，而Vibe算法處于80%左右；對(duì)于車輛稀疏區(qū)域，Vibe算法正確率和完好率均在90%以上.

2)運(yùn)動(dòng)車輛跟蹤及車速計(jì)算結(jié)果 圖4～5為本文方法車輛跟蹤結(jié)果，不同顏色線表示不同車輛運(yùn)動(dòng)軌跡.可以看到車輛軌跡限制在車道范圍內(nèi)，軌跡方向基本和道路一致，車輛轉(zhuǎn)彎等非直線運(yùn)動(dòng)情況也能夠很好的檢測(cè).在非車輛密集區(qū)域，運(yùn)動(dòng)軌跡和道路邊界形狀符合的很好，位置相近的運(yùn)動(dòng)車輛的軌跡相似.但由于同一車輛得到的運(yùn)動(dòng)軌跡的準(zhǔn)確性取決于基于形狀的估計(jì)初始化，在車輛密集區(qū)域，基于形狀特征進(jìn)行匹配的精度不高，會(huì)出現(xiàn)錯(cuò)誤的車輛軌跡.

圖4 部分區(qū)域車輛跟蹤結(jié)果

圖5 遮擋區(qū)域利用預(yù)測(cè)函數(shù)處理前后單車輛跟蹤結(jié)果

在一段時(shí)間內(nèi)道路上的車輛行駛平均速度可以直觀反映交通路況，以此制定合理的交通規(guī)劃.表4萬(wàn)根據(jù)車輛跟蹤軌跡計(jì)算得到的部分車輛速度數(shù)據(jù).

表4 部分車輛在衛(wèi)星視頻拍攝時(shí)間段的平均速度

由表4可知，采用視頻衛(wèi)星跟蹤車輛計(jì)算的平均速度在40～70 km/h，與高架區(qū)域車速限制在80 km/h下相符，因此，利用視頻衛(wèi)星數(shù)據(jù)可計(jì)算車輛運(yùn)動(dòng)速度.進(jìn)一步統(tǒng)計(jì)648個(gè)檢測(cè)車輛在20 s范圍內(nèi)的平均速度分布，見表5.

表5 跟蹤車輛平均速度分布

由表5可知，平均車速集中在30～60 km/h，少數(shù)車輛超過(guò)限速，說(shuō)明得到的車輛平均時(shí)速是符合實(shí)際情況，也進(jìn)一步論證了利用衛(wèi)星影像進(jìn)行車輛跟蹤從而進(jìn)行大范圍城市交通狀況監(jiān)測(cè)是可行的.

3 結(jié) 束 語(yǔ)

遙感衛(wèi)星獲取影像視頻憑借全天候、大范圍的特點(diǎn)，使得在城市廣域范圍內(nèi)進(jìn)行車輛檢測(cè)和交通狀況監(jiān)測(cè)成為可能.本文以吉林一號(hào)視頻衛(wèi)星為例，提出了基于視頻衛(wèi)星數(shù)據(jù)進(jìn)行車輛檢測(cè)和動(dòng)態(tài)跟蹤方法，可瞬時(shí)計(jì)算城市廣域范圍內(nèi)車輛數(shù)量、運(yùn)動(dòng)軌跡、車輛運(yùn)動(dòng)速度等信息，為城市智能交通系統(tǒng)建設(shè)提供了一種高時(shí)間、高空間分辨率、大范圍的在線交通監(jiān)測(cè)手段，具有廣泛的應(yīng)用潛力.隨著衛(wèi)星視頻的分辨率將進(jìn)一步的提高，運(yùn)動(dòng)車輛在影像上的表現(xiàn)更精確，視頻衛(wèi)星在智慧交通領(lǐng)域具有廣泛的應(yīng)用前景.