劉志強，王盈盈，倪 捷，劉 恒

（江蘇大學(xué) 汽車與交通工程學(xué)院，江蘇 鎮(zhèn)江 212013）

1 引言

汽車的安全問題已經(jīng)得到全世界的高度關(guān)注。目前汽車上一般采用單個傳感器（雷達或機器視覺）檢測周圍障礙物，不能滿足車輛前方障礙物檢測的可靠性要求和復(fù)雜環(huán)境條件下的適應(yīng)性要求，容易產(chǎn)生漏警、誤警或冗余報警[1]，這樣駕駛員就會忽略提醒，等到發(fā)生危險時又不能夠及時采取措施。

車輛前方障礙物檢測需要傳感器具有很高的性能。雷達能夠很好的感知車輛前方環(huán)境的深度，但容易受到其他物體的干擾。機器視覺獲取信息量大，對物體的顏色和紋理有較好的解析能力。因此通過運用毫米波雷達與攝像機綜合檢測并采用信息融合[2]技術(shù)，實現(xiàn)信息的優(yōu)勢互補，提高系統(tǒng)的可靠性和穩(wěn)定性，減少單個傳感器可靠性差、有效檢測范圍小等不足[3]。

2 概述

利用毫米波雷達檢測前方障礙物到自身車輛的距離，并將此距離與行車安全距離進行比較，初選出有效目標(biāo)物。建立數(shù)據(jù)融合模型，將獲得的前方目標(biāo)信息傳遞到攝像機采集圖像上，利用OpenCV庫函數(shù)及其算法對攝像機獲取的圖像進行處理，包括灰度化、二值化等[4]，從而檢測障礙物輪廓信息，并且能夠識別出障礙物。接著檢測障礙物底部陰影的特征，并建立感興趣區(qū)域，從而判斷是否為車輛類障礙物。

同時攝像機也獲取前方障礙物的行駛速度，與毫米波雷達獲取前方障礙物的速度作為信息融合的狀態(tài)變量X^。通過搭建毫米波雷達與攝像機數(shù)據(jù)融合模型，將毫米波雷達與攝像機進行信息融合，共同檢測前方車輛障礙物。

3 基于毫米波雷達的有效目標(biāo)確定

在車輛行駛過程中，毫米波雷達檢測到的可能是目標(biāo)車輛，也可能是其他虛假干擾物。另外，車輛在運行時產(chǎn)生顛簸和晃動，會使得檢測信號突然消失，采集信息也隨之產(chǎn)生波動。所以，需要對毫米波雷達測量信息進行處理，從而盡可能準(zhǔn)確獲取有效目標(biāo)。

為了能夠快速準(zhǔn)確獲取有效目標(biāo)，需要設(shè)定搜索范圍，并對毫米波雷達探測到的目標(biāo)進行篩選。建立車輛行駛坐標(biāo)系[5]，X軸為自車行駛的方向，Y軸與之垂直。

一般情況下，目標(biāo)物距離越近就越危險。因此，將毫米波雷達所能獲取的距離最小的物體作為可能最危險的目標(biāo)，即：

式中：X—毫米波雷達獲得的自車到障礙物之間的距離；Xmin—毫米波雷達獲得障礙物的最小距離。

利用本車與附近障礙物之間的橫向距離來判斷兩者是否處在同一車道內(nèi)，即：

式中：y0—自車相對于其他障礙物之間橫向距離的閾值；y—通過毫米波雷達測得的自車和障礙物之間的橫向距離。

根據(jù)道路技術(shù)規(guī)范，國內(nèi)車道一般寬3．75m，綜合考慮y0選擇2m。

4 基于機器視覺的障礙物識別

4.1 障礙物的識別

將毫米波雷達獲取的障礙物相關(guān)信息傳遞至攝像機，如圖1所示。利用OpenCV庫里的函數(shù)及相應(yīng)算法對圖像進行灰度化、二值化、邊緣提取等一系列處理，可以得到障礙物輪廓信息，識別出障礙物。

圖1 攝像機檢測到的圖像Fig．1 The Image Detected by Camera

4.2 車輛障礙物的判定

在不同環(huán)境中，不管車輛是否有大小、形狀或顏色上的區(qū)別，車輛底部都存在陰影，而且陰影部分的灰度值總比周圍路面區(qū)域要小。因此只需對障礙物底部的陰影特征進行分析，并建立感興趣區(qū)域，確立車輛目標(biāo)的存在區(qū)域，從而可以識別出是否為車輛障礙物。

車底陰影分割可以通過局部灰度統(tǒng)計的閾值改進算法實現(xiàn)[6]，算法如下：

在道路有效區(qū)域內(nèi)，按照從近到遠選取六個大小相同的局部區(qū)域，如圖2所示。并分別對每個局部區(qū)域的灰度值進行統(tǒng)計，接著求得各個局部區(qū)域的灰度均值μi和方差σi。依據(jù)大量實驗統(tǒng)計，為了表示路面灰度信息，局部區(qū)域σ值不能大于100，因此在處理過程中首先將該局部區(qū)域剔除。

圖2 局部區(qū)域選取Fig．2 Local Areas Selection

根據(jù)式（3）計算出N（N≤6）個區(qū)域的灰度均值μ和方差σ。

一般情況下，路面灰度f（x，y）的范圍為μ-3σ＜f（x，y）＜μ+3σ。

因為路面灰度值總是比車底陰影灰度值大，可選取路面最小灰度值對車底陰影進行閾值分割，即T=μ-3σ。

以T為閾值對圖像二值化處理，結(jié)果g（x，y）如下：

將提出的算法作用于圖2，結(jié)果如圖3所示。表1顯示的是圖2中各局部區(qū)域及路面的灰度均值μi和方差σi。

表1 圖2中各區(qū)域的灰度均值與方差Tab.1 Grayscale Average and Variance of Regions in Fig.2

由表1可以看出，圖2中各局部區(qū)域的方差均小于100，都滿足要求，因此可直接計算分割閾值，計算結(jié)果為32。分割后的路面有效區(qū)域圖像，如圖3所示。

圖3 閾值分割圖像Fig．3 Threshold Segmentation Image

對車底陰影分割后，顯示陰影區(qū)域。這些陰影區(qū)域包括車底陰影，也包括車體本身或外界環(huán)境，也就是說陰影區(qū)域是可能存在車輛的區(qū)域。接下來確認(rèn)存在車輛障礙物，可在陰影特征區(qū)域建立矩形框，稱為感興趣區(qū)域（Region of Interest），結(jié)果如圖4所示。圖中可以明顯看出：所建立的感興趣區(qū)域為車輛障礙物所在區(qū)域，這樣就確立了存在車輛目標(biāo)的區(qū)域，從而可以檢測出是否為車輛障礙物。

圖4 感興趣區(qū)域的建立Fig．4 Establishment of ROI

5 基于聯(lián)合卡爾曼濾波的車輛障礙物檢測

實現(xiàn)毫米波雷達與攝像機信息融合最重要的內(nèi)容就是兩者的數(shù)據(jù)融合，也是整個系統(tǒng)獲取準(zhǔn)確信息的關(guān)鍵。兩者進行數(shù)據(jù)融合包含兩個方面：空間融合和時間融合[7]。

5.1 空間上數(shù)據(jù)融合

建立車輛行駛坐標(biāo)系物點P（xv，yv，zv）與圖像坐標(biāo)系像點P（u，v）的轉(zhuǎn)換關(guān)系，數(shù)據(jù)融合模型為：

式中：K—攝像機內(nèi)部參數(shù)矩陣；Rc—攝像頭外部參數(shù)旋轉(zhuǎn)矩陣；Tc—攝像頭外部參數(shù)平移向量；fx、fy—x和y方向的等效焦距；u0、v0—圖像像素中心坐標(biāo)。其中K的表達式為：

通過上述轉(zhuǎn)換完成空間上的數(shù)據(jù)融合，毫米波雷達、攝像機、圖像像素和車輛行駛四個坐標(biāo)系能夠統(tǒng)一起來，使得系統(tǒng)的計算時間減少、實時性提高。另外綜合了攝像機與毫米波雷達各自的優(yōu)點，增強了系統(tǒng)的魯棒性，降低了檢測的誤警率及冗余報警率。

5.2 時間上數(shù)據(jù)融合

傳感器不同，采樣頻率也就不同，因此采集到的信息很可能不是同一時刻。傳感器時間上的數(shù)據(jù)融合是要讓傳感器數(shù)據(jù)能夠在時間上同步，可以通過線程同步的方式完成。當(dāng)攝像機檢測每一幀圖像的同時獲取同一時刻毫米波雷達獲取的數(shù)據(jù)，兩者的數(shù)據(jù)便達到時間同步。

針對毫米波雷達與攝像機不同類以及不同步等問題，完成聯(lián)合標(biāo)定工作，實現(xiàn)了兩者所獲數(shù)據(jù)的空間標(biāo)定與時間同步工作。

5.3 聯(lián)合卡爾曼濾波算法

聯(lián)合卡爾曼濾波是包含分配過程的數(shù)據(jù)處理方式。各個卡爾曼濾波器與各自的傳感器相對應(yīng)，即各個子濾波器，它們同時工作，獲得各部分最佳估計，最后主濾波器在此基礎(chǔ)上綜合處理，對濾波結(jié)果信息融合，從而獲得系統(tǒng)的整體估計[8]。

以前方障礙物的行駛速度作為信息融合的狀態(tài)變量X^[9]，將毫米波雷達與攝像機各自獲取的前方障礙物的速度通過聯(lián)合卡爾曼濾波器實現(xiàn)信息融合，并將融合后的速度與障礙物的真實速度進行比較。

線性定常多傳感器系統(tǒng)一般采用離散形式描述，具體如下：

式中：X（k）—在k時刻障礙物的狀態(tài)向量；Φ（k）—狀態(tài)轉(zhuǎn)移矩陣；G（k）—噪聲驅(qū)動矩陣；W（k）—過程噪聲，并是具有零均值和正定協(xié)方差矩陣的高斯噪聲向量。

由于需要毫米波雷達和攝像機這兩個傳感器，那么就應(yīng)該有兩個子濾波器，每個子濾波器能夠單獨濾波。第i（i取1，2）個局部濾波器的模型為：

對于車輛前方障礙物檢測系統(tǒng)，子濾波器按照觀測量對局部進行最佳估計，就是通過卡爾曼濾波器估計局部狀態(tài)。卡爾曼濾波器包括：時間更新方程和測量更新方程。

式中：X^—無偏最小方差估計；Pi—誤差協(xié)方差[10]。

6 試驗

選用美國Delphi 76-77GHz的ESR電子掃描毫米波雷達和IFV250智能攝像機。

毫米波雷達和攝像機經(jīng)過空間上和時間上融合之后結(jié)果，如圖5所示?？臻g上，毫米波雷達、攝像機、圖像像素及車輛四者的坐標(biāo)系得到了一致；時間上，毫米波雷達和攝像機兩者數(shù)據(jù)也得到了同步。

圖5 數(shù)據(jù)融合Fig.5 The Data Fusion

在MATLAB中對聯(lián)合卡爾曼濾波融合算法進行仿真。該系統(tǒng)的狀態(tài)方程為：

式中：i=1，2；k=1，2，…100。

過程和測量噪聲相互獨立，且都是零均值高斯噪聲，過程噪聲方差為1，測量噪聲方差為4。假設(shè)障礙物以13m/s的速度勻速運動。融合結(jié)果，如圖6所示。

圖6 融合結(jié)果Fig.6 The Fusion Result

圖6中可以看出，毫米波雷達和攝像機檢測到的前方障礙物的行駛速度通過聯(lián)合卡爾曼濾波算法信息融合之后，融合值更趨近于障礙物的真實速度，而且隨著時間而逐漸平穩(wěn)。

7 結(jié)論

將毫米波雷達與攝像機信息融合，可以很好地實現(xiàn)傳感器的優(yōu)勢互補，使融合后的結(jié)果更加準(zhǔn)確，提高了前方障礙物系統(tǒng)的檢測精度，減少了誤警和冗余報警現(xiàn)象。（1）將毫米波雷達獲取的前方有效目標(biāo)信息傳遞給攝像機，對采集到的圖像進行處理，獲取物體輪廓信息，識別出障礙物，驗證雷達目標(biāo)并確定其具體位置。（2）通過對障礙物底部的陰影特征進行分析，并建立感興趣區(qū)域，能夠確立存在車輛目標(biāo)的區(qū)域，從而確切的檢測出前方障礙物是否為車輛障礙物。（3）利用數(shù)據(jù)融合模型解決了毫米波雷達和攝像機坐標(biāo)統(tǒng)一問題和時間同步問題。在此基礎(chǔ)上，通過聯(lián)合卡爾曼濾波算法對兩者進行信息融合，提高了系統(tǒng)的精確度，使得車輛前方障礙物檢測系統(tǒng)具有良好的實時性和魯棒性。