曹立波，向國梁，張樂祺，廖家才，王秋麗

（湖南大學(xué) 汽車車身先進設(shè)計制造國家重點實驗室，長沙 410082）

先進駕駛輔助系統(tǒng)（Advanced Driver Assistance System，ADAS）是目前汽車安全領(lǐng)域的研究熱點。在ADAS中，采用基于視覺的方法進行行人檢測的缺點是只能對攝像頭視野范圍內(nèi)的無遮擋行人進行檢測，而很多行人碰撞事故的發(fā)生正是由于駕駛員或攝像機受到局部或者全部遮擋時無法及時發(fā)現(xiàn)前方行人造成的，同時攝像頭工作環(huán)境易受天氣影響，在極端天氣下無法工作，導(dǎo)致基于視覺的主動安全設(shè)備的適應(yīng)性比較差。近年來，隨著無線通信技術(shù)的發(fā)展，車用無線通信（Vehicle to Everything，V-X）技術(shù)的應(yīng)用可降低交通事故發(fā)生率或避免此類碰撞交通事故的發(fā)生。

行人檢測是計算機視覺比較有挑戰(zhàn)性的問題，基于HOG + SVM的行人檢測算法[1]，采用了滑動窗口技術(shù)，對每一個窗口進行前景和背景的二分類，并對圖像進行縮放?；贖OG特征擴展出來的HOG+AdaBoost方法[2]進行了分類器級聯(lián)，通過強分類器排除沒有人的候選區(qū)域以加快檢測速度。針對行人檢測中的遮擋問題，DPM+ latent SVM方法采用部件檢測進行優(yōu)化[3]。深度卷積神經(jīng)網(wǎng)絡(luò)在目標檢測算法方面取得了巨大突破[4]，以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regions with CNN，RCNN）為代表的Fast-RCNN、Faster-RCNN等系列網(wǎng)絡(luò)，在行人檢測任務(wù)上取得了較好的檢測效果，但在速度方面仍有不足[5-6]。REDMON等[7-8]基于深度卷積神經(jīng)網(wǎng)絡(luò)提出單次檢測框架（YOLO系列框架），實現(xiàn)了端對端實時目標檢測，在保證檢測效果的同時提高了檢測速率。

車聯(lián)網(wǎng)在智能交通系統(tǒng)和車輛安全等領(lǐng)域的相關(guān)應(yīng)用逐漸成為研究熱點。王野秋等[9]將UWB通信模塊置于車身上來進行車輛間的相對定位。蔣夢琴等[10]將UWB通信模塊用于車輛跟馳距離檢測，跟馳距離超過某一閾值時就對駕駛員進行報警提示。趙佳樂等[11]通過UWB通信模塊進行車對車的信息傳輸，從而實現(xiàn)了輔助車輛跟馳、車輛換道以及車輛超車等功能。澳洲智能網(wǎng)聯(lián)汽車智能型運輸系統(tǒng)開發(fā)商與澳洲電信合作，使用4G移動通信網(wǎng)絡(luò)成功完成了行人防撞預(yù)警測試，而隨著5G技術(shù)的發(fā)展，基于無線通信的行人安全應(yīng)用將逐漸得到普及[12]。

本文將視覺技術(shù)與V-X技術(shù)相結(jié)合，實現(xiàn)車載式與網(wǎng)聯(lián)式主動安全設(shè)備的信息融合。用UWB通信模塊做測試，并提升基于UWB通信的行人定位精度，通過UWB和視覺分別得出行人與車輛間的相對位置信息，根據(jù)碰撞時間模型判斷危險行人，以提高ADAS系統(tǒng)中車輛-行人碰撞預(yù)警的可靠性。

1 結(jié)合運動模型的UWB行人定位

UWB通過納秒至微秒級的非正弦波窄脈沖傳輸數(shù)據(jù)，具有傳輸速率高、抗干擾能力強、多徑分辨率高、系統(tǒng)容量大等優(yōu)點，適用于精確測距及定位[13-14]，因此，選用UWB通信模塊進行無線通信行人檢測定位測試。行人攜帶UWB定位標簽，將UWB定位基站布置于車身上，選取基于到達時間的雙邊測距算法，依據(jù)三邊定位方法測得行人相對于車輛的位置坐標。為了減少誤差，對行人的運動狀態(tài)進行估計，以提升行人的定位精度。

1.1 UWB行人測距、定位原理

為了計算得出目標物體的位置坐標，一般情況下首先需要測量得到未知節(jié)點與已知節(jié)點之間的距離值?；诘竭_時間測量法（Time of Arrival，TOA）通過計算無線電磁波的傳輸時間，依據(jù)電磁波飛行速度換算得出兩測距模塊的間距。為消除時鐘偏差帶來的誤差，采用雙邊測距法，在兩測距模塊之間增加一次傳輸，記錄每次信號發(fā)送及接收時間ti（i=1，2，3，4，5，6），則計算得出兩測距模塊間電磁波單次飛行時間T，如式（1）所示。

式中：Trd1=t4-t1為基站發(fā)送并接收信號的時間間隔；Trd2=t6-t3為標簽從發(fā)送到接收信號的時間間隔；Trp1=t3-t2為標簽從接收到發(fā)送信號的時間間隔；Trp2=t5-t4為基站從接收到發(fā)送信號的時間間隔。

假設(shè)3個基站的位置坐標分別為（x1，y1）、（x2，y2）以及（x3，y3），待求的行人標簽坐標為（x，y），則通過3個定位圓相交于一點，可以進一步計算出未知行人的位置坐標[15]。在實際應(yīng)用中，由于測距誤差的存在，致使3個定位圓在一般情況下難以交為一點[16]，如圖1所示。

圖1 三邊定位原理（定位圓未交于一點）

3個定位圓的3個交點構(gòu)成一個三角形區(qū)域，利用三角質(zhì)心法令定位圓的3個交點分別為Pj（xpj，ypj）（j=1，2，3），則標簽定位點坐標計算如式（2）所示。

1.2 行人運動狀態(tài)估計

卡爾曼濾波是目前在定位系統(tǒng)中廣泛應(yīng)用的方法[17]?？柭鼮V波器能夠綜合傳感器輸出值和依據(jù)先驗知識所得出的狀態(tài)估計值，從而得到更為貼近真實值的結(jié)果。

依據(jù)前兩個連續(xù)時刻的行人相對定位結(jié)果來計算出行人與車輛間的相對運動速度值，并根據(jù)此相對運動速度對下一時刻行人相對車輛的位置進行估計，同時結(jié)合該UWB行人定位的實時測量值來綜合計算出下一時刻行人相對車輛的定位結(jié)果，其中最初兩次的行人定位結(jié)果直接依照觀測值給出。在恒變速條件下，卡爾曼濾波器狀態(tài)矩陣Xk、狀態(tài)轉(zhuǎn)移矩陣Fk/k-1如式（3）所示。

由定位系統(tǒng)給出的觀測結(jié)果為周圍行人相對車輛的相對位置坐標，觀測向量為Zk=[x,y]T，結(jié)合上文的誤差分析，在長沙近郊某路段進行定位測試，使測試行人與測試車輛共線勻速相對運動，對該行人進行濾波前后的相對定位測試，其定位結(jié)果對比如圖2所示。

2 基于視覺的行人檢測及測距

深度學(xué)習(xí)目標檢測模型YOLOv3在準確率和速度方面得到了很好的平衡，對小目標有很好的檢測效果，適用于自動駕駛場景下的多目標快速檢測。

對COCO和KITTI數(shù)據(jù)集進行清洗，獲得只有行人的一類目標標注數(shù)據(jù)集，在此數(shù)據(jù)集上使用YOLOv3模型訓(xùn)練得出以行人為檢測目標的權(quán)重文件及配置文件。使用攝像頭獲取到車輛前方的圖像信息，并利用訓(xùn)練的檢測權(quán)重實現(xiàn)行人檢測。

使用雙目實現(xiàn)檢測目標的測距，雙目測距通過兩個攝像頭從不同角度采集同一目標物體圖像信息，經(jīng)匹配計算得出目標點在兩個攝像頭中的成像視差測得目標物的深度信息，可計算得到行人深度值Z，如式（4）所示。

式中：Z為行人與攝像頭間的縱向距離；f為相機焦距；B為基線長度，即兩相機間的中心距；XR，XT分別為目標點在左右兩個攝像頭成像的像素橫坐標值。結(jié)合上文中由視覺檢測出的行人結(jié)果，以檢測框中心點坐標作為目標點，測得行人與攝像頭間的縱向距離Z，即為行人與車輛間相對縱向坐標yv，同時通過找到相機成像中的滅點，由滅點與目標像素點間的連線通過標定得到的像素比計算得出目標像素點距離相機的橫向距離，即其橫向坐標xv。

3 UWB及視覺信息融合預(yù)警方法

3.1 預(yù)警原理

碰撞時間（Time to Collision，TTC）指車輛與目標物體間的跟馳距離除以兩者的相對速度，即在此時刻預(yù)計兩者的碰撞剩余時間值，是常用的評價車輛行車安全的指標。根據(jù)連續(xù)兩個時刻內(nèi)行人相對位置的變化計算出行人與車輛間的相對速度，通過測出的距離值計算得到的TTC值來評估行人、車輛的碰撞風(fēng)險。計算原理如圖3所示，TTC計算公式如式（5）所示。

圖3 TTC計算原理

式中：V為行人與車輛間的相對速度；Δt為連續(xù)兩時刻間的時間間隔，即檢測系統(tǒng)更新行人位置的時間間隔；θ為某時刻行人與車輛相對運動速度方向與行人車輛連線方向間的夾角；ΔV為行人與車輛沿直線距離方向的相對運動速度；d為該時刻檢測系統(tǒng)測得的行人與車輛間的相對距離值。當計算得出的TTC值達到安全閾值時，判定此時行人與車輛間存在潛在的碰撞危險。

3.2 坐標系轉(zhuǎn)換與信息融合

為了將UWB無線通信系統(tǒng)的行人檢測預(yù)警結(jié)果與視覺的行人檢測預(yù)警結(jié)果相融合，首先需要建立一個世界坐標系，并將UWB檢測結(jié)果與視覺檢測結(jié)果分別轉(zhuǎn)換到世界坐標系中。由于預(yù)警只需要進行行人平面定位，因此只考慮平行于地面的二維坐標系。

空間中的世界坐標系可由用戶自由定義，由于車輛行駛過程中與行人發(fā)生碰撞的部位主要是車輛前方車頭突出部分，因此，將車輛與行人間的相對距離值設(shè)定為行人與車輛最前方車頭中點的距離，將世界坐標系原點設(shè)置在車輛最前端中點O處，世界坐標系XOY如圖4所示。

圖4 坐標系轉(zhuǎn)換

UWB的3個通信基站分別安裝于車身的前保險杠中間部位以及車輛左右的C柱底端部位，為了計算方便，將UWB檢測定位系統(tǒng)的坐標系建立在車輛前向保險杠中間部位的通信模塊上，UWB坐標系如圖4中Xu，Ou，Yu所示。由于車輛前方的UWB通信模塊的安裝位置與世界坐標系原點間的Y向安裝間距為L1，則UWB坐標系與世界坐標系的轉(zhuǎn)換關(guān)系如式（6）所示。

對于視覺坐標系，使用了水平儀將攝像機布置在車內(nèi)后視鏡位置，保持攝像機鏡頭平面與地面垂直，視覺坐標系為圖4中Xc，Oc，Yc所示，令攝像頭安裝位置與世界坐標系原點間的Y向安裝間距為L2，則視覺行人坐標值轉(zhuǎn)換至世界坐標系的關(guān)系式如式（7）所示。

3.3 預(yù)警融合算法

3.3.1 基于歐式距離的危險行人位置匹配

令UWB的危險行人點Ui（i=1, …,p）集合為U，視覺危險行人點Vj（j=1, …,q）集合為V，將集合U與集合V進行匹配。首先進行坐標系轉(zhuǎn)換，假設(shè)UWB危險行人坐標轉(zhuǎn)換到世界坐標系中的位置坐標為（xi，yi），視覺危險行人坐標轉(zhuǎn)換到世界坐標系中的位置坐標為（xj，yj），分別計算某種檢測中每個危險行人位置點與另一種檢測中所有危險行人位置點間的歐式距離值，求得其中的最小距離，若最小距離值在設(shè)定閾值范圍內(nèi)，則判定匹配成功，匹配公式如式（8）所示。

式中：e1為UWB定位系統(tǒng)的定位誤差值；e2為雙目視覺測距誤差值；s為測試過程中的動態(tài)匹配調(diào)整值。

3.3.2 預(yù)警決策流程

得到UWB危險行人位置點與視覺危險行人位置點的匹配結(jié)果后，若UWB檢測的危險點無法找到對應(yīng)匹配的視覺危險點，則判定該行人為被障礙物遮擋或在攝像機視野外的行人，依據(jù)UWB檢測結(jié)果給予預(yù)警并標識出遮擋的危險行人相應(yīng)位置。若視覺危險點無法找到對應(yīng)的UWB檢測危險點進行匹配，則判定為非攜帶UWB模塊的行人，給出視覺預(yù)警結(jié)果。若匹配成功，則為視覺和UWB共同檢測判定出的危險點，給出視覺預(yù)警提示。具體預(yù)警融合流程如圖5所示。

圖5 綜合預(yù)警流程

4 測試結(jié)果分析

4.1 測試平臺搭建

本文選取某型號UWB芯片進行測試，測距芯片的主要參數(shù)見表1。

表1 UWB測距模塊參數(shù)

選取ZED雙目攝像機來進行視覺檢測測試，該雙目立體攝相機同步獲取到空間物體的雙目圖像，并在計算機中通過對應(yīng)的軟件開發(fā)包來計算分析。雙目攝相機參數(shù)見表2。

表2 雙目攝像機參數(shù)

4.2 定位誤差測試

4.2.1 基于UWB通信的行人定位誤差測試

為衡量行人運動情況下的定位誤差，對UWB行人定位算法進行動態(tài)誤差測試。在天氣晴朗的條件下分別在車速為20 km/h、30 km/h、40 km/h的情況下對行人在0～15 m及15～30 m的距離段進行定位測試，并對結(jié)果進行誤差分析。UWB車輛安裝及UWB行人攜帶如圖6所示，所得到的不同車速及距離下的定位平均誤差及最大誤差見表3。

圖6 UWB安裝圖示

表3 UWB行人定位誤差

由上述檢測結(jié)果可知，UWB定位誤差隨著車速的增加而增加，并隨著檢測距離的增加而增加，在行人與車輛相距0～15 m的范圍內(nèi)，動態(tài)測距平均誤差較低，整體在不同車速下該距離范圍內(nèi)的誤差較為穩(wěn)定。一般情況下，對于車輛有碰撞危險的行人大部分處于這個距離范圍。因此，可認為該定位適用于本文的碰撞危險行人檢測。

4.2.2 基于視覺的行人定位誤差測試

在不同天氣和光照的情況下進行多組視覺行人檢測定位誤差測試，將雙目攝像機安裝在車內(nèi)后視鏡位置處，其具體的安裝位置如圖7所示。分別針對晴天、雨天以及不同的距離段進行了多組測試，并分析定位誤差，得到不同天氣及距離段下的定位平均誤差和最大誤差，其定位誤差結(jié)果見表4。

圖7 雙目攝像機安裝及行人檢測結(jié)果

表4 視覺行人定位誤差

從定位檢測結(jié)果可以看出，晴天時，在15 m以內(nèi)的平均定位誤差在0.74 m，而15～30 m的定位誤差超過1 m；雨天時，由于行人檢測準確率受到影響，出現(xiàn)跳變的情況，導(dǎo)致15 m內(nèi)誤差超過1 m。在夜晚也進行了測試，然而由于夜晚光照度很低，能檢測出行人的幀數(shù)較少，所以夜晚檢測定位效果不佳。

4.3 UWB通信和視覺融合的行人預(yù)警測試

在天氣晴朗的條件下進行試驗，以30 km/h的車速對15 m以內(nèi)的行人進行UWB及視覺的融合行人預(yù)警測試，根據(jù)上文對基于UWB和視覺的行人定位動態(tài)誤差的測試結(jié)果，選取e1為0.53 m，e2為0.74 m。首先進行被遮擋行人預(yù)警測試，測試本系統(tǒng)對被遮擋行人的檢測效果。設(shè)定一個被遮擋的危險行人點進行測試，一共進行30組檢測測試，測試得到的結(jié)果見表5。圖8為綜合預(yù)警測試的界面，視覺框中右前方行人被障礙物遮擋，駕駛員以及攝像頭無法檢測到行人，使用該綜合預(yù)警的方法可以根據(jù)匹配結(jié)果獲取視覺無法檢測的被遮擋行人位置，并在視覺界面中標識出危險行人，給出行人坐標，給予預(yù)警。圖9為測試現(xiàn)場的場景記錄，表5為測試結(jié)果。圖9中的右側(cè)為布置UWB基站的白色車輛，左邊為攜帶UWB標簽的危險行人。

表5 被遮擋行人預(yù)警測試

圖8 融合預(yù)警測試界面結(jié)果

圖9 融合預(yù)警測試場景

根據(jù)試驗結(jié)果，全程漏標或錯標危險點的次數(shù)為0，說明本融合預(yù)警系統(tǒng)可以有效檢測出被遮擋的危險行人，具有很強的可靠性。同時，全程正確標識出危險點的情況達到了96.7%，說明本系統(tǒng)具有較強的穩(wěn)定性。有兩次間斷性漏標或錯標危險點的情況，經(jīng)分析是某時刻由于外界影響UWB定位時突然發(fā)生較大跳變所致。

再進行無遮擋行人預(yù)警測試，檢驗本系統(tǒng)對不同傳感器信息的融合效果。在上述同樣試驗條件下設(shè)定一個無遮擋行人危險點，進行30次試驗，試驗結(jié)果見表6。

表6 無遮擋行人預(yù)警匹配測試

根據(jù)試驗結(jié)果，預(yù)警失敗的次數(shù)為0，說明本融合預(yù)警系統(tǒng)可以有效檢測出危險行人，同時匹配成功的情況達到了93.3%，說明本系統(tǒng)可以有效匹配UWB危險行人點和視覺危險行人點，危險行人點多報、誤報的概率較低。

5 結(jié)論

（1）開發(fā)了一種融合UWB和視覺信息的行人預(yù)警系統(tǒng)。試驗表明，本系統(tǒng)能夠用來檢測視覺被遮擋狀態(tài)下的危險行人，并提高行人碰撞預(yù)警系統(tǒng)的可靠性。

（2）通過誤差分析對UWB車載基站的布置方式進行了優(yōu)化，在采用雙邊測距和三點定位法時，使用等腰三角形布置下的最大誤差值為0.90 m，對不同車速條件下的UWB定位誤差進行了量化分析。

（3）在被遮擋行人試驗中，融合UWB和視覺信息的行人定位系統(tǒng)全程檢測準確率達到了96.7%，在無遮擋行人試驗中，本系統(tǒng)匹配成功正確率達到了93.3%，驗證了該行人預(yù)警系統(tǒng)的有效性。