白云龍 楊開(kāi)欣 郭謹(jǐn)瑋 陳曉韋 董海博

摘 要：智慧出行，智能駕駛的發(fā)展很大程度上依靠傳感器來(lái)實(shí)現(xiàn)。自動(dòng)駕駛、自動(dòng)泊車和自動(dòng)緊急制動(dòng)等駕駛功能，針對(duì)汽車多種傳感器采集存在的不穩(wěn)定性，導(dǎo)致車輛信息在特征提取上存在很大差異，數(shù)據(jù)處理融合過(guò)程中的差異造成信息沖突，導(dǎo)致有效信息丟失。多傳感器融合算法可以將有效數(shù)據(jù)特征提取，增強(qiáng)有效數(shù)據(jù)信息量。

關(guān)鍵詞：智能車;多傳感器;信息融合

自動(dòng)駕駛系統(tǒng)關(guān)鍵感知融合技術(shù)，并將系統(tǒng)集成在車上。使車輛具備獲取車輛行駛周邊環(huán)境的有用信息的能力，實(shí)現(xiàn)對(duì)目標(biāo)信息的檢測(cè)、分類、跟蹤與預(yù)測(cè)的功能。實(shí)現(xiàn)多傳感器信息融合技術(shù)的開(kāi)發(fā)與應(yīng)用，同時(shí)實(shí)現(xiàn)對(duì)自身定位信息、運(yùn)動(dòng)狀態(tài)信息等的獲取，從而擴(kuò)大系統(tǒng)的時(shí)頻覆蓋范圍、增加環(huán)境信息維數(shù)、發(fā)揮出感知系統(tǒng)的綜合效應(yīng)，進(jìn)而為決策系統(tǒng)提供更加立體和可靠的環(huán)境信息。完成實(shí)車測(cè)試與相應(yīng)性能調(diào)優(yōu)，實(shí)現(xiàn)實(shí)車相應(yīng)應(yīng)用。

在封閉園區(qū)、高速公路/環(huán)路、城市道路及北京市自動(dòng)駕駛測(cè)試試驗(yàn)場(chǎng)場(chǎng)景下，基于多傳感器的感知信息融合系統(tǒng)針對(duì)汽車異常復(fù)雜的行駛環(huán)境，以感知系統(tǒng)各傳感器的檢測(cè)優(yōu)勢(shì)為依據(jù)，以確保整個(gè)系統(tǒng)能夠在最大范圍內(nèi)對(duì)車輛周邊環(huán)境信息實(shí)現(xiàn)360度的掃描與覆蓋為原則，通過(guò)對(duì)傳感器數(shù)據(jù)信息進(jìn)行處理及感知信息融合算法進(jìn)行開(kāi)發(fā)，獲取車輛行駛周邊環(huán)境的有用信息，實(shí)現(xiàn)對(duì)目標(biāo)信息的檢測(cè)、分類、跟蹤與預(yù)測(cè)（目標(biāo)信息：車道狀況信息、周邊車輛及行人、自行車等的速度、角度、距離信息以及行車標(biāo)志、交通信號(hào)燈等環(huán)境信息），同時(shí)實(shí)現(xiàn)對(duì)自身定位信息、運(yùn)動(dòng)狀態(tài)信息等的獲取，從而擴(kuò)大系統(tǒng)的時(shí)頻覆蓋范圍、增加環(huán)境信息維數(shù)、發(fā)揮出感知系統(tǒng)的綜合效應(yīng)，進(jìn)而為決策系統(tǒng)提供更加立體和可靠的環(huán)境信息。

多傳感器信息融合系統(tǒng)包含硬件層，中間層和應(yīng)用層三層結(jié)構(gòu)，多傳感器信息融合系統(tǒng)的內(nèi)部分層結(jié)構(gòu)如下：

硬件層主要包含激光雷達(dá)、毫米波雷達(dá)、超聲波傳感器、視覺(jué)傳感器;中間層為L(zhǎng)inux操作系統(tǒng)和基于PCL、OpenCV、Caffe、TensorFlow、Eigen3庫(kù)，傳感器坐標(biāo)系統(tǒng)一、時(shí)間同步模塊，同時(shí)包含各路數(shù)據(jù)的解析模塊（CAN解析，串口解析，網(wǎng)口點(diǎn)云數(shù)據(jù)解析，前視和環(huán)視圖像數(shù)據(jù)解析）;應(yīng)用層為感知算法的功能實(shí)現(xiàn)層，單傳感器檢測(cè)和多傳感器融合，以及SLAM地圖和結(jié)構(gòu)化高精度地圖。

單傳感器檢測(cè)即基于單一傳感器數(shù)據(jù)進(jìn)行特定的識(shí)別檢測(cè)，具體包括：

（1）基于激光雷達(dá)點(diǎn)云數(shù)據(jù)的障礙物檢測(cè)、分類，車道線檢測(cè);

（2）基于圖像的障礙物檢測(cè)、分類，交通標(biāo)志檢測(cè)，可行駛區(qū)域檢測(cè)，紅綠燈檢測(cè)，車道線檢測(cè);

（3）基于毫米波雷達(dá)的障礙物檢測(cè);

（4）基于環(huán)視相機(jī)的車位檢測(cè);

（5）基于激光雷達(dá)掃描匹配的定位;

多傳感器融合即采用數(shù)據(jù)融合算法，對(duì)于多種傳感器檢測(cè)結(jié)果進(jìn)行進(jìn)一步的融合處理，使得感知系統(tǒng)能夠在復(fù)雜場(chǎng)景下充分發(fā)揮多類型傳感器的優(yōu)勢(shì)，完成對(duì)多目標(biāo)的可靠追蹤，具體包括：

（1）RV融合;

（2）UV融合;

（3）RLV融合追蹤（包含LV融合）;

（4）GPS-IMU-掃描匹配融合定位（包括：基于全局坐標(biāo)系下的x、y、z坐標(biāo)及x、y、z三個(gè)方向的速度、加速度信息（包含坐標(biāo)系的定義）、時(shí)間信息、緯度、經(jīng)度、海拔、定位狀態(tài)、偏航角、俯仰角、滾轉(zhuǎn)角。）;

此外還包含用戶控制臺(tái)以及可視化界面，方便用戶選擇性地開(kāi)啟和關(guān)閉本系統(tǒng)所有模塊，應(yīng)用層各模塊間以進(jìn)程間通信方式進(jìn)行通信。融合感知系統(tǒng)所有功能模塊的計(jì)算總量遠(yuǎn)遠(yuǎn)大于計(jì)算平臺(tái)的計(jì)算量，因此必須根據(jù)車輛的實(shí)時(shí)狀態(tài)有選擇的關(guān)閉部分功能模塊以釋放不必要的計(jì)算力、內(nèi)存等資源浪費(fèi)情況。

聯(lián)動(dòng)啟動(dòng)：通過(guò)啟動(dòng)配置文件及相應(yīng)的解析腳本，管理進(jìn)程的啟動(dòng)參數(shù)及順序。構(gòu)造功能模塊的進(jìn)程啟動(dòng)鏈，依次啟動(dòng)數(shù)據(jù)解析層、數(shù)據(jù)處理層、感知融合層、業(yè)務(wù)管理層各功能模塊。

進(jìn)程通訊：進(jìn)程間通訊主要利用共享內(nèi)存的方式，首先在主進(jìn)程中申請(qǐng)（linux/shmget）一個(gè)固定大小的內(nèi)存空間用于多傳感器數(shù)據(jù)的傳輸，同時(shí)為不同的硬件傳感器，建立獨(dú)立的子進(jìn)程（linux/fork），并將共享內(nèi)存區(qū)對(duì)象映射到調(diào)用的子進(jìn)程的地址空間（linux/shmat），各子進(jìn)程可獨(dú)立的接受傳感數(shù)據(jù)，并將傳感數(shù)據(jù)寫入到共享內(nèi)存中，在數(shù)據(jù)融合處理之后將結(jié)果返回相關(guān)UI進(jìn)程。

系統(tǒng)級(jí)資源調(diào)度

融合感知系統(tǒng)所有功能模塊的計(jì)算總量遠(yuǎn)遠(yuǎn)大于計(jì)算平臺(tái)的計(jì)算量，因此必須根據(jù)車輛的實(shí)時(shí)狀態(tài)有選擇的關(guān)閉部分功能模塊以釋放不必要的計(jì)算力、內(nèi)存等資源浪費(fèi)情況。狀態(tài)判斷：車輛的狀態(tài)可以通過(guò)車輛底盤、傳感器等渠道獲得。經(jīng)過(guò)對(duì)數(shù)據(jù)的分析處理，判斷車輛當(dāng)前處于倒車、停車、巡航、加速、超車等不同的道路場(chǎng)景。資源調(diào)度：根據(jù)車輛實(shí)時(shí)狀態(tài)，管理控制系統(tǒng)的資源分配。合理的選擇關(guān)閉功能模塊可以大幅度減少計(jì)算力的緊缺狀況，降低系統(tǒng)出現(xiàn)故障的風(fēng)險(xiǎn)。

各模塊處理周期：所有解析模塊能夠基本達(dá)到實(shí)時(shí)性，對(duì)于圖像處理模塊工作頻率為15-20Hz，激光雷達(dá)點(diǎn)云處理模塊的工作頻率為10Hz（激光雷達(dá)數(shù)據(jù)頻率為10Hz），融合定位模塊工作頻率達(dá)到10Hz以上，融合感知模塊工作頻率為10Hz。

車輛的狀態(tài)可以通過(guò)車輛底盤、傳感器等渠道獲得。經(jīng)過(guò)對(duì)數(shù)據(jù)的分析處理，判斷車輛當(dāng)前處于倒車、停車、巡航、加速、超車等不同的道路場(chǎng)景。資源調(diào)度：根據(jù)車輛實(shí)時(shí)狀態(tài)，管理控制系統(tǒng)的資源分配。合理的選擇關(guān)閉功能模塊可以大幅度減少計(jì)算力的緊缺狀況，降低系統(tǒng)出現(xiàn)故障的風(fēng)險(xiǎn)。由于感知融合系統(tǒng)是一個(gè)分布式的多進(jìn)程系統(tǒng)，有必要對(duì)所有功能模塊及相應(yīng)進(jìn)程做狀態(tài)監(jiān)聽(tīng)及故障檢測(cè)，并在發(fā)生故障時(shí)通知GUI發(fā)出告警。警系統(tǒng)能更有效的實(shí)現(xiàn)對(duì)系統(tǒng)整體的管理。在本系統(tǒng)中，根據(jù)故障的危險(xiǎn)等級(jí)，警報(bào)可分為調(diào)試、信息、警告、錯(cuò)誤四個(gè)等級(jí)。

用于調(diào)試的GUI和用于演示的GUI，內(nèi)容主要分為兩部分功能：人機(jī)交互、感知結(jié)果。人機(jī)交互包括感知系統(tǒng)運(yùn)行開(kāi)關(guān)（默認(rèn)關(guān)閉），各模塊獨(dú)立開(kāi)/關(guān)，用戶可以選擇性對(duì)任意模塊開(kāi)關(guān)，同時(shí)，系統(tǒng)包含前向行駛場(chǎng)景和泊車場(chǎng)景下兩個(gè)一鍵開(kāi)關(guān)，各傳感器坐標(biāo)能夠在人機(jī)交互界面下配置參數(shù)。

通過(guò)高斯模糊和中值濾波進(jìn)行圖像預(yù)處理;通過(guò)紅色通道濾波進(jìn)行車道線色彩特征提取;通過(guò)Canny檢測(cè)進(jìn)行車道線邊緣特征提取;通過(guò)霍夫線檢測(cè)進(jìn)行特征融合后的特征增強(qiáng);通過(guò)色彩直方圖及滑動(dòng)窗口進(jìn)行車道線搜索;機(jī)器學(xué)習(xí)算法：通過(guò)機(jī)器學(xué)習(xí)算法對(duì)前視相機(jī)的實(shí)時(shí)圖像進(jìn)行特征提取，檢測(cè)和識(shí)別前視相機(jī)圖像中的車道線信息。

感知融合系統(tǒng)的功能繁雜，各功能模塊的工作頻率不一致。但由于其對(duì)數(shù)據(jù)實(shí)時(shí)性的要求極高，本系統(tǒng)被設(shè)計(jì)為一個(gè)基于分布式計(jì)算架構(gòu)的多進(jìn)程功能系統(tǒng)。因此需要系統(tǒng)整體上對(duì)各進(jìn)程進(jìn)行統(tǒng)一協(xié)調(diào)調(diào)度，聯(lián)動(dòng)依次啟動(dòng)各功能模塊的相關(guān)進(jìn)程鏈，注冊(cè)進(jìn)程間的通訊關(guān)系，建立進(jìn)程與進(jìn)程的數(shù)據(jù)鏈接。

參考文獻(xiàn)：

[1]王軍偉.智能傳感器在汽車電子方面的應(yīng)用[J].科技傳播，2013（5）：191+196.

[2]肖萍萍，宋暉，肖帥等.關(guān)于智能傳感器與汽車電子的分析[J].卷宗，2015（11）：339.

[3]馮小福.汽車智能化電子傳感器技術(shù)應(yīng)用研究[J].數(shù)字技術(shù)與應(yīng)用，2015（3）：107-108.

[4]潘泉，王增福，梁彥，等.信息融合理論的基本方法與進(jìn)展（II）[J].控制理論與應(yīng)用，2012，29（10）：599-615.

[5]王海鵬，熊偉，何友，等.集中式多傳感器概率最近鄰域算法 [J].儀器儀表學(xué)報(bào)，2010，31（11）：2500-2507.

[6]宋強(qiáng)，熊偉，何友.多傳感器多目標(biāo)系統(tǒng)誤差融合估計(jì)算法 [J].北京航空航天大學(xué)報(bào)，201238（6）：835-841.

[7]劉貴如，周鳴爭(zhēng)，王陸林，等.城市工況下最小安全車距控制模型和避撞算法[J].汽車工程，2016，38（10）：1200-1205.