黃武陵

(中國科學(xué)院 自動化研究所，北京 100190)

?

智能車輛環(huán)境感知技術(shù)與平臺構(gòu)建

黃武陵

(中國科學(xué)院 自動化研究所，北京 100190)

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實現(xiàn)及其存在的技術(shù)挑戰(zhàn)，實現(xiàn)復(fù)雜交通環(huán)境感知所需傳感器，并介紹了車載傳感器融合平臺。分析現(xiàn)有智能車輛環(huán)境感知平臺實現(xiàn)，通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)，對于智能車輛功能研發(fā)具有參考意義。

智能車輛；環(huán)境感知技術(shù)；車載傳感器；嵌入式計算平臺

引　言

智能車輛技術(shù)是自動控制、車輛工程、人工智能、視覺計算與模式識別等學(xué)科的綜合載體。隨著機器人與人工智能的發(fā)展，各種技術(shù)融入到車輛平臺中，進而提高了車輛智能化水平，實現(xiàn)了從輔助駕駛、自動駕駛到自主駕駛的全過程，將從根本上改變傳統(tǒng)的交通出行方式。從技術(shù)實現(xiàn)角度來看，除了車輛平臺的ECU和線控單元之外，還包括多種傳感器模塊、信息融合模塊、智能化計算模塊以及V2X通信模塊等，是多種嵌入式系統(tǒng)的綜合載體。

本文從智能車輛環(huán)境感知功能入手，剖析了感知功能實現(xiàn)及其存在的技術(shù)挑戰(zhàn)，實現(xiàn)復(fù)雜交通環(huán)境感知所需要的傳感器，并介紹了車載傳感器融合平臺。通過縮微智能車輛載體，介紹了低成本、低功耗的嵌入式環(huán)境感知系統(tǒng)。

1　智能車輛環(huán)境感知技術(shù)綜述

1.1智能車輛的總體功能

如圖1所示，智能車輛的軟件功能總體結(jié)構(gòu)可以分為感知層、任務(wù)規(guī)劃層、行為執(zhí)行層和運動規(guī)劃層等[8]。其中，環(huán)境感知層融合處理來自車載傳感器的數(shù)據(jù)，為系統(tǒng)的其他部分提供周圍環(huán)境的關(guān)鍵信息，例如車輛的位姿和速度等狀態(tài)信息，道路形狀、停車區(qū)域和交叉路口等道路信息，車輛周邊其他車輛和行人等動態(tài)障礙物信息。局部靜態(tài)障礙物地圖以二維柵格圖展示現(xiàn)實環(huán)境中的無障礙區(qū)域、危險區(qū)域和不可通行區(qū)域。通過道路堵塞信息對不能通過區(qū)域進行估計。

任務(wù)規(guī)劃層根據(jù)路網(wǎng)信息計算到達下一個任務(wù)檢測點的最優(yōu)可行路徑。行為執(zhí)行層將任務(wù)規(guī)劃層提供的決策信息與感知層提供的當(dāng)?shù)亟煌ㄅc障礙信息結(jié)合起來，為運動規(guī)劃層產(chǎn)生一系列以離散運動目標(biāo)形式表達的局部任務(wù)。這些期望路線和速度發(fā)送給運動規(guī)劃層，完成如車距保持、超車等行為規(guī)劃。運動規(guī)劃層根據(jù)來自行為執(zhí)行層的運動目標(biāo)生成相應(yīng)的運動軌跡并執(zhí)行，從而使智能車輛到達該運動目標(biāo)[4]。

1.2智能車輛環(huán)境感知功能及其挑戰(zhàn)

環(huán)境感知功能是實現(xiàn)自主駕駛的基礎(chǔ)，以視覺傳感器為主的智能車輛環(huán)境感知功能必須能夠檢測和識別行駛車道及周邊的目標(biāo)，包括結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路信息、行駛環(huán)境中行人和車輛、交通信號燈和交通標(biāo)志等[3]。

環(huán)境感知功能主要由車載相機、微波雷達和激光雷達等主被動視覺傳感器完成。通過車載相機辨識車道線和交通信號，檢測運動目標(biāo)等；通過激光雷達的激光點云來建立周邊環(huán)境的3D模型，檢測車輛、行人、樹木、路沿等；通過微波雷達檢測運動目標(biāo)，檢測車身周圍的移動障礙物及其位置等。最后，將上述傳感器信息融合成如圖2所示的環(huán)境視圖，完成場景感知和理解。

圖2　智能車輛環(huán)境感知場景視圖

智能車輛環(huán)境感知存在的挑戰(zhàn)包括：如何在復(fù)雜、動態(tài)和多樣化的交通環(huán)境下，克服傳感器各自物理限制和車輛運動干擾，提高環(huán)境感知精確程度，對動態(tài)目標(biāo)進行識別與估計，完成交通環(huán)境信息的多視圖數(shù)據(jù)融合等[1]。

其中，多種因素限制了視覺感知能力。例如，受不同車載傳感器的工作范圍限制，智能檢測到一定范圍和距離、一定大小、某個相對運動方向、一定速度和加速度的目標(biāo)，感知能力受所在交通環(huán)境的光照、遮擋、雨雪沙塵等自然條件的限制。許多突發(fā)事件形式不可預(yù)知，更是難以檢測。只有通過加強傳感器和算法，保證在所有情況下能檢測到所有車輛、行人、道路上的其他移動或靜止的障礙物[12]。

由于計算機視覺技術(shù)還處于不斷發(fā)展中，要理解復(fù)雜的交通環(huán)境存在不少挑戰(zhàn)，例如由于靜態(tài)和動態(tài)環(huán)境因素，在道路環(huán)境感知與理解、交通信號檢測、動態(tài)障礙物檢測、車輛姿態(tài)估計和定位等方面存在挑戰(zhàn)。由于路面難以和路沿區(qū)分，其幾何特性多變，對非結(jié)構(gòu)化的交通環(huán)境感知存在困難，還需要采用更高性能的傳感器和更好的信息處理算法，結(jié)合機器學(xué)習(xí)車間通信技術(shù)擴展功能，解決自身局限性，進一步理解非結(jié)構(gòu)化環(huán)境[2,10,11]。

2　智能車輛環(huán)境感知常用方法

智能車輛環(huán)境感知內(nèi)容主要包括結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路檢測、行駛環(huán)境中行人和車輛的檢測、交通信號燈和交通標(biāo)志的檢測等，其感知要素如圖3所示。

圖3　智能車輛環(huán)境感知要素

(1) 結(jié)構(gòu)化道路檢測

道路檢測是智能車輛環(huán)境感知的重要內(nèi)容，通過檢測車道信息準(zhǔn)確獲得車輛相對于車道的位置和方向。城市交通環(huán)境中常見的是結(jié)構(gòu)化道路，有清晰車道標(biāo)志線和道路邊界的標(biāo)準(zhǔn)道路。在車載視覺系統(tǒng)中，利用距攝像機近處車道線方向變化不大(即道路曲率變化很小)的一般假設(shè)，可以用直線來擬合車道線。在道路曲率變化較大的彎道處，可以采用多種曲線形式進行車道擬合[9]。

車道檢測流程主要包括圖像預(yù)處理、邊緣提取和二值化等。預(yù)處理一般先選定圖像的感興趣區(qū)域，用中值濾波、均值濾波和高斯濾波等消除噪聲，再進行邊緣增強和邊緣提取。通過所采集的車道線信息進行道路區(qū)域與非道路區(qū)域的分割，從而完成道路檢測。

(2) 非結(jié)構(gòu)化道路檢測

鄉(xiāng)村公路等非結(jié)構(gòu)化道路在結(jié)構(gòu)上符合道路的特征，但一般缺少車道線等標(biāo)志，無法采用結(jié)構(gòu)化道路所用的車道線檢測方法[14]?；跈C器學(xué)習(xí)的檢測算法，識別車道及其邊界的不同顏色和紋理等特征，進行自監(jiān)督樣本選取、特征選取、在線學(xué)習(xí)、監(jiān)督學(xué)習(xí)等過程，完成道路檢測。

(3) 行駛環(huán)境中的行人

基于視覺的行人檢測方法主要有基于背景建模的方法和基于統(tǒng)計學(xué)習(xí)的方法等。基于背景建模的方法首先分割出前景，提取其中的運動目標(biāo)，然后進一步提取特征、分類判別。基于統(tǒng)計學(xué)習(xí)的方法根據(jù)大量訓(xùn)練樣本構(gòu)建行人檢測分類器，提取的特征一般有目標(biāo)的灰度、邊緣、紋理、形狀、梯度直方圖等信息。

由于室外場景中的光照變化、遮擋、陰影等影響，導(dǎo)致視覺檢測行人的算法在交通環(huán)境中魯棒性較低。通過激光雷達可以獲得行人在二維平面內(nèi)的位置、形狀等狀態(tài)估計，因此可以有效地實現(xiàn)行人的狀態(tài)跟蹤。通過融合激光雷達與視頻圖像數(shù)據(jù)，可以對行人進行較為準(zhǔn)確的檢測[13]。

(4) 行駛環(huán)境中的車輛檢測

基于單目視覺的車輛檢測方法可分為基于外觀的方法和基于運動的方法。采用更通用并具魯棒性的特征(如HOG特征、類Haar特征)來對車輛進行檢測。這些特征可被用來直接對圖像中的目標(biāo)進行分類和檢測[8,15,16]。

激光雷達能夠快速地獲取掃描平面中的距離信息，并獲得障礙物在掃描平面中的外輪廓；機器視覺能夠提供更加豐富的平面信息。通過建立坐標(biāo)轉(zhuǎn)換模型，將激光雷達數(shù)據(jù)與圖像數(shù)據(jù)統(tǒng)一到同一坐標(biāo)系中進行處理。結(jié)合激光雷達的數(shù)據(jù)特點選取合適的聚類方法，對聚類后的數(shù)據(jù)進行形狀匹配和模板匹配，確定感興趣區(qū)域；通過類Haar特征結(jié)合AdaBoost算法在感興趣區(qū)域進行車輛檢測，通過車輛在激光雷達中的數(shù)據(jù)特征可實現(xiàn)Kalman預(yù)估跟蹤。

(5) 交通信號燈檢測

在背景環(huán)境相對簡單的情況下，基于色彩特征的交通信號燈識別方法能夠有效地檢測和識別出交通信號燈；對于背景環(huán)境復(fù)雜的情況，則容易出現(xiàn)誤檢現(xiàn)象?；谛螤钐卣鞯淖R別方法可有效地減少這類虛警，但需要通過建立形狀特征規(guī)則來實現(xiàn)。基于模板匹配的識別方法同樣需要建立不同樣式的交通信號燈模板或者建立多級的交通信號燈模板。因此，需要綜合上述算法和特征識別方法才能適應(yīng)環(huán)境的變化，對不同樣式交通信號燈進行識別[18]。

(6) 交通標(biāo)志檢測

交通標(biāo)志檢測與識別系統(tǒng)主要包含色彩分割、形狀檢測和驗證、圖形識別等。在良好光照條件時，HSV色彩空間的色度和飽和度信息能夠有效地進行無關(guān)顏色過濾，通過室外環(huán)境中實際標(biāo)牌的圖像采樣可以得到選取閾值。通過Hough直線變換能夠有效地檢測到標(biāo)志牌的邊緣直線，從色彩空間處理后得到的精確分割圖像，所檢測到的直線可能構(gòu)成標(biāo)志牌的三角形或矩形圖像的一部分，分割直線如果封閉，則可以定位候選區(qū)。對于每類交通標(biāo)志，都需要分別設(shè)計分類器，進行圖像的象形識別[7]。

3　環(huán)境感知中的傳感器及嵌入式計算平臺

3.1環(huán)境感知中的傳感器

在智能車輛設(shè)計中，常用的環(huán)境感知傳感器包括紅外傳感器、激光雷達、毫米波和微波雷達、(立體)視覺攝像機等，根據(jù)各類傳感器的環(huán)境適用特點進行選擇。如圖4所示，典型的無人駕駛車輛所用的傳感器包括Velodyne的64線激光雷達、Point Grey攝像機、IBEO和SICK激光雷達、Applanix POS-LV高精度GPS定位及慣導(dǎo)單元、Continental 測距雷達和輪速傳感器等[5]。

圖4　典型無人駕駛車輛所用傳感器

各種車載視覺傳感器各具特色。相機等被動視覺系統(tǒng)視場寬，側(cè)向精度高，成本低，不受其他傳感器影響，可以提供亮度和深度信息，但容易受到環(huán)境中的光照等氣候因素影響。激光雷達等主動傳感器抗干擾能力較強，能提供高精度的測量結(jié)果，但對惡劣天氣(如雨、霧、雪等)敏感，受其掃描角及分辨率的影響，對于很細(xì)小的柱狀障礙物難以識別。毫米波雷達在惡劣天氣也能提供足夠的精度，但視場較小，側(cè)向精度相對較低。

3.2車載環(huán)境感知嵌入式計算平臺

早期無人駕駛車輛平臺，如圖5所示的Stanford的Junior計算系統(tǒng)通過刀片服務(wù)器和多個Core2Duo處理器等平臺提供實時處理與計算，計算單元通過高速以太網(wǎng)接口進行信息通信。

圖5　Stanford的Junior車載計算平臺和奧迪自動駕駛汽車ZFAS

由于嵌入式平臺計算能力的提升，現(xiàn)在智能車輛計算平臺一般采用帶有GPU單元的嵌入式處理器來構(gòu)建。例如，奧迪自動駕駛汽車架構(gòu)中的駕駛輔助控制器(ZFAS)中的傳感器融合單元核心部件是Nvidia Tegra K1平臺，極大簡化了車載計算平臺。Nvidia Tegra K1平臺如圖6所示。

Nvidia的TK1有4個ARM Cortex-A15內(nèi)核，192 Kepler GPU集成CUDA，提供327 GFLOPS計算性能，處理CUDA數(shù)據(jù)時，功率小于6 W(包括SoC和DRAM)，集成了面向傳感器的處理并提供CUDA異步硬件加速，如H.264編解碼引擎和雙MIPI CSI-2相機接口和圖像處理器(ISP)。Tegra K1 VCM運行Linux、Android、QNX、Windows等操作系統(tǒng)，支持網(wǎng)絡(luò)更新軟件。Nvidia開發(fā)網(wǎng)提供算法庫支持，有助于加速開發(fā)。Nvidia PX2構(gòu)建的Drivenet平臺，已在自動駕駛車輛上進行測試[17]。

圖6　Nvidia Tegra K1平臺

流行的深度學(xué)習(xí)框架如Caffe、Theano、Torch推出CUDA工具庫，大幅提高了圖像識別的準(zhǔn)確率。Tegra K1模塊讓車載計算平臺擁有更強的數(shù)據(jù)處理能力，通過運行深度學(xué)習(xí)算法來加強車輛感知能力，對各類車載傳感器數(shù)據(jù)進行處理與分析，進行駕駛決策。嵌入式計算平臺如圖7所示。

圖7　深度學(xué)習(xí)的車載嵌入式計算平臺

4　智能車輛環(huán)境感知方案

我們在縮微智能車實驗平臺上驗證了環(huán)境感知方案，如圖8所示，使用TK1作為處理模塊和傳感器接口，使用CUDA處理相機的視覺圖像，處理LIDAR激光測距掃描數(shù)據(jù)，進行車道、交通信號、障礙物和可行駛區(qū)的檢測。通過串口整合GPS模塊、慣性測量單元(IMU)、轉(zhuǎn)向角和碼盤輪速檢測等傳感器。車載傳感器的感知效果驗證如圖9所示。

圖8　基于Tegra K1的縮微智能車輛感知方案驗證

圖9　車載傳感器的感知效果驗證

縮微智能車輛在傳感器支持下具備路徑規(guī)劃規(guī)避障礙物功能，具備直、彎道、橋梁、交叉路口行駛，超車換道。通過基于GPS路點任務(wù)文件進行解析和導(dǎo)航?；谲囕v動力學(xué)模型，采用PID實現(xiàn)橫縱向控制。遙操作也可以通過無線網(wǎng)絡(luò)加壓縮視頻流來實現(xiàn)。

結(jié)　語

由于交通環(huán)境復(fù)雜多變，車載傳感器能力各有偏重，如何在復(fù)雜交通環(huán)境下，克服傳感器各自物理限制和車輛運動干擾，提高環(huán)境感知精確程度，對動態(tài)目標(biāo)進行識別與估計，完成交通環(huán)境信息的多視圖數(shù)據(jù)融合，是智能車輛環(huán)境感知面臨的挑戰(zhàn)。本文對上述問題進行了探討，有助于厘清難點，重點突破。

在面向無人駕駛汽車環(huán)境感知總體任務(wù)實現(xiàn)的集成系統(tǒng)中，如何優(yōu)化龐大與昂貴的傳感器系統(tǒng)以及提高多模態(tài)數(shù)據(jù)融合處理效率，仍需要深入研究。本文提出的基于嵌入式融合平臺開展深度學(xué)習(xí)的框架，有助于將人工智能技術(shù)用于車載多信息融合感知，將極大提升感知能力，對克服其難點具有參考意義。

[1] W Huang,D Wen,J Geng,et al.Task-Specific performance evaluation of UGVs:Case studies at the IVFC[J].IEEE Transactions on Intelligent Transportation Systems,2014,15(5):1969-1979.

[2] M Buehler,K Lagnemma,S Singh,et al.The DARPA Urban Challenge:Autonomous Vehicles in City Traffic[C]//Springer-Verlag Berlin Heidelberg,2009.

[3] 湯淑明,喬昕,黃武陵.無人駕駛車輛測試研究現(xiàn)狀與未來展望[C]//國家自然科學(xué)基金委員會視聽覺信息的認(rèn)知計算重大研究計劃2010年學(xué)術(shù)交流會,2010:320-326.

[4] 陳清陽,張小波,孫振平,等.非結(jié)構(gòu)化環(huán)境下自主車輛軌跡規(guī)劃方法[J].中南大學(xué)學(xué)報:自然科學(xué)版,2011,42(11):3377-3383.

[5] Michael Montemerlo,Jan Becker,Sebastian Thrun.Junior:The Stanford Entry in the Urban Challenge[J].Field Robot,2008,25(9):569-597.

[6] C Urmson,J Anhalt,D Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge[J].2008,25(1):425-466.

[7] MengYin Fu,YuanShui Huang.A survey of traffic sign recognition[C]//Wavelet Analysis and Pattern Recognition (ICWAPR),2010 International Conference,2010.

[8] 王榮本,趙一兵,李琳輝,等.智能車輛的障礙物檢測研究方法綜述[J].公路交通科技,2007,24(11):109-113.

[9] 路順杰.綜合考慮視覺和雷達的車道線檢測研究[D].長春:吉林大學(xué),2015.

[10] 沈峘.智能車輛視覺環(huán)境感知技術(shù)的研究[D].南京:南京航空航天大學(xué),2010.

[11] 王科.城市交通中智能車輛環(huán)境感知方法研究[D].長沙:湖南大學(xué),2013.

[12] 陳龍.城市環(huán)境下無人駕駛智能車感知系統(tǒng)若干關(guān)鍵技術(shù)研究[D].武漢:武漢大學(xué),2013.

[13] 諶彤童.三維激光雷達在自主車環(huán)境感知中的應(yīng)用研究[D].長沙:國防科技大學(xué),2011.

[14] 周圣硯.基于學(xué)習(xí)算法的智能車輛非結(jié)構(gòu)化道路檢測技術(shù)研究[D].北京:北京理工大學(xué),2014.

[15] 靳璐,付夢印,王美玲,等.基于視覺和毫米波雷達的車輛檢測[J].紅外與毫米波學(xué)報,2014,33(5):465-471.

[16] 胡銦,楊靜宇.基于模型的車輛檢測與跟蹤[J].中國圖象圖形學(xué)報,2008,13(3):450-455.

[17] Jetson TK1[EB/OL].[2016-07].http://elinux.org/Jetson_TK1.

[18] 徐迪紅,唐爐亮.基于顏色和標(biāo)志邊緣特征的交通標(biāo)志檢測[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2008,33(4):433-436.

Intelligent Vehicle Environment Sensing Technology and Platform Construction

Huang Wuling

(Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)

Environment perception provides the basic support for the other intelligent vehicle functions.This paper analyzes the implement of environment perception and its challenges in details,discusses the various sensors used in perception,and introduces the embedded computing platform used in data fusion.By the analysis of the current perception architecture used in our micro intelligent vehicle for verification purpose,this paper brings out a low cost,low-power consumption embedded perception system,which will be a good reference in the intelligent vehicle design.

intelligent vehicle;environment perception;vehicular sensor;embedded computing platform

TP277

A

黃武陵，中國科學(xué)院自動化研究所副研究員，中國科學(xué)院大學(xué)博士，主要從事智能車輛研究，參與和主持了多項國家863和973、交通部和自然基金課題，發(fā)表SCI/EI論文12篇，申請和獲得發(fā)明專利20項。獲北京市科技進步獎、北京市“金橋工程”項目獎、吳文俊人工智能科學(xué)技術(shù)進步獎、中科院教學(xué)成果獎等獎勵。

(責(zé)任編輯：薛士然2016-07-07)