王玉龍,張劍鋒,閔 歡,覃小藝,李 智
拓?fù)涞貓D的路口局部路徑生成策略
王玉龍1,2,張劍鋒1,閔 歡1,覃小藝1,李 智1
(1.廣州汽車集團(tuán)股份有限公司汽車工程研究院,廣東 廣州 510641;2.湖南大學(xué)汽車車身先進(jìn)設(shè)計(jì)制造國(guó)家重點(diǎn)實(shí)驗(yàn)室,湖南 長(zhǎng)沙 410082)
交叉路口是自動(dòng)駕駛開發(fā)過程中面臨的復(fù)雜交通場(chǎng)景,采用高精度地圖方案成本高昂,而僅通過車載傳感器難以有效識(shí)別路口形狀,因此,提出了一種基于開源拓?fù)涞貓D與視覺可行駛區(qū)域檢測(cè)技術(shù)的路口局部路徑規(guī)劃算法。首先,基于開源拓?fù)涞貓D采用A*算法規(guī)劃全局導(dǎo)航路徑作為引導(dǎo)線,然后通過語義分割技術(shù)識(shí)別當(dāng)前可行駛區(qū)域,并結(jié)合車輛實(shí)時(shí)定位信息,在路口確定局部路徑的起點(diǎn)、終點(diǎn)與一組備選控制點(diǎn),最后采用貝塞爾曲線插值方法,得到備選路徑的曲線簇,根據(jù)多維度加權(quán)代價(jià)函數(shù)結(jié)果選取最優(yōu)局部路徑,進(jìn)而實(shí)現(xiàn)車輛在路口轉(zhuǎn)彎過程的自動(dòng)駕駛。實(shí)驗(yàn)結(jié)果表明,該策略能夠在不依賴高精地圖的情況下,在路口處有效規(guī)劃出局部路徑,提高自動(dòng)駕駛車輛在路口處的通過能力,路口通過率可達(dá)99%。該策略不依賴高精地圖和激光雷達(dá),對(duì)于自動(dòng)駕駛量產(chǎn)降本具有重大意義。
自動(dòng)駕駛;局部路徑規(guī)劃;交叉路口;拓?fù)涞貓D;計(jì)算機(jī)視覺
自動(dòng)駕駛汽車的研究是世界交通運(yùn)輸領(lǐng)域的前沿,路徑規(guī)劃是其中的重點(diǎn)和難點(diǎn)。當(dāng)前主流的路徑規(guī)劃方案是依賴高精地圖和激光雷達(dá)[1-3],利用完備的道路環(huán)境信息進(jìn)行全局和局部路徑規(guī)劃。高精地圖具有完備的道路結(jié)構(gòu)化信息,簡(jiǎn)化了路徑規(guī)劃的復(fù)雜度,但存在高精地圖制作困難、使用維護(hù)成本高等問題。
針對(duì)路口場(chǎng)景,由于缺少車道線等結(jié)構(gòu)化信息,且路口形狀復(fù)雜,使得路口的局部路徑規(guī)劃變得異常困難。MOREAU J等人[4]采用非線性運(yùn)動(dòng)學(xué)車輛模型和貝塞爾曲線進(jìn)行路口局部路徑規(guī)劃,將其轉(zhuǎn)化為優(yōu)化問題進(jìn)行規(guī)劃路徑的求解。李飛琦等人[5]則通過建立高精度先驗(yàn)地圖數(shù)據(jù)庫,并利用多項(xiàng)式擬合的策略生成路口軌跡。這些方法都是基于已有的精確參考路徑的前提下,根據(jù)車輛的位置進(jìn)行路徑跟隨,對(duì)地圖精度要求高。
但高精度地圖由于采集、標(biāo)注工作量極大,使用成本較高,基于視覺和非高精度地圖的自動(dòng)駕駛方案會(huì)有更大的量產(chǎn)可能性。路徑規(guī)劃需要獲取道路信息,通過對(duì)視覺傳感器獲取的道路圖像進(jìn)行語義分割,能夠提取路面信息,檢測(cè)出當(dāng)前可行駛區(qū)域。語義分割通常采用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks, FCN)、擴(kuò)張卷積等深度神經(jīng)網(wǎng)絡(luò)模型,近年來又發(fā)展出采用最小監(jiān)督和對(duì)抗模型等策略的語義分割算法。同時(shí),道路級(jí)精度的導(dǎo)航地圖也在自動(dòng)駕駛研究中得到應(yīng)用。AWANG等人[6]提出使用開源街景地圖(Open Street Map, OSM)與視覺里程計(jì)進(jìn)行全局定位,BALLARDINI A L等人[7]則提出基于圖像語義分割與電子地圖的匹配進(jìn)行路口定位的方法。
綜上所述,研究不依賴高精地圖且能夠靠低成本視覺感知進(jìn)行實(shí)時(shí)路徑規(guī)劃的算法具有重要的現(xiàn)實(shí)意義。本文針對(duì)路口轉(zhuǎn)彎這一困難場(chǎng)景,采用開源的OSM地圖稀疏拓?fù)涞貓D獲取全局導(dǎo)航路徑,為局部路徑提供方向指引,能夠摒棄高精地圖依賴。同時(shí)利用視覺傳感器識(shí)別當(dāng)前路段的可行駛區(qū)域,結(jié)合定位信息實(shí)時(shí)規(guī)劃出一條可安全、平滑地通過路口的局部路徑,具有成本低、方案靈活、魯棒性高等優(yōu)點(diǎn)。
本文使用開源的OSM地圖,利用A*算法規(guī)劃全局導(dǎo)航路徑,然后通過圖像語義分割技術(shù)識(shí)別車輛可行駛區(qū)域。A*算法是一種高效的啟發(fā)式搜索算法,是靜態(tài)路網(wǎng)中求解最短路徑最有效的直接搜索方法,原理是通過估算節(jié)點(diǎn)的代價(jià)評(píng)估函數(shù)值并作為節(jié)點(diǎn)的代價(jià)值,選取代價(jià)值最小的節(jié)點(diǎn)作為下一個(gè)需要遍歷的節(jié)點(diǎn),逐步找到最優(yōu)路徑。結(jié)合組合導(dǎo)航獲取的實(shí)時(shí)定位信息,在路口尋找局部路徑的起點(diǎn)、終點(diǎn)和一組備選控制點(diǎn)。采用貝塞爾曲線插值方法,得到備選路徑的曲線簇。通過計(jì)算加權(quán)多目標(biāo)代價(jià)函數(shù),選取最優(yōu)的局部路徑曲線。最后以固定間距插值得到局部路徑的路點(diǎn)集,輸出給自動(dòng)駕駛汽車的決策和控制模塊,進(jìn)而實(shí)現(xiàn)車輛在路口轉(zhuǎn)彎過程的自動(dòng)駕駛??傮w方案如圖1所示。
圖1 路口局部路徑生成總體方案
自動(dòng)駕駛需要依賴地圖進(jìn)行全局路徑規(guī)劃,本文采用一種弱拓?fù)湎闰?yàn)的OSM地圖。OSM地圖是由節(jié)點(diǎn)(node)、路徑(way)和關(guān)系(relation)構(gòu)成的數(shù)據(jù)體,通過設(shè)置全局導(dǎo)航路徑的起點(diǎn)和終點(diǎn),可以規(guī)劃出一條僅包含稀疏路點(diǎn)的最短全局導(dǎo)航路徑,圖2為OSM地圖元素及規(guī)劃的最短全局導(dǎo)航路徑,其中圓點(diǎn)為OSM地圖的稀疏節(jié)點(diǎn),細(xì)線是路徑,粗實(shí)線則是根據(jù)起點(diǎn)和終點(diǎn)規(guī)劃的最短全局導(dǎo)航路徑{0,1,…},其中0,1,…為節(jié)點(diǎn)編號(hào)。
圖2 OSM地圖元素及最短全局導(dǎo)航路徑
可行駛區(qū)域感知意在識(shí)別出自車所在位置周邊的道路路面,確定車輛可通行的區(qū)域,為自動(dòng)駕駛提供路徑規(guī)劃輔助??尚旭倕^(qū)域可通過對(duì)激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)或攝像頭獲取的圖像數(shù)據(jù)進(jìn)行特征提取得到。激光點(diǎn)云方案具有良好的測(cè)距精度,然而對(duì)沒有路肩或護(hù)欄的道路邊界檢測(cè)效果較差,因此,本文采用視覺感知的方案識(shí)別可行駛區(qū)域。
通過車輛上安裝的前向3路攝像頭采集車輛周圍的環(huán)境圖像,利用深度學(xué)習(xí)的語義分割算法檢測(cè)可行駛區(qū)域。本文采用開源語義分割算法Fast-SCNN[8],同一時(shí)間戳的3個(gè)攝像頭采集的3幅圖像以批數(shù)據(jù)形式輸入模型,并且輸出類別僅保留“道路”,得到3幅圖像中道路掩碼,根據(jù)掩碼提取出道路邊緣點(diǎn)集。
將一副圖像上的邊緣點(diǎn)集投影到車輛坐標(biāo)系下,并將投影后的點(diǎn)集相連形成封閉多邊形,則封閉多邊形內(nèi)部區(qū)域即為可行駛區(qū)域。將多路攝像頭所獲取的可行駛區(qū)域進(jìn)行疊加,能夠得到更大視野的可行駛區(qū)域,提取融合后的可行駛區(qū)域的邊界即可得到可行駛區(qū)域邊緣點(diǎn)。
根據(jù)自車定位信息,可將可行駛區(qū)域邊緣點(diǎn)轉(zhuǎn)換到世界坐標(biāo)系下。在世界坐標(biāo)系下,將當(dāng)前幀的可行駛區(qū)域疊加到歷史可行駛區(qū)域上,即可得到連續(xù)幀的可行駛區(qū)域,創(chuàng)建出包含歷史信息的可行駛區(qū)域。連續(xù)幀融合的可行駛區(qū)域可對(duì)一些運(yùn)動(dòng)物體遮擋的區(qū)域進(jìn)行覆蓋,得到更完整的可行駛區(qū)域。最后將可行駛區(qū)域轉(zhuǎn)換為二值圖,并調(diào)整分辨率,最終得到局部柵格地圖。提取可行駛區(qū)域的邊界點(diǎn),組成可行駛區(qū)域邊界點(diǎn)集{0,1,…}。圖3是多攝像頭融合的可行駛區(qū)域感知結(jié)果,其中圖3(a)是前視3路攝像頭獲取的圖像語義分割結(jié)果,圖3(b)是同一時(shí)間戳下3幅圖像融合后的可行駛區(qū)域,圖3(c)是經(jīng)過連續(xù)幀融合后的柵格地圖,圖3(d)是該路口的航拍圖。
圖3 可行駛區(qū)域感知結(jié)果
由于貝塞爾曲線具有路徑平滑、曲率連續(xù)的特點(diǎn),適合作為局部路徑規(guī)劃的曲線,因此,采用貝塞爾曲線進(jìn)行局部路徑規(guī)劃。
圖4 路口備選局部路徑曲線簇
為選擇最優(yōu)的局部路徑,采用加權(quán)多目標(biāo)代價(jià)函數(shù)計(jì)算每條備選路徑的代價(jià)。代價(jià)函數(shù)考慮路徑可通行能力、跟隨全局路徑的能力、路徑長(zhǎng)度以及路徑平滑性,設(shè)計(jì)了路徑可通行代價(jià)函數(shù)p、跟隨全局路徑代價(jià)函數(shù)f、路徑長(zhǎng)度代價(jià)函數(shù)d以及路徑平滑代價(jià)函數(shù)s。
路徑可通行能力考慮路點(diǎn)與可行駛區(qū)域邊緣的最短距離,路點(diǎn)離可行駛區(qū)域邊緣越遠(yuǎn),通行性越高,行駛越安全。采用符號(hào)距離函數(shù)計(jì)算路點(diǎn)與可行駛區(qū)域邊緣的距離,其表達(dá)式如式(1)所示:
式中,為可行駛區(qū)域;c為的補(bǔ)集,指非可行駛區(qū)域;∈為路點(diǎn)在可行駛區(qū)域內(nèi);∈c為路點(diǎn)在可行駛區(qū)域外;(,)為路點(diǎn)到可行駛區(qū)域的最短距離。因此,路徑可通行代價(jià)函數(shù)p計(jì)算公式如式(2)所示:
跟隨全局路徑的能力考慮局部路徑對(duì)導(dǎo)航路徑的跟隨性,局部路徑所有路點(diǎn)至導(dǎo)航路徑的距離之和越小,跟隨性越高,因此,跟隨全局路徑代價(jià)函數(shù)f計(jì)算公式如式(3)所示:
一般認(rèn)為局部路徑的長(zhǎng)度越短越好,能有效減少行駛里程。因此,路徑長(zhǎng)度代價(jià)函數(shù)d的計(jì)算公式如式(4)所示:
路徑平滑性通常由曲線的曲率決定,曲率越小,路徑越平滑。因此,路徑平滑代價(jià)函數(shù)s的計(jì)算公式如式(5)所示:
綜上所述,備選路徑的加權(quán)多目標(biāo)代價(jià)函數(shù)計(jì)算公式如式(6)和式(7)所示:
通過上述優(yōu)化方法求得最優(yōu)局部路徑后,以0.5 m為間隔插值得到局部路徑的路點(diǎn)集。路徑規(guī)劃效果如圖5所示,其中實(shí)線條為全局路徑規(guī)劃獲取的當(dāng)前導(dǎo)航路徑,虛線為路口最優(yōu)局部路徑。
圖5 局部路徑規(guī)劃結(jié)果
本文以廣州大學(xué)城部分路口為測(cè)試對(duì)象,采用廣汽傳祺GE3電動(dòng)車作為試驗(yàn)車平臺(tái),實(shí)現(xiàn)橫縱向自動(dòng)控制。平臺(tái)車搭載了組合導(dǎo)航設(shè)備及3路前視攝像頭,其中3路攝像頭視場(chǎng)角均為60°,兩側(cè)向攝像頭與中間攝像頭夾角均為45°,融合后的有效視場(chǎng)角約150°,有效擴(kuò)大了系統(tǒng)的可視范圍。
測(cè)試過程為實(shí)車道路測(cè)試,在廣州大學(xué)城隨機(jī)選取路口,根據(jù)人工干預(yù)次數(shù)及乘員的主觀感受進(jìn)行評(píng)測(cè)。分別測(cè)試了左轉(zhuǎn)、右轉(zhuǎn)和直行路口場(chǎng)景下,根據(jù)局部路徑規(guī)劃所得路點(diǎn)進(jìn)行自動(dòng)駕駛的通過情況。實(shí)驗(yàn)共選擇了30個(gè)路口進(jìn)行測(cè)試,其中9個(gè)右轉(zhuǎn)路口,11個(gè)左轉(zhuǎn)路口,10個(gè)直行路口,每個(gè)路口測(cè)試3次,總體路口轉(zhuǎn)彎成功率達(dá)到100%,測(cè)試實(shí)拍如圖6所示,具體測(cè)試結(jié)果見表1。乘員總體乘坐感受是行駛較為平順,但由于導(dǎo)航路徑有且僅有一條且不包含車道信息,在多車道路口行駛時(shí)會(huì)使規(guī)劃的局部路徑往導(dǎo)航路徑靠攏,有時(shí)會(huì)導(dǎo)致車輛存在較大幅度的橫向偏移,對(duì)其他車輛行駛造成一定影響。
圖6 路口實(shí)車測(cè)試實(shí)拍圖
表1 路口實(shí)車測(cè)試結(jié)果統(tǒng)計(jì)
測(cè)試場(chǎng)景路口數(shù)量測(cè)試次數(shù)總測(cè)試次數(shù)接管次數(shù)成功次數(shù)成功率 右轉(zhuǎn)10330030100% 左轉(zhuǎn)1133313297% 直行9327027100% 合計(jì)3039018999%
1)本文對(duì)低成本自動(dòng)駕駛方案進(jìn)行了探索,提出一種基于開源地圖與視覺感知進(jìn)行路口局部路徑規(guī)劃的算法,創(chuàng)造性地利用視覺可行駛區(qū)域感知與道路級(jí)導(dǎo)航融合進(jìn)行局部路徑規(guī)劃,擺脫了路徑規(guī)劃對(duì)高精度地圖的依賴。
2)在路口處,采用貝塞爾曲線進(jìn)行局部路徑擬合,以全局道路路徑作為指引,在可行駛區(qū)域內(nèi)生成曲線簇,通過加權(quán)多目標(biāo)代價(jià)函數(shù)求取最優(yōu)的曲線作為局部路徑供自動(dòng)駕駛車輛跟隨,對(duì)動(dòng)態(tài)路況具有很好的魯棒性,保障車輛安全通過路口。
3)由于交叉路口往往有錯(cuò)綜復(fù)雜的障礙物運(yùn)行軌跡,因此,下一步還需將周圍的障礙物信息加入局部路徑規(guī)劃中一起考慮,提出更加魯棒的路口局部路徑規(guī)劃算法。
[1] 宋若旸,闕海霞,馬宗鈺,等.基于改進(jìn)RRT*算法的自動(dòng)駕駛車輛路徑規(guī)劃研究[J].汽車實(shí)用技術(shù),2021,46 (1):20-22.
[2] 劉亮.基于激光雷達(dá)的結(jié)構(gòu)化道路環(huán)境感知及避障路徑規(guī)劃方法研究[D].西安:長(zhǎng)安大學(xué),2021.
[3] 王美玲,潘允輝.基于GIS與約束條件下的最優(yōu)路徑規(guī)劃研究[J].北京理工大學(xué)學(xué)報(bào),2016,36(8):851-856, 861.
[4] MOREAU J,MELCHIOR P,STéPHANE V,et al.Reac- tive Path Planning in Intersection for Autonomous Vehicle[J].IFAC-PapersOnLine,2019,52(5):109-114.
[5] 李飛琦,鮑泓,潘峰等.智能車導(dǎo)航中的路口軌跡生成策略[J].計(jì)算機(jī)工程,2018,44(7):25-31.
[6] AWANG SALLEH D N S D,SEIGNEZ E.Swift Path Planning:Vehicle Localization by Visual Odometry Trajectory Tracking and Mapping[J].Unmanned Sys- tems,2018,6(4):221-230.
[7] BALLARDINI A L,CATTANEO D,SORRENTI D G.Visual Localization at Intersections with Digital Maps[C]//2019 International Conference on Robotics and Automation (ICRA).Montreal:IEEE,2019:6651- 6657.
[8] POUDEL R P K,LIWICKI S,CIPOLLA R.Fast-SCNN: Fast Semantic Segmentation Network:202010619356. 9[P].2019-02-12.
Local Path Generation Strategy of Intersection Based on Topology Map
WANG Yulong1,2, ZHANG Jianfeng1, MIN Huan1, QIN Xiaoyi1, LI Zhi1
( 1.Auto Engineering Research Institute, Guangzhou Automobile Group Company Limited,Guangzhou 510641, China; 2.State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan University, Changsha 410082, China )
Intersection is a complex traffic scene in the development of autonomous driving. The cost of using high-definition map scheme is high, and it is difficult to effectively identify intersection shape only by vehicle sensors. Therefore, an intersection local path planning algorithm based on open source topology map and vision is proposed. First, uses the open source topology map to plan the global navigation path which was used as a guide line. Then, semantic segmentation technology is used to identify the freespace in the visual image. At the same time, the local path’s starting point, end point and control points are determined by combining the real-time positioning information of the vehicle at the intersection. Finally, bazel curve interpolation method is used to obtain the curve cluster of alternative paths, and the optimal local path is selected according to the result of the multi-dimensional weighted cost function. Then realizes the autonomous driving of the vehicle in the process of turning at the intersection. Experimental results show that the proposed strategy can effectively plan local paths at intersections without relying on high precision maps and improve the ability of autonomous vehicle to pass at intersections. The passing rate at intersection can reach 99%.
Autonomous vehicles; Local path planning; Intersection; Topology map; Computer vision
U463.3
A
1671-7988(2023)12-39-05
王玉龍(1988-),博士,工程師,研究方向?yàn)槿斯ぶ悄芘c自動(dòng)駕駛,E-mail:wangyulong@gacrnd.com。
湖南大學(xué)汽車車身先進(jìn)設(shè)計(jì)制造國(guó)家重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(31825011)。
10.16638/j.cnki.1671-7988.2023.012.008