王立人 朱彥宇 黃潔 呂穎 夏春明
摘要:自動尋跡機器人在工業(yè)自動化生產中已經得到了廣泛應用。本文對以CCD攝像頭為主要尋跡傳感器的小車的圖像識別算法進行了討論,對使用不同傳感器的小車的自動避障功能進行了探討,對小車與電腦使用WiFi網(wǎng)絡搭建通訊進行了簡單研究。實現(xiàn)了小車通過攝像頭和紅外傳感器進行自動避障和自主尋跡的功能,并且使用WiFi網(wǎng)絡建立了小車與電腦的通訊,通過電腦能夠對小車進行遠程控制。
關鍵詞:wifi通訊;尋跡;避障;智能小車1前言
智能車(Intelligent Vehicle, IV),也稱作無人地面車輛(Unmanned Ground Vehicle, UGV),是一個集環(huán)境感知、動態(tài)決策與規(guī)劃、智能控制與執(zhí)行等多功能于一體的綜合系統(tǒng),相關技術涉及諸多學科,是衡量一個國家科研實力和工業(yè)水平的重要標志[1]。
在智能駕駛技術的研究方面,國外起步較早,典型的研究代表如美國卡耐基梅隆大學的NavLab-5[2]與Boss[3]智能車、谷歌公司的Google Driverless Car,意大利帕爾馬大學的The ARGO vehicle[4,5]、德國聯(lián)邦國防軍大學的VaMP智能駕駛系統(tǒng)[6]等。吉林大學是我國最早的智能車研究單位之一。王榮本教授帶領的智能車課題組從上世紀80年代后期開始智能車自主導航的研究,在環(huán)境感知、導航技術等方面有較為深入的研究[8]。 清華大學汽車系“安全與節(jié)能”國家重點實驗室李克強教授主持研制的THASV智能車側重于汽車主動安全研究,在視覺導航、主動避障、離線報警等方面取得了較突出的研究成果,目前正在進行智能巡航控制系統(tǒng)、前碰撞預警系統(tǒng)等技術的實用化工作。
作為智能汽車的基礎,智能小車在近年也有非??焖俚陌l(fā)展。機器人比賽是近幾年在國際上迅速開展起來的一項高科技活動,雖然歷史不長,但由于集高新技術、娛樂、比賽于一體。所以引起了眾多學者的廣泛關注和極大的興趣。飛思卡爾大賽作為眾多機器人競速賽中規(guī)模最大的比賽,數(shù)年中已經吸引了數(shù)百所大學參與。該競賽以競速賽為基本競賽形式,輔以創(chuàng)意賽和技術方案賽等多種形式。競速賽以統(tǒng)一規(guī)范的標準硬軟件為技術平臺,制作一部能夠自主識別道路的模型汽車,按照規(guī)定路線行進,并符合預先公布的其他規(guī)則,以完成時間最短者為優(yōu)勝。本文中論述的賽道識別和尋跡部分均以飛思卡爾大賽的規(guī)則作為基礎,在此條件上進行分析和討論。
智能小車在軍事,航空探測等領域有重要作用。智能小車的設計涉及計算機,電子技術,傳感器與檢測技術等多個方面。WiFi技術同樣是一項運用非常廣泛的技術,具有傳輸速度快,傳輸距離遠,信號穩(wěn)定等特點。本文使用32位的嵌入式微處理器stm32作為處理核心,CCD數(shù)字攝像頭作為主要傳感器,輔以紅外距離傳感器,通過路由器搭建局域網(wǎng),實現(xiàn)小車自主尋跡,自動避障及WiFi通訊的功能。
2自動循跡避障智能車硬件設計
本系統(tǒng)使用stm32f107作為處理核心,使用ov7725攝像頭作為主要的尋跡傳感器,無線網(wǎng)卡為上海慶科信息技術有限公司開發(fā)的EM380C多功能串口轉wifi模塊,避障傳感器為紅外距離傳感器,與7.4伏電源和電機驅動組成小車硬件結構。使用計算機作為上位機終端,通過wifi與小車連接,完成遙控信號的發(fā)送工作。本文使用labview作為上位機的編寫軟件,IAR作為智能車控制程序的編程軟件。
本系統(tǒng)的硬件設計主要包括ccd攝像頭傳感器的位置安排,紅外距離傳感器的位置及角度安排及電路的設計。
2.1 攝像頭高度及角度設計
攝像頭的高度和角度對取景的范圍影響很大。攝像頭采集到的圖像中,與當前行進的道路有關的內容為有效的內容,其他內容一律視為干擾,可能影響到圖形計算和小車路徑的計算。本文將有效的圖片內容定義為有效視野,在設計攝像頭位置時,應在保證有效視野在圖像中占比盡可能大,并使攝像頭盡量看的更遠。本文使用飛思卡爾比賽規(guī)定的標準直道對攝像頭視野進行測試。
2.2 紅外距離傳感器的位置及角度設計
紅外傳感器的布置很大程度上影響了避障準確性和避障效率。布置不當可能引起避障不及時或者避障過度。紅外傳感器的布置應考慮到車輛的遇障方向,處理方式等。本文采用在車輛前段放置3個角度不同的紅外傳感器的方式,來對障礙物進行識別。兩側的紅外傳感器分別向外傾斜一個角度,并且將感應距離設置為車寬加上安全距離。
2.3 電路設計
電路設計和pcb繪制主要由AD13完成。通過電路將單片機,網(wǎng)卡模塊,電機驅動,傳感器等正確地連接在一起,盡量使結構緊湊,并且避免電路干擾。小車使用兩個電機驅動模塊,分別控制小車兩側的兩個輪子的正轉和反轉。由于使用了沒有舵機的方案,轉向將依靠兩側車輪的差速來完成。
3智能小車及其上位機軟件設計
軟件設計分為上位機和下位機兩部分,上位機的功能為使用電腦遙控小車,使其完成前進,后退,左轉,右轉等動作;下位機的功能包括自動尋跡和自動避障兩部分。
3.1 上位機設計
上位機由labview編寫,界面由網(wǎng)絡端口號設置,IP地址設置和控制按鍵組成。通過上位機的按鍵,可以實現(xiàn)控制小車前進,后退左轉和右轉。
上位機通信是由PC機、無線路由器、智能小車網(wǎng)卡三部分共同實現(xiàn)的,基于TCP/IP通信協(xié)議。其中PC機是客戶端,而智能小車是服務器,無線路由器擔任兩者的通信媒介,每個模塊分別有指定的IP地址,通過wifi相連接。上位機通過PC機的網(wǎng)絡端口將數(shù)據(jù)發(fā)送到無線路由器,無線路由器將收到的數(shù)據(jù)轉送到小車網(wǎng)卡的IP地址上,從而實現(xiàn)上位機到小車網(wǎng)卡的單向通信。當操作者需要對小車執(zhí)行不同的遠程操作時,只要通過點擊PC端上位機的相應按鍵,電腦就會通過WiFi網(wǎng)絡向小車發(fā)送一個特定字符串,小車接收并識別出命令后就會執(zhí)行相應的運動。
3.2 下位機設計
下位機即小車,由單片機進行控制??刂瞥绦虻木帉懞驼{試由IAR完成。
3.2.1 尋跡算法
尋跡算法的主要內容是圖像處理,即從攝像頭所采集到的數(shù)字圖像信號中提取出路徑信息。本文的實驗道路為符合飛思卡爾大賽攝像頭組和光電組規(guī)定的標準道路,由白色KT板制成,道路寬45cm,邊界由寬3cm的黑色膠帶標識。作為真實道路的簡化,該模型即具有道路兩側邊界的特征,又簡化了邊界的識別工作,方便圖像算法處理。
圖像處理的目的即由道路的邊線提取出合適的行駛路徑,一般為道路的中央,稱之為道路中線。而要得到中線,首先要識別出道路的左邊界和右邊界。本系統(tǒng)使用ov7725數(shù)字攝像頭,可將采集到的圖像直接轉化為由0和1組成的2維數(shù)組來表示圖像的白和黑,通過二維數(shù)組的地址和值,可以直接得到圖像平面內某一點的坐標和其黑白值。但僅憑圖像色彩無法判斷哪些黑點表示道路的左邊界,哪些點表示右邊界。
因此,在調整攝像頭位置時,應考慮到使近端的道路邊界盡可能清晰,易于識別。有了這個基礎之后,利用邊界的連續(xù)性,即可有效可靠地搜索到左邊界和右邊界。具體算法如下:
⑴底部5行逐行從圖像中間開始分別向兩側搜索黑點,當發(fā)現(xiàn)連續(xù)數(shù)個黑點時,就認為判斷到了相應的邊界,將坐標信息儲存進相應的數(shù)組。
⑵有了底部左右邊界的起點后,利用算法遍歷與起點相連續(xù)的點,尋找其中的黑點并將其坐標存儲至相應的數(shù)組。
⑶分別得到左側邊界和右側邊界的坐標后,將同一行的兩側邊界坐標進行平均以得到中線坐標。
3.2.2 避障算法
本文使用兩種方式進行避障,一為不借助其他傳感器,由攝像頭采集到的圖像中,讀取障礙物信息,二是使用紅外距離傳感器。
根據(jù)飛思卡爾大賽對障礙物的規(guī)定,障礙物一定是黑色的,可以直接從色彩上識別出來。因為道路寬度一定,雖然由于攝像頭角度關系,采集到的二維圖像會有一定的變形,但對應行道路寬度所占據(jù)的像素點數(shù)是一定的,當采集到的道路寬度小于應有的寬度時,單片機就認為遇到了障礙。這種方式傳感器簡單,無需其他傳感器就能進行可靠的判斷,避障信息集成在中心線信息中,但是使圖像處理更加復雜。
障礙物肯定有一定的高度和體積,通過合適位置的紅外傳感器能夠簡單有效地檢測到障礙物,并且進行躲避。
3.3 控制方案
本文使用最普通的pid算法對小車的電機的占空比進行控制,使用編碼器反饋車速,以實現(xiàn)閉環(huán)控制??刂屏鞒倘缦拢ㄒ詢H有攝像頭作為傳感器的智能車為例):
由于使用了沒有舵機的小車設計,實際輸出時,會將同一側電機方向控制的修正值和速度控制的修正值相加得到總的修正值之后再輸出至電機。
3.4 實驗結果
從實驗結果看,CCD數(shù)字攝像頭能夠有效地進行雙色路徑及障礙物的識別,紅外距離傳感器同樣能夠進行障礙物的識別。具有了wifi通訊功能之后,可以通過直接通過電腦對小車的行進進行控制。通過pid控制,小車能夠良好地保持預定的速度,并且能夠通過差速平滑地進行轉向和避障。結合圖像算法和pid控制,小車能夠自動在一般的賽道上準確沿道路行駛和避障,并保持一定的速度。
4總結
本文主要研究了通過CCD攝像頭采集路徑圖像的智能小車的圖形算法,并且對使用攝像頭和紅外傳感器避障分別進行了分析,同時對電腦和小車之間的WiFi網(wǎng)絡的建立進行了研究。通過使用無線路由器搭建WiFi網(wǎng)絡,使小車和電腦處于同一局域網(wǎng)中,實現(xiàn)了通過電腦對小車行駛方向進行控制。并且實現(xiàn)了以CCD攝像頭作為循跡傳感器的智能小車的自動循跡及避障功能,也實現(xiàn)了通過紅外進行自動避障的功能。
[參考文獻]
[1]徐友春,章永進,王肖,等.智能車的研究現(xiàn)狀與發(fā)展趨勢[C].第六屆中國智能交通年會暨第七屆國際節(jié)能與新能源汽車創(chuàng)新發(fā)展論壇論文集.2011:129-134.
[2]R.Bishop.Intelligent vehicle applications worldwide.IEEE Intelligent Systems and Their Applications,2000,15(1):78-81.
[3]D.A.Pomerleau,T.M.Jochem.Rapidly adapting machine vision for automated vehicle steering.IEEE Expert,1996,11(2).
[4]C.Urmson,J.Anhalt,D.Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge.Journal of Field Robotics,2008,25(8):425-466.
[5]A.Broggi,M.Bertozzi,A.Fascioli.The 2000 km test of the ARGO vision-based autonomous vehicle.IEEE Intelligent Systems, 1999,55-64.
[6]A.Broggi,M.Bertozzi,A.Fascioli,et al.Automatic vehicle guidance:the experience of the ARGO vehicle.World Scientific. Singapore,1999.
[7]M.Maurer,R.Behringer, F.Thomanek,et al.A compact vision system for road vehicle guidance. Proceedings of the 13th International Conference on Pattern Recognition.Vienna, Austria,1996.
[8]王榮本,張榮輝,金立生.區(qū)域交通智能車導航控制技術.農業(yè)機械學報,2007,38(7):39-42.
1前言
智能車(Intelligent Vehicle, IV),也稱作無人地面車輛(Unmanned Ground Vehicle, UGV),是一個集環(huán)境感知、動態(tài)決策與規(guī)劃、智能控制與執(zhí)行等多功能于一體的綜合系統(tǒng),相關技術涉及諸多學科,是衡量一個國家科研實力和工業(yè)水平的重要標志[1]。
在智能駕駛技術的研究方面,國外起步較早,典型的研究代表如美國卡耐基梅隆大學的NavLab-5[2]與Boss[3]智能車、谷歌公司的Google Driverless Car,意大利帕爾馬大學的The ARGO vehicle[4,5]、德國聯(lián)邦國防軍大學的VaMP智能駕駛系統(tǒng)[6]等。吉林大學是我國最早的智能車研究單位之一。王榮本教授帶領的智能車課題組從上世紀80年代后期開始智能車自主導航的研究,在環(huán)境感知、導航技術等方面有較為深入的研究[8]。 清華大學汽車系“安全與節(jié)能”國家重點實驗室李克強教授主持研制的THASV智能車側重于汽車主動安全研究,在視覺導航、主動避障、離線報警等方面取得了較突出的研究成果,目前正在進行智能巡航控制系統(tǒng)、前碰撞預警系統(tǒng)等技術的實用化工作。
作為智能汽車的基礎,智能小車在近年也有非??焖俚陌l(fā)展。機器人比賽是近幾年在國際上迅速開展起來的一項高科技活動,雖然歷史不長,但由于集高新技術、娛樂、比賽于一體。所以引起了眾多學者的廣泛關注和極大的興趣。飛思卡爾大賽作為眾多機器人競速賽中規(guī)模最大的比賽,數(shù)年中已經吸引了數(shù)百所大學參與。該競賽以競速賽為基本競賽形式,輔以創(chuàng)意賽和技術方案賽等多種形式。競速賽以統(tǒng)一規(guī)范的標準硬軟件為技術平臺,制作一部能夠自主識別道路的模型汽車,按照規(guī)定路線行進,并符合預先公布的其他規(guī)則,以完成時間最短者為優(yōu)勝。本文中論述的賽道識別和尋跡部分均以飛思卡爾大賽的規(guī)則作為基礎,在此條件上進行分析和討論。
智能小車在軍事,航空探測等領域有重要作用。智能小車的設計涉及計算機,電子技術,傳感器與檢測技術等多個方面。WiFi技術同樣是一項運用非常廣泛的技術,具有傳輸速度快,傳輸距離遠,信號穩(wěn)定等特點。本文使用32位的嵌入式微處理器stm32作為處理核心,CCD數(shù)字攝像頭作為主要傳感器,輔以紅外距離傳感器,通過路由器搭建局域網(wǎng),實現(xiàn)小車自主尋跡,自動避障及WiFi通訊的功能。
2自動循跡避障智能車硬件設計
本系統(tǒng)使用stm32f107作為處理核心,使用ov7725攝像頭作為主要的尋跡傳感器,無線網(wǎng)卡為上海慶科信息技術有限公司開發(fā)的EM380C多功能串口轉wifi模塊,避障傳感器為紅外距離傳感器,與7.4伏電源和電機驅動組成小車硬件結構。使用計算機作為上位機終端,通過wifi與小車連接,完成遙控信號的發(fā)送工作。本文使用labview作為上位機的編寫軟件,IAR作為智能車控制程序的編程軟件。
本系統(tǒng)的硬件設計主要包括ccd攝像頭傳感器的位置安排,紅外距離傳感器的位置及角度安排及電路的設計。
2.1 攝像頭高度及角度設計
攝像頭的高度和角度對取景的范圍影響很大。攝像頭采集到的圖像中,與當前行進的道路有關的內容為有效的內容,其他內容一律視為干擾,可能影響到圖形計算和小車路徑的計算。本文將有效的圖片內容定義為有效視野,在設計攝像頭位置時,應在保證有效視野在圖像中占比盡可能大,并使攝像頭盡量看的更遠。本文使用飛思卡爾比賽規(guī)定的標準直道對攝像頭視野進行測試。
2.2 紅外距離傳感器的位置及角度設計
紅外傳感器的布置很大程度上影響了避障準確性和避障效率。布置不當可能引起避障不及時或者避障過度。紅外傳感器的布置應考慮到車輛的遇障方向,處理方式等。本文采用在車輛前段放置3個角度不同的紅外傳感器的方式,來對障礙物進行識別。兩側的紅外傳感器分別向外傾斜一個角度,并且將感應距離設置為車寬加上安全距離。
2.3 電路設計
電路設計和pcb繪制主要由AD13完成。通過電路將單片機,網(wǎng)卡模塊,電機驅動,傳感器等正確地連接在一起,盡量使結構緊湊,并且避免電路干擾。小車使用兩個電機驅動模塊,分別控制小車兩側的兩個輪子的正轉和反轉。由于使用了沒有舵機的方案,轉向將依靠兩側車輪的差速來完成。
3智能小車及其上位機軟件設計
軟件設計分為上位機和下位機兩部分,上位機的功能為使用電腦遙控小車,使其完成前進,后退,左轉,右轉等動作;下位機的功能包括自動尋跡和自動避障兩部分。
3.1 上位機設計
上位機由labview編寫,界面由網(wǎng)絡端口號設置,IP地址設置和控制按鍵組成。通過上位機的按鍵,可以實現(xiàn)控制小車前進,后退左轉和右轉。
上位機通信是由PC機、無線路由器、智能小車網(wǎng)卡三部分共同實現(xiàn)的,基于TCP/IP通信協(xié)議。其中PC機是客戶端,而智能小車是服務器,無線路由器擔任兩者的通信媒介,每個模塊分別有指定的IP地址,通過wifi相連接。上位機通過PC機的網(wǎng)絡端口將數(shù)據(jù)發(fā)送到無線路由器,無線路由器將收到的數(shù)據(jù)轉送到小車網(wǎng)卡的IP地址上,從而實現(xiàn)上位機到小車網(wǎng)卡的單向通信。當操作者需要對小車執(zhí)行不同的遠程操作時,只要通過點擊PC端上位機的相應按鍵,電腦就會通過WiFi網(wǎng)絡向小車發(fā)送一個特定字符串,小車接收并識別出命令后就會執(zhí)行相應的運動。
3.2 下位機設計
下位機即小車,由單片機進行控制??刂瞥绦虻木帉懞驼{試由IAR完成。
3.2.1 尋跡算法
尋跡算法的主要內容是圖像處理,即從攝像頭所采集到的數(shù)字圖像信號中提取出路徑信息。本文的實驗道路為符合飛思卡爾大賽攝像頭組和光電組規(guī)定的標準道路,由白色KT板制成,道路寬45cm,邊界由寬3cm的黑色膠帶標識。作為真實道路的簡化,該模型即具有道路兩側邊界的特征,又簡化了邊界的識別工作,方便圖像算法處理。
圖像處理的目的即由道路的邊線提取出合適的行駛路徑,一般為道路的中央,稱之為道路中線。而要得到中線,首先要識別出道路的左邊界和右邊界。本系統(tǒng)使用ov7725數(shù)字攝像頭,可將采集到的圖像直接轉化為由0和1組成的2維數(shù)組來表示圖像的白和黑,通過二維數(shù)組的地址和值,可以直接得到圖像平面內某一點的坐標和其黑白值。但僅憑圖像色彩無法判斷哪些黑點表示道路的左邊界,哪些點表示右邊界。
因此,在調整攝像頭位置時,應考慮到使近端的道路邊界盡可能清晰,易于識別。有了這個基礎之后,利用邊界的連續(xù)性,即可有效可靠地搜索到左邊界和右邊界。具體算法如下:
⑴底部5行逐行從圖像中間開始分別向兩側搜索黑點,當發(fā)現(xiàn)連續(xù)數(shù)個黑點時,就認為判斷到了相應的邊界,將坐標信息儲存進相應的數(shù)組。
⑵有了底部左右邊界的起點后,利用算法遍歷與起點相連續(xù)的點,尋找其中的黑點并將其坐標存儲至相應的數(shù)組。
⑶分別得到左側邊界和右側邊界的坐標后,將同一行的兩側邊界坐標進行平均以得到中線坐標。
3.2.2 避障算法
本文使用兩種方式進行避障,一為不借助其他傳感器,由攝像頭采集到的圖像中,讀取障礙物信息,二是使用紅外距離傳感器。
根據(jù)飛思卡爾大賽對障礙物的規(guī)定,障礙物一定是黑色的,可以直接從色彩上識別出來。因為道路寬度一定,雖然由于攝像頭角度關系,采集到的二維圖像會有一定的變形,但對應行道路寬度所占據(jù)的像素點數(shù)是一定的,當采集到的道路寬度小于應有的寬度時,單片機就認為遇到了障礙。這種方式傳感器簡單,無需其他傳感器就能進行可靠的判斷,避障信息集成在中心線信息中,但是使圖像處理更加復雜。
障礙物肯定有一定的高度和體積,通過合適位置的紅外傳感器能夠簡單有效地檢測到障礙物,并且進行躲避。
3.3 控制方案
本文使用最普通的pid算法對小車的電機的占空比進行控制,使用編碼器反饋車速,以實現(xiàn)閉環(huán)控制??刂屏鞒倘缦拢ㄒ詢H有攝像頭作為傳感器的智能車為例):
由于使用了沒有舵機的小車設計,實際輸出時,會將同一側電機方向控制的修正值和速度控制的修正值相加得到總的修正值之后再輸出至電機。
3.4 實驗結果
從實驗結果看,CCD數(shù)字攝像頭能夠有效地進行雙色路徑及障礙物的識別,紅外距離傳感器同樣能夠進行障礙物的識別。具有了wifi通訊功能之后,可以通過直接通過電腦對小車的行進進行控制。通過pid控制,小車能夠良好地保持預定的速度,并且能夠通過差速平滑地進行轉向和避障。結合圖像算法和pid控制,小車能夠自動在一般的賽道上準確沿道路行駛和避障,并保持一定的速度。
4總結
本文主要研究了通過CCD攝像頭采集路徑圖像的智能小車的圖形算法,并且對使用攝像頭和紅外傳感器避障分別進行了分析,同時對電腦和小車之間的WiFi網(wǎng)絡的建立進行了研究。通過使用無線路由器搭建WiFi網(wǎng)絡,使小車和電腦處于同一局域網(wǎng)中,實現(xiàn)了通過電腦對小車行駛方向進行控制。并且實現(xiàn)了以CCD攝像頭作為循跡傳感器的智能小車的自動循跡及避障功能,也實現(xiàn)了通過紅外進行自動避障的功能。
[參考文獻]
[1]徐友春,章永進,王肖,等.智能車的研究現(xiàn)狀與發(fā)展趨勢[C].第六屆中國智能交通年會暨第七屆國際節(jié)能與新能源汽車創(chuàng)新發(fā)展論壇論文集.2011:129-134.
[2]R.Bishop.Intelligent vehicle applications worldwide.IEEE Intelligent Systems and Their Applications,2000,15(1):78-81.
[3]D.A.Pomerleau,T.M.Jochem.Rapidly adapting machine vision for automated vehicle steering.IEEE Expert,1996,11(2).
[4]C.Urmson,J.Anhalt,D.Bagnell,et al.Autonomous driving in urban environments:Boss and the urban challenge.Journal of Field Robotics,2008,25(8):425-466.
[5]A.Broggi,M.Bertozzi,A.Fascioli.The 2000 km test of the ARGO vision-based autonomous vehicle.IEEE Intelligent Systems, 1999,55-64.
[6]A.Broggi,M.Bertozzi,A.Fascioli,et al.Automatic vehicle guidance:the experience of the ARGO vehicle.World Scientific. Singapore,1999.
[7]M.Maurer,R.Behringer, F.Thomanek,et al.A compact vision system for road vehicle guidance. Proceedings of the 13th International Conference on Pattern Recognition.Vienna, Austria,1996.
[8]王榮本,張榮輝,金立生.區(qū)域交通智能車導航控制技術.農業(yè)機械學報,2007,38(7):39-42.