熊麒,張孟軒,黃楠興,曹金,謝勇君
(1.暨南大學 軌道交通研究院,廣東 珠海 519000;2.暨南大學 國際能源學院,廣東 珠海 519000)
隨著城市交通擁堵、環(huán)境污染、能源短缺等問題日益突出,許多城市選擇修建地鐵、輕軌等軌道交通來緩解城市交通壓力,同時減少尾氣的排放量。但是由于地鐵項目普遍投資高、審批相對困難,而現(xiàn)代有軌電車憑借高速度、高舒適性、安全可靠低造假、低污染、短工期等優(yōu)點,重新煥發(fā)生機,在中小型城市中被廣泛投入使用。
由于現(xiàn)代有軌電車槽型軌采用埋入式設計,槽型軌內(nèi)很容易積聚如樹葉、石子、污泥等各類垃圾,容易腐蝕軌道及車輛元件,嚴重時更會影響到現(xiàn)代有軌電車的行車安全,因此,槽型軌的清潔工作是保障現(xiàn)代有軌電車安全運營的重要環(huán)節(jié),為了保障有軌電車的運行安全,本團隊在珠海市協(xié)同創(chuàng)新項目的支持下研發(fā)的現(xiàn)代有軌電車槽型軌道自動清潔車,車體搭載一套自動清潔系統(tǒng),用于槽型軌上垃圾的自動清潔,可實現(xiàn)全天候有效清除有軌電車第三軌上的導電物、樹葉、沙子、灰塵等,同時可清除軌面及軌道槽內(nèi)渣土、砂石、油泥等沉積物,推進了軌道清潔車向全自動化的發(fā)展程度,并間接推動了現(xiàn)代有軌電車的發(fā)展。
由于現(xiàn)代電車槽型軌道具有槽型軌道岔,我們發(fā)現(xiàn)清潔車經(jīng)過道岔時,清潔工具容易受到撞擊,從而使清潔工具受到損壞。與鋼軌結(jié)合的道岔設備是線路的關鍵設備,供列車轉(zhuǎn)入或越過另一股軌道,在軌道網(wǎng)絡連接中起著關鍵作用。清潔工具遭受撞擊具體體現(xiàn)為:車輛尾部裝載的高壓射流與軌道清潔集成裝置,其真空吸嘴在運行時須部分伸入軌道槽中,盡可能離垃圾離些,才能發(fā)揮效用,車上操作人員在遭遇道岔之前需手動通過控制面板提起清潔集成裝置。因此,對軌道道岔進行迅速識別的算法研究,對實現(xiàn)更自動化、更高效的軌道清潔顯得十分重要。
圖像識別技術是現(xiàn)在研究領域中的熱點技術,通過圖像識別能夠解決以往難以解決的問題。為了實現(xiàn)對軌道道岔的識別,本文提出一種利用道岔特征要素進行識別的軌道清潔車保護系統(tǒng),并將其搭載于本項目組前期研制的現(xiàn)代有軌電車軌道清潔車上,從而保證軌道清潔車工作過程的有效性和安全性。
本團隊在珠海市協(xié)同創(chuàng)新項目的支持下研發(fā)的現(xiàn)代有軌電車槽型軌道自動清潔車結(jié)構(gòu)圖如圖1所示;本文設計的軌道道岔識別系統(tǒng)的整體構(gòu)成示意圖如圖2所示,主要包括圖像采集模塊和上位機模塊。圖像采集模塊為安裝在清潔車車頭定點位置的高速攝像頭,高速攝像頭采用WP-UC500工業(yè)相機,采集速度快,500萬像素下可達每秒37.5幀,符合動態(tài)測量的要求。上位機模塊為安裝于清潔車駕駛室內(nèi)的上位機,上位機中安裝有軌道道岔檢測的軟件,可以對高速攝像頭采集到的軌道圖像進行一系列預處理,圖像提取,得到軌道輪廓的二值圖,并根據(jù)道岔特征條件對軌道輪廓進行判斷,推斷前方是否存在道岔。當檢測出前方存在道岔時,工控機將自動向PLC發(fā)出控制指令,利用液壓系統(tǒng)控制向上抬起高壓水槍等清潔工具,避免與道岔碰撞摩擦,造成清潔工具的損壞。若抬起清潔工具的操作失敗,PLC會向工控機模塊發(fā)送警報信息,提醒操作人員注意。
圖1 現(xiàn)代有軌電車槽型軌道自動清潔車基本結(jié)構(gòu)及部件圖
圖2 道岔識別系統(tǒng)的整體構(gòu)成
圖3為道岔自動檢測算法原理圖,主要包括圖像采集、圖像預處理、特征提取以及特征處理四個過程。
由于軌道環(huán)境復雜,噪聲過多,噪聲源復雜,本環(huán)節(jié)主要利用高斯噪聲模擬真實環(huán)境的噪聲進行降噪處理,便于分析設計算法、量化評估算法效果,主要方法為:
2.1.1 灰度處理
從雙軌高速攝像頭采取到的軌道圖像是RGB組成的三通道圖像。由于三通道圖像中存在的色彩信息等冗余信息對本算法無關,同時會導致圖像的細節(jié)復雜、噪點更多、銳度更高,影響檢測的正確度與系統(tǒng)工作效率,因此,首先對輸入的圖像進行灰度處理,降為單通道圖像,以此降低計算的復雜度,提高計算速度。
本文采用加權(quán)平均法對圖像進行灰度化處理,將三個分量以不同的權(quán)值進行加權(quán)平均。由于人眼對綠色的敏感最高,對藍色敏感最低,因此,按下式對RGB三分量進行加權(quán)平均,得到合理的灰度圖像,簡化后續(xù)降噪處理的計算難度,如式(1)所示:
其中,、、分別表示圖像中紅、綠、藍通道的像素值大小。
圖3 道岔自動檢測總體算法流程圖
2.1.2 設置ROI區(qū)域
為了減少計算量,提高運算速度,本文在圖像上設置ROI區(qū)域,只關注軌道區(qū)域,并進行裁剪,提取ROI區(qū)域圖像并存放于一張新的圖像,減小圖像處理的范圍。結(jié)合從軌道清潔車上搭載的定點攝像頭采集到的圖像,由于軌道清潔車沿軌道行駛,路線和視角較為固定,軌道所占圖像中的位置絕大部分為圖像中間梯形區(qū)域位置,因此,設置固定的ROI區(qū)域,使后續(xù)圖像處理的區(qū)域只覆蓋軌道及軌道前方畫面,去除兩旁畫面的影響。一方面可以減小圖像分析的計算量,使計算完成的速度更快,另一方面可以有效去除非重點區(qū)域的噪聲處理過程,使噪聲處理更加具有針對性,從而得到更為顯著的效果。
2.1.3 逆透視(IPM)
由于現(xiàn)實中存在透視原理,即現(xiàn)實中的平行線在拍攝畫面中會呈現(xiàn)相交的狀態(tài),這對本文軌道提取將造成影響。因此本文通過對上一步驟中提取到的ROI圖像進行逆透視變換,消除這種圖像畸變對后續(xù)分析處理的影響。本文運用OpenCV函數(shù)庫中的獲取透視變換矩陣函數(shù)GetPerspectiveTransform以及透視變換函數(shù)warpPerspective實現(xiàn)逆透視變換,獲取軌道線的正射影像,便于后續(xù)軌道線的提取。
2.1.4 雙邊濾波
傳統(tǒng)的高斯濾波,會對物體邊緣造成一定量的模糊,即對高頻細節(jié)保護不足,在對軌道圖像處理時,考慮到軌道呈線形,邊緣模糊對軌道形狀產(chǎn)生的影響較大,所以需要保留軌道邊緣信息,因此不能使用傳統(tǒng)的濾波方式,而是采用能夠較好保留邊緣信息的雙邊濾波。
雙邊濾波是一種邊緣保護濾波的方法,結(jié)合圖像的空間鄰近度和像素值相似度,考慮像素點的空域特性和值域特性,在高斯濾波的基礎上添加了高斯方差,依據(jù)像素值對濾波的區(qū)域進行區(qū)分,利用鄰域像素值的加權(quán)值組合輸出像素的值,加權(quán)系數(shù)取決于定義域核和值域核的乘積,即為下式雙邊濾波權(quán)重函數(shù),如式(2)所示:
其中,(,),(,)分別指兩個像素點的坐標。
雙邊濾波在有效去除高斯噪聲的同時,保證與邊緣點相離較遠的點不會對邊緣附近的點產(chǎn)生影響,較好地保存了軌道圖像的邊緣信息。
本文運用bilateralFilter函數(shù)實現(xiàn)雙邊濾波得到降噪后的圖像。將經(jīng)過ROI裁剪出的源圖像src輸出為目標圖像dst,設置參數(shù),像素鄰域的直徑=為非正數(shù),正比于sigmaSpace,從sigmaSpace中計算出它的值。為保證去噪效果最佳且圖像清晰平滑不模糊,調(diào)整顏色空間和坐標空間的sigma參數(shù),使得影響像素的顏色范圍和區(qū)域大小更加合適,選取參數(shù)為:sigmaColor=100,sigmaSpace=15。
實現(xiàn)對降噪后的圖像中的軌道輪廓的提取。其主要方法為:
采用閾值法對圖像進行二值化,大于所設置的閾值就將圖像上的像素點的灰度值設置為255,小于閾值就將圖像上的像素點的灰度值設置為0。通過二值圖像,能更好地分析物體的形狀和輪廓,用來強化軌道的邊緣輪廓信息。對于降噪模糊處理后的軌道單通道圖像,通過設置閾值,將單通道圖像轉(zhuǎn)變?yōu)槎祱D,從而實現(xiàn)去除模糊點集,增強目標點集的作用。
采用形態(tài)學基本梯度,即膨脹減腐蝕,將膨脹后的圖和腐蝕圖相減,得到軌道的輪廓特征。同時通過開運算,即先腐蝕后膨脹,平滑物體的輪廓,斷開較窄的狹頸并消除細的突出物,以消除黑色背景中的白點雜質(zhì),去除在圖像中存在的孤立小物體,同時有效地平滑圖像中較大物體的邊緣,消除雜散噪聲的影響,使圖像形狀更準確光滑。
根據(jù)經(jīng)過二值化和特征提取得到的軌道輪廓的二值圖,判斷軌道的交叉情況,如圖4所示。
通過觀察歸納可知,當軌道不存在道岔或轉(zhuǎn)彎時,軌道應當保持平行狀態(tài)。以最常見的單開道岔為例,當圖像選定的ROI區(qū)域有道岔出現(xiàn)時,出現(xiàn)的最突出的特征就是軌道數(shù)量的增加,可以通過對二值圖像中軌道距離信息進行特征檢測,當軌道之間距離出現(xiàn)變化時,則有可能是軌道數(shù)量增加導致的,經(jīng)過進一步判斷,排除轉(zhuǎn)彎軌道造成的軌道距離變化的情形,確定軌道數(shù)量增加,即可實現(xiàn)道岔的識別。具體操作為:
圖4 軌道特征圖
2.3.1 等距抽樣
在提取出的軌道邊緣信息二值圖中從下往上等間距抽取行像素,得到每一行中存在軌道像素點的坐標值。
2.3.2 坐標差分
對抽取出來的每行軌道像素點的橫坐標進行差分,得到彼此之間的以像素為單位的距離信息。
2.3.3 軌道輪廓信息剔除
形態(tài)學處理過程可能會導致軌道輪廓的存在,因此在進行同一行像素點橫向坐標差分時,除了會得到不同軌道間距離信息,還會有同一條軌道線上像素距離的干擾信息;考慮到軌道輪廓的像素距離遠小于軌道間的像素距離,本文采用設置閾值的方式,對每一行差分后數(shù)值過小的軌道輪廓距離值進行剔除,從而得到該行軌道間距的信息集。
2.3.4 運用道岔特征規(guī)律進行判斷
(1)選定基準值:軌道清潔車在運行過程中獲取的軌道輪廓提取的二值圖像,假設清潔車一開始運行在平行直軌上,取ROI區(qū)域左軌距離左邊界的距離平均值為基準值,右軌距離右邊界的距離平均值為基準值,取為△為左軌距左邊界最大距離減最小距離的絕對值,為△為右軌距右邊界最大距離減最小距離的絕對值,設置相應閾值[-△,+△],[-△,+△]作為判斷的依據(jù)。
(2)依據(jù)判別條件進行軌道場景的判斷。當軌道清潔車在軌道上正常工作時,高速攝像頭在車頭定點位置正對著車輛前方將要經(jīng)過的軌道進行拍攝,從高速攝像頭中采集圖像中的軌道場景可分為以下三種情景:
1)直軌情形。直軌情形下如圖4(a)所示,選定的ROI區(qū)域內(nèi)只有兩條軌道,左右軌道與相鄰最近的ROI左右邊界像素間距幾乎不變,保持在閾值[-△,+△],[-△,+△]之內(nèi)。
2)轉(zhuǎn)彎軌道情形。轉(zhuǎn)彎軌道情形下如圖4(b)所示,選定的ROI區(qū)域內(nèi)只有兩條軌道,以左轉(zhuǎn)軌道為例,此時由于軌道從直軌轉(zhuǎn)變?yōu)樽筠D(zhuǎn)彎軌,左邊軌道與ROI區(qū)域左邊界像素間距減小,右邊軌道與ROI區(qū)域邊界像素間距增加,兩者均脫離閾值[-△,+△Sa],[-△,+△]。
3)道岔情形。在運行過程中,高速攝像頭采集的道岔情形,從清潔車前方路徑來看,可分為主道進入分叉口型(含單開道岔、雙開道岔、三開道岔),分叉口匯入主道型兩種。
主道進入分叉口型道岔的識別:單開道岔:以左拐道岔為例,如圖4(c)所示,此時由于軌道從直軌轉(zhuǎn)變?yōu)樽蠊盏啦?,ROI區(qū)域內(nèi)的道岔處應出現(xiàn)四條軌道,從左到右依次命名為軌1、2、3、4,由左轉(zhuǎn)道岔示意圖可知,軌4為原本直行軌道的右軌,其與ROI區(qū)域右邊界像素間距應與直行軌道時一致,保持在閾值[-△,+△]內(nèi),而軌1為分支軌道的左軌,與ROI區(qū)域左邊界像素間距應脫離閾值并呈遞減趨勢,此時可判斷前方存在左拐單開道岔。右拐單開道岔判斷方法同理。
雙開道岔與三開道岔:雙開道岔也稱Y型道岔,如圖4(e)所示;三開道岔也稱為Ψ型道岔,如圖4(f)所示。與單開道岔不同,Y型道岔相銜接的兩股道向兩側(cè)分岔,Ψ型道岔同時銜接三股道,最外側(cè)的兩條軌道也向兩側(cè)分叉,此時軌1與ROI區(qū)域左邊界,軌4(三開道岔為軌6)與ROI區(qū)域右邊界的像素間距都脫離閾值并呈遞減趨勢,通過以上特征可判斷前方存在Y型道岔。
分叉口匯入主道型道岔的識別:與主道進入分叉口型道岔不同的是,匯入型道岔軌道交叉點不是平行的。以清潔車碰到第一個軌道交叉點前的軌道命名,從左到右依次命名為軌1、2、3,以左轉(zhuǎn)匯入道岔為例,如圖4(h)所示,離清潔車最近的是軌2和軌3相交點,位于ROI區(qū)域的右側(cè),在軌1和軌2相交點前,即碰到第二個軌道交叉點之前,軌1與ROI區(qū)域左邊界像素間距依然保持在閾值[-△,+△]內(nèi),而軌3與ROI區(qū)域右邊界像素間距從零開始呈遞增趨勢,在第一個軌道相交點處回到閾值。通過以上特征可以判斷前方為分叉口匯入主道型道岔。單開道岔、雙開道岔、三開道岔的分叉口匯入主道型道岔都滿足以上判斷條件。
本文基于Python3.8以及OpenCV4.5.5.64圖像庫的環(huán)境下,以單開道岔為例,對樣本進行處理分析如圖5所示,所得樣本處理流程圖以及軌道輪廓提取的像素散點圖如圖6所示。
對樣本道岔圖像進行檢測時,對軌道中提取的若干行像素點間距信息進行擬合,所得結(jié)果如圖7所示。
圖5 道岔識別過程處理效果圖
圖6 單開軌道輪廓像素散點圖
圖7 間距信息擬合圖
本例樣本中,對單開左拐道岔提取輪廓的間距信息進行提取,取80行以前的像素間距可以看出,獲得的最左邊軌道與ROI左邊界之間軌道距離呈遞減趨勢,最右邊軌道與ROI右邊界之間軌道距離保持在閾值之內(nèi),符合單開左拐道岔特征,故判斷ROI區(qū)域內(nèi)存在道岔,符合本文中對道岔是否存在的設計思路。
本文克服了在軌道清潔車正常工作情況下,清潔工具遇到道岔路口由于不能及時躲避,會對軌道清潔集成裝置,其真空吸嘴等運行時須部分伸入軌道槽中的清潔工具造成損壞的問題。提出了一種現(xiàn)代有軌電車槽型軌軌道道岔自動檢測系統(tǒng),通過對圖像進行灰度處理,設置ROI區(qū)域,逆透視,雙邊濾波完成圖像的預處理,通過圖像閾值處理,形態(tài)學梯度,開運算對降噪后圖像進行軌道輪廓提取,最后利用道岔存在特征條件對軌道輪廓二值圖進行識別,實現(xiàn)了對采集圖像中有無道岔的識別判斷。仿真實驗結(jié)果證明,算法可以對單開道岔及雙開道岔等清潔車運行中出現(xiàn)的道岔類型進行有效的識別。在識別出采集圖像中出現(xiàn)道岔后,道岔自動檢測系統(tǒng)將自動向PLC發(fā)出控制指令,利用液壓系統(tǒng)控制向上抬起清潔工具以避免與道岔碰撞摩擦,保證清潔車工作的安全性和有效性。該系統(tǒng)對軌道自動清潔車的保護和行駛的安全具有指導意義及理論基礎。