屈志堅(jiān)，張博語(yǔ)，朱 琳，梁家敏

(1.華東交通大學(xué) 軌道交通基礎(chǔ)設(shè)施性能監(jiān)測(cè)與保障國(guó)家重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013；2.華東交通大學(xué) 電氣與自動(dòng)化工程學(xué)院，江西 南昌 330013)

高速鐵路(以下簡(jiǎn)稱“高鐵”)限界是指為保證運(yùn)輸安全而制定的建筑物、設(shè)備與機(jī)車車輛相互間在線路上不能逾越的輪廓尺寸線。為了保障高鐵運(yùn)輸安全及高效,中國(guó)高鐵通常采用1.8 m高護(hù)攔網(wǎng)阻攔的方式對(duì)鐵路限界進(jìn)行保護(hù),護(hù)欄網(wǎng)的物理阻攔,主要是對(duì)鐵路沿線兩側(cè)1.8 m高度限界進(jìn)行異物攔截,鐵路上空接觸網(wǎng)區(qū)域已成為防護(hù)盲區(qū),在大風(fēng)天氣情況下,鐵路沿線的廢棄氦氣球、塑料袋、風(fēng)箏、孔明燈、地膜等輕飄物,容易侵入限界并纏繞在接觸網(wǎng)上,給鐵路運(yùn)輸安全造成嚴(yán)重的安全隱患[1]。如中國(guó)南方某鐵路局,鐵路工作人員未能及時(shí)發(fā)現(xiàn)輕飄物侵限,造成輕飄物纏繞在接觸網(wǎng)上,致使列車晚點(diǎn),旅客滯留車站。此類輕飄物體的侵限事件因受周邊環(huán)境和天氣等影響而帶有隨機(jī)性,難以被及時(shí)發(fā)現(xiàn),很難預(yù)知其運(yùn)動(dòng)軌跡和準(zhǔn)確的隱患位置。接觸網(wǎng)侵限輕飄物的跟蹤研究,對(duì)列車司機(jī)及時(shí)獲取事件預(yù)警和排除安全隱患具有重要意義,因此急需研究一種適用于高速電氣化鐵路復(fù)雜背景下的快速跟蹤方法。

目前針對(duì)限界內(nèi)異物侵限檢測(cè)及跟蹤的方法主要為兩類:第一類方法屬于傳感器法,通過(guò)紅外光幕、微波及激光掃描等方式對(duì)侵限異物進(jìn)行檢測(cè)[2-5]。這類方法主要用于隧道口落石等異物檢測(cè),但由于在接觸網(wǎng)強(qiáng)電環(huán)境中易受電磁干擾,故對(duì)接觸網(wǎng)異物檢測(cè)的適應(yīng)性較差。另一類是機(jī)器視覺方法,自動(dòng)化程度較高,適用于鐵路異物侵限檢測(cè)及跟蹤[6-8],該方法根據(jù)觀測(cè)模型分為生成式和判別式兩類。生成式方法圖像信息利用率較低,在復(fù)雜場(chǎng)景下跟蹤準(zhǔn)確性及魯棒性較差[9]。判別式方法因?qū)Ｗ^(qū)分前景與背景,跟蹤精度較好,近年來(lái)在目標(biāo)跟蹤領(lǐng)域占據(jù)主流。其中基于相關(guān)濾波和深度學(xué)習(xí)的方法成為研究熱點(diǎn)。相較于傳統(tǒng)算法,基于相關(guān)濾波的算法,無(wú)論是精度還是速度都有較大提升,但其使用灰度、顏色、HOG等手工設(shè)計(jì)的特征進(jìn)行目標(biāo)描述[10-11],對(duì)鐵路這種復(fù)雜場(chǎng)景而言,手工設(shè)計(jì)的特征應(yīng)對(duì)干擾能力明顯不足。同時(shí),相關(guān)濾波算法的多尺度搜索策略需要每個(gè)尺度上的響應(yīng)值,再找出最合適的目標(biāo)尺度,過(guò)程煩瑣耗時(shí),不適宜跟蹤帶有較大尺度變化、移動(dòng)速度快、帶有旋轉(zhuǎn)形變的輕飄物[12]。

目前主流的深度學(xué)習(xí)跟蹤方法以孿生網(wǎng)絡(luò)為代表?；趯\生網(wǎng)絡(luò)的跟蹤算法,其神經(jīng)網(wǎng)絡(luò)提取的深度特征中具有豐富的語(yǔ)義特征,能更加魯棒地表征目標(biāo),以應(yīng)對(duì)相似目標(biāo)干擾、環(huán)境變化、背景雜亂等挑戰(zhàn)[13-15]。文獻(xiàn)[16]基于孿生網(wǎng)絡(luò),利用目標(biāo)特征與模板匹配的方法進(jìn)行檢測(cè),但對(duì)于發(fā)生遮擋、快速運(yùn)動(dòng)的異物目標(biāo)檢測(cè)時(shí),存在漏檢和誤檢等問(wèn)題。文獻(xiàn)[17]利用MobileNet網(wǎng)絡(luò)實(shí)現(xiàn)輕量化特征提取,結(jié)合孿生與區(qū)域建議網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤檢測(cè),但網(wǎng)絡(luò)結(jié)構(gòu)單一,存在模型特征提取能力弱的問(wèn)題,導(dǎo)致整體跟蹤檢測(cè)效果較差?；趯\生網(wǎng)絡(luò)的跟蹤算法其目標(biāo)模板不能在線更新,且目標(biāo)模板與搜索圖像的特征是在孿生網(wǎng)絡(luò)結(jié)構(gòu)的兩個(gè)分支中獨(dú)立計(jì)算,容易造成目標(biāo)信息的缺失,導(dǎo)致跟蹤失敗。文獻(xiàn)[18]在卷積神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制進(jìn)行目標(biāo)跟蹤檢測(cè),增強(qiáng)了模型的特征提取能力,但對(duì)于目標(biāo)運(yùn)動(dòng)軌跡變化時(shí),檢測(cè)精度不高。文獻(xiàn)[19]提出一種基于雙通道的Transformer網(wǎng)絡(luò),設(shè)計(jì)出一種通道注意力交叉融合機(jī)制,提高了目標(biāo)的識(shí)別精度,但針對(duì)目標(biāo)尺度變化的應(yīng)對(duì)能力較弱,且計(jì)算成本較高。

針對(duì)鐵路接觸網(wǎng)復(fù)雜背景下輕飄物尺度變化大、遮擋干擾和背景雜亂的跟蹤難題,本文提出一種基于孿生注意力網(wǎng)絡(luò)和空間正則化的尺度自適應(yīng)輕飄物侵限(attention spatial-regularization siamese light-object,ASSL)跟蹤方法。利用維納濾波去除接觸網(wǎng)圖像上空復(fù)雜環(huán)境背景的部分運(yùn)動(dòng)和噪聲模糊,設(shè)計(jì)一種接觸網(wǎng)侵限輕飄物跟蹤的ASSL算法模型,通過(guò)全局注意力子模塊、空間正則化濾波器和交叉注意力子模塊等處理,將孿生網(wǎng)絡(luò)兩個(gè)分支間的圖像信息串聯(lián),提取輕飄物體目標(biāo)特征,生成輕飄物體的區(qū)域建議框,采用多個(gè)細(xì)化融合特征模塊對(duì)建議框進(jìn)一步精確后輸出目標(biāo)預(yù)測(cè),進(jìn)行跟蹤精度對(duì)比實(shí)驗(yàn)、侵限算例的對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn),并對(duì)本文方法進(jìn)行了驗(yàn)證。

1 接觸網(wǎng)侵限輕飄物跟蹤圖像預(yù)處理

在高速鐵路線路區(qū)間,每間隔1～2 km安裝一臺(tái)高清攝像機(jī),可以對(duì)線路兩端進(jìn)行監(jiān)控,若干視頻采集節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)連接,將非結(jié)構(gòu)化視頻圖像數(shù)據(jù)傳輸至匯聚節(jié)點(diǎn),將圖像信息進(jìn)一步傳輸至綜合視頻監(jiān)控系統(tǒng),進(jìn)行接觸網(wǎng)異物的侵限跟蹤處理。鐵路綜合監(jiān)控管理系統(tǒng)對(duì)鐵路沿線進(jìn)行全天候視頻采集并實(shí)時(shí)上送視頻序列,可以對(duì)侵入接觸網(wǎng)限界輕飄異物的跟蹤過(guò)程,劃分為圖像采集、圖像復(fù)原及背景簡(jiǎn)化處理、圖像特征提取與侵限目標(biāo)生成三部分。對(duì)接觸網(wǎng)上空附近的復(fù)雜環(huán)境背景進(jìn)行圖像降噪與復(fù)原的預(yù)處理。

(1)

式中:G(μ,υ)表示帶有噪聲的退化圖像;H(μ,υ)為退化函數(shù);H*為H的復(fù)共軛;K為常數(shù)。

圖1為維納濾波處理掉的運(yùn)動(dòng)和噪聲模糊,以及輕飄異物的復(fù)原效果。

圖1 維納濾波去噪及復(fù)原效果

2 高鐵輕飄異物侵限跟蹤的ASSL算法模型

2.1 ASSL算法框架設(shè)計(jì)

由于高鐵限界內(nèi)輕飄物的運(yùn)動(dòng)軌跡不確定,且運(yùn)動(dòng)速度較快,傳統(tǒng)算法適用性較差。

利用多重注意力機(jī)制和空間正則化濾波器與孿生網(wǎng)絡(luò)融合,使孿生網(wǎng)絡(luò)更好地提取尺度變化和快速運(yùn)動(dòng)特征,通過(guò)維納濾波處理部分雜亂背景和遮擋干擾,提出一種基于孿生網(wǎng)絡(luò)的尺度自適應(yīng)鐵路輕飄異物侵限的ASSL跟蹤方法。經(jīng)處理后的圖像,通過(guò)空間正則化優(yōu)化的孿生注意力網(wǎng)絡(luò)提取目標(biāo)特征,將侵限異物的視覺圖像信息轉(zhuǎn)化為能被計(jì)算機(jī)識(shí)別的數(shù)值形式,并用于下一步的卷積計(jì)算,對(duì)經(jīng)過(guò)SiamRPN[20]模塊后區(qū)域生成的建議框采用多組細(xì)化融合特征模塊進(jìn)一步精確目標(biāo)位置,輸出預(yù)測(cè)目標(biāo)。

接觸網(wǎng)輕飄物體侵限視頻序列的ASSL跟蹤方法的具體步驟,如圖2所示。第一部分,鐵路綜合視頻監(jiān)控信息流對(duì)鐵路沿線進(jìn)行采集得到原序列Y1;第二部分,通過(guò)維納濾波預(yù)處理后得到序列Z1;第三部分,從Z1的第一幀Z1(1)中,截取尺寸(127,127,3)作為跟蹤模板幀,下一幀Z1(2)截取尺寸(225,225,3)作為跟蹤檢測(cè)幀,分別輸入由五層Resnet-50為主干的孿生網(wǎng)絡(luò),隨著層數(shù)的加深,將得到更高的層次特征。將孿生注意力模塊應(yīng)用于最后三層中,以此調(diào)節(jié)和增強(qiáng)兩個(gè)孿生分支在最后三階段的特征,并輸出兩支注意力特征。將3個(gè)SiamRPN(siameseregionproposal)塊與輸出的注意力特征融合,輸出大量的特征圖,再經(jīng)分類和回歸兩個(gè)分支進(jìn)一步處理,得到單個(gè)跟蹤區(qū)域的同時(shí),與兩支注意力特征進(jìn)行深度互相關(guān)計(jì)算。最后通過(guò)特征融合模塊,將特征進(jìn)一步融合加強(qiáng),分別經(jīng)過(guò)邊界框回歸與掩膜預(yù)測(cè),輸出跟蹤結(jié)果。

圖2 接觸網(wǎng)侵限輕飄物跟蹤模型的設(shè)計(jì)

2.2 孿生注意力模塊

輕飄物序列Z1進(jìn)入孿生網(wǎng)絡(luò)后,序列的第一幀Z1(1)作為模板分支的輸入,表示為m;Z1(1)的下一幀作為搜索分支的輸入,表示為n。兩個(gè)分支共享卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。經(jīng)五級(jí)卷積層后,逐層間產(chǎn)生不同深度的輕飄異物圖像特征信息,而淺層特征主要關(guān)注于物體的外觀、顏色、紋理等,由于輕飄物體存在較大形狀變化、動(dòng)態(tài)模糊,在鐵路背景環(huán)境下易受物體遮擋,考慮到當(dāng)網(wǎng)絡(luò)深度加深后,表達(dá)特征的能力更強(qiáng),對(duì)物體的形變、遮擋信息更為敏感,因此,將網(wǎng)絡(luò)最后三層的特征信息輸入孿生注意力模塊中,通過(guò)引入注意力機(jī)制與空間正則化濾波器,將輕飄物體的圖像信息進(jìn)行加強(qiáng)融合。具體步驟如圖3所示。

圖3 孿生注意力模塊的設(shè)計(jì)

如圖3所示,孿生注意力模塊以輕飄物序列Z1在孿生網(wǎng)絡(luò)中計(jì)算出的一對(duì)卷積特征為輸入,經(jīng)過(guò)孿生注意力機(jī)制調(diào)整輸出的特征。孿生注意力模塊整體可分為兩個(gè)子模塊,左右兩側(cè)的全局注意力子模塊關(guān)注輕飄物的整體圖像信息,中間兩個(gè)交叉注意力子模塊串聯(lián)模板區(qū)域與搜索區(qū)域的圖像信息,更關(guān)注有效的背景信息。將輸入的模板特征表述為C×h×w,搜索特征表述為C×H×W。

2.2.1 全局注意力子模塊

全局注意力子模塊由通道注意力、空間注意力和空間正則化濾波器三部分構(gòu)成。受SiamRPN++[21]啟發(fā),深層次卷積特征中的相同通道,對(duì)特定類別的跟蹤對(duì)象產(chǎn)生高度響應(yīng),其余通道則抑制響應(yīng)。應(yīng)用通道注意力機(jī)制增強(qiáng)對(duì)輕飄物特征的捕捉能力。類似地,受傳統(tǒng)算法感受野的影響,特征圖的計(jì)算限制在局部圖像塊中,獲得的圖像信息有限?？臻g注意力機(jī)制和空間正則化濾波器的加入,使算法能夠在整體圖像中獲取信息。以模板特征m計(jì)算空間注意力為例,設(shè)m∈C×h×w,為特征空間;模板特征m經(jīng)兩個(gè)1×1的卷積層,生成查詢特征Q和關(guān)鍵特征K,其中對(duì)Q和K進(jìn)行特征重塑得到C′×p,p=h×w。通過(guò)逐點(diǎn)相加和矩陣相乘,得到空間注意力特征圖為

(2)

(3)

2.2.2 空間正則化濾波器

考慮輕飄物在氣流作用下形態(tài)變換較大的運(yùn)動(dòng)特性,為保證模型能夠精確捕獲目標(biāo)的形變信息,引入空間正則化濾波器對(duì)模板幀和搜索幀計(jì)算特征響應(yīng),并將特征響應(yīng)與空間注意力特征融合計(jì)算?？臻g正則化濾波器對(duì)接近邊界的區(qū)域懲罰更大,能有效解決因快速運(yùn)動(dòng)而產(chǎn)生的邊界效應(yīng),針對(duì)快速運(yùn)動(dòng)的侵限目標(biāo)能夠更為精確的計(jì)算其目標(biāo)位置的特征響應(yīng)。

響應(yīng)S可以表示為

(4)

(5)

輕飄物位置區(qū)域下的響應(yīng)見圖4。

圖4 輕飄物在不同位置時(shí)響應(yīng)的可視化結(jié)果

利用正則化權(quán)重懲罰對(duì)應(yīng)背景特征的濾波器值,有效抑制雜亂的背景信息,可以更加突出輕飄物目標(biāo)的外觀信息,增強(qiáng)模型整體在應(yīng)對(duì)快速運(yùn)動(dòng)和尺度變化時(shí)的辨別能力。

2.2.3 交叉注意力子模塊

在輕飄物侵限跟蹤中,鐵路接觸網(wǎng)復(fù)雜的背景環(huán)境也給目標(biāo)定位帶來(lái)了挑戰(zhàn),接觸網(wǎng)的復(fù)雜結(jié)構(gòu)使跟蹤過(guò)程不可避免的產(chǎn)生遮擋。為解決該問(wèn)題,引入交叉注意力機(jī)制,使原本獨(dú)立進(jìn)行計(jì)算的模板分支和搜索分支相互學(xué)習(xí)。將原本忽略的背景中的有效信息得到利用,幫助模型更精確地定位目標(biāo)。以搜索特征n計(jì)算交叉注意力為例,設(shè)n∈C×H×W,首先,將輕飄物體目標(biāo)特征n重塑為C×P,P=H×W,交叉注意力AC的計(jì)算和通道注意力類似,由此可得

(6)

對(duì)所計(jì)算的矩陣進(jìn)行逐行softmax操作,得到輕飄物目標(biāo)特征的交叉注意力為

(7)

最后,將所得全局注意力和交叉注意力通過(guò)元素求和的方式相加,得到最終的模板特征。同理可得最終的搜索特征。

為更直觀的觀察模型的效果,將特征圖的響應(yīng)大小映射到原圖上,并以此了解模型對(duì)目標(biāo)信息的獲取。

由圖5可知,在未添加注意力模塊前,模型受到背景中樹木、接觸網(wǎng)、信號(hào)燈和支柱不同程度的干擾;添加注意力模塊后模型主要關(guān)注侵限目標(biāo)的信息。

圖5 添加注意力模塊前后的特征響應(yīng)對(duì)比

2.3 輕飄物體的區(qū)域生成

經(jīng)孿生注意力網(wǎng)絡(luò)計(jì)算特征后,輸出兩個(gè)注意力特征分支,應(yīng)用3個(gè)SiamRPN模塊生成目標(biāo)建議。如接觸網(wǎng)輕飄物跟蹤模型所示,3個(gè)模塊之間由多個(gè)全卷積層組合且深度互相關(guān)。由該模塊生成3個(gè)預(yù)測(cè)圖,并采用加權(quán)融合方式生成最終組合圖。最后,根據(jù)組合圖給出的區(qū)域建議,選取得分最高的輸出預(yù)測(cè)區(qū)域。在此基礎(chǔ)上,采取多個(gè)融合細(xì)化操作,提升模型整體的精確度。

1)應(yīng)用深度交叉互相關(guān)操作,將孿生注意力網(wǎng)絡(luò)輸出的注意力特征與輸出預(yù)測(cè)區(qū)域進(jìn)行計(jì)算,生成一組相關(guān)性圖。

2)將相關(guān)性圖輸入到特征融合模塊,采用1×1的卷積和上下采樣操作進(jìn)行特征對(duì)齊。同時(shí),將原始目標(biāo)圖像輸入空間正則化濾波器計(jì)算特征,并與孿生網(wǎng)絡(luò)前兩層特征跟相關(guān)性圖逐元素求和的方式進(jìn)行融合,使模型得到更豐富的局部圖像信息。

3)添加可變形的ROI(regionofinterest)池化層,使目標(biāo)特征的計(jì)算更加精確。

2.4 端到端訓(xùn)練ASSL

在訓(xùn)練階段,根據(jù)輕飄物體運(yùn)動(dòng)特征,歸納得出快速運(yùn)動(dòng)、鏡頭搖晃、動(dòng)態(tài)模糊、尺度變化、背景雜亂等標(biāo)簽,以某鐵路試驗(yàn)線采集的圖像為主,從GOT-10K[22]數(shù)據(jù)集上選取符合標(biāo)簽的內(nèi)容作為補(bǔ)充,整合出45類視頻序列,共43 589張圖像。隨機(jī)間隔地從中調(diào)取樣本對(duì),模板和檢測(cè)圖像選自同一視頻序列的兩幀。對(duì)整個(gè)網(wǎng)絡(luò)采用隨機(jī)梯度下降(stochasticgradientdescent,SGD)進(jìn)行端到端的訓(xùn)練。對(duì)正負(fù)樣本的選定采用廣泛使用的目標(biāo)檢測(cè)測(cè)量標(biāo)準(zhǔn)IoU,即

(8)

IoU的值越高,表示A框與B框重合度越高,代表模型的預(yù)測(cè)越準(zhǔn)確;IoU的值越低模型性能越差。規(guī)定當(dāng)IoU>0.6時(shí),該錨框及其對(duì)應(yīng)的標(biāo)注框?yàn)檎龢颖?當(dāng)IoU<0.3時(shí),為負(fù)樣本。

訓(xùn)練損失為SiamRPN網(wǎng)絡(luò)與多個(gè)融合操作模塊中損失函數(shù)的加權(quán)組合

L=Lcls+σ1Lreg+σ2Lbox+σ3Lmask

(9)

式中:Lcls、Lreg為SiamRPN網(wǎng)絡(luò)中分類和回歸損失,分別為負(fù)對(duì)數(shù)似然函數(shù)(negativelog-likelihood,NLL)和smoothL1損失函數(shù);Lbox、Lmask分別為邊界框回歸的smoothL1損失函數(shù)和掩膜分割的二進(jìn)制交叉熵?fù)p失函數(shù);σ1、σ2、σ3為權(quán)重參數(shù),設(shè)置為0.2、0.2、0.1。

3 算例對(duì)比試驗(yàn)

3.1 跟蹤精度對(duì)比實(shí)驗(yàn)

采用OTB[23]評(píng)估基準(zhǔn)對(duì)算法的性能進(jìn)行驗(yàn)證,OTB數(shù)據(jù)集中包含從常用跟蹤序列中收集的100個(gè)序列。選擇OTB中的OPE(onepassevaluation)測(cè)試對(duì)跟蹤算法的綜合性能進(jìn)行測(cè)試評(píng)估,評(píng)估基于精度圖和成功率圖兩個(gè)指標(biāo)。精度圖展示跟蹤結(jié)果距目標(biāo)20像素以內(nèi)的幀數(shù)百分比。首先計(jì)算中心誤差,即預(yù)測(cè)目標(biāo)中心點(diǎn)與標(biāo)注框中心點(diǎn)之間的歐氏距離ρ為

式中:(x2,y2)為算法預(yù)測(cè)目標(biāo)中心點(diǎn)位置結(jié)果;(x1,y1)為人工預(yù)先標(biāo)注的標(biāo)注框中心點(diǎn)。

給定誤差閾值為20像素,精度Precision計(jì)算結(jié)果為

式中:framesρ<20為滿足給定誤差閾值的幀數(shù);framestotal為所有視頻序列總幀數(shù)。

這一聲“姐”，道出了學(xué)生對(duì)我的教育滿滿的信任，只因?yàn)樽鳛橐幻谓處?，我把“使學(xué)生正直和聰慧”作為我努力追求的目標(biāo)。所謂聰慧，即有知識(shí)、有智慧、有能力；所謂正直，是指有德行、有正氣、有正義。相較于聰慧，我認(rèn)為正直對(duì)一個(gè)人的人生更為重要。所以，走上講壇后，我一直不遺余力地挖掘教學(xué)中的育人因素，努力為學(xué)生成為一個(gè)正直之人點(diǎn)燃指引的明燈。我教過(guò)的很多學(xué)生，他們或許已經(jīng)忘記了課堂上所學(xué)的政治知識(shí)，但依然記得上課時(shí)的激情與快樂(lè)，依然記得在我的課堂里學(xué)會(huì)的“梨本無(wú)主，我心有主”的價(jià)值堅(jiān)守，記得“態(tài)度決定高度”的人生格言。

成功率圖顯示閾值從0到1變化時(shí)跟蹤成功幀的比率,其中成功幀表示其重疊大于給定閾值。成功率圖曲線下面積用于對(duì)跟蹤算法進(jìn)行排序。

式中:Success為成功率;ρ∈[0,1];framesoverlap>ρ為重疊大于給定閾值的幀數(shù)。

考慮輕飄物侵限的跟蹤特性,篩選出運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、尺度變化三種挑戰(zhàn)屬性,以此驗(yàn)證算法的各項(xiàng)能力,其中各算法數(shù)據(jù)均采用相同硬件配置環(huán)境下的測(cè)試結(jié)果,代碼、模型及超參數(shù)均源于參考文獻(xiàn)[24-26]。

由圖6可知,經(jīng)過(guò)空間正則化濾波器融合多注意力機(jī)制的ASSL,在各個(gè)屬性中均有不俗的表現(xiàn),其中在圖6(a)快速運(yùn)動(dòng)屬性中的精度幀數(shù)百分比以92.1%取得領(lǐng)先,分別高出SiamCAR 0.6%,高出SiamAttn 0.7%。在圖6(b)成功率圖中,ASSL的跟蹤成功率百分比為70.6%,相比于位列第二的SiamCAR70.2%,高出0.4%。在圖6(c)應(yīng)對(duì)動(dòng)態(tài)模糊的挑戰(zhàn)中,ASSL以90.3%的精度仍表現(xiàn)出最佳效果,在圖6(d)中高出第二位SiamCAR 0.9個(gè)百分點(diǎn)。

圖6 OPE多項(xiàng)挑戰(zhàn)算法對(duì)比結(jié)果

尤其在尺度變化屬性中,ASSL的精度可達(dá)94.7%,超越第二位的SiamAttn 1.8個(gè)百分點(diǎn)。對(duì)于成功率指標(biāo),ASSL的成功率達(dá)到72%,高出SiamAttn 2個(gè)百分點(diǎn)。

3.2 試驗(yàn)線侵限算例的對(duì)比分析

使用?？低旸S-2DC7520IW-A500萬(wàn)150 m紅外監(jiān)控?cái)z像頭球機(jī),從軌道交通基礎(chǔ)設(shè)施性能監(jiān)測(cè)與保障國(guó)家重點(diǎn)實(shí)驗(yàn)室電氣化鐵路試驗(yàn)線分別采集三組視頻序列,共7 500幀序列進(jìn)行接觸網(wǎng)異物侵限算例實(shí)驗(yàn)。Ⅰ組是侵限異物尺度基本無(wú)變化的視頻序列L1、L2;Ⅱ組是存在相似物體干擾的異物侵限接觸網(wǎng)視頻序列N1、N2;Ⅲ組是侵限異物帶有旋轉(zhuǎn)特性以及尺度變化的序列M1,以及雜亂環(huán)境下帶有相似物體干擾的序列M2。其中L1、L2各包含15 s視頻序列,共計(jì)2 000幀圖像;N1、N2各包含25 s視頻序列,共計(jì)3 000幀圖像。M1、M2各包含20 s視頻序列,共計(jì)2 500幀圖像。

實(shí)驗(yàn)搭載Win10系統(tǒng),配置為Intel XeonW-2123CPU,NVIDIA Quadro P4000的計(jì)算機(jī)。分別使用SiamFC算法、相關(guān)濾波SRDCF[24]算法、加入干擾感知模塊的DaSiamRPN[25]算法和使用深層網(wǎng)絡(luò)的SiamRPN++算法,對(duì)實(shí)驗(yàn)算例進(jìn)行輕飄物體侵限跟蹤,并與本文的ASSL算法跟蹤精度進(jìn)行對(duì)比,跟蹤實(shí)驗(yàn)可視化效果如圖7所示。

圖7 不同算法的跟蹤可視化結(jié)果

第Ⅱ組實(shí)驗(yàn)結(jié)果分析:視頻序列N1、N2存在相似物體干擾,紅色輕飄物體干擾項(xiàng)在空氣流動(dòng)中帶有輕微晃動(dòng),且在N1序列中含有兩次重疊遮擋。

1)在N1序列第255幀,兩個(gè)輕飄物體靠近,除ASSL外其他4個(gè)算法都產(chǎn)生不同程度的目標(biāo)丟失。

2)第642幀第一次重疊遮擋后,DaSiamRPN、SiamFC和SRDCF算法錯(cuò)誤將紅色干擾項(xiàng)認(rèn)為是目標(biāo)。

3)從第894幀開始,由于目標(biāo)被干擾項(xiàng)完全遮擋導(dǎo)致SiamRPN++算法丟失目標(biāo),錯(cuò)誤認(rèn)為紅色物體為目標(biāo)。

N2序列中,目標(biāo)與紅色干擾項(xiàng)從相互靠近往左側(cè)飄動(dòng),從第342幀起,由于干擾項(xiàng)的輕微擺動(dòng),SRDCF算法錯(cuò)誤認(rèn)為其為跟蹤目標(biāo)導(dǎo)致跟蹤失敗,DaSiamRPN與SiamRPN++算法學(xué)習(xí)到過(guò)量的接觸網(wǎng)背景信息導(dǎo)致跟蹤框過(guò)大,而SiamFC算法則受到目標(biāo)旋轉(zhuǎn)形變的影響產(chǎn)生漂移導(dǎo)致跟蹤失敗。

第Ⅲ組實(shí)驗(yàn)結(jié)果分析:在M1序列中,跟蹤目標(biāo)在大風(fēng)的影響下產(chǎn)生劇烈旋轉(zhuǎn)以及搖晃形變。相關(guān)濾波算法SRDCF由于計(jì)算復(fù)雜,目標(biāo)運(yùn)動(dòng)快速在第3幀之后逐漸丟失目標(biāo)。而SiamFC和DaSiamRPN算法在目標(biāo)自身帶有旋轉(zhuǎn)形變并飄過(guò)接觸網(wǎng)的過(guò)程中學(xué)習(xí)到錯(cuò)誤的背景信息產(chǎn)生不同程度的漂移。

在M2序列中,接觸網(wǎng)結(jié)構(gòu)及背景更為復(fù)雜,序列中間位置設(shè)置為相似物體干擾項(xiàng),其形狀顏色與跟蹤目標(biāo)幾乎一致。在M2序列第315幀,SRDCF算法已跟丟侵限異物。由于在右側(cè)支柱的腕臂結(jié)構(gòu)處背景復(fù)雜且侵限異物運(yùn)動(dòng)快速、形變大,DaSiamRPN、SiamFC算法在第724幀相繼跟丟目標(biāo)。SiamRPN++算法雖未跟丟目標(biāo),但相比侵限輕飄物SiamRPN++算法的跟蹤框偏大。這四種算法對(duì)此視頻序列輕飄物侵限跟蹤效果較差,而本文ASSL算法未出現(xiàn)跟丟目標(biāo)輕飄物的情況,從可視化跟蹤的結(jié)果可以看到,ASSL算法能更準(zhǔn)確的跟蹤侵限輕飄物。

為更直觀評(píng)估各類算法精度,對(duì)以上五種算法進(jìn)行定量評(píng)估,計(jì)算L、M、N 3個(gè)序列的成功率圖的曲線下面積(AUC)和平均像素誤差(APE)得分,并繪制成功率圖與精確度圖。如圖8、表1、表2所示。

表1 各序列跟蹤算法的AUC得分 %

表2 各序列跟蹤算法的APE得分 %

圖8 各算法的跟蹤成功率與精確度

由表1、表2可知,本文ASSL算法的跟蹤精度明顯優(yōu)于相關(guān)濾波算法SRDCF與孿生網(wǎng)絡(luò)算法SiamFC,特別在含有相似物體干擾且背景雜亂的視頻序列M2中,ASSL算法的跟蹤精度比SiamFC和SRDCF算法分別高出39.6%、55.8%,同時(shí)ASSL的跟蹤成功率達(dá)到74.7%,高出采用深層網(wǎng)絡(luò)的SiamRPN++算法7.5%。

ASSL算法加入了空間正則化濾波器融合注意力機(jī)制對(duì)跟蹤目標(biāo)計(jì)算響應(yīng),能更敏銳捕捉到目標(biāo)輕飄物的位置,平均精度可達(dá)92.68%。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證ASSL算法對(duì)接觸網(wǎng)輕飄物跟蹤的有效性,將SiamRPN++作為基線算法(以下簡(jiǎn)稱SR)進(jìn)行消融實(shí)驗(yàn)。

從上述接觸網(wǎng)輕飄物侵限的7 500幀序列算例隨機(jī)抽取序列,計(jì)算EAO值與算法跟蹤速度。用Φi表示平均計(jì)算的每一幀IOU值,平均重疊期望值(expected average overlap,EAO)可以表示為

式中:NS為期望的極大值。

經(jīng)計(jì)算整理后得到平均重疊期望與跟蹤速度之間的關(guān)系,如圖9所示。圖9中,WF為維納濾波,GA為全局注意力機(jī)制,GA-S為添加空間正則化濾波器的全局注意力機(jī)制,RO為區(qū)域生成細(xì)化操作,CA為交叉注意力機(jī)制。

圖9 消融實(shí)驗(yàn)結(jié)果對(duì)比

7種算法消融實(shí)驗(yàn)的跟蹤速度、平均重疊期望、平均重疊期望增長(zhǎng)率的數(shù)據(jù)指標(biāo)見表3。

表3 消融實(shí)驗(yàn)結(jié)果

由圖9和表3可知,ASSL算法設(shè)計(jì)的各子模塊對(duì)算法均產(chǎn)生了不同程度的提升,各子模塊的貢獻(xiàn)度由平均重疊期望增長(zhǎng)率體現(xiàn)。由表3數(shù)據(jù),對(duì)比SR+RO+GA與SR+RO的EAO增長(zhǎng)率值可得交叉注意力對(duì)平均重疊期望增長(zhǎng)率的貢獻(xiàn)最高,達(dá)到3.2%,全局注意力對(duì)平均重疊期望增長(zhǎng)率的貢獻(xiàn)次之,達(dá)到3.0%。在接觸網(wǎng)輕飄物侵限跟蹤中,相比較原生算法SiamRPN++,ASSL算法在跟蹤速度以及魯棒性上都有更佳的效果。

4 結(jié)論

1)本文針對(duì)鐵路接觸網(wǎng)侵限輕飄異物尺度變化大、存在運(yùn)動(dòng)模糊和遮擋干擾造成跟蹤困難的問(wèn)題,綜合運(yùn)用多注意力機(jī)制、空間正則化濾波器融合的孿生網(wǎng)絡(luò)以及特征融合模塊,推導(dǎo)融合空間正則化濾波器的全局注意力整形特征公式,在此基礎(chǔ)上提出一種接觸網(wǎng)侵限輕飄物跟蹤的ASSL方法。ASSL方法通過(guò)空間注意力從圖像全局中獲得更多的背景信息,利用通道注意力抑制其余通道響應(yīng),添加空間正則化濾波器抑制雜亂背景信息。使用交叉注意力解決相似物體遮擋和干擾的問(wèn)題。

2)以軌道交通基礎(chǔ)設(shè)施性能監(jiān)測(cè)與保障國(guó)家重點(diǎn)實(shí)驗(yàn)室電氣化鐵路試驗(yàn)線的輕飄物侵入接觸網(wǎng)視頻序列為算例,進(jìn)行多組不同侵限情況下的實(shí)驗(yàn)。對(duì)比SRDCF、SiamRPN++、DaSiamRPN和SiamFC算法與本文ASSL方法的跟蹤效果。結(jié)果表明,在鐵路限界及接觸網(wǎng)復(fù)雜背景環(huán)境中,當(dāng)跟蹤過(guò)程發(fā)生背景干擾、異物形變及遮擋時(shí),ASSL方法抗干擾能力強(qiáng),能適應(yīng)輕飄物的形變及旋轉(zhuǎn),對(duì)輕飄物侵限的跟蹤具有較高的準(zhǔn)確性和魯棒性。

3)進(jìn)一步的消融實(shí)驗(yàn)結(jié)果表明,交叉注意力對(duì)平均重疊期望增長(zhǎng)率的貢獻(xiàn)最高,達(dá)到3.2%,全局注意力對(duì)平均重疊期望增長(zhǎng)率的貢獻(xiàn)次之,達(dá)到3.0%,相比SiamRPN++算法,ASSL方法獲得了更佳的跟蹤速度和魯棒性。