宋吉超,黃 偉,陳振棠,周成才

(柳州鐵道職業(yè)技術(shù)學(xué)院動(dòng)力技術(shù)學(xué)院,廣西柳州 545000)

當(dāng)下人工智能(Artificial Intelligence,AI)技術(shù)的應(yīng)用場(chǎng)景愈發(fā)廣泛[1],軌道交通車輛的運(yùn)營(yíng)與維護(hù)領(lǐng)域也日漸成為了AI技術(shù)落地的熱門領(lǐng)域[2]。列車司機(jī)駕駛行為的規(guī)范性直接影響到列車的行車安全,對(duì)于列車司機(jī)駕駛行為的監(jiān)測(cè)是AI技術(shù)落地軌道交通領(lǐng)域的重要切入點(diǎn)。自2012年卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型Alexnet[3]被提出以來,CNN 在圖像識(shí)別方面取得了重大突破。CNN 同樣也推動(dòng)了列車司機(jī)行為監(jiān)控領(lǐng)域的進(jìn)步與發(fā)展,李偉[4]通過CNN 對(duì)列車司機(jī)面部特征進(jìn)行提取,隨后將特征送入長(zhǎng)短時(shí)記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)完成時(shí)序建模,增強(qiáng)了疲勞檢測(cè)算法的適用性與有效性。姚巍巍等[5]采用人體關(guān)鍵點(diǎn)檢測(cè)算法Pose proposal network,實(shí)現(xiàn)了對(duì)使用電話、站立、端坐、瞌睡、離崗等列車司機(jī)行為的識(shí)別,并將網(wǎng)絡(luò)模型通過Tensor RT 加速優(yōu)化后,在Jetson TX2中完成了實(shí)際部署。所達(dá)[6]通過區(qū)域三維卷積神經(jīng)網(wǎng)絡(luò)(Region Convolutional 3D Network,R-C3D)實(shí)現(xiàn)了對(duì)城軌列車司機(jī)確認(rèn)手勢(shì)的快速準(zhǔn)確識(shí)別與起始時(shí)間的精確預(yù)測(cè)。何理[7]分別采用Deep LSTM、baseline Temporal Convolutional Network (TCN)、Spatial Temporal Graph Convolutional Networks(ST-GCN)模型實(shí)現(xiàn)了列車司機(jī)手勢(shì)動(dòng)作的識(shí)別,并通過對(duì)比分析驗(yàn)證了圖卷積神經(jīng)網(wǎng)絡(luò)的有效性。

手比行為是列車司機(jī)駕駛過程中用以確認(rèn)駕駛室儀表信息、確認(rèn)道路信號(hào)信息等必須進(jìn)行的微小手部動(dòng)作,動(dòng)作執(zhí)行的到位率不僅影響著列車行駛過程中的乘務(wù)安全,而且也是評(píng)價(jià)列車司機(jī)駕駛合理性的重要標(biāo)準(zhǔn)[8]?，F(xiàn)階段業(yè)界主要通過人工抽檢車載監(jiān)控視頻來分析司機(jī)手比行為執(zhí)行的到位率,但是人工分析存在效果低下、質(zhì)量不高以及容易出現(xiàn)遺漏等問題。因此,使用計(jì)算機(jī)視覺技術(shù)對(duì)列車司機(jī)手比行為進(jìn)行有效識(shí)別能夠幫助鐵路機(jī)務(wù)部門進(jìn)行日常的監(jiān)控與管理[9]。

現(xiàn)階段對(duì)于列車司機(jī)行為識(shí)別的研究多集中于對(duì)疲勞駕駛、玩手機(jī)等不規(guī)范行為的檢測(cè),而對(duì)列車司機(jī)手比行為的分析,特別是對(duì)動(dòng)車組司機(jī)乘務(wù)作業(yè)過程中不同類型的手比行為分析,國(guó)內(nèi)外的相關(guān)研究基本為空白。手比行為技術(shù)動(dòng)作起源于日本,在日本被稱為“指差確認(rèn)”[10],目前主要是日本與中國(guó)的鐵路系統(tǒng)使用該技術(shù)動(dòng)作,歐美鐵路系統(tǒng)較少應(yīng)用手比行為技術(shù)。中國(guó)鐵路系統(tǒng)中不同路局乘務(wù)作業(yè)標(biāo)準(zhǔn)對(duì)該技術(shù)動(dòng)作的要求也有所區(qū)別。

為實(shí)現(xiàn)對(duì)列車司機(jī)乘務(wù)作業(yè)時(shí)手比行為的有效檢測(cè),本文依據(jù)某鐵路局機(jī)務(wù)系統(tǒng)列車司機(jī)乘務(wù)作業(yè)時(shí)手比行為的標(biāo)準(zhǔn)化作業(yè)要求,分析不同類型手比行為的技術(shù)特征。由于手比行為是小目標(biāo),因此本文采用目標(biāo)檢測(cè)算法You Only Look Once Version 7(YOLOV7)進(jìn)行檢測(cè)[11],并通過融合注意力機(jī)制的方法對(duì)算法進(jìn)行改進(jìn),以增強(qiáng)算法的檢測(cè)效果[12]。針對(duì)司機(jī)乘務(wù)過程中手比行為不斷變化的特點(diǎn),采用Strong Simple Online and Realtime Tracking(StrongSORT)算法進(jìn)行跟蹤[13]。

1 準(zhǔn)備工作

“手比眼看”是列車司機(jī)乘務(wù)作業(yè)時(shí)的規(guī)范準(zhǔn)則。其中,“手比”指列車司機(jī)乘務(wù)作業(yè)時(shí)所進(jìn)行的一系列手勢(shì)動(dòng)作。本文以某鐵路局機(jī)務(wù)系統(tǒng)《CR400 型動(dòng)車組司機(jī)一次乘務(wù)作業(yè)指導(dǎo)書》為依據(jù),將列車司機(jī)乘務(wù)作業(yè)時(shí)的手比類型概括如圖1所示。

圖1 手比類型Fig.1 Gesture type

檢測(cè)司機(jī)手比行為主要存在2個(gè)難點(diǎn):(1)列車司機(jī)乘務(wù)作業(yè)過程中,不同手勢(shì)的變化主要為手指狀態(tài)的改變,在監(jiān)控畫面中所占范圍極小;(2)列車司機(jī)乘務(wù)作業(yè)過程中,列車運(yùn)行指示信號(hào)的變化以及司機(jī)端坐、站立等不同狀態(tài)都會(huì)造成手比行為在監(jiān)控畫面中位置的不同。圖2為實(shí)時(shí)監(jiān)控畫面中列車司機(jī)做出的“準(zhǔn)備停車”以及“確認(rèn)儀表”的手比行為,可以看出手比行為在監(jiān)控畫面中是小目標(biāo),而且手勢(shì)位置會(huì)隨著列車的運(yùn)行、信號(hào)的不同而發(fā)生變化。因此檢測(cè)算法必須對(duì)小目標(biāo)有著良好的跟蹤檢測(cè)能力。

圖2 監(jiān)控畫面Fig.2 Monitoring screen

本文的列車司機(jī)監(jiān)控影像數(shù)據(jù)來自于暢想高科CR400BF動(dòng)車組駕駛仿真系統(tǒng)所采集的實(shí)訓(xùn)操作影像。CR400BF型列車運(yùn)行時(shí),對(duì)列車司機(jī)手比行為的監(jiān)控主要來自于側(cè)方攝像頭(圖2),監(jiān)控畫面覆蓋整個(gè)司機(jī)室,且畫面清晰。司機(jī)室為獨(dú)立、封閉的安全環(huán)境,不存在其他惡劣外界條件的干擾。

2 檢測(cè)與跟蹤算法

2.1 YOLOV7模型

YOLO 是Redmon等[14]于2016年提出的首個(gè)單階段目標(biāo)檢測(cè)算法。該算法只需提取一次特征即可實(shí)現(xiàn)目標(biāo)檢測(cè),目前已成為目標(biāo)檢測(cè)領(lǐng)域最具代表性的模型。2022年7月,Alexey團(tuán)隊(duì)發(fā)布了最新開源的 YOLOV7[15]。在相同體量下官方版的YOLOV7比YOLOV5精度更高,速度(單位為fps)快120%,比YOLOX 快180%,比Dual-Swin-T快1 200%,比Conv Next 快550%,比Swin-L 快500%。

YOLOV7 整體網(wǎng)絡(luò)結(jié)構(gòu)主要由以下3 部分組成:Input 層、Backbone 層、Head 層[16]。YOLOV7網(wǎng)絡(luò)模型框架如圖3所示。

總之，非瓣膜性房顫抗凝的要求就是通過消除折返治療房顫，控制心室率，同時(shí)盡可能恢復(fù)竇性心律及防止血栓，以促進(jìn)改善患者預(yù)后。

圖3 YOLOV7模型框架Fig.3 YOLOV7 model framework

Input層采用一系列的方法對(duì)輸入圖片進(jìn)行處理,從而達(dá)到數(shù)據(jù)增強(qiáng)的目的。Backbone層中CBS模塊是卷積運(yùn)算Convolution、批量歸一化Batch normalization與激活模塊Silu 的組合;ELAN 模塊是由多個(gè)卷積拼接而成;MP 模塊由最大池化Maxpooling和常規(guī)卷積組合而成。Head層中的SPPCSPC模塊通過CBS與Maxpooling使算法的計(jì)算量降低、計(jì)算速度加快;MCB 模塊由多個(gè)CBS 拼接而成;最后,Head層通過輸出3組包含了置信度和像素坐標(biāo)等信息的特征圖,再利用非極大抑制消除多余框以尋找最佳的物體檢測(cè)位置。本文算法使用Generalized Intersection over Union(GIo U)來計(jì)算定位損失。

2.2 注意力機(jī)制的融合

注意力機(jī)制在圖像識(shí)別中的有效性已經(jīng)得到證明[17]。圖4為卷積注意力模塊(Convolutional Block Attention Module,CBAM),注意力機(jī)制被用于獲取特征圖中可用的注意力信息,即經(jīng)由通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)兩個(gè)子模塊輸出新的特征圖。該模塊通過強(qiáng)調(diào)重要特征并抑制一般特征,以提升目標(biāo)檢測(cè)效果。

圖4 CBAMFig.4 CBAM

為使注意力機(jī)制盡可能突出特征圖中的關(guān)鍵信息,根據(jù)YOLOV7的特性,本文將CBAM 位置置于Backbone層與Head層之間,添加CBAM 后的模型網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 融合CABM 后的改進(jìn)YOLOV7網(wǎng)絡(luò)Fig.5 Improved YOLOV7 network integrated with CABM

2.3 StrongSORT算法

考慮到列車司機(jī)進(jìn)行手比行為時(shí),手勢(shì)位置不斷發(fā)生變化,為提高檢測(cè)的效果,本文采用了Du等[18]提出的StrongSORT 算法(圖6),StrongSORT 算法是經(jīng)典的DeepSORT 算法[19]的升級(jí)。StrongSORT算法具備通用性,可以應(yīng)用在任何可用的視頻目標(biāo)檢測(cè)模型上。

圖6 DeepSORT 和StrongSORT 的應(yīng)用原理Fig.6 Application principle of DeepSORT and Strong-SORT

StrongSORT 算法與DeepSORT 相比,在外觀分支采用了更強(qiáng)的外觀特征提取器Bot+取代原來簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò),以ResNeSt50為骨干,可以采集更多的判別特征。此外用特征更新策略替換特征庫,并以指數(shù)移動(dòng)平均(Exponential Moving Average,EMA)方式更新幀t處的第i個(gè)軌跡的外觀狀態(tài),計(jì)算公式如下

其中,fti是當(dāng)前匹配檢測(cè)的外觀嵌入,α=0.9是動(dòng)量項(xiàng)。對(duì)于運(yùn)動(dòng)分支,采用Enhanced Correlation Coefficient Maximization (ECC)進(jìn)行相機(jī)運(yùn)動(dòng)補(bǔ)償。

在卡爾曼濾波算法中,噪聲尺度是一個(gè)常數(shù)矩陣。由于卡爾曼濾波器會(huì)受低質(zhì)量檢測(cè)的影響,從而忽略檢測(cè)噪聲尺度的信息,因此本文采用Noise Scale Adaptively(NSA)卡爾曼算法,通過公式(2)來自適應(yīng)地計(jì)算噪聲協(xié)方差[20]:

其中,Rk是預(yù)設(shè)的恒定測(cè)量噪聲協(xié)方差,ck是狀態(tài)k時(shí)刻下的檢測(cè)置信度得分。即通過預(yù)先給定Rk,再根據(jù)k時(shí)刻檢測(cè)到的置信度得分,以達(dá)到能在不同時(shí)刻自適應(yīng)調(diào)整噪聲斜方差,從而使估值更為準(zhǔn)確。

本文將CABM 融合進(jìn)YOLOV7,并將融合后的算法(Our algorithm)作為目標(biāo)檢測(cè)算法檢測(cè)不同類型手比行為,接著將檢測(cè)結(jié)果作為StrongSORT 算法的跟蹤目標(biāo),以實(shí)現(xiàn)對(duì)列車司機(jī)乘務(wù)作業(yè)過程中手勢(shì)的實(shí)時(shí)跟蹤。

3 仿真實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文的數(shù)據(jù)集采集自柳州鐵道職業(yè)技術(shù)學(xué)院10個(gè)班級(jí)400名不同學(xué)生在暢想高科CR400BF動(dòng)車組模擬駕駛仿真實(shí)訓(xùn)設(shè)備中的某次乘務(wù)作業(yè)時(shí)的手比行為監(jiān)控視頻畫面。每位學(xué)生在站立與端坐兩種姿態(tài)下分別進(jìn)行圖1中的手比行為。將監(jiān)控視頻中每位同學(xué)在每種姿態(tài)下的5種手比行為各截取2張作為原始數(shù)據(jù),即5種類型的手比行為各1 600張,共計(jì)8 000張圖片,并按照7∶1的比例劃分?jǐn)?shù)據(jù),即訓(xùn)練集7份,驗(yàn)證集1份。

采用Labelimg將上述數(shù)據(jù)標(biāo)注為YOLO 格式。5種手比行為的標(biāo)準(zhǔn)代號(hào)分別為確認(rèn)信號(hào)XH、側(cè)線運(yùn)行YX、注意警惕JT、準(zhǔn)備停車TC 和確認(rèn)儀表YB。標(biāo)注數(shù)據(jù)時(shí)應(yīng)當(dāng)注意,由于列車司機(jī)僅用單手進(jìn)行手比行為,此時(shí)若僅對(duì)手掌進(jìn)行標(biāo)注則會(huì)誤檢左右手掌,因此為避免左右手掌的干擾,標(biāo)注時(shí)應(yīng)對(duì)整個(gè)進(jìn)行手比行為的手臂進(jìn)行框選(圖7)。

圖7 行為標(biāo)注Fig.7 Behavior labeling

3.2 實(shí)驗(yàn)環(huán)境搭建與參數(shù)配置

在進(jìn)行模型訓(xùn)練前,需對(duì)計(jì)算機(jī)及YOLOV7模型的一些參數(shù)進(jìn)行初始化設(shè)置。本文所進(jìn)行的實(shí)驗(yàn)環(huán)境搭建與參數(shù)配置如表1所示。

表1 實(shí)驗(yàn)環(huán)境與參數(shù)配置Table 1 Experimental environment and parameter configuration

3.3 評(píng)價(jià)指標(biāo)

對(duì)于列車司機(jī)檢測(cè)的評(píng)價(jià)既要全面又要準(zhǔn)確,通常精確率(Precision)和召回率(Recall)兩項(xiàng)指標(biāo)可以評(píng)價(jià)這兩點(diǎn)[21],兩者構(gòu)成的混淆矩陣如表2 所示。其中,FP表示將負(fù)類別預(yù)測(cè)為正類別的個(gè)數(shù),TP 表示將正類別預(yù)測(cè)為正類別的個(gè)數(shù),FN 表示將正類別預(yù)測(cè)為負(fù)類別的個(gè)數(shù),TN 表示將負(fù)類別預(yù)測(cè)為負(fù)類別的個(gè)數(shù)。

表2 混淆矩陣Table 2 Confusion matrix

精確率為預(yù)測(cè)正確的正樣本個(gè)數(shù)除以真實(shí)的正樣本個(gè)數(shù)[公式(3)],其可以評(píng)價(jià)檢測(cè)的準(zhǔn)確性。召回率為正確類別被模型預(yù)測(cè)正確的概率[公式(4)],其可以評(píng)價(jià)檢測(cè)的全面性。

綜上,本文采用精確率與召回率作為評(píng)價(jià)指標(biāo)。

3.4 檢測(cè)結(jié)果

圖8為在訓(xùn)練300個(gè)迭代過程中,本文算法的損失函數(shù)曲線。可以看出,在前50個(gè)訓(xùn)練周期損失函數(shù)快速下降,在50-200個(gè)周期中損失函數(shù)的下降速度越來越緩慢,在200-300個(gè)訓(xùn)練周期中變化平穩(wěn),說明訓(xùn)練300個(gè)周期內(nèi)損失函數(shù)逐步達(dá)到收斂狀態(tài)。

圖8 損失函數(shù)Fig.8 Loss function

在訓(xùn)練300 個(gè)迭代周期后,本文算法與YOLOV7算法對(duì)各手比行為的檢測(cè)結(jié)果見表3。由表3可知,YOLOV7的2項(xiàng)指標(biāo)的平均值分別達(dá)到了95.3%、93.3%,對(duì)5種手比行為的精確率均達(dá)到92%以上,其中,JT 的識(shí)別精度最高,可能是因?yàn)樽⒁饩栊袨槌植啃袨橥?還具備手臂成90°的明顯特征。YX 與TC 的識(shí)別精確度較低,分別有7.6%和7.3%的錯(cuò)誤率,這主要是因?yàn)檫@兩個(gè)動(dòng)作極為接近。側(cè)線運(yùn)行為握拳后比小拇指與大拇指,準(zhǔn)備停車為握拳后比大拇指,兩者的區(qū)別僅表現(xiàn)在小拇指上,兩者差別過小。除YB 外的4種手比行為的召回率均達(dá)到93.0%以上,而YB的召回率僅為89.2%,說明對(duì)注意儀表行為的檢測(cè)可能存在漏檢。這可能是因?yàn)榱熊囁緳C(jī)需要根據(jù)不同的儀表信息從左至右指認(rèn)不同儀表。如開左門時(shí),需要手指最左側(cè),而開右側(cè)車門時(shí)需要手指最右側(cè)。而監(jiān)控?cái)z像頭僅在左側(cè),則在右側(cè)指認(rèn)時(shí),距離及身體會(huì)遮擋攝像頭部分視線,從而造成漏檢。

表3 YOLOV7和本文算法的精確率、召回率Table 3 Precision and recall of YOLOV7 and our algorithm Unit:%

相比于YOLOV7算法,本文算法的效果有所提升。YX 精確率從92.4%提高到了94.6%,YC 精確率從92.7%提高到了94.8%。YOLOV7 存在確認(rèn)儀表漏檢的情況,而采用StrongSORT 算法后可以有效檢出確認(rèn)儀表行為,因此召回率從89.2%提高到了93.8%。在XH、JT 和TC的檢測(cè)結(jié)果中,本文算法的精確率比YOLOV7分別提升了0.7%,0.6%和2.1%,召回率分別提高了1.9%、1.1%和1.1%。

圖9、圖10為兩個(gè)算法的檢測(cè)效果。圖9中,第1、2行分別為注意停車和側(cè)線運(yùn)行的檢測(cè)效果,這兩種手勢(shì)的區(qū)別僅表現(xiàn)在小拇指是否伸出。YOLOV7算法對(duì)注意停車與側(cè)線運(yùn)行存在混檢,不能準(zhǔn)確、有效地區(qū)分手指間的細(xì)小差別。經(jīng)過改進(jìn)后的本文算法可以準(zhǔn)確檢出被混檢的圖片類型。圖10為不同算法對(duì)確認(rèn)儀表的檢測(cè)效果,因?yàn)閳D中手勢(shì)確認(rèn)的是右側(cè)儀表,所以監(jiān)控中手勢(shì)畫面大小相較在中間或左側(cè)的更小,畫質(zhì)更低,這可能導(dǎo)致YOLOV7 算法未能有效檢測(cè)出該畫面,而本文算法可以將該情況下的手比準(zhǔn)確檢測(cè)為確認(rèn)儀表。

圖9 注意停車與側(cè)線運(yùn)行檢測(cè)效果Fig.9 Ready to stop and side running detection effect

圖10 確認(rèn)儀表檢測(cè)效果Fig.10 Confirmation instrument detection effect

綜上,采用融合注意力機(jī)制并添加StrongSORT算法可以有效地提高YOLOV7 算法的檢測(cè)效果。主要是因?yàn)楸疚乃惴ň哂懈訌?qiáng)大的特征提取功能,可以更有效地注意到圖像中的小細(xì)節(jié),比如手比行為中小拇指的變化。本文算法還可以更好地注意到圖像不同時(shí)刻的變化特征,比如確認(rèn)儀表中不同時(shí)刻手勢(shì)移動(dòng)產(chǎn)生的變化特征。

4 結(jié)論

本文從動(dòng)車組模擬駕駛實(shí)訓(xùn)系統(tǒng)采集了列車司機(jī)乘務(wù)作業(yè)時(shí)的手比行為數(shù)據(jù)集,并使用融合注意力機(jī)制的YOLOV7卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)列車司機(jī)不同類型的手比行為進(jìn)行檢測(cè),再通過StrongSORT算法增強(qiáng)了對(duì)手比行為的檢測(cè)。本文算法可以輔助鐵路院校日常駕駛培訓(xùn)、機(jī)務(wù)部門考核列車司機(jī)乘務(wù)作業(yè)時(shí)的駕駛行為,是對(duì)車輛人員進(jìn)行智能監(jiān)測(cè)的重要一環(huán)。當(dāng)然,對(duì)列車司機(jī)乘務(wù)作業(yè)時(shí)的監(jiān)測(cè)與考核遠(yuǎn)非僅有手比行為一項(xiàng),對(duì)列車司機(jī)的實(shí)時(shí)監(jiān)測(cè)與有效考核的全面智能監(jiān)測(cè)仍然是一項(xiàng)龐大且復(fù)雜的工作。