季華

摘 要 本文闡述了一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法。該系統(tǒng)可以對駕駛員的疲勞狀態(tài)（打呵欠、頻繁閉眼等）、不良駕駛行為（長時(shí)間不目視前方、接打手持電話、抽煙、雙手同時(shí)脫離方向盤、跟車過近等）進(jìn)行實(shí)時(shí)監(jiān)測與報(bào)警。其特點(diǎn)在于：駕駛員面部視覺感知、駕駛員身體姿態(tài)視覺感知與車輛運(yùn)行狀態(tài)信息、道路信息融合，并利用人機(jī)協(xié)作認(rèn)知的演進(jìn)模型實(shí)現(xiàn)智能增強(qiáng)的駕駛員狀態(tài)預(yù)測，彌補(bǔ)了僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的不足。

關(guān)鍵詞 駕駛員狀態(tài)監(jiān)控;不良駕駛行為;視覺感知;人機(jī)協(xié)作;深度學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);智能增強(qiáng)

隨著改革開放我國的經(jīng)濟(jì)持續(xù)快速增長，汽車的保有量迅速上升。交通事故發(fā)生率也越來越高。事故造成了大量的人民生命和財(cái)產(chǎn)損失，已成為一個重要的社會問題。2016年，我國共發(fā)生了約21.3萬起交通事故，導(dǎo)致約6.31萬人死亡、約22.64萬人受傷，直接財(cái)產(chǎn)損失超過12.07億元[1]。據(jù)世界衛(wèi)生組織統(tǒng)計(jì)在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占20%左右。為了減少由于駕駛員疲勞駕駛帶來的事故隱患，2018年8月，交通運(yùn)輸部辦公廳發(fā)布了《關(guān)于推廣應(yīng)用智能視頻監(jiān)控報(bào)警技術(shù)》的文件，鼓勵道路運(yùn)輸車輛安裝智能視頻監(jiān)控報(bào)警裝置，實(shí)現(xiàn)對駕駛員不安全駕駛行為的自動識別和實(shí)時(shí)報(bào)警。其中就包含了對駕駛員的疲勞狀態(tài)及不良駕駛行為的監(jiān)控要求。本文要闡述的是一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)。

1人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)

人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)是一個將人的作用或人的認(rèn)知模型引入的人工智能系統(tǒng)，具備混合智能增強(qiáng)范式。由信息感知、融合預(yù)測、協(xié)作增強(qiáng)、反饋預(yù)警等子系統(tǒng)組成。

1.1 信息感知子系統(tǒng)

信息感知子系統(tǒng)由三個視覺感知攝像頭、一個車輛CAN總線采集模塊組成：①一個位于駕駛員前方儀表臺上的朝向駕駛員的940納米紅外攝像頭（適用于各種光照條件，可大幅降低強(qiáng)光及弱光環(huán)境對攝像畫面成像質(zhì)量的影響）。用于采集駕駛員面部特征及上半身部分視覺圖像信息，通過深度神經(jīng)網(wǎng)絡(luò)模型推理圖像中存在打呵欠、閉眼、接打手持電話、抽煙、不系安全帶、長時(shí)間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度;②一個位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態(tài)與動作和方向盤轉(zhuǎn)動信息，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法推理畫面中存在駕駛員異常坐姿、較長時(shí)間不轉(zhuǎn)動方向盤、異常速度轉(zhuǎn)動方向盤、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現(xiàn)象的置信度;③一個貼于擋風(fēng)玻璃內(nèi)側(cè)中央，朝向道路方向天際線的攝像頭，用于采集前方車輛、行人、車道線等目標(biāo)信息，通過深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺算法檢測前方車輛、行人、車道線等目標(biāo)，并計(jì)算本車與前方的車輛、行人的距離以及本車與兩側(cè)車道線的距離;④一個車輛CAN總線信息采集模塊，通過車輛自身的CAN總線采集車輛的車速、轉(zhuǎn)速、油門開度、剎車狀態(tài)、橫擺角速度等信息，用于輔助判斷駕駛員是否處于正常駕駛狀態(tài)。

1.2 融合預(yù)測子系統(tǒng)

融合預(yù)測子系統(tǒng)，將來自信息感知子系統(tǒng)的多種感知信息進(jìn)行融合，而后對駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進(jìn)行預(yù)測。如預(yù)測結(jié)果置信度低于指定的閾值，則將通過信息感知子系統(tǒng)采集到的當(dāng)前時(shí)間點(diǎn)前的指定時(shí)間段內(nèi)的視頻及車輛總線數(shù)據(jù)和預(yù)測結(jié)果一并提交到協(xié)作增強(qiáng)子系統(tǒng)，并由協(xié)作增強(qiáng)子系統(tǒng)作進(jìn)一步處理。

融合預(yù)測的主要步驟為：①以100毫秒為單位時(shí)間對各感知信息進(jìn)行配準(zhǔn)后組成特征向量;②以1000毫秒為周期，100毫秒為間隔進(jìn)行滑窗操作將采集到的5組特征向量組成特征矩陣;③將特征矩陣連續(xù)的送入基于LSTM（Long short-term memory）結(jié)合CNN構(gòu)建的神經(jīng)網(wǎng)絡(luò)得到切片預(yù)測結(jié)果向量;④將1000毫秒內(nèi)的10個切片預(yù)測結(jié)果向量組成預(yù)測結(jié)果矩陣，利用可演進(jìn)評分模型對結(jié)果矩陣進(jìn)行評分得到最終預(yù)測結(jié)果向量及其置信度;⑤如置信度小于指定閾值則將預(yù)測結(jié)果及相關(guān)感知信息提交至協(xié)作增強(qiáng)子系統(tǒng)進(jìn)一步處理，如置信度大于指定閾值則將預(yù)測結(jié)果提交至反饋預(yù)警子系統(tǒng)做進(jìn)一步處理。

1.3 協(xié)作增強(qiáng)子系統(tǒng)

協(xié)作增強(qiáng)子系統(tǒng)將人的作用引入到對駕駛員疲勞及駕駛員不良駕駛行為的認(rèn)知模型，形成人機(jī)協(xié)作智能增強(qiáng)的形態(tài)。將融合預(yù)測子系統(tǒng)預(yù)測結(jié)果中置信度低于閾值的場景通過視覺方式還原現(xiàn)場，由人工來判斷駕駛員是否存在疲勞或者不良駕駛行為的情況。并將人工判斷的依據(jù)及判斷過程按照預(yù)先設(shè)計(jì)的演進(jìn)模型進(jìn)行記錄并轉(zhuǎn)換成用于感知和預(yù)測模型訓(xùn)練的素材自動送入訓(xùn)練素材庫。當(dāng)新入庫素材達(dá)到指定閾值時(shí)，啟動新的感知和預(yù)測模型訓(xùn)練，促使模型在人的協(xié)助下不斷的演進(jìn)，提高感知和預(yù)測模型對駕駛員疲勞和是否存在不良駕駛行為判斷的準(zhǔn)確率。

1.4 反饋預(yù)警子系統(tǒng)

反饋預(yù)警子系統(tǒng)由聲光報(bào)警模塊、報(bào)警事件記錄模塊組成。接收來自融合預(yù)測子系統(tǒng)的報(bào)警信息通過聲光提醒的方式按照不同的報(bào)警級別進(jìn)行不同的聲光提醒，同時(shí)將報(bào)警事件在本地記錄并通過無線網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)平臺。

2人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的優(yōu)點(diǎn)

（1）將人的作用引入到系統(tǒng)中對駕駛員疲勞和不良駕駛行為進(jìn)行判斷，形成了人機(jī)協(xié)作認(rèn)知的混合智能增強(qiáng)范式。當(dāng)智能終端的輸出置信度較低時(shí)，由人介入主動給出合理的判斷與依據(jù)，構(gòu)成系統(tǒng)智能水平提升的反饋回路;

（2）在傳統(tǒng)的僅僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的基礎(chǔ)上添加了對行車過程中是否系了安全帶、行車過程中是否雙手脫離方向盤的檢測，并利用視覺檢測方向盤轉(zhuǎn)動幅度的方法判斷駕駛員是否存在長時(shí)間不對方向盤進(jìn)行轉(zhuǎn)動（含微調(diào)）的行為，以及駕駛員是否存在對行車道路上出現(xiàn)的狀況（如：跟車過近、偏離車道）反應(yīng)遲緩或者異于往常的問題。

3結(jié)束語

隨著駕駛員狀態(tài)監(jiān)控系統(tǒng)的普及與不斷演進(jìn)，以及監(jiān)管手段的不斷完善，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少，因駕駛員疲勞駕駛及不良駕駛行為所引發(fā)的交通事故數(shù)量也將逐步降低。由于人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的上文所述優(yōu)點(diǎn)，其將對減少駕駛員疲勞駕駛及不良駕駛行為引發(fā)的事故，起到更好的抑制作用，更利于營造和諧、安全的交通運(yùn)輸環(huán)境，構(gòu)建和諧社會。

參考文獻(xiàn)

[1] 公安部交通管理局.中華人民共和國道路交通事故統(tǒng)計(jì)年報(bào)[M].北京：人民交通出版社，2017：78.