楊云開 范文兵 彭東旭

(鄭州大學(xué)信息工程學(xué)院 河南 鄭州 450000)

0 引 言

駕駛行為分類在過去幾年里受到了不同行業(yè)的關(guān)注。在汽車行業(yè)中，對(duì)駕駛行為進(jìn)行分類，例如在注意力不集中情形下的駕駛，對(duì)保證駕駛員的安全至關(guān)重要，尤其是在半自動(dòng)和高度自動(dòng)化的車輛中。同樣，在汽車保險(xiǎn)行業(yè)，對(duì)駕駛行為進(jìn)行分類和監(jiān)控對(duì)于風(fēng)險(xiǎn)評(píng)估和保險(xiǎn)費(fèi)都至關(guān)重要[1]。

現(xiàn)已出現(xiàn)了許多方法來解決駕駛行為分類問題。根據(jù)所使用的傳感器數(shù)據(jù)，這些方法可以分為兩種主要方法，即基于車輛檢測的方法和基于駕駛員檢測的方法?；谲囕v檢測的方法利用不同的車輛傳感器數(shù)據(jù)對(duì)一組駕駛行為或駕駛風(fēng)格進(jìn)行分類。車輛傳感器的數(shù)據(jù)包括慣性測量數(shù)據(jù)，車輛的方位、速度、加速度和制動(dòng)?；隈{駛員檢測的方法是利用車內(nèi)的活動(dòng)傳感器(通常是攝像頭)來觀察駕駛員的直接表現(xiàn)，例如注視方向、腦電圖波動(dòng)、頭部和身體的姿勢。

文獻(xiàn)[2]提出一種使用動(dòng)態(tài)時(shí)間規(guī)整(DTW)和基于智能手機(jī)的傳感器融合(加速度計(jì)、陀螺儀、磁強(qiáng)計(jì)、GPS、視頻)來檢測、識(shí)別駕駛行為的系統(tǒng)，雖然識(shí)別率很高，但是需要一個(gè)龐大的數(shù)據(jù)庫。文獻(xiàn)[3]使用貝葉斯非參數(shù)模型與LDA模型相結(jié)合，以此將抽象的線性分段與具體的駕駛行為相聯(lián)系，雖然識(shí)別效果很好，但是在計(jì)算上有很大的復(fù)雜性。文獻(xiàn)[4-5]通過智能手機(jī)內(nèi)置的傳感器采集數(shù)據(jù)，然后用深度學(xué)習(xí)模型對(duì)駕駛行為識(shí)別，但是只能識(shí)別縱向運(yùn)動(dòng)，無法識(shí)別橫向運(yùn)動(dòng)(轉(zhuǎn)向)。文獻(xiàn)[6]通過貝葉斯模型來處理駕駛數(shù)據(jù)，可以無監(jiān)管地推斷出具體駕駛行為，該算法效率和識(shí)別精度都比較高。

上述研究雖然都有很高的識(shí)別率，但都沒有考慮過時(shí)間復(fù)雜度的影響，也都沒有采用降維算法。本文方法結(jié)合了降維和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，不僅降低了時(shí)間復(fù)雜度還具有高識(shí)別率。常見降維算法有PCA、LDA和LPP等，這些傳統(tǒng)的降維方法只能保留數(shù)據(jù)的單一特征，會(huì)造成數(shù)據(jù)特征信息的丟失。降噪自編碼器(DAE)能更好地挖掘數(shù)據(jù)的非線性特性，并能給壓縮數(shù)據(jù)的方式提供很大的靈活性[7]，故本文采用DAE進(jìn)行降維處理。實(shí)驗(yàn)獲得的駕駛行為數(shù)據(jù)集為時(shí)間序列數(shù)據(jù)，具有連續(xù)且局部相關(guān)性高等特點(diǎn)，而一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)能夠有效地捕獲時(shí)間和空間結(jié)構(gòu)的相關(guān)性，因此本文采用一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行駕駛行為識(shí)別。

1 模型介紹

1.1 一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)

CNN被廣泛應(yīng)用在圖像和計(jì)算機(jī)視覺領(lǐng)域。在CNN的輸入層中，數(shù)據(jù)輸入的格式與全連接神經(jīng)網(wǎng)絡(luò)的輸入格式(一維向量)不同。CNN的輸入層的輸入格式保留了圖片本身的結(jié)構(gòu)(二維矩陣)，而且CNN中的過濾器、特征圖等內(nèi)部結(jié)構(gòu)也都是二維的，其結(jié)構(gòu)如圖1所示。但傳感器數(shù)據(jù)都為一維信號(hào)，無法輸入到CNN中，所以本文采用保留了CNN的局部連接和權(quán)值共享等特性的1D-CNN[8]。1D-CNN中的輸入是一維向量，過濾器、池化層等內(nèi)部結(jié)構(gòu)也都是一維的，其結(jié)構(gòu)如圖2所示。

圖1 二維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖2 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 降噪自編碼器(DAE)

自動(dòng)編碼器(Auto-encoder)是一種降維方法，通過訓(xùn)練具有小中心層的多層神經(jīng)網(wǎng)絡(luò)，將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)。AE是一種典型的三層神經(jīng)網(wǎng)絡(luò)。在隱藏層和輸入層之間有一個(gè)編碼過程，在輸出層和隱藏層之間有一個(gè)解碼過程。自動(dòng)編碼器通過對(duì)輸入數(shù)據(jù)的編碼操作得到編碼表示(編碼器)，通過對(duì)隱含層的輸出解碼操作得到重構(gòu)的輸入數(shù)據(jù)(解碼器)，隱含層的數(shù)據(jù)就是降維數(shù)據(jù)。然后定義重構(gòu)誤差函數(shù)來測量自動(dòng)編碼器的學(xué)習(xí)效果。基于誤差函數(shù)，可以添加約束條件，生成各種類型的自動(dòng)編碼器。典型的AE網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示[9]。

圖3 自動(dòng)編碼器的網(wǎng)絡(luò)結(jié)構(gòu)

編碼器和解碼器以及損失函數(shù)如下所示:

編碼器：h=δ(Wx+b)

(1)

(2)

(3)

DAE就是AE改進(jìn)版，通過加入噪聲來破壞原始數(shù)據(jù)，然后將損壞的數(shù)據(jù)作為輸入層輸入到神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)的重構(gòu)結(jié)果應(yīng)與原始數(shù)據(jù)近似，通過這種方法，可以消除擾動(dòng)，并獲得穩(wěn)定的結(jié)構(gòu)[10]。原始輸入數(shù)據(jù)x通過加入噪聲得到干擾輸入x′，然后輸入到編碼器中得到特征表達(dá)h，再通過解碼器將h映射到輸出層，算法流程與AE一樣。加噪聲主要有兩種方法，一種方法是加入高斯噪聲，即x′=x+ε,ε∈(0,δ2);另一種方法是加入二元掩蔽噪聲，即以一定概率把輸入層節(jié)點(diǎn)的值設(shè)置為0。

2 基于DAE+1D-CNN的識(shí)別模型

實(shí)驗(yàn)獲得的駕駛行為數(shù)據(jù)集為時(shí)間序列數(shù)據(jù),具有連續(xù)且局部相關(guān)性高等特點(diǎn)，而一維卷積神經(jīng)網(wǎng)絡(luò)能夠有效地捕獲數(shù)據(jù)時(shí)間和空間結(jié)構(gòu)的相關(guān)性，因此一維卷積神經(jīng)網(wǎng)絡(luò)很適合用在駕駛行為識(shí)別中。為了能夠同時(shí)輸入三個(gè)特征向量(分別對(duì)應(yīng)加速度、陀螺儀數(shù)據(jù)和磁感性強(qiáng)度)，使用3通道的1D-CNN。同時(shí)為了解決卷積神經(jīng)網(wǎng)絡(luò)時(shí)間復(fù)雜度高的問題，使用DAE對(duì)初始數(shù)據(jù)進(jìn)行降維處理。本文提出了一種應(yīng)用于駕駛行為分類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)DAE+1D-CNN，如圖4所示。

圖4 基于降噪自編碼器和一維卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型

可以看出，該模型自左向右由四個(gè)模塊組成。

(1) 數(shù)據(jù)預(yù)處理：使用滑動(dòng)窗口來提取數(shù)據(jù)片段，數(shù)據(jù)片段為一個(gè)250×3的矩陣，再將此矩陣歸一化并使用中位值平均濾波器去除噪聲干擾，最后得到輸入樣本V{ax,gy,mz}。

DAE模型結(jié)構(gòu)設(shè)置一層隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，隱藏節(jié)點(diǎn)設(shè)為200。隱含層激活函數(shù)采用tanh函數(shù)，輸出層的激活函數(shù)采用Sigmoid函數(shù)，訓(xùn)練方法采用變學(xué)習(xí)率動(dòng)量算法，梯度下降算法采用Mini-batch梯度下降法，采用L2正則化來防止過擬合，采用的損失函數(shù)為：

(4)

1D-CNN模型結(jié)構(gòu)設(shè)置為2個(gè)卷積層和2個(gè)池化層。池化層使用最大池化(Max pooling)。激勵(lì)函數(shù)并沒有使用ReLu函數(shù)，ReLu函數(shù)一般用于CNN處理圖片等二維數(shù)據(jù)時(shí)，而本文的數(shù)據(jù)是一維數(shù)據(jù)，且使用ReLu函數(shù)測試后識(shí)別效果很差，因此本文采用Sigmoid函數(shù)。輸出層采用Softmax分類器。采用的訓(xùn)練方法和梯度下降算法與DAE一樣，損失函數(shù)并沒有使用L2正則化，而是使用了dropout來防止過擬合[12]。損失函數(shù)為交叉熵?fù)p失函數(shù)(Cross-entropy):

(5)

(4) 分類識(shí)別：Logistics回歸只能實(shí)現(xiàn)二分類，而Softmax分類可以實(shí)現(xiàn)多分類，因此本文使用Softmax分類器進(jìn)行分類識(shí)別。其中y(i)∈{1,2,…,k}，k是類別總數(shù)[13]。將輸入x判別為l類的概率為:

(6)

算法流程進(jìn)一步解釋了該模型的實(shí)現(xiàn)細(xì)節(jié)：

輸入：三種傳感器數(shù)據(jù)。

輸出：九種駕駛行為的概率值。

步驟1數(shù)據(jù)預(yù)處理得到樣本V{ax,gy,mz}。

步驟4卷積層：將P代入C=δ(conv2(wc,P)+b)得到特征圖C。

步驟7y(i)為步驟6的識(shí)別結(jié)果，將y(i)代入式(5)得到交叉熵?fù)p失函數(shù)，使用步驟3的方法使損失函數(shù)降至最小。不斷地循環(huán)步驟4至步驟7直到交叉熵?fù)p失函數(shù)降至最低并且收斂。

3 數(shù)據(jù)預(yù)處理

3.1 樣本數(shù)據(jù)選擇

過去大多數(shù)駕駛模式識(shí)別系統(tǒng)只使用加速度計(jì)的數(shù)據(jù)。本文使用加速度計(jì)、陀螺儀和磁力傳感器的傳感器融合輸出來檢測和識(shí)別駕駛運(yùn)動(dòng)。陀螺儀數(shù)據(jù)可以使車輛轉(zhuǎn)彎運(yùn)動(dòng)更清晰地顯示，因?yàn)橥勇輧x測量的是車輛的轉(zhuǎn)向加速度，而磁力傳感器可以檢測到車輛行駛方向的磁感性強(qiáng)度，每個(gè)方向的磁感性強(qiáng)度都是固定的，當(dāng)車輛行駛方向變化時(shí)磁感性強(qiáng)度也隨之改變(相當(dāng)于一個(gè)羅盤)。因此三者配合使用，可以更準(zhǔn)確地讀出車輛的姿態(tài)(方向)。假設(shè)陀螺儀值為G={gx,gy,gz}(rad/s)，加速度計(jì)值A(chǔ)={ax,ay,az}(m/s2)，設(shè)備磁力傳感器M={mx,my,mz}(μT)。

本文中使用ax、gy和mz作為樣本數(shù)據(jù)進(jìn)行分類，因?yàn)樵贏、G、M中只有這三個(gè)單軸數(shù)據(jù)能反映車輛方向的變化。本文認(rèn)為集合T={ax,gy,mz}是區(qū)分駕駛行為的最佳信號(hào)選擇，將在下文仿真實(shí)驗(yàn)中證明。同時(shí)也將檢驗(yàn)使用純G、純A和純M數(shù)據(jù)的準(zhǔn)確性。

3.2 提取數(shù)據(jù)片段

獲取到集合T的數(shù)據(jù)后，提取n個(gè)樣本數(shù)據(jù)段。數(shù)據(jù)段的數(shù)量取決于所涉及的應(yīng)用類型。增加段的長度可以提高識(shí)別精度，但是會(huì)使不同活動(dòng)之間的邊界變得不那么清晰。綜合考慮本文采用10 s的非重疊窗口大小對(duì)原始慣性時(shí)間序列數(shù)據(jù)進(jìn)行分割。使用分段而不是單個(gè)數(shù)據(jù)點(diǎn)的原因是由于原始慣性測量的高度波動(dòng)使得單個(gè)數(shù)據(jù)點(diǎn)的分類不切實(shí)際。因此，使用分別應(yīng)用于ax、gy、mz軸上的滑動(dòng)窗口來獲得片段[14]。在25 Hz的數(shù)據(jù)采集頻率下，250次數(shù)據(jù)是一個(gè)數(shù)據(jù)段，將這個(gè)250×3的矩陣V{ax,gy,mz}作為識(shí)別模型的輸入樣本。

3.3 去噪聲干擾

在實(shí)際采集數(shù)據(jù)過程中會(huì)偶然出現(xiàn)脈沖性干擾，所采集的數(shù)據(jù)會(huì)存在噪聲，因此需要對(duì)原始數(shù)據(jù)進(jìn)行濾波處理。本文選擇使用中位值平均濾波法[15]，又稱防脈沖干擾平均濾波法，顧名思義就是專門用于消除脈沖性干擾方法，能濾除由偶然因素所引起脈沖性干擾所致的數(shù)據(jù)突變。

4 實(shí)驗(yàn)仿真

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本文以內(nèi)置ARM處理器的智能手機(jī)作為駕駛行為數(shù)據(jù)采集硬件平臺(tái)。智能手機(jī)使用配置了線性加速度傳感器和陀螺儀以及磁力傳感器的榮耀V10和蘋果6S。智能手機(jī)被水平地放置在汽車儀表盤中間位置，x軸與儀表盤平齊，y軸垂直地面向上，z軸面向前進(jìn)方向。汽車平臺(tái)為起亞賽拉圖和雪佛蘭賽歐3。數(shù)據(jù)收集軟件為phyphox(一個(gè)國外的傳感器數(shù)據(jù)測試軟件)，圖5所示為使用該軟件進(jìn)行傳感數(shù)據(jù)收集的結(jié)果。實(shí)驗(yàn)采集了4名用戶的駕駛行為數(shù)據(jù)，分別為直線行駛(SR)、起步(ST)、停車(P)、左轉(zhuǎn)(L)、右轉(zhuǎn)(R)、左變道(LL)、右變道(RL)、掉頭(U)和靜止(S)等九種駕駛行為。采樣頻率為25 Hz，共收集了超過3 600份樣本數(shù)據(jù)，如表1所示。

圖5 數(shù)據(jù)采集工具

表1 實(shí)驗(yàn)數(shù)據(jù)集

續(xù)表1

4.2 參數(shù)設(shè)置

整個(gè)實(shí)驗(yàn)過程在MATLAB仿真環(huán)境中進(jìn)行。把實(shí)驗(yàn)數(shù)據(jù)分成三份：60%的訓(xùn)練集，20%的交叉驗(yàn)證集，20%的測試集。

DAE模型的參數(shù)設(shè)置：輸入層、隱藏層和輸出層的節(jié)點(diǎn)數(shù)分別為250、200、250，訓(xùn)練批次大小(batch size)為10，學(xué)習(xí)率為0.01，L2正則化參數(shù)為0.02，最大迭代次數(shù)(epoch)為100，權(quán)值動(dòng)量因子(Momentum)為0.9，學(xué)習(xí)率變化因子為0.9。

1D-CNN模型的參數(shù)設(shè)置：輸入：200×3的特征圖，3通道。第一層卷積：5×1大小的卷積核4個(gè)。第一層max-pooling：2×1的核。第二層卷積：3×1卷積核8個(gè)。第二層max-pooling：2×1的核。Softmax層：輸出為7。訓(xùn)練批次大小(batch size)為10，最大迭代次數(shù)(epoch)為60，學(xué)習(xí)率為0.02，學(xué)習(xí)率變化因子為0.8，丟包率(Dropout level)為0.5，加入噪聲的比例(InputZeroMaskedFraction)為0.3。

4.3 實(shí)驗(yàn)對(duì)比與結(jié)果分析

實(shí)驗(yàn)1在探討DAE+1D-CNN模型對(duì)駕駛行為識(shí)別的具體效果之前，先驗(yàn)證為什么集合T={ax,gy,mz}是區(qū)分駕駛行為的最佳信號(hào)選擇。將集合A、G、M和T的數(shù)據(jù)分別輸入到1D-CNN模型中，求得對(duì)應(yīng)的識(shí)別率后進(jìn)行對(duì)比分析。這四個(gè)集合中數(shù)據(jù)的樣本個(gè)數(shù)和維度都一樣，識(shí)別結(jié)果如表2所示。從表2可以看出集合T的識(shí)別率是最高的。

表2 A、G、M、T數(shù)據(jù)的識(shí)別率比較 %

實(shí)驗(yàn)2探討使用DAE進(jìn)行降維的原因，將輸入數(shù)據(jù)T分別利用DAE、主成分分析(PCA)、線性判別分析(LDA)、核主成分分析(KPCA)和局部保持投影(LPP)進(jìn)行降維，將T中的三個(gè)單軸數(shù)據(jù)都從250維降到200維，然后輸入到同樣的1D-CNN結(jié)構(gòu)中，得到結(jié)果后與沒有經(jīng)過降維處理的1D-CNN進(jìn)行比較，識(shí)別效果如圖6所示。

圖6 不同降維模型識(shí)別效果對(duì)比

可以明顯地看出，識(shí)別效果最好的是沒有經(jīng)過降維處理的1D-CNN模型和DAE+1D-CNN模型(后面兩排)，它們兩個(gè)的平均識(shí)別率為95.4%和93.7%，1D-CNN模型比DAE+1D-CNN模型的識(shí)別率高了1.7%，這也是正?，F(xiàn)象，因?yàn)榧词故窃俸玫慕稻S算法也會(huì)造成數(shù)據(jù)信息的丟失。和其他降維算法相比，DAE的效果是最好的，其他幾種降維算法中效果最好的是KPCA，識(shí)別率為80.7%，DAE的效果比它強(qiáng)很多。DAE+1D-CNN模型的測試結(jié)果如表3所示。

表3 具體識(shí)別結(jié)果

DAE不僅沒有造成識(shí)別率的大量降低而且改善了1D-CNN模型的收斂效果，從圖7可以很明顯地看出DAE+1D-CNN模型的損失函數(shù)要比1D-CNN模型收斂得更迅速，而且從最終的收斂結(jié)果來看，DAE+1D-CNN模型的誤差也明顯小于1D-CNN模型。

圖7 誤差收斂效果比較

實(shí)驗(yàn)3將三個(gè)傳統(tǒng)的機(jī)器學(xué)習(xí)識(shí)別模型與DAE+1D-CNN模型進(jìn)行對(duì)比，比較結(jié)果如圖8所示，可以明顯地看出本文模型識(shí)別效果最好，其他三個(gè)平均識(shí)別率最高的是BP神經(jīng)網(wǎng)絡(luò)的84.2%。同時(shí)將本文模型與兩個(gè)新型的分類模型：Deep Forest(深度森林，2017年提出)和XDBoost(2014年提出)進(jìn)行對(duì)比，可以看出本文模型識(shí)別效果更好，Deep Forest和XDBoost的平均識(shí)別率分別為87.9%和72.1%。

圖8 常見分類模型識(shí)別效果對(duì)比

5 結(jié) 語

本文提出一種1D-CNN結(jié)合DAE的方法去識(shí)別常見的駕駛行為，這些駕駛行為包含縱向和橫向運(yùn)動(dòng)。1D-CNN算法不僅比其他分類算法有更好的分類效果，而且可以有效地處理和識(shí)別真實(shí)的時(shí)間序列數(shù)據(jù)。DAE不僅達(dá)到降維的效果，而且可以改善損失函數(shù)的收斂效果。實(shí)驗(yàn)結(jié)果也驗(yàn)證了該方法的有效性與可行性，該方法對(duì)汽車安全駕駛具有實(shí)際的應(yīng)用參考價(jià)值。本文的不足之處在于采集的數(shù)據(jù)比較理想，本實(shí)驗(yàn)采集的數(shù)據(jù)都是在無車的道路上采集到的，沒有考慮道路環(huán)境等問題。下一步將研究在道路狀況復(fù)雜區(qū)域的駕駛行為識(shí)別。