趙偵鈞，王 濤，貝太學(xué)，宋濤濤

(1.山東建筑大學(xué)信息與電氣工程學(xué)院，山東 濟(jì)南 250000；2.山東建筑大學(xué)機(jī)電工程學(xué)院)

0 引言

下肢外骨骼是一種可穿戴的人體運(yùn)動(dòng)輔助和機(jī)能增強(qiáng)裝置。近年來，隨著軍事和工業(yè)上對(duì)單兵負(fù)重、機(jī)動(dòng)能力和防護(hù)能力的日益重視，以及腦卒中、脊髓損傷和老齡化引起的下肢活動(dòng)障礙患者人數(shù)逐年增加，外骨骼、功能性電刺激(Functional Electrical Stimulation，F(xiàn)ES)器等運(yùn)動(dòng)助力或康復(fù)設(shè)備均獲得了迅速發(fā)展。在這些外骨骼系統(tǒng)中，人機(jī)協(xié)同問題一直是其一大挑戰(zhàn)，解決這一挑戰(zhàn)的關(guān)鍵在于提高步態(tài)預(yù)測(cè)的準(zhǔn)確性。

國(guó)內(nèi)外學(xué)者對(duì)步態(tài)預(yù)測(cè)、人機(jī)協(xié)同進(jìn)行了大量研究。Wilcox 等基于肌電圖(EMG)信號(hào)展開研究，利用肌電信號(hào)分析運(yùn)動(dòng)意圖。李彩紅基于人體表面肌電信號(hào)(Surface Electromyography,sEMG)深度探究sEMG 信號(hào)與下肢運(yùn)動(dòng)角度映射規(guī)律，進(jìn)一步進(jìn)行步態(tài)預(yù)測(cè)。上述兩種方法易受人體表面皮膚狀態(tài)如出汗、皮膚破損等干擾。龍億等在使用力矩傳感器測(cè)量人機(jī)交互信息的基礎(chǔ)上，使用卡爾曼濾波進(jìn)行預(yù)測(cè)彌補(bǔ)意圖延時(shí)，該方法需進(jìn)行復(fù)雜的參數(shù)優(yōu)化且缺乏對(duì)空間特征的提取。丁峰等提出一種基于灰色理論的人體步態(tài)預(yù)測(cè)方法，通過視頻捕捉設(shè)備(Kinect)捕捉踝關(guān)節(jié)空間位置坐標(biāo)進(jìn)而利用灰色預(yù)測(cè)系統(tǒng)進(jìn)行預(yù)測(cè)，該方法所使用的視頻捕捉設(shè)備不適用于下肢外骨骼。近年來，隨著神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域內(nèi)廣泛應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)模型的下肢外骨骼步態(tài)預(yù)測(cè)方法不斷地被提出，但這些方法都未能同時(shí)考慮時(shí)間與空間上的步態(tài)特征信息。

本文通過對(duì)步態(tài)特征進(jìn)行研究，引入在自然語言處理(Natural Language Processing,NLP)中表現(xiàn)優(yōu)異的Conformer 網(wǎng)絡(luò)，提出基于LSTM 和Conformer 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的下肢外骨骼步態(tài)預(yù)測(cè)方法，深度提取步態(tài)特征時(shí)空特性。通過采集正常行走過程中人體下肢大小腿的運(yùn)動(dòng)加速度、姿態(tài)角度和角速度數(shù)據(jù)，組建數(shù)據(jù)集。利用Pytorch 搭建LSTM-Conformer 神經(jīng)網(wǎng)絡(luò)模型，并利用自建數(shù)據(jù)集對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與驗(yàn)證。

1 LSTM-Conformer神經(jīng)網(wǎng)絡(luò)模型

1.1 LSTM-Conformer模型架構(gòu)

下肢步態(tài)預(yù)測(cè)模型應(yīng)具有足夠的捕獲時(shí)間和空間特征的能力來預(yù)測(cè)步態(tài)運(yùn)動(dòng)軌跡。目前存在許多具有上述特性的模型，例如長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-term Memory,LSTM)，該模型在信息長(zhǎng)期依賴方面具有強(qiáng)大的學(xué)習(xí)能力，被廣泛使用在長(zhǎng)序列數(shù)據(jù)訓(xùn)練中；Conformer模型，該模型在自然語言處理(NLP)領(lǐng)域內(nèi)取得了較好成果，是一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)和Transformer模型的Seq2Seq(序列到序列)模型，其利用CNN 有效提取局部特征的能力在彌補(bǔ)Transformer 模型提取局部特征能力較差問題的同時(shí)，保留了Transformer 模型善于捕捉基于內(nèi)容的全局交互能力。

受到Conformer 模型啟發(fā)，本文將處理后的下肢步態(tài)數(shù)據(jù)序列作為步態(tài)預(yù)測(cè)問題的輸入，將下一步態(tài)所屬類別標(biāo)簽矩陣作為輸出。經(jīng)過上述處理后，步態(tài)預(yù)測(cè)問題可視為是一種Seq2Seq 問題，可以將Conformer 模型引入來提高預(yù)測(cè)的準(zhǔn)確率。一個(gè)步態(tài)周期內(nèi)階段劃分如圖1所示。

圖1 步態(tài)周期劃分示意圖

以單側(cè)為例對(duì)每個(gè)階段行為功能做以下描述：支撐初期，右腳跟觸地至左腳趾離地，該階段包括首次觸地與承重反應(yīng)；支撐中期，左腳趾離地至前后腿交換再至左腳跟觸地，該階段是支撐腳全部觸地階段，此時(shí)對(duì)側(cè)下肢處于擺動(dòng)相；支撐后期，左腳跟觸地至右腳趾離地，該階段是腳部加速蹬離支撐面的階段；擺動(dòng)初期，右腳趾離地至雙腿相間，該階段是指腳趾離地到擺動(dòng)腿到身體正下方的一瞬間，雙側(cè)大腿相鄰；擺動(dòng)中期，雙腿相間至右小腿垂直，該階段是指雙腿相鄰到繼續(xù)向前擺動(dòng)至該側(cè)小腿與地面垂直階段；擺動(dòng)后期，小腿垂直至右腳跟觸地，該階段直至小腿垂直到腳跟再次著地。

本文結(jié)合LSTM 與Conformer 模型所搭建的網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 LSTM-Conformer模型架構(gòu)

在本文模型中，經(jīng)預(yù)處理后的步態(tài)數(shù)據(jù)在每一特征維度上按時(shí)間軸進(jìn)行展開輸入至LSTM 單元內(nèi)，由LSTM 網(wǎng)絡(luò)初步捕捉每一維度內(nèi)的時(shí)間特征。但步態(tài)數(shù)據(jù)中不僅包含時(shí)間信息同時(shí)也包含豐富的空間信息，如果只經(jīng)過LSTM 單元進(jìn)行特征提取，并不能充分利用時(shí)空信息進(jìn)而不能達(dá)到理想的預(yù)測(cè)準(zhǔn)確率。因此，本文將LSTM 初步提取后的特征數(shù)據(jù)經(jīng)維度變換后輸入至Conformer 塊中。Conformer 層沿時(shí)間軸對(duì)所有維度做空間上的卷積，在提取空間信息的同時(shí)對(duì)時(shí)間信息做更深層的挖掘。最后Conformer 層的輸出經(jīng)過ReLU 激活層與一個(gè)全連接層來解碼輸出預(yù)測(cè)步態(tài)所屬類別標(biāo)簽。擬議模型可以充分結(jié)合兩種模型的優(yōu)勢(shì)，提高捕獲隱式時(shí)空特征的能力，進(jìn)而提高預(yù)測(cè)的準(zhǔn)確率，為解決人機(jī)協(xié)同問題提供可靠依據(jù)。

1.2 LSTM-Conformer模型參數(shù)

LSTM-Conformer 神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)設(shè)計(jì)如下。

⑴LSTM 輸入層由36 個(gè)節(jié)點(diǎn)組成，輸入分別為左右大腿、小腿三軸方向上的加速度、角速度、角度；隱藏層節(jié)點(diǎn)數(shù)為150個(gè)。

⑵ Conformer 塊輸入節(jié)點(diǎn)數(shù)為150個(gè)，輸入為L(zhǎng)STM 神經(jīng)網(wǎng)絡(luò)最后一層隱含層信息；每層隱藏層選取神經(jīng)元節(jié)點(diǎn)數(shù)目為256 個(gè)；輸出神經(jīng)元節(jié)點(diǎn)數(shù)目為150個(gè)。

⑶其他參數(shù)設(shè)置：全局節(jié)點(diǎn)不被dropout 的概率為0.5，時(shí)間步長(zhǎng)為10，一個(gè)訓(xùn)練批次中訓(xùn)練數(shù)據(jù)個(gè)數(shù)為32，損失函數(shù)為交叉熵函數(shù)。交叉熵函數(shù)定義為：

其中，代表樣本數(shù)量；代表類別數(shù)量；y代表符號(hào)函數(shù)，如果樣本的真實(shí)類別等于取1，否則取0；p代表樣本屬于類別的預(yù)測(cè)概率。

⑷ReLU激活單元函數(shù)定義為：

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)軟件平臺(tái)采用Windows 10 20H2 系統(tǒng)、Python 3.7.11、Pytorch 1.9.1、Numpy1.21.2、Pandas 1.3.4，硬件環(huán)境為Intel(R) Core(TM) i7-9750H CPU@ 2.60GHz、16GB 內(nèi)存、Ge Force GTX 1660Ti 顯卡的計(jì)算機(jī)。

2.2 下肢步態(tài)數(shù)據(jù)的采集與預(yù)處理

本研究所采用的實(shí)驗(yàn)數(shù)據(jù)為自建數(shù)據(jù)集。測(cè)試人員(8 男2女，年齡分布在20 歲到30 歲之間)穿戴如圖3所示的采集系統(tǒng)在室內(nèi)平地平穩(wěn)行走。采集系統(tǒng)由4個(gè)IMU傳感器組成，每個(gè)傳感器集成有陀螺儀、加速度計(jì)、地磁場(chǎng)傳感器，采樣頻率設(shè)置為100Hz。傳感器在綁帶前需要繞三軸旋轉(zhuǎn)進(jìn)行磁場(chǎng)校準(zhǔn)，使不同傳感器可以做到三軸指向方向一致。傳感器在綁帶時(shí)，將其設(shè)置為垂直安裝，Y軸指向垂直地面向上，X軸指向身體左側(cè)，Z軸通過X、Y軸解算得出，指向傳感器表面的法線方向。在實(shí)際測(cè)量之前，由于安裝時(shí)無法保證安裝位置水平一致，所以需對(duì)每個(gè)傳感器的軸進(jìn)行校準(zhǔn)。本文采用正常站立姿態(tài)作為校準(zhǔn)姿勢(shì)進(jìn)行靜態(tài)軸的校準(zhǔn)。校準(zhǔn)結(jié)束后，繼續(xù)保持校準(zhǔn)姿勢(shì)2-4秒，傳感器同步采集數(shù)據(jù)后取平均值作為補(bǔ)償偏差。后續(xù)測(cè)量值加上補(bǔ)償偏差作為實(shí)際獲取值以消除測(cè)量角度偏差。傳感器輸出為三軸方向上的加速度、角速度及角度。

圖3 采集系統(tǒng)

對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理操作去掉異常數(shù)據(jù)后，選取行進(jìn)過程中段數(shù)據(jù)進(jìn)行保存，共計(jì)獲得21195 條樣本數(shù)據(jù)。將樣本數(shù)據(jù)按4：1 的比例劃分為訓(xùn)練集、驗(yàn)證集兩個(gè)部分，通過驗(yàn)證集來評(píng)價(jià)LSTM-Conformer神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)效果。圖4為部分具有代表性的樣本數(shù)據(jù)。

圖4 部分代表性數(shù)據(jù)

2.3 Conformer-LSTM神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

在模型訓(xùn)練前，為加快訓(xùn)練速度，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。訓(xùn)練過程中根據(jù)實(shí)際標(biāo)簽矩陣與預(yù)測(cè)標(biāo)簽矩陣計(jì)算交叉熵作為損失函數(shù)，采用自適應(yīng)時(shí)刻估計(jì)算法(Adaptive Moment Estimation,Adam)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。損失函數(shù)隨迭代次數(shù)變化如圖5 所示，準(zhǔn)確率隨迭代次數(shù)變化如圖6所示。

圖5 損失函數(shù)曲線

圖6 準(zhǔn)確率曲線

由圖5 可知擬議模型收斂性極佳，訓(xùn)練初期損失值急速下降，在迭代次數(shù)達(dá)到5000 次左右時(shí)，損失值收斂至全局最小值附近，收斂性不再明顯提升。在迭代次數(shù)達(dá)到15000 次后損失值曲線基本平穩(wěn)。由圖6可以看出隨著迭代次數(shù)增加、損失值急速下降，模型的預(yù)測(cè)準(zhǔn)確率迅速提高至100%，并在15000 次迭代后趨于穩(wěn)定。

2.4 實(shí)驗(yàn)結(jié)果與分析

圖7 為訓(xùn)練后的LSTM-Conformer 神經(jīng)網(wǎng)絡(luò)在驗(yàn)證集上的混淆矩陣，該矩陣的每一行代表實(shí)際步態(tài)類別標(biāo)簽，每一列代表經(jīng)LSTM-Conformer 網(wǎng)絡(luò)模型輸出預(yù)測(cè)的步態(tài)類別標(biāo)簽。圖中顏色越深代表準(zhǔn)確率越高，其中0 表示支撐初期，1 表示支撐中期，2 表示支撐后期，3 表示擺動(dòng)初期，4 表示擺動(dòng)擺動(dòng)中期，5 表示擺動(dòng)后期。由圖可知對(duì)角線部分預(yù)測(cè)準(zhǔn)確率0.9 以上。LSTM-Conformer 神經(jīng)網(wǎng)絡(luò)部分預(yù)測(cè)結(jié)果如圖8所示。圖中所示為一個(gè)步態(tài)周期內(nèi)數(shù)據(jù)實(shí)際標(biāo)簽與預(yù)測(cè)標(biāo)簽結(jié)果。

圖7 驗(yàn)證集混淆矩陣

圖8 預(yù)測(cè)結(jié)果圖

由圖8可以看出預(yù)測(cè)錯(cuò)誤全部集中在步態(tài)變換瞬間。主要原因可能在于，一是數(shù)據(jù)集標(biāo)簽為人工標(biāo)注，在標(biāo)注的過程中按標(biāo)準(zhǔn)劃分階段時(shí)，對(duì)臨界狀態(tài)的判定可能存在人為誤差；二是傳感器在測(cè)量時(shí)存在漂移等特殊情況產(chǎn)生的測(cè)量誤差。同時(shí)由圖7可以看出，擬議模型不存在跨一個(gè)及以上步態(tài)階段預(yù)測(cè)錯(cuò)誤問題，證明本文所提出模型性能優(yōu)異。

為了驗(yàn)證LSTM-Conformer神經(jīng)網(wǎng)絡(luò)模型的有效性，針對(duì)該步態(tài)信息樣本數(shù)據(jù)集，再分別采用LSTM 與RNN 進(jìn)行十次預(yù)測(cè)做對(duì)比實(shí)驗(yàn)。對(duì)比結(jié)果如圖9 所示，本文提出的模型準(zhǔn)確率大大提升，平均準(zhǔn)確率為0.9489，相比于LSTM 的平均準(zhǔn)確率0.9172 提高了3.17 個(gè)百分點(diǎn)，相比于RNN 的平均準(zhǔn)確率0.9033 提高了4.56 個(gè)百分點(diǎn)。由于RNN 模型與LSTM 模型對(duì)空間信息的提取能力較差，而本文的模型具有學(xué)習(xí)時(shí)空特征的能力，并且可以對(duì)人體運(yùn)動(dòng)序列的運(yùn)動(dòng)學(xué)進(jìn)行建模，從而提高預(yù)測(cè)準(zhǔn)確率，實(shí)驗(yàn)結(jié)果也驗(yàn)證了模型的有效性。

圖9 各模型準(zhǔn)確率箱型線

3 結(jié)論

針對(duì)外骨骼系統(tǒng)中人機(jī)協(xié)同問題，為了進(jìn)一步提高步態(tài)預(yù)測(cè)的準(zhǔn)確性，本文提出一種LSTM 與Conformer神經(jīng)網(wǎng)絡(luò)相結(jié)合的新穎下肢步態(tài)預(yù)測(cè)模型。擬議模型采用LSTM 初步提取步態(tài)數(shù)據(jù)的時(shí)間特性，然后利用Conformer 進(jìn)一步挖掘下肢步態(tài)數(shù)據(jù)中的深度時(shí)間、空間特性，進(jìn)一步提高預(yù)測(cè)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，本文提出的方法優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法和經(jīng)典的深度學(xué)習(xí)分類方法。在將來的工作中，將進(jìn)一步探索優(yōu)秀深度學(xué)習(xí)模型，進(jìn)一步提升模型性能。