李 浩，閆國棟，尹業(yè)成，于志遠(yuǎn)，喬尚嶺

（1. 北京精密機(jī)電控制設(shè)備研究所，北京 100076；2. 航天伺服驅(qū)動與傳動技術(shù)實(shí)驗(yàn)室，北京 100076）

外骨骼機(jī)器人是一種智能可穿戴設(shè)備,目前已逐步應(yīng)用于消防、醫(yī)療、工業(yè)等領(lǐng)域[1]。能否準(zhǔn)確感知出穿戴者當(dāng)前的運(yùn)動模式，是外骨骼機(jī)器人實(shí)現(xiàn)人機(jī)協(xié)同功能的重要前提條件。目前常用于人體運(yùn)動模式感知的算法包括支持向量機(jī)（Support Vector Machine,SVM）[2]、隨機(jī)森林（Random Forest, RF）[3]、K近鄰（K-Nearest Neighbor, KNN）[4]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）[5]、長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory, LSTM）[6]等，上述基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的算法通常需要大量含標(biāo)注的訓(xùn)練集做為支撐、存在超參數(shù)最優(yōu)解搜索困難等問題。動態(tài)時(shí)間規(guī)整（Dynamic time warping, DTW）算法最早由日本學(xué)者Itakura提出，目的是采用動態(tài)規(guī)整的思想衡量兩個(gè)不同長度時(shí)間序列的相似程度[7]，在語音識別[8]，手勢識別[9]等領(lǐng)域取得了廣泛應(yīng)用。與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相比，DTW算法無需進(jìn)行特征提取等工作，可直接對傳感器數(shù)據(jù)進(jìn)行相似性匹配，當(dāng)感知的運(yùn)動模式種類發(fā)生變化時(shí)，只需增加或刪減相應(yīng)運(yùn)動模式的模板，具有結(jié)構(gòu)簡單、模型易修正、可解釋性強(qiáng)等優(yōu)點(diǎn)。

傳統(tǒng)DTW算法中的路徑約束條件要求待測序列與標(biāo)準(zhǔn)模板間必須進(jìn)行逐點(diǎn)匹配，可能會出現(xiàn)匹配路徑偏離對角線較遠(yuǎn)、一個(gè)序列中的某個(gè)點(diǎn)與另一個(gè)序列中的連續(xù)多個(gè)點(diǎn)相匹配的情況。在一個(gè)完整的步態(tài)周期內(nèi)，人體下肢運(yùn)動具有波形相似，時(shí)間長度不固定的“準(zhǔn)周期”特性，傳統(tǒng)路徑約束條件勢必會影響最優(yōu)匹配路徑的可靠性，進(jìn)而影響算法的精度。為降低算法的計(jì)算量和避免匹配路徑過度偏離，目前最常用的方法是在原有的路徑搜索區(qū)域的基礎(chǔ)上，繪制一個(gè)平行四邊形區(qū)域[10,11]，一旦匹配路徑觸碰到繪制區(qū)域的邊界，便通過修改路徑約束條件的方式，將匹配路徑限制在規(guī)定范圍內(nèi)。這種方法雖然可以對匹配路徑進(jìn)行一定范圍的限制，降低一部分計(jì)算量，但仍然無法避免連續(xù)“一對多”現(xiàn)象對感知結(jié)果影響。

針對傳統(tǒng)DTW算法存在的問題，本文首先提出了一種新的路徑約束條件，并適當(dāng)松弛算法的端點(diǎn)；然后在多傳感器進(jìn)行決策層融合時(shí)，設(shè)計(jì)了一種自適應(yīng)權(quán)重分配機(jī)制；最后采集人體下肢的運(yùn)動信息進(jìn)行實(shí)驗(yàn)，對行走、上樓梯、下樓梯、跑步、上坡和下坡6種下肢外骨骼機(jī)器人常應(yīng)用的運(yùn)動模式進(jìn)行感知。

1 算法流程

IMU因具有可穿戴性強(qiáng)、功耗低等優(yōu)點(diǎn)，在人體運(yùn)動模式感知領(lǐng)域得到廣泛的應(yīng)用，將IMU綁縛于人體下肢，可采集人體運(yùn)動過程中產(chǎn)生的運(yùn)動信號，如加速度、角速度等。本文設(shè)計(jì)的算法主要包括步態(tài)周期的劃分、標(biāo)準(zhǔn)模板的構(gòu)建和相似度的匹配三部分：首先對IMU采集的原始數(shù)據(jù)進(jìn)行分割，獲取一個(gè)完整的步態(tài)周期；然后離線構(gòu)建一個(gè)步態(tài)周期內(nèi)不同運(yùn)動模式的標(biāo)準(zhǔn)模板；最后將改進(jìn)后的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合，通過相似度匹配完成運(yùn)動模式的感知。流程圖如圖1所示。

圖1 人體運(yùn)動模式感知算法流程圖Fig.1 Flow chart of human movement pattern recognition algorithm

2 數(shù)據(jù)采集與預(yù)處理

2.1 數(shù)據(jù)采集

受身高、體重、自身運(yùn)動習(xí)慣等因素的影響，人體運(yùn)動模式具有顯著的類間相似性和類內(nèi)可變性，為了更好地獲取運(yùn)動信息，本文選擇4個(gè)IMU，分別安裝于左右大小腿外側(cè)，采集運(yùn)動過程中各IMU沿X軸的加速度與矢狀面角速度（繞Z軸的角速度）。具體安裝位置如圖2所示。

圖2 傳感器安裝位置示意圖Fig.2 Schematic diagram of sensor installation position

2.2 數(shù)據(jù)預(yù)處理

在進(jìn)行感知前，需要將IMU采集到的數(shù)據(jù)流形式的信號進(jìn)行分割，以獲取時(shí)間序列樣本。人體下肢的運(yùn)動通常具有周期性，本文根據(jù)步態(tài)周期的定義，通過小腿處IMU的矢狀面角速度提取該側(cè)足跟連續(xù)兩次觸地間的過程做為窗口，采用Savitzky-Golay濾波方法對窗口中的數(shù)據(jù)進(jìn)行濾波，并將濾波后的數(shù)據(jù)進(jìn)行歸一化，以消除噪聲和量綱差異的影響。

3 DTW算法的改進(jìn)

假設(shè)兩個(gè)不同長度的時(shí)間序列Q={q1, q2, q3…qM}和C={c1, c2, c3…cN}的長度分別為M和N，DTW算法需要構(gòu)建一個(gè)矩陣元素為兩序列各點(diǎn)間的歐式距離d(m, n)的時(shí)間規(guī)整矩陣DM×N，然后搜索使兩序列間累加距離最小的最優(yōu)匹配路徑W，最后沿著最優(yōu)匹配路徑W對d(m, n)進(jìn)行累加，便可得到兩個(gè)時(shí)間序列的DTW距離D(M, N)。DTW距離越小，兩個(gè)序列的相似度越高。

在尋找最優(yōu)匹配路徑W時(shí)，傳統(tǒng)DTW算法要求必須滿足以下三個(gè)路徑約束條件：

（1） 邊界性： w1=(1,1), wk=(M,N)；

（2） 連續(xù)性：匹配過程中不得跳過兩個(gè)序列中的任意一點(diǎn)；

（3） 單調(diào)性：匹配路徑中的任意相鄰兩點(diǎn)必須滿足：

該路徑約束條件要求匹配時(shí)不得跳過兩個(gè)序列中的任意一點(diǎn)，這可能導(dǎo)致序列Q中的某個(gè)點(diǎn)與序列C中的連續(xù)多個(gè)點(diǎn)或序列C中的某個(gè)點(diǎn)與序列Q中的連續(xù)多個(gè)點(diǎn)相匹配的情況，通過失真的匹配方式，強(qiáng)行降低兩個(gè)相似度較低的序列的DTW距離。針對這一問題，本文提出一種允許跨點(diǎn)匹配的方法，將規(guī)整路徑的斜率取值范圍固定為0.5、1和2，求取最優(yōu)路徑的遞歸公式由傳統(tǒng)算法中的式(4)變?yōu)槭?5)，改進(jìn)后的DTW規(guī)整路徑方向如圖3所示。跨點(diǎn)匹配既可以保證匹配路徑不會偏離對角線太遠(yuǎn)，也徹底避免了除端點(diǎn)外的“一對多”的現(xiàn)象。圖4為同一組序列分別在傳統(tǒng)路徑約束條件下和本文提出的改進(jìn)路徑約束條件下的最優(yōu)匹配路徑，其中下方紅色曲線為序列Q，右側(cè)藍(lán)色曲線為序列C，中間黑色曲線為當(dāng)前路徑約束條件下的最優(yōu)匹配路徑。從圖中可以發(fā)現(xiàn)，在匹配過程中，當(dāng)m和n均大于2時(shí)，對于同一組序列，改進(jìn)后的算法避免了匹配過程中出現(xiàn)連續(xù)橫向或縱向的失真現(xiàn)象，最優(yōu)匹配路徑更加光滑。

圖3 DTW規(guī)整路徑方向Fig.3 The direction of search path of DTW algorithm

圖4 最優(yōu)匹配路徑Fig.4 The best warping path

受步態(tài)周期提取算法的限制，待測樣本無法保證能與標(biāo)準(zhǔn)模板的端點(diǎn)完全對齊。為解決這一問題，本文采用文獻(xiàn)[10]中的方法，取消傳統(tǒng)DTW路徑約束中w1=(1, 1)，wk=(M, N)的要求，通過設(shè)置松弛范圍R和T，讓DTW算法自主選擇R和T中最小值對應(yīng)的點(diǎn)做為算法的兩個(gè)端點(diǎn)。

4 自適應(yīng)權(quán)重分配機(jī)制

IMU的n軸數(shù)據(jù)分別選擇各自DTW距離最小的標(biāo)準(zhǔn)模板對應(yīng)的運(yùn)動模式進(jìn)行分類，通過多投票表決的方法，將各軸數(shù)據(jù)的分類結(jié)果進(jìn)行決策層融合。由于各分類器的性能不同，各軸數(shù)據(jù)所得結(jié)果的可信度往往并不一致，在多投票表決中，若要給各分類器相同的投票權(quán)重，勢必會對投票結(jié)果的精度產(chǎn)生影響。為解決這一問題，目前最常用的方法是事先獲得各分類器性能的先驗(yàn)知識，根據(jù)先驗(yàn)知識分配投票權(quán)重，如D-S證據(jù)理論[12]等。然而分類器性能的先驗(yàn)知識通常需要大量實(shí)驗(yàn)才能獲得，且因人而異。

考慮到DTW算法中相似程度可通過距離表示，本文設(shè)計(jì)了一種自適應(yīng)權(quán)重分配機(jī)制：首先通過待測樣本與各標(biāo)準(zhǔn)模板間的DTW距離確定各分類器的置信度，然后將總投票數(shù)n根據(jù)置信度進(jìn)行自動分配。該機(jī)制不僅可以根據(jù)當(dāng)前待測樣本，自動調(diào)整各分類器的投票權(quán)重，而且無需各分類器性能的先驗(yàn)知識，具體流程如下：

step1計(jì)算IMU各軸數(shù)據(jù)xi與各標(biāo)準(zhǔn)模板之間的DTW距離，i=1...n，記錄最小距離與次小距離Li1、Li2，選擇Li1對應(yīng)的運(yùn)動模式為xi的感知結(jié)果Ai，得到各分類器感知結(jié)果的集合A，A={A1, A2, A3... An}；

step2利用式(8)計(jì)算xi在權(quán)重分配中所占票數(shù)Vi：

step3根據(jù)感知結(jié)果集合A和式(8)所得權(quán)重對各分類器的結(jié)果進(jìn)行決策層融合，獲得最終的感知結(jié)果。

需要指出的是，Vi與Li1/Li2成反比，Li1/Li2越小，數(shù)據(jù)xi與相似度最高的標(biāo)準(zhǔn)模板間的DTW距離越小于xi與其它標(biāo)準(zhǔn)模板的DTW距離，表明該感知結(jié)果的置信度越高，在決策層融合中所占的權(quán)重也應(yīng)越高。

5 實(shí)驗(yàn)與分析

5.1 標(biāo)準(zhǔn)模板構(gòu)建

為驗(yàn)證本文所提算法的可行性，共采集了14名測試人員的數(shù)據(jù)（男性10名，女性4名，年齡23歲~29 歲，身高162 cm~183 cm，體重52 kg~77 kg）。IMU型號為荷蘭Xsens公司的Xsens MTw，如圖5所示，采樣頻率為100 Hz，加速度量程為160 m/s2，角速度量程為2000 °/s，可自動實(shí)現(xiàn)多個(gè)IMU之間的時(shí)間同步。測試人員將IMU按照圖2所示位置進(jìn)行安裝，數(shù)據(jù)采集過程中不對測試人員的行為習(xí)慣設(shè)置約束，采集順序?yàn)樾凶?上樓梯-下樓梯-跑步-上坡-下坡。

圖5 Xsens MTw傳感器Fig.5 Xsens MTw sensor

實(shí)驗(yàn)采用標(biāo)準(zhǔn)民用樓梯（高16 cm寬27 cm），斜坡的坡度為8°，數(shù)據(jù)采集共得到4781個(gè)完整的步態(tài)周期，各運(yùn)動模式的占比如表1所示。

表1 各運(yùn)動模式的占比Tab.1 Proportion of each movement mode

我們隨機(jī)選擇了6名測試人員的數(shù)據(jù)，將樣本通過采樣或插值的方式對齊到相同長度，再進(jìn)行平均以創(chuàng)建標(biāo)準(zhǔn)模板庫，然后將另外8名測試人員的數(shù)據(jù)作為測試集進(jìn)行測試。人體的左右腿在運(yùn)動過程中具有對稱性，圖6-9顯示了歸一化后不同運(yùn)動模式下左側(cè)大小腿的標(biāo)準(zhǔn)模板曲線。可以看出，各運(yùn)動模式之間具有一定的區(qū)分度。

圖6 左側(cè)大腿X軸加速度模板Fig.6 Template of X-axis acceleration of left thigh

圖7 左側(cè)大腿矢狀面角速度模板Fig.7 Template of sagittal angular velocity of left thigh

圖8 左側(cè)小腿X軸加速度模板Fig.8 Template of X-axis acceleration of left shank

圖9 左側(cè)小腿矢狀面角速度模板Fig.9 Template of sagittal angular velocity of left shank

5.2 改進(jìn)DTW算法測試

采用傳統(tǒng)DTW算法，搜索松弛范圍S的最優(yōu)解。由于端點(diǎn)部分?jǐn)?shù)據(jù)無法對齊的現(xiàn)象只在很小范圍內(nèi)出現(xiàn)，參數(shù)S不宜過大，這里選擇2~5，并與固定端點(diǎn)（S=1）進(jìn)行對比，表2列舉了設(shè)置不同松弛范圍時(shí)的感知精度，當(dāng)S=3時(shí)精度最高，為91.86%。

表2 不同松弛范圍時(shí)的平均精度Tab.2 Average accuracy in different relaxation ranges

確定松弛范圍S后，本文在各分類器具有相同投票權(quán)重的情況下，分別采用文獻(xiàn)[10-11]的平行四邊形搜索區(qū)域方法與本文提出的跨點(diǎn)匹配的方法進(jìn)行實(shí)驗(yàn)。表3列舉了不同方法下各運(yùn)動模式的感知精度，其中平均精度為六種運(yùn)動模式各自精度與從表1中篩選的8名測試人員樣本數(shù)所占權(quán)重相乘后累加的結(jié)果，依次為94.08%和96.09%。

從表3中可以看出，當(dāng)使用傳統(tǒng)DTW算法時(shí)，只有上樓梯和跑步兩種運(yùn)動模式取得了較好的感知結(jié)果，其余四種運(yùn)動模式的誤判概率均較高。設(shè)置平行四邊形搜索區(qū)域雖然可以將匹配路徑限制在較為合理的范圍內(nèi)，在一定程度上提升感知結(jié)果的平均精度，但仍然無法避免“一對多”現(xiàn)象的影響。本文提出的跨點(diǎn)匹配方法可以同時(shí)解決以上兩個(gè)問題，與設(shè)置平行四邊形搜索區(qū)域的方法相比，除下樓梯的感知精度略有降低外，其余5種運(yùn)動模式均有明顯提升，證明了跨點(diǎn)匹配的優(yōu)越性。

表3 不同感知算法下各運(yùn)動模式的感知精度Tab.3 Recognition accuracy of each movement mode under different recognition algorithms

5.3 自適應(yīng)權(quán)重分配機(jī)制測試

本文從混淆矩陣和實(shí)現(xiàn)正確感知時(shí)各運(yùn)動模式的平均得票數(shù)兩個(gè)層面對自適應(yīng)權(quán)重分配機(jī)制的優(yōu)越性進(jìn)行驗(yàn)證。

圖10 分別為將改進(jìn)的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合前后的混淆矩陣?？梢钥闯觯胱赃m應(yīng)權(quán)重分配機(jī)制后，除行走和上坡的精度保持不變外，其余四種運(yùn)動模式均有所提高。六種運(yùn)動模式平均精度由96.09%提升到了97.64%。以下樓梯為例，引入自適應(yīng)權(quán)重機(jī)制前，傳感器各軸數(shù)據(jù)均具有相同的投票權(quán)重，存在大量將下樓梯誤判為行走的情況。引入自適應(yīng)權(quán)重分配機(jī)制后，下樓梯的平均精度從原來的90.64%提升到了97.21%，表4為下樓梯時(shí)各軸數(shù)據(jù)的投票權(quán)重平均值和投票數(shù)平均值，由表4可知，各軸數(shù)據(jù)在決策層融合時(shí)能夠根據(jù)當(dāng)前感知結(jié)果的置信度，自動調(diào)整分類器的投票權(quán)重。此外，圖11對比了將改進(jìn)的DTW算法與自適應(yīng)權(quán)重分配機(jī)制相結(jié)合前后，各運(yùn)動模式在實(shí)現(xiàn)正確感知時(shí)的平均得票數(shù)?？梢钥闯觯赃m應(yīng)權(quán)重分配機(jī)制下的各運(yùn)動模式的平均得票數(shù)明顯高于相同投票權(quán)重的方法，進(jìn)一步證明了該機(jī)制的優(yōu)越性。

表4 引入權(quán)重分配機(jī)制后下樓梯時(shí)的投票權(quán)重分配情況Tab.4 Voting weight distribution when downstairs after the introduction of the weight allocation mechanism

圖10 混淆矩陣Fig.10 Confusion matrix

圖11 正確感知時(shí)各運(yùn)動模式的平均得票數(shù)Fig.11 The average number of votes of each movement mode in correct recognition

6 結(jié) 論

本文首先針對傳統(tǒng)DTW算法存在的問題，提出采用跨點(diǎn)匹配、適當(dāng)松弛算法端點(diǎn)的方法對DTW進(jìn)行改進(jìn)；然后在多傳感器決策層融合中引入了一種基于置信度的自適應(yīng)權(quán)重分配機(jī)制；最后通過實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，在各分類器具有相同投票權(quán)重的融合方式下，改進(jìn)的DTW算法較傳統(tǒng)算法的平均精度提升了5.31%，達(dá)到96.09%；引入自適應(yīng)權(quán)重分配機(jī)制后，平均精度進(jìn)一步提升了1.55%，達(dá)到97.64%，驗(yàn)證了本文所提出的改進(jìn)DTW算法和自適應(yīng)權(quán)重分配機(jī)制的有效性。