崔建偉,李志鋼,曹爾凡,杜 韓,陸普東
(東南大學(xué)儀器科學(xué)與工程學(xué)院,南京 210000)
據(jù)統(tǒng)計,我國現(xiàn)有的8500 萬各類殘疾人,其中,肢體殘疾人數(shù)約有2500 萬,手殘人約占1/3。人造靈巧手作為手殘人肢體功能的延伸,具有通用性強(qiáng)、操作靈活、抓取穩(wěn)固等優(yōu)點(diǎn),在助殘領(lǐng)域發(fā)揮著越來越重要的作用[1]。因此,提高助殘手在完成日常生活動作時行為控制的穩(wěn)定性和準(zhǔn)確性,能更加有效地幫助手部殘缺人士實(shí)現(xiàn)日常生活的自理。
助殘機(jī)械手的操作必須與使用者的意圖相協(xié)調(diào),而上肢運(yùn)動意圖的識別則是關(guān)鍵問題。一些研究試圖從表面肌電、腦電和外周神經(jīng)等信號中獲取上肢運(yùn)動意圖的信息[2-4]。雖然通過獲取表面肌電信號或人體神經(jīng)信號可以直接反映人體行為的變化規(guī)律,但是肌肉的萎縮程度、殘肢位置等因素,都會使得肌肉內(nèi)的肌電信號無法被準(zhǔn)確采集[5]。腦電信號包含了人腦活動的有用信息,已經(jīng)成為運(yùn)動意圖識別的熱點(diǎn)方向。然而,在腦電信號的測量過程中,腦電帽采集的數(shù)據(jù)極易受到使用者動作的影響。而且腦電信號極其微弱,夾雜著許多噪聲,對腦電信號的解碼能力有著很高的要求[6]。
慣性傳感器憑借著可穿戴性強(qiáng)、功耗低等優(yōu)點(diǎn)在上肢運(yùn)動識別方向有著廣泛的應(yīng)用[7]。但是目前基于慣性傳感器的機(jī)械手控制方法大都先采集人體手臂的姿態(tài)信息,再轉(zhuǎn)換成機(jī)械手的關(guān)節(jié)變量。文獻(xiàn)[8]利用慣性傳感器檢測人體手臂的運(yùn)動姿態(tài),進(jìn)而控制機(jī)械臂復(fù)現(xiàn)人體手臂的動作。文獻(xiàn)[9]通過九軸姿態(tài)傳感器采集手臂和手腕的運(yùn)動姿態(tài),實(shí)現(xiàn)了機(jī)械手實(shí)時跟隨人手運(yùn)動。上述的研究方法僅針對于機(jī)械手的遙操作,然而對助殘機(jī)械手的控制則缺乏更深入的研究。
在人腦的動作意圖無法直接傳達(dá)到助殘手的條件下,通過上肢運(yùn)動信息分析判斷人的動作意圖,則有可能得到比較滿意的結(jié)果,本文針對人體的上肢運(yùn)動意圖進(jìn)行研究,利用角速度傳感器檢測上肢的運(yùn)動狀態(tài)信息,并且從運(yùn)動學(xué)的角度對數(shù)據(jù)進(jìn)行分析,總結(jié)上肢的角速度變化與運(yùn)動狀態(tài)之間的聯(lián)系。最后,設(shè)計助殘手抓取意圖的識別方法,并且將該識別方法應(yīng)用于助殘手系鞋帶的實(shí)驗(yàn)中。
通常為了穩(wěn)定地抓取物體,健康人會在上肢靜止時張開或者閉合手指。相比于抓取動作,完成系鞋帶的動作時不僅需要考慮手指開閉的時機(jī),而且由于系鞋帶的操作步驟多、動作復(fù)雜,更需要跟蹤系鞋帶的動作過程以識別上肢的動作意圖。因此,本文通過采集正常人系鞋帶時上肢的運(yùn)動信息,分析手指張開或閉合與上肢角速度數(shù)據(jù)之間的聯(lián)系。
上肢運(yùn)動數(shù)據(jù)的采集由數(shù)據(jù)手套完成,實(shí)驗(yàn)設(shè)備如圖1 所示。數(shù)據(jù)手套可穿戴于上肢的手掌、小臂和大臂三個部分,并且每一部分均集成了MPU6050 慣性傳感器,可以直接輸出角速度數(shù)據(jù),采樣頻率為50 Hz。實(shí)驗(yàn)設(shè)備的另一部分為助殘機(jī)械手,助殘機(jī)械手與單片機(jī)相連接,當(dāng)單片機(jī)接收到PC 端的控制命令后會立即輸出高低電平以控制助殘機(jī)械手的手指實(shí)現(xiàn)張開或閉合。
圖1 實(shí)驗(yàn)設(shè)備Fig.1 Experimental equipment
由于傳感器的內(nèi)部設(shè)計、手臂的抖動以及傳感器長時間工作產(chǎn)生的漂移等原因[10],使得真實(shí)的傳感器數(shù)據(jù)中夾雜著噪聲干擾,角速度傳感器采集到的原始數(shù)據(jù)如圖2 所示。因此,對于角速度傳感器采集的數(shù)據(jù),選用卡爾曼濾波器對其進(jìn)行濾波處理。卡爾曼濾波的過程分為兩個部分:預(yù)測和校正。為了得到第k時刻真實(shí)的角速度值,在預(yù)測階段,卡爾曼濾波器根據(jù)第k-1 時刻的傳感器數(shù)據(jù)預(yù)測第k時刻的傳感器數(shù)據(jù),同時得到觀測變量。在校正階段,濾波器以觀測變量對預(yù)測階段獲得傳感器數(shù)據(jù)進(jìn)行修正,以獲得第k時刻的最優(yōu)估計值。其中,過程方差Q=1e-3 (rad/s)2,測量方差R=1e-2 (rad/s)2。
圖2 角速度傳感器原始數(shù)據(jù)Fig.2 Raw data of angular velocity sensor
對角速度數(shù)據(jù)進(jìn)行卡爾曼濾波處理,處理后的角速度曲線如圖3 所示。其中,三條曲線分別是x 軸角速度、y 軸角速度和z 軸角速度。相對于傳感器的原始數(shù)據(jù),濾波后的角速度數(shù)據(jù)在整個采樣區(qū)間內(nèi)數(shù)值變化平滑,波動明顯減少,說明經(jīng)過濾波,有效地減少了隨機(jī)噪聲的影響。
圖3 濾波后的角速度變化曲線Fig.3 Angular velocity curve after filtering
為了研究上肢的運(yùn)動意圖,利用角速度傳感器采集人手系鞋帶時上肢各部位的角速度,包括大臂、小臂和手掌。由于在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似,所以選取小臂角速度進(jìn)行分析??紤]到完成一次系鞋帶動作的數(shù)據(jù)量較大,而且部分動作會重復(fù)操作,因此選擇完成第一遍動作的數(shù)據(jù)進(jìn)行分析。
圖4 中下半部分的角速度曲線圖是人手系鞋帶時小臂的實(shí)驗(yàn)數(shù)據(jù),橫軸表示以采樣時間為20 ms 得到的采樣點(diǎn),縱軸表示角速度。其中,藍(lán)色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數(shù)據(jù)。三維空間的手臂運(yùn)動分解到三個軸向,x 軸表示左右空間、y 軸表示前后空間、z 軸表示上下空間。
圖4 人手系鞋帶時小臂角速度的曲線圖Fig.4 Curve diagram of forearm angular velocity when tying shoelaces by hand
圖4 上半部分為人手系鞋帶的動作示意圖。AB段是上肢動作前的預(yù)備階段,手指張開,上肢呈現(xiàn)靜止?fàn)顟B(tài)。此時小臂的角速度接近于0 rad/s,并且在0值上下有微小的波動。CD 段、EF 段、GH 段、IJ 段、KL 段均是上肢在動作后呈現(xiàn)靜止的階段,同樣小臂的角速度接近于0 rad/s,變化穩(wěn)定。更為關(guān)鍵的是,在此一階段健康人會張開或閉合手指,以做出抓取或放開鞋帶的操作。
而其余各段反映的是上肢動作的過程。其中,BC段表示手臂從腰間處向鞋帶處移動的過程,從圖中可以看出,在BC 段小臂的角速度數(shù)值逐漸增大,存在較大范圍的波動,而且小臂的z 軸角速度曲線(即黃色曲線)呈現(xiàn)出近似的凹形,這是由于手臂的移動過程主要發(fā)生在上下空間造成的。
FG 段、JK 段表示人手松開鞋帶后再重新朝鞋帶處移動的過程,因此小臂的角速度存在較大范圍的波動。并且小臂的z 軸角速度曲線呈現(xiàn)出近似的正弦圖形,這也是由于在手指松開鞋帶后上肢會先遠(yuǎn)離鞋帶一定的距離,然后再朝鞋帶處移動這一過程造成的。而DE 段、HI 段、LM 段表示手臂擺動或抽動鞋帶的過程,此時小臂的角速度數(shù)值明顯變大,三個軸向的角速度曲線只存在波峰或波谷。相比于BC 段、FG 段和JK 段的角速度曲線,此一階段角速度曲線的采樣點(diǎn)個數(shù)較少,這是由于手臂擺動或抽動的持續(xù)時間較短造成的。
通過分析人手系鞋帶時小臂角速度的實(shí)驗(yàn)數(shù)據(jù),發(fā)現(xiàn)角速度的變化規(guī)律與上肢的運(yùn)動狀態(tài)特征之間存在著一定的聯(lián)系:
(1)在小臂處于靜止?fàn)顟B(tài)時,各軸向的角速度均在零值附近有較小的波動,波動范圍為 ±5 rad/s;
(2)在上肢動作的過程中,無論是手臂朝鞋帶處移動的過程,還是手臂擺動或抽動鞋帶的過程,小臂的角速度均會至少經(jīng)歷一次加速過程和減速過程,即存在明顯的波峰或波谷;
(3)在上肢靜止前,小臂的角速度數(shù)值均有明顯趨于零的趨勢。張開或閉合手指的動作發(fā)生在上肢靜止后的階段,并且在手指張開或閉合時小臂的角速度仍接近于0 rad/s。
識別助殘手抓取意圖的關(guān)鍵在于判斷手指張開或閉合的時機(jī)?;谏鲜龇治龅贸?,在上肢動作過程中,上肢各部位角速度所呈現(xiàn)的變化趨勢與運(yùn)動學(xué)規(guī)律相符合。并且張開或閉合手指的操作發(fā)生在上肢靜止后,即上肢各部位的角速度均接近于0 rad/s。因此根據(jù)上述上肢運(yùn)動時角速度表現(xiàn)出的變化特點(diǎn),設(shè)計助殘手抓取意圖的識別方法,使得助殘機(jī)械手能夠跟隨人的意圖自動地實(shí)現(xiàn)手指張開或閉合。
為了使助殘手能夠更加穩(wěn)定地抓住或松開物體,做如下規(guī)定:(1)在開始動作前,助殘手手指呈張開狀態(tài);(2)助殘手手指張開或閉合的操作發(fā)生在上肢靜止后。助殘手抓取意圖的識別算法如下:
(1)采集大臂、小臂和手掌的角速度數(shù)據(jù),每接收到N個數(shù)據(jù)則進(jìn)行一次濾波處理;
(2)判斷上肢是否已經(jīng)開始動作,對每次濾波后的數(shù)據(jù)按照時間先后的順序依次做差,計算方式如下
其中,ωi為第i個采樣點(diǎn)數(shù)據(jù);N為做差時選取的采樣點(diǎn)個數(shù),N的取值范圍為8~14;若上肢各部位的計算結(jié)果均滿足下述條件
則說明此時上肢已經(jīng)開始動作;
(3)分別求取大臂、小臂和手掌的角速度數(shù)據(jù)的絕對值,判斷各部位的角速度絕對值的最大值是否均大于閾值α,即
其中,閾值α的取值范圍為18~25 rad/s。若滿足上述條件,說明上肢正在加速朝目標(biāo)位置移動;
(4)分別對大臂、小臂和手掌的角速度數(shù)據(jù)做差,計算方式如式(4)所示:
若上肢各部位的計算結(jié)果均滿足下述兩個條件
說明上肢開始做減速運(yùn)動;
(5)分別求取大臂、小臂和手掌的角速度數(shù)據(jù)的絕對值,判斷各部位的角速度絕對值的最大值是否均小于閾值β,即
其中,閾值β的取值范圍為3~5 rad/s。若滿足上述條件,說明上肢已呈現(xiàn)靜止?fàn)顟B(tài),則向助殘機(jī)械手發(fā)送控制命令,機(jī)械手手指張開或閉合。
上述算法僅針對上肢的一次動作過程,即上肢從開始動作到靜止。當(dāng)上肢再次動作后,該算法則重新進(jìn)行識別。為區(qū)分每次手指的張開或閉合動作,記手指初始狀態(tài)為張開,則第一次接收到控制命令,機(jī)械手手指閉合;第二次,機(jī)械手手指張開,如此循環(huán)。
實(shí)驗(yàn)內(nèi)容是控制助殘機(jī)械手完成系鞋帶的動作,實(shí)驗(yàn)設(shè)備由數(shù)據(jù)手套和助殘手兩個部分組成。本次實(shí)驗(yàn)設(shè)計了兩種不同的系鞋帶動作,招募10 名健康的志愿者佩戴該實(shí)驗(yàn)設(shè)備進(jìn)行實(shí)驗(yàn),對于每一種系鞋帶的動作每人進(jìn)行5 次實(shí)驗(yàn)??紤]到在系鞋帶過程中大臂、小臂、手掌的角速度變化趨勢相似,并且完成一次系鞋帶動作的數(shù)據(jù)量較大,因此選擇部分連續(xù)動作的數(shù)據(jù)進(jìn)行分析。
圖5 的角速度曲線圖是某一志愿者以第一種方式系鞋帶時的實(shí)驗(yàn)數(shù)據(jù)。藍(lán)色曲線、紅色曲線、黃色曲線分別是x 軸、y 軸、z 軸方向的傳感器數(shù)據(jù)。相較于紅色和藍(lán)色曲線,黃色曲線的波動幅度較大,這是由于手臂動作主要發(fā)生在z 軸方向造成的。因此,主要以z 軸的角速度曲線進(jìn)行分析。
圖5 第一種系鞋帶時小臂角速度的曲線圖Fig.5 The first curve of the angular velocity of the forearm when tying shoelaces
C1D1段、E1F1段、G1H1段、I1J1段、K1L1段均是在上肢動作后處于靜止的階段,此時助殘機(jī)械手手指張開或閉合。在這一階段上肢處于靜止?fàn)顟B(tài),角速度在0 rad/s 附近有較小的波動。B1C1段表示手臂從腰間向鞋帶單向移動的過程,F(xiàn)1G1段、J1K1段表示人手松開鞋帶后再重新朝鞋帶移動的過程,D1E1段、H1I1段、L1M1段表示手臂擺動或抽動鞋帶的過程。在上述各個動作階段,上肢的角速度出現(xiàn)明顯的加速和減速狀態(tài),存在波峰或波谷。
在第一種類型的系鞋帶動作中,共發(fā)生了12 次手指張開或閉合。每一志愿者進(jìn)行了5 次實(shí)驗(yàn),手指張開或閉合的動作一共出現(xiàn)了60 次,助殘手每次抓取意圖識別到張開或閉合次數(shù)如表1 所示?;诘谝环N系鞋帶的動作,識別助殘手抓取意圖的平均準(zhǔn)確率為98.2%。
表1 基于第一種系鞋帶的識別結(jié)果/次數(shù)Tab.1 The recognition result of the first action
圖6 中的角速度曲線圖是用以第二種方式系鞋帶時的實(shí)驗(yàn)數(shù)據(jù),手臂動作主要發(fā)生在z 軸方向。其中,C2D2段、E2F2段、G2H2段、I2J2段、K2L2段均是上肢動作后處于靜止的階段,此時角速度接近于0 rad/s,助殘機(jī)械手手指張開或閉合。B2C2段、F2G2段、J2K2段表示人手松開鞋帶后再重新朝鞋帶移動的過程,D2E2段、H2I2段、L2M2段表示手臂擺動或抽動鞋帶的過程。在第二種類型的系鞋帶動作中,共發(fā)生了8 次手指張開或閉合。每一志愿者進(jìn)行5 次實(shí)驗(yàn),手指張開或閉合的動作一共出現(xiàn)了40 次,助殘手每次抓取意圖識別的結(jié)果如表2 所示?;诘诙N系鞋帶的動作,識別助殘手抓取意圖的平均準(zhǔn)確率為98.5%。
表2 基于第二種系鞋帶的識別結(jié)果/次數(shù)Tab.2 The recognition result of the second action
圖6 第二種系鞋帶時小臂角速度的曲線圖Fig.6 The second curve of the angular velocity of the forearm when tying shoelaces
對于不同的系鞋帶動作,上肢角速度表現(xiàn)出的變化規(guī)律是相同的。將本文設(shè)計的助殘手抓取意圖識別方法應(yīng)用于兩種不同方式的系鞋帶操作中,每次實(shí)驗(yàn)均能完成,識別的準(zhǔn)確率達(dá)到98%,說明該方法具有一定的適用性。實(shí)驗(yàn)結(jié)果表明,基于上述識別方法可以識別助殘手的抓取意圖,控制手指張開或閉合。
本文利用角速度傳感器采集健康人系鞋帶動作的角速度數(shù)據(jù),從運(yùn)動學(xué)的角度分析了上肢的角速度的變化與運(yùn)動狀態(tài)之間的聯(lián)系。通過利用最大值、差值等特征參數(shù)來表征上肢的不同運(yùn)動狀態(tài),設(shè)計了助殘手的抓取意圖識別方法,并且通過實(shí)驗(yàn)對該識別方法的可行性和適用性進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,該方法用于控制不同的動作均是可行的。接下來的工作將聚焦于助殘手連續(xù)動作的控制,實(shí)現(xiàn)穿鞋、穿襪、系鞋帶等不同動作的連續(xù)控制。