崔建偉杜 韓李志鋼

(東南大學(xué)儀器科學(xué)與工程學(xué)院，江蘇 南京 210000)

據(jù)統(tǒng)計(jì)，目前我國(guó)已有8 500 萬(wàn)殘疾人，約占中國(guó)總?cè)丝诒壤?.21%，其中包含不少手部殘疾患者。 手部殘疾人士由于手部肢體的缺失，難以實(shí)現(xiàn)日常生活中如喝水、穿衣等基本動(dòng)作，缺乏基本的生活自理能力。 如何解決這些人的生存困境，成為目前亟待解決的重大社會(huì)問(wèn)題。

近年來(lái)，有不少關(guān)于靈巧助殘手的研究[1－2]，為助殘機(jī)械手控制提供了充分條件。 抓取操作是助殘手的基本功能，但助殘手必須與人體的運(yùn)動(dòng)意圖相協(xié)調(diào)，在合理的時(shí)機(jī)執(zhí)行動(dòng)作，因此，對(duì)上肢運(yùn)動(dòng)意圖的識(shí)別成為機(jī)器人學(xué)科面臨的重要難題之一。 何群、孫會(huì)文等[3－4]通過(guò)采集人思維活動(dòng)時(shí)的腦電信號(hào)并進(jìn)行分類(lèi)識(shí)別來(lái)判斷向左或向右的運(yùn)動(dòng)意圖，雖然實(shí)驗(yàn)達(dá)到了一定的準(zhǔn)確率，但腦電信號(hào)信噪比低、特征提取困難，且易受到主觀思維影響，要求手殘人保持極高精神集中度。 鄭長(zhǎng)坤等[5]融合腦電信號(hào)和肌電信號(hào)，并通過(guò)模式識(shí)別方法對(duì)下肢運(yùn)動(dòng)意圖進(jìn)行識(shí)別，能夠有效識(shí)別站立、行走、上坡等六種下肢運(yùn)動(dòng)。 一些研究通過(guò)計(jì)算機(jī)視覺(jué)[6－7]對(duì)肢體運(yùn)動(dòng)意圖進(jìn)行識(shí)別，但攝像設(shè)備易受光線、拍攝角度等環(huán)境因素的影響。

隨著微機(jī)電系統(tǒng)(MEMS)的發(fā)展[8]，大量小尺寸、低功耗、低成本、集成度高的MEMS 傳感器出現(xiàn)在人們視野中，并在手勢(shì)識(shí)別、動(dòng)作識(shí)別等領(lǐng)域得到廣泛應(yīng)用[9－11]。 但動(dòng)作識(shí)別是基于一個(gè)完整的動(dòng)作流程，無(wú)法實(shí)時(shí)判斷人體上肢運(yùn)動(dòng)意圖并執(zhí)行相應(yīng)動(dòng)作[12]。 基于此，本文通過(guò)MEMS 慣性傳感器采集上肢運(yùn)動(dòng)過(guò)程中的姿態(tài)角數(shù)據(jù)，分析姿態(tài)變化與運(yùn)動(dòng)意圖之間的關(guān)系，并設(shè)計(jì)基于意圖識(shí)別的助殘手控制方法。

1 控制系統(tǒng)框架設(shè)計(jì)

本文設(shè)計(jì)了基于MEMS 慣性傳感器的助殘機(jī)械手控制系統(tǒng)，其中數(shù)據(jù)采集部分由數(shù)據(jù)手套完成，數(shù)據(jù)手套由5個(gè)觸覺(jué)傳感器、7個(gè)彎曲傳感器和3個(gè)MEMS 慣性傳感器組成。 如圖1 所示，數(shù)據(jù)手套的三個(gè)MEMS 慣性傳感器固定于上肢手背、前臂、上臂三個(gè)部分，每個(gè)傳感器可直接輸出姿態(tài)角，即橫滾角、偏航角、俯仰角。 控制部分由助殘機(jī)械手和單片機(jī)完成，實(shí)驗(yàn)時(shí)人手握住機(jī)械手進(jìn)行運(yùn)動(dòng)，PC 端對(duì)數(shù)據(jù)手套采集的數(shù)據(jù)進(jìn)行處理，并通過(guò)串口給單片機(jī)發(fā)送控制指令，然后由單片機(jī)輸出高低電平控制助殘機(jī)械手的閉合或張開(kāi)來(lái)實(shí)現(xiàn)助殘機(jī)械手的抓取動(dòng)作。

圖1 傳感器佩戴位置與實(shí)驗(yàn)設(shè)備

2 上肢運(yùn)動(dòng)規(guī)律研究與意圖分析

喝水動(dòng)作為上肢運(yùn)動(dòng)中典型的抓取動(dòng)作，因此本文以喝水動(dòng)作為例，對(duì)上肢抓取動(dòng)作的運(yùn)動(dòng)規(guī)律進(jìn)行研究。 手臂的姿態(tài)角數(shù)據(jù)不僅能判別手臂的運(yùn)動(dòng)或靜止?fàn)顟B(tài)，而且能反映手臂運(yùn)動(dòng)過(guò)程中的姿態(tài)變化。 由于上臂距離肩關(guān)節(jié)位置較近，人體做抬臂運(yùn)動(dòng)時(shí)，上臂的姿態(tài)角數(shù)據(jù)變化不明顯，因此選取手背處及前臂處的姿態(tài)角數(shù)據(jù)進(jìn)行分析，研究上肢的運(yùn)動(dòng)意圖。

圖2 為經(jīng)過(guò)滑動(dòng)平均濾波后的實(shí)驗(yàn)數(shù)據(jù)，橫軸表示采樣時(shí)間為5 ms 時(shí)得到的采樣點(diǎn)，縱軸表示手背處及前臂處的姿態(tài)角。 其中，帶有五角星、圓形、三角形的曲線分別表示橫滾角、偏航角、俯仰角。

圖2 喝水動(dòng)作手掌與小臂的姿態(tài)角曲線圖

當(dāng)姿態(tài)角數(shù)據(jù)沒(méi)有變化趨勢(shì)或小幅度擺動(dòng)時(shí)表示手臂處于靜止?fàn)顟B(tài)，姿態(tài)角數(shù)據(jù)有明顯變化時(shí)表示手臂處于運(yùn)動(dòng)狀態(tài)，以手臂兩種狀態(tài)的轉(zhuǎn)換為界，將整個(gè)過(guò)程分為9 段。 圖2 中AB 段、CD 段、EF段、GH 段、IK 段手臂均為靜止?fàn)顟B(tài)，AB 段為執(zhí)行動(dòng)作前的預(yù)備階段，CD 段對(duì)應(yīng)手掌閉合抓取杯子的動(dòng)作，EF 段為拿著杯子喝水的狀態(tài)，GH 段對(duì)應(yīng)手掌松開(kāi)放下杯子的動(dòng)作，IK 段為喝水動(dòng)作結(jié)束狀態(tài)，同時(shí)也是下一動(dòng)作周期的預(yù)備階段。 BC 段、DE段、FG 段、HI 段手臂均處于運(yùn)動(dòng)狀態(tài)，并分別對(duì)應(yīng)伸手拿杯子、將杯子送到嘴邊、放回杯子、將手放回原處的運(yùn)動(dòng)過(guò)程。

實(shí)驗(yàn)發(fā)現(xiàn)，手掌都在手臂處于靜止?fàn)顟B(tài)時(shí)進(jìn)行開(kāi)閉操作，比如在CD 段抓取杯子和在GH 段打開(kāi)手掌放下杯子。 但手臂的靜止?fàn)顟B(tài)不能作為手掌進(jìn)行開(kāi)閉操作的唯一依據(jù)，如在EF 段，手臂雖然處于靜止?fàn)顟B(tài)，但此階段上肢處于拿著杯子喝水的狀態(tài)，手掌不應(yīng)進(jìn)行開(kāi)閉操作。 以及同樣為靜止?fàn)顟B(tài)的IK 段，此時(shí)喝水動(dòng)作已經(jīng)完成，也無(wú)需進(jìn)行開(kāi)閉操作。

為了研究手臂靜止?fàn)顟B(tài)下手掌的開(kāi)閉運(yùn)動(dòng)意圖和姿態(tài)角的關(guān)系，將除了預(yù)備階段AB 段外，手臂處于靜止?fàn)顟B(tài)的各階段姿態(tài)角的具體數(shù)值用柱狀圖表示。 如圖3 所示，橫軸為手臂處于靜止?fàn)顟B(tài)的四個(gè)階段:CD 段、EF 段、GH 段以及IK 段。 每段第一個(gè)條柱、第二個(gè)條柱、第三個(gè)條柱分別表示對(duì)應(yīng)階段下連續(xù)十個(gè)采樣點(diǎn)的橫滾角之和、偏航角之和、俯仰角之和。 CD 段對(duì)應(yīng)手掌閉合抓取杯子的過(guò)程，GH 段對(duì)應(yīng)手掌張開(kāi)松開(kāi)杯子的過(guò)程，從圖中可以發(fā)現(xiàn)，GH 段手掌及前臂的姿態(tài)角與CD 段的姿態(tài)角十分相近，而EF 段、IK 段的姿態(tài)角與CD 段相差較大。

圖3 手臂靜止時(shí)手背與小臂的姿態(tài)角

通過(guò)對(duì)上肢執(zhí)行喝水動(dòng)作的姿態(tài)角數(shù)據(jù)的分析，發(fā)現(xiàn)上肢的動(dòng)靜狀態(tài)以及姿態(tài)與手掌的開(kāi)閉意圖存在一定的聯(lián)系。

(1)為了穩(wěn)定地抓取或松開(kāi)物體，手掌的開(kāi)閉操作通常在手臂處于靜止?fàn)顟B(tài)時(shí)。

(2)手臂經(jīng)歷了一個(gè)“靜止－運(yùn)動(dòng)－靜止”的狀態(tài)變化后，手掌張開(kāi)抓取物體。 第一個(gè)靜止?fàn)顟B(tài)為預(yù)備狀態(tài)，第二個(gè)靜止?fàn)顟B(tài)為手掌張開(kāi)進(jìn)行抓取操作的階段。

(3)手掌松開(kāi)物體時(shí)，手背及前臂的姿態(tài)與手掌抓取物體時(shí)的手掌及前臂姿態(tài)幾乎相同。

3 手臂靜止?fàn)顟B(tài)與動(dòng)態(tài)狀態(tài)的區(qū)分

手臂處于靜止?fàn)顟B(tài)時(shí)，手臂的姿態(tài)角數(shù)據(jù)保持平穩(wěn)，手臂運(yùn)動(dòng)時(shí)，手臂的姿態(tài)角數(shù)據(jù)會(huì)產(chǎn)生劇烈變化，因此本文選擇對(duì)數(shù)據(jù)變化敏感的移動(dòng)方差來(lái)區(qū)分手臂的動(dòng)靜狀態(tài)。 計(jì)算過(guò)程如下。

(1)移動(dòng)方差的計(jì)算是基于滑動(dòng)窗口實(shí)現(xiàn)的，設(shè)定窗口長(zhǎng)度l＝20個(gè)采樣點(diǎn)。 當(dāng)數(shù)據(jù)手套完成20次采樣后，生成滑動(dòng)窗口，即滑動(dòng)窗口的初始數(shù)據(jù)為第1 到第20個(gè)采樣數(shù)據(jù)，隨著之后每次采樣的完成，滑動(dòng)窗口向后滑動(dòng)一個(gè)點(diǎn)。

(2)計(jì)算當(dāng)前窗口內(nèi)姿態(tài)角數(shù)據(jù)的方差綜合值:

Vark為k時(shí)刻窗口的方差綜合值，?k＋i、θk＋i、φk＋i分別為k時(shí)刻窗口中第i＋l個(gè)點(diǎn)的橫滾角、偏航角、俯仰角。分別為k時(shí)刻窗口中橫滾角、偏航角、俯仰角的平均值。 滑動(dòng)窗口采用向前窗口是因?yàn)?，意圖預(yù)測(cè)與助殘手控制相關(guān)，對(duì)實(shí)時(shí)性要求高，需要消除窗口長(zhǎng)度帶來(lái)的延遲性。

圖4 為喝水動(dòng)作的手臂姿態(tài)角和移動(dòng)方差綜合值的對(duì)應(yīng)結(jié)果，可以看出喝水動(dòng)作中手臂每一次的動(dòng)態(tài)過(guò)程都能和移動(dòng)方差綜合值的波峰對(duì)應(yīng)，而手臂處于靜止?fàn)顟B(tài)時(shí)，姿態(tài)角的方差綜合值接近于0值。 因此可取一個(gè)閾值thv，當(dāng)Vark≤thv 時(shí)，手臂處于靜止?fàn)顟B(tài)，否則手臂為動(dòng)態(tài)狀態(tài)。 由大量實(shí)驗(yàn)經(jīng)驗(yàn)確定閾值thv ＝0.01。

圖4 手臂姿態(tài)角與方差綜合值對(duì)應(yīng)圖

4 基于意圖識(shí)別的助殘手控制方法

抓取動(dòng)作的意圖識(shí)別關(guān)鍵在于能否在合理的時(shí)刻控制助殘機(jī)械手的開(kāi)閉，讓助殘機(jī)械手根據(jù)人體意圖完成動(dòng)作。 基于對(duì)上肢運(yùn)動(dòng)規(guī)律的研究與分析，本文設(shè)計(jì)一種基于意圖識(shí)別的助殘機(jī)械手控制方法，步驟如下:

為了穩(wěn)定地控制助殘手，做出如下規(guī)定:從預(yù)備階段到將手放回原處為一個(gè)動(dòng)作周期，將手放回原處后的靜止階段為下一動(dòng)作周期的預(yù)備階段。

①采集手背、前臂、上臂處的姿態(tài)角數(shù)據(jù)，并進(jìn)行滑動(dòng)平均濾波。

②計(jì)算當(dāng)前采樣點(diǎn)的移動(dòng)方差綜合值Var，并與閾值thv 比較，判斷手臂的動(dòng)靜狀態(tài)。 一開(kāi)始上肢處于預(yù)備狀態(tài)，移動(dòng)方差綜合值小于閾值，即Var≤thv，當(dāng)Var>thv 時(shí)說(shuō)明上肢結(jié)束預(yù)備狀態(tài)開(kāi)始動(dòng)作。

③當(dāng)檢測(cè)到移動(dòng)方差綜合值再次小于閾值時(shí)，則手臂處于靜止?fàn)顟B(tài)，記當(dāng)前時(shí)刻為t，此時(shí)給單片機(jī)發(fā)送控制指令，助殘手閉合進(jìn)行抓取操作。 并記錄下第t＋1 到t＋10個(gè)采樣點(diǎn)手背及前臂處的橫滾角之和、偏航角之和、俯仰角之和?ht、θht、φht、?ft、θf(wàn)t、φf(shuō)t。

④持續(xù)計(jì)算當(dāng)前采樣點(diǎn)的移動(dòng)方差綜合值，判斷手臂的動(dòng)靜狀態(tài)，若識(shí)別到手臂處于靜止?fàn)顟B(tài)，記當(dāng)前時(shí)刻為k，并將第k＋1 到k＋10個(gè)采樣點(diǎn)手背及前臂處的橫滾角之和、偏航角之和、俯仰角之和與?ht、θht、φht、?ft、θf(wàn)t、φf(shuō)t做差，計(jì)算公式如下:

式中:?hk、θhk、φhk、?fk、θf(wàn)k、φf(shuō)k為第k＋1 到k＋10個(gè)采樣點(diǎn)手背及前臂處的橫滾角之和、偏航角之和、俯仰角之和。

⑤設(shè)定閾值thδ，當(dāng)δ

⑥控制助殘手張開(kāi)后，繼續(xù)采集數(shù)據(jù)，判斷手臂的動(dòng)靜狀態(tài)。 直到檢測(cè)到手臂下一個(gè)靜止?fàn)顟B(tài)時(shí)，至此，一個(gè)動(dòng)作周期完成，此靜止?fàn)顟B(tài)階段為下一動(dòng)作周期預(yù)備階段。

5 實(shí)驗(yàn)

5.1 實(shí)驗(yàn)設(shè)計(jì)

結(jié)合助殘機(jī)械手的研究背景，本文選取上肢運(yùn)動(dòng)中常見(jiàn)的5 種抓取動(dòng)作進(jìn)行實(shí)驗(yàn)，分別是喝水、刷牙、接電話、梳頭發(fā)、涂唇膏，其中喝水、接電話、涂唇膏三種動(dòng)作類(lèi)似，上肢均在EF 段處于靜止?fàn)顟B(tài)，刷牙與梳頭發(fā)動(dòng)作類(lèi)似，上肢在EF 段有小幅度擺動(dòng)。因此分別選取兩類(lèi)動(dòng)作中的一個(gè)代表動(dòng)作:喝水動(dòng)作和刷牙動(dòng)作的一組數(shù)據(jù)進(jìn)行具體分析。 5 種抓取動(dòng)作的動(dòng)作流程如表1 所示。

表1 實(shí)驗(yàn)動(dòng)作流程

實(shí)驗(yàn)設(shè)備包括數(shù)據(jù)手套和助殘機(jī)械手，招募5名健康志愿者進(jìn)行實(shí)驗(yàn)，要求志愿者右臂穿戴數(shù)據(jù)手套，手握機(jī)械手按表中動(dòng)作流程執(zhí)行動(dòng)作，每種動(dòng)作執(zhí)行10 次。

5.2 實(shí)驗(yàn)結(jié)果

鑒于手背處姿態(tài)角變化與前臂處姿態(tài)角變化趨勢(shì)相似，因此只需選擇其中一種數(shù)據(jù)進(jìn)行分析即可，此處選擇前臂處姿態(tài)角數(shù)據(jù)進(jìn)行分析。

圖5 為實(shí)驗(yàn)中一次喝水動(dòng)作的前臂姿態(tài)角曲線圖，帶有五角星、圓形、三角形的曲線分別表示橫滾角、偏航角、俯仰角變化曲線。 C1D1段為預(yù)備階段后的第一次靜止?fàn)顟B(tài)，機(jī)械手進(jìn)行抓取動(dòng)作，E1F1為第二次靜止?fàn)顟B(tài)，但此階段的姿態(tài)角與C1D1段姿態(tài)角之差大于閾值thδ，故機(jī)械手不進(jìn)行開(kāi)閉操作，G1H1段為第三次靜止?fàn)顟B(tài)，此階段的姿態(tài)角與C1D1段姿態(tài)角之差小于閾值thδ，機(jī)械手張開(kāi)放下杯子。 I1K1段為喝水動(dòng)作完成后的第一個(gè)靜止階段，也是下一動(dòng)作周期的預(yù)備階段。

圖5 喝水動(dòng)作的小臂姿態(tài)角曲線圖

圖6 為實(shí)驗(yàn)中一次刷牙動(dòng)作的前臂姿態(tài)角曲線圖。 A2B2段為預(yù)備階段，C2D2段為預(yù)備階段后第一次靜止?fàn)顟B(tài)，機(jī)械手抓取牙刷。 E2F2段機(jī)械手抓著牙刷在牙周附件刷動(dòng)，與喝水動(dòng)作不同，刷牙動(dòng)作此階段的姿態(tài)角會(huì)發(fā)生小幅度波動(dòng)，故此階段手臂既可能被判定為靜止?fàn)顟B(tài)，也可能被判定為動(dòng)態(tài)狀態(tài)，被判定為靜止?fàn)顟B(tài)時(shí)，其姿態(tài)角與C2D2段姿態(tài)角之差大于閾值thδ，機(jī)械手不進(jìn)行操作，被判斷為動(dòng)態(tài)狀態(tài)時(shí)，機(jī)械手也不會(huì)進(jìn)行操作。 G2H2段手臂為靜止?fàn)顟B(tài)，且此段姿態(tài)角與C2D2段姿態(tài)角之差小于閾值thδ，機(jī)械手張開(kāi)放下牙刷。

圖6 刷牙動(dòng)作的小臂姿態(tài)角曲線圖

表2 為五種動(dòng)作的意圖識(shí)別結(jié)果，喝水、刷牙、接電話、梳頭發(fā)、涂唇膏的識(shí)別率分別為100%、90%、100%、84%、96%，平均識(shí)別準(zhǔn)確率達(dá)到94%。

表2 運(yùn)動(dòng)意圖識(shí)別結(jié)果

6 結(jié)語(yǔ)

本文利用MEMS 慣性傳感器采集上肢進(jìn)行喝水動(dòng)作時(shí)的姿態(tài)角數(shù)據(jù)，分析姿態(tài)角的變化趨勢(shì)與機(jī)械手抓取意圖之間的關(guān)系。 通過(guò)姿態(tài)角的移動(dòng)方差綜合值來(lái)區(qū)分手臂的動(dòng)靜狀態(tài)，并根據(jù)手臂靜止時(shí)手背以及前臂處姿態(tài)角的數(shù)值來(lái)判斷機(jī)械手的開(kāi)閉意圖，設(shè)計(jì)了一種基于意圖識(shí)別的助殘機(jī)械手控制方法。 最后選取上肢運(yùn)動(dòng)中常見(jiàn)的5 種抓取動(dòng)作進(jìn)行實(shí)驗(yàn)，平均識(shí)別準(zhǔn)確率達(dá)到94%，驗(yàn)證了該方法對(duì)不同的抓取動(dòng)作具有一定的普適性。