張冬蕊 耿艷娟 徐禮勝 張秀峰 李光林

1（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055）

2（東北大學(xué)中荷生物醫(yī)學(xué)與信息工程學(xué)院 沈陽(yáng) 110004）

3（國(guó)家康復(fù)輔具研究中心 北京 100176）

1 引 言

腦卒中(Stroke)是腦中風(fēng)的學(xué)名，它是一種發(fā)病率高、致殘率高、死亡率高的常見難治性疾病，嚴(yán)重威脅著人們的生命安全[1]。我國(guó)是世界上腦卒中發(fā)病率較高的地區(qū)。近些年來(lái)，雖然隨著醫(yī)療技術(shù)的發(fā)展與進(jìn)步，我國(guó)中風(fēng)幸存者數(shù)量增多，但當(dāng)中仍然約有75% 患有不同程度的運(yùn)動(dòng)功能障礙，尤其是手部的運(yùn)動(dòng)功能障礙，嚴(yán)重致殘率高達(dá) 10%[2]。手是大腦功能的延伸，在大量神經(jīng)的支配下，手能完成很多精細(xì)活動(dòng)與工作，所以手不僅是人重要的勞動(dòng)器官，還是重要的感覺器官，有著精細(xì)的敏感度[3]。偏癱患者的手部運(yùn)動(dòng)功能障礙大大降低了患者的生存質(zhì)量，加重了患者及其家庭的經(jīng)濟(jì)負(fù)擔(dān)和精神負(fù)擔(dān)[2]。

研究表明，運(yùn)動(dòng)康復(fù)訓(xùn)練可促進(jìn)偏癱患者自發(fā)性神經(jīng)功能恢復(fù)，有助于偏癱患者恢復(fù)中樞神經(jīng)對(duì)肢體運(yùn)動(dòng)的支配與控制，還可以防止肌肉“廢用性”萎縮，有助于偏癱患者的肢體運(yùn)動(dòng)功能恢復(fù)[4]。因此，物理療法成為臨床中最常用的運(yùn)動(dòng)功能康復(fù)訓(xùn)練方法之一。目前，臨床康復(fù)訓(xùn)練一般是按照神經(jīng)發(fā)育的規(guī)律，先從肩關(guān)節(jié)開始，逐漸過渡到肘關(guān)節(jié)、腕關(guān)節(jié)和手指功能訓(xùn)練，等肩、肘、腕關(guān)節(jié)功能恢復(fù)后再進(jìn)行手功能訓(xùn)練往往已經(jīng)錯(cuò)過最佳康復(fù)治療時(shí)間，往往使得腦卒中患者偏癱側(cè)的手部運(yùn)動(dòng)功能恢復(fù)進(jìn)程緩慢、恢復(fù)效果有限。

根據(jù)大腦皮層可塑性理論，大腦皮層區(qū)的可塑性變化即腦功能重塑，在很大程度上是運(yùn)動(dòng)康復(fù)訓(xùn)練的結(jié)果。研究表明，偏癱患者的手部功能的康復(fù)訓(xùn)練應(yīng)該在積極的環(huán)境下進(jìn)行，被動(dòng)或者不積極的訓(xùn)練，對(duì)患者腦功能重塑和手部運(yùn)動(dòng)功能的康復(fù)效果很不明顯。所以，偏癱患者在積極的環(huán)境下進(jìn)行正確的手部康復(fù)訓(xùn)練，能加快患者腦功能重塑和手部運(yùn)動(dòng)功能恢復(fù)，收到良好的康復(fù)效果[3]。目前國(guó)內(nèi)對(duì)偏癱患者進(jìn)行的運(yùn)動(dòng)功能康復(fù)訓(xùn)練仍然是在治療師的指導(dǎo)下、輔助以訓(xùn)練器械對(duì)偏癱患者進(jìn)行一些被動(dòng)或者輔助的運(yùn)動(dòng)訓(xùn)練[5]。這些康復(fù)訓(xùn)練方法有十分明顯的缺點(diǎn)：(1)浪費(fèi)人力物力，一名康復(fù)治療師無(wú)法同時(shí)指導(dǎo)多名偏癱患者進(jìn)行康復(fù)訓(xùn)練；(2)康復(fù)訓(xùn)練比較機(jī)械而且枯燥，偏癱患者很少能積極主動(dòng)參與康復(fù)訓(xùn)練，治療效果不甚理想；(3)偏癱患者進(jìn)行康復(fù)訓(xùn)練的強(qiáng)度和效果不易得到反饋評(píng)估。在偏癱患者的運(yùn)動(dòng)康復(fù)訓(xùn)練利用虛擬現(xiàn)實(shí)技術(shù)，是讓患者沉浸在虛擬的環(huán)境中，成為虛擬環(huán)境中的一部分，使用訓(xùn)練的動(dòng)作和虛擬環(huán)境進(jìn)行交互，同時(shí)虛擬環(huán)境給予偏癱患者實(shí)時(shí)的視覺反饋，提高偏癱患者進(jìn)行康復(fù)訓(xùn)練的積極性和主動(dòng)性。本文利用虛擬現(xiàn)實(shí)技術(shù)為偏癱患者進(jìn)行手部運(yùn)動(dòng)功能訓(xùn)練設(shè)計(jì)合適的手部康復(fù)訓(xùn)練系統(tǒng)，使患者在訓(xùn)練過程中能沉浸在虛擬環(huán)境中，進(jìn)行康復(fù)訓(xùn)練的積極性得到提高，被動(dòng)治療也變?yōu)橹鲃?dòng)治療。虛擬現(xiàn)實(shí)技術(shù)同時(shí)為患者提了供訓(xùn)練計(jì)劃和效果評(píng)估。在虛擬現(xiàn)實(shí)手部康復(fù)訓(xùn)練系統(tǒng)中，交互設(shè)備采用5DT Data Glove 14 Ultra 數(shù)據(jù)手套，使用 Visual Studio 2012，基于 MFC 編程實(shí)現(xiàn)了人機(jī)交互軟件，能完成用戶管理、數(shù)據(jù)采集、手勢(shì)信號(hào)分類、實(shí)時(shí)手勢(shì)分類測(cè)試等功能，虛擬環(huán)境的建立采用了 Flash 游戲，通過 MFC 和 Flash 間的通訊使病人能通過手勢(shì)進(jìn)行Flash 游戲控制。虛擬現(xiàn)實(shí)手部康復(fù)訓(xùn)練系統(tǒng)能夠指導(dǎo)使用者進(jìn)行有效地手部康復(fù)訓(xùn)練，F(xiàn)lash 虛擬現(xiàn)實(shí)游戲應(yīng)用于手部康復(fù)訓(xùn)練中變被動(dòng)訓(xùn)練為主動(dòng)訓(xùn)練，提高病人進(jìn)行訓(xùn)練的積極性。

2 系統(tǒng)的設(shè)計(jì)目標(biāo)和原則

從系統(tǒng)應(yīng)實(shí)現(xiàn)的結(jié)構(gòu)來(lái)考慮，虛擬現(xiàn)實(shí)手部康復(fù)訓(xùn)練系統(tǒng)主要由三個(gè)部分組成：人機(jī)交互設(shè)備、人機(jī)交互軟件和虛擬現(xiàn)實(shí)環(huán)境。而從患者的實(shí)際需求來(lái)考慮，由于虛擬現(xiàn)實(shí)手部康復(fù)訓(xùn)練的使用者是有手部功能障礙的偏癱患者，他們比常人更加虛弱、更容易受到損傷，所以應(yīng)更多考慮到病人的需求，應(yīng)從安全性、舒適性、主動(dòng)性三個(gè)方面考慮進(jìn)行設(shè)計(jì)。下面將詳細(xì)闡述三個(gè)系統(tǒng)設(shè)計(jì)的原則。

2.1 安全性

偏癱患者在使用康復(fù)訓(xùn)練系統(tǒng)進(jìn)行訓(xùn)練時(shí)能保證安全是康復(fù)訓(xùn)練系統(tǒng)設(shè)計(jì)是首先要考慮的問題。人機(jī)交互設(shè)備使用 5DT Data Glove 14 Ultra，使用時(shí)不會(huì)對(duì)患者造成傷害。另外，系統(tǒng)中包含的手部訓(xùn)練任務(wù)也應(yīng)保證患者在進(jìn)行訓(xùn)練時(shí)不會(huì)受到傷害。

2.2 舒適性

偏癱患者在使用康復(fù)訓(xùn)練系統(tǒng)進(jìn)行訓(xùn)練的過程中能否感到放松、舒適，是康復(fù)訓(xùn)練系統(tǒng)在設(shè)計(jì)時(shí)需要重點(diǎn)考慮的問題。例如，穿戴的數(shù)據(jù)手套要舒適，避免給患者帶來(lái)過度緊繃或笨重感；人機(jī)交互軟件的界面設(shè)計(jì)美觀、操作簡(jiǎn)單，不會(huì)給患者帶來(lái)視覺疲勞或操作不便等。

2.3 主動(dòng)性

如何激發(fā)患者主動(dòng)進(jìn)行康復(fù)訓(xùn)練、提高進(jìn)行康復(fù)訓(xùn)練的積極性，是系統(tǒng)設(shè)計(jì)的重要內(nèi)容。利用虛擬現(xiàn)實(shí)技術(shù)能有效提高患者進(jìn)行康復(fù)訓(xùn)練的主動(dòng)性和積極性。將虛擬現(xiàn)實(shí)集成到康復(fù)訓(xùn)練系統(tǒng)中，使患者在虛擬游戲中接受康復(fù)訓(xùn)練運(yùn)動(dòng)，如在“虛擬”的世界中完成任務(wù)的同時(shí)體會(huì)來(lái)自真實(shí)世界的反饋，變機(jī)械枯燥的運(yùn)動(dòng)為主動(dòng)積極的游戲，使偏癱患者享受康復(fù)訓(xùn)練，從而達(dá)到理想的康復(fù)效果。

3 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

該康復(fù)訓(xùn)練系統(tǒng)由交互設(shè)備和人機(jī)交互軟件，F(xiàn)lash 虛擬場(chǎng)景三部分組成，如圖1 所示。

圖1 系統(tǒng)結(jié)構(gòu)框圖

系統(tǒng)交互設(shè)備采用 5DT 公司生產(chǎn)的 5DT Data Glove 14 Ultra 數(shù)據(jù)手套，人機(jī)交互軟件使用 Visual Studio 2012 作為開發(fā)工具，基于 MFC 編寫，編程語(yǔ)言采用 C++，能實(shí)現(xiàn)用戶管理、數(shù)據(jù)采集、手勢(shì)信號(hào)分類及分類結(jié)果顯示、實(shí)時(shí)手勢(shì)識(shí)別測(cè)試的功能。構(gòu)建的虛擬場(chǎng)景使用 Flash 游戲，通過 MFC 和 Flash 游戲間通訊能完成游戲操控。

3.1 數(shù)據(jù)手套簡(jiǎn)介

本系統(tǒng)使用的數(shù)據(jù)手套是 5DT Data Glove 14 Ultra，這是 5DT 公司開發(fā)的第二代高端數(shù)據(jù)手套，能夠測(cè)量手指的屈伸和指間外展度，圖2 為 5DT Data Glove 14 Ultra 14 個(gè)傳感器的分布圖。

圖2 5DT Data Glove 14 Ultra 14 個(gè)傳感器的分布圖

5DT Data Glove 14 Ultra 數(shù)據(jù)手套為 8 位 A/D 采樣，最大采樣頻率可達(dá) 200 Hz，具有的主要優(yōu)點(diǎn)有：(1)數(shù)據(jù)手套的制作材質(zhì)為彈性纖維，使用者穿戴舒適，同時(shí)彈性大，適用于尺寸大小不同的手；(2)數(shù)據(jù)手套采用的光纖傳感器信號(hào)精確敏銳，獲得的數(shù)據(jù)噪聲少，減少了額外濾波對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；(3)提供給用戶的軟件開發(fā)包中包含了接口函數(shù)，用戶能直接訪問數(shù)據(jù)手套采集實(shí)時(shí)數(shù)據(jù)，極大方便了用戶進(jìn)行二次開發(fā)；(4)數(shù)據(jù)手套的數(shù)據(jù)流遵循 RS-232 協(xié)議，使用 USB 連接方式，方便了應(yīng)用程序開發(fā)。

3.2 人機(jī)交互軟件的實(shí)現(xiàn)

系統(tǒng)的人機(jī)交互軟件主要包括四大功能模塊，包括：用戶管理模塊、數(shù)據(jù)采集模塊、手勢(shì)信號(hào)分類模塊、手勢(shì)識(shí)別實(shí)時(shí)測(cè)試模塊。圖3 即為人機(jī)交互軟件結(jié)構(gòu)框圖，用戶管理模塊主要能完成新用戶注冊(cè)、列出所有用戶、打開用戶等功能；數(shù)據(jù)采集模塊能實(shí)現(xiàn)數(shù)據(jù)手套信號(hào)曲線的動(dòng)態(tài)實(shí)時(shí)顯示、用戶 8 類手勢(shì)信號(hào)的采集和保存等功能；手勢(shì)信號(hào)分類模塊能完成將采集的 8 類手勢(shì)信號(hào)數(shù)據(jù)進(jìn)行訓(xùn)練求得 LDA 參數(shù)并進(jìn)行手勢(shì)信號(hào)離線分類測(cè)試的功能；手勢(shì)識(shí)別實(shí)時(shí)測(cè)試模塊主要能完成手勢(shì)信號(hào)的實(shí)時(shí)判別、指導(dǎo)用戶完成實(shí)時(shí)手勢(shì)任務(wù)的功能。本節(jié)將分模塊對(duì)人機(jī)交互軟件的實(shí)現(xiàn)做具體介紹。圖4 為人機(jī)交互軟件的主界面。

圖3 人機(jī)交互軟件結(jié)構(gòu)框圖

圖4 人機(jī)交互軟件主界面

3.2.1 用戶管理模塊的實(shí)現(xiàn)

用戶管理模塊功能能顯示所用用戶、打開用戶和創(chuàng)建新用戶，系統(tǒng)通過為每位用戶分配單獨(dú)的文件夾來(lái)實(shí)現(xiàn)用戶管理。

顯示所有用戶的功能實(shí)現(xiàn)是使用 CFileFind 類的FindFile 函數(shù)找尋系統(tǒng)用戶管理文件夾下的所有以用戶名命名的子文件夾，GetFileName 函數(shù)獲得所有文件夾名并將所有用戶裝載到 List 中并在列表控件中顯示。打開用戶功能實(shí)現(xiàn)是將全局變量 username 設(shè)定為用戶列表中選定的用戶，路徑設(shè)定為選定用戶所在的文件夾路徑。注冊(cè)新用戶時(shí)，用戶信息的保存是通過 C++中 stream 類的文件操作實(shí)現(xiàn)將信息保存到文本文件中。

3.2.2 數(shù)據(jù)采集模塊的實(shí)現(xiàn)

數(shù)據(jù)采集部分，采樣頻率為 100 Hz，每類手勢(shì)動(dòng)作只采集動(dòng)作時(shí)的數(shù)據(jù) 3 次，每次 8 秒，每類手勢(shì)動(dòng)作訓(xùn)練集和測(cè)試集的數(shù)據(jù)長(zhǎng)度均為 2400。用戶須采集 16 組(8 類，每類 2 組)長(zhǎng)度為 2400 的數(shù)據(jù)用于訓(xùn)練和分類測(cè)試。圖5 為軟件數(shù)據(jù)采集模塊的運(yùn)行圖。

圖5 軟件數(shù)據(jù)采集模塊的運(yùn)行圖

(1)設(shè)計(jì)合理并具有針對(duì)性的康復(fù)訓(xùn)練手勢(shì)能有效地指導(dǎo)病人進(jìn)行手部康復(fù)訓(xùn)練并提高訓(xùn)練效率。根據(jù) Brunnstrom 六級(jí)評(píng)價(jià)法[6]中對(duì)偏癱患者手部功能的評(píng)價(jià)，系統(tǒng)中設(shè)計(jì)了 8 種手部康復(fù)訓(xùn)練的手勢(shì)，如圖6 所示，8 種動(dòng)作涉及了偏癱病人進(jìn)行手部康復(fù)訓(xùn)練的幾類動(dòng)作、屈伸類(握拳)、抓握(球狀抓握、鉤狀抓握)、單指活動(dòng)(食指伸展、食指彎曲)、全范圍伸指(手張開)、精細(xì)手部活動(dòng)(對(duì)指)。這些手部活動(dòng)跟患者的日常生活息息相關(guān)，有效地進(jìn)行這些手勢(shì)任務(wù)的康復(fù)訓(xùn)練能提高患者的生活質(zhì)量。

圖6 系統(tǒng)設(shè)計(jì)的 8 類手勢(shì)任務(wù)

(2)采集數(shù)據(jù)手套的數(shù)據(jù)主要是調(diào)用 5DT Data Glove 14 Ultra SDK 中提供的接口函數(shù)，實(shí)現(xiàn)對(duì)手指彎曲度和外展度的采集，5DT Data Glove 14 Ultra SDK 提供了多種功能的接口函數(shù)，能采集傳感器自動(dòng)矯正的數(shù)據(jù)。

下面列出了與數(shù)據(jù)采集相關(guān)的接口函數(shù)：

數(shù)據(jù)采集時(shí)，先采集到的數(shù)據(jù)緩存到容器中，然后通過文件操作將采集到的用戶手勢(shì)數(shù)據(jù)保存到 dat文件中。

(3)數(shù)據(jù)采集的同時(shí)要求實(shí)時(shí)顯示數(shù)據(jù)手套 28 個(gè)通道(每只手套 14 通道)的數(shù)據(jù)曲線動(dòng)態(tài)，方便用戶在數(shù)據(jù)采集的同時(shí)觀察波形，此時(shí)需要 MFC 繪圖功能。但是如果窗體在響應(yīng) WM_PAINT 消息的時(shí)候要進(jìn)行復(fù)雜的圖形處理，那么窗體在重繪時(shí)過頻繁的刷新會(huì)引起閃爍現(xiàn)象。雙緩沖繪圖[7]能很好的解決閃爍問題并大大加快繪圖的速度。雙緩沖繪圖是指創(chuàng)建一個(gè)與屏幕繪圖區(qū)域一致的對(duì)象，先將圖形繪制到內(nèi)存中的這個(gè)對(duì)象上，再一次性將這個(gè)對(duì)象上的圖形拷貝到屏幕上，在實(shí)際中是使用 BitBlt 函數(shù)，先在內(nèi)存中作圖，然后用此函數(shù)將做好的圖復(fù)制到前臺(tái)，同時(shí)禁止背景刷新。

MFC 雙緩沖繪圖實(shí)現(xiàn)過程如下：①在內(nèi)存中創(chuàng)建與畫布一致的緩沖區(qū)；②在緩沖區(qū)畫圖；③將緩沖區(qū)位圖拷貝到當(dāng)前畫布上；④釋放內(nèi)存緩沖區(qū)[8]。

3.2.3 手勢(shì)信號(hào)分類模塊的實(shí)現(xiàn)

在康復(fù)訓(xùn)練系統(tǒng)中使用的分類器是線性判別分析分類器[9]，它是利用各類的分布特征，即利用各類的概率密度函數(shù)和后驗(yàn)概率進(jìn)行分類的。它使用已知類別的訓(xùn)練樣本產(chǎn)生判別函數(shù)，相當(dāng)于學(xué)習(xí)和訓(xùn)練，然后根據(jù)待分類樣本代入判別函數(shù)，所得的值確定其類別。判別函數(shù)提供了相鄰兩類決策域的界面，也相當(dāng)于在一些設(shè)定下的兩類概率密度函數(shù)之差。這樣，對(duì)于每個(gè)動(dòng)作所得的特征向量，根據(jù)線性判別函數(shù)計(jì)算出來(lái)的結(jié)果，就對(duì)應(yīng)了其在各個(gè)類型中的后驗(yàn)概率。所以比較同一次不同類型的判別函數(shù)，其中值最大的一類即為最優(yōu)決策分類。

圖7 為手勢(shì)信號(hào)分類模塊功能實(shí)現(xiàn)流程圖，如圖所示，首先讀取數(shù)據(jù)采集模塊采集到的用戶訓(xùn)練集數(shù)據(jù)，使用 300 ms 的分析窗截取數(shù)據(jù)，并存入容器中。然后將加窗后的數(shù)據(jù)進(jìn)行特征提取，在使用數(shù)據(jù)手套控制的模式識(shí)別分類中，研究成果表明，僅需要提取 4 個(gè)時(shí)域特征就可以獲得較好的分類結(jié)果。這 4 個(gè)特征分別是：平均絕對(duì)值(Mean Absolute value，MAV)、過零率(Zero Crossing，ZC)、波長(zhǎng)(Wave form Length，WL)和符號(hào)改變斜率(Slope Sign Change，SSC)[10,11]。接著使用提取的特征值數(shù)據(jù)進(jìn)行訓(xùn)練得到 LDA 分類器的參數(shù)，并將參數(shù)保存至 dat 文件中。

圖7 手勢(shì)信號(hào)分類模塊功能實(shí)現(xiàn)流程圖

離線分類測(cè)試時(shí)是讀取測(cè)試集數(shù)據(jù)，使用 300 ms的分析窗截取數(shù)據(jù)，并存入容器中，提取特征值數(shù)據(jù)后直接進(jìn)行 LDA 判別，計(jì)算分類精度和誤差，并使用混淆矩陣顯示各類的分類精度和分類誤差。圖8 為軟件手勢(shì)分類模塊的運(yùn)行圖。

圖8 軟件手勢(shì)分類模塊的運(yùn)行圖

3.2.4 手勢(shì)識(shí)別實(shí)時(shí)測(cè)試模塊的實(shí)現(xiàn)

圖9 為系統(tǒng)實(shí)時(shí)手勢(shì)識(shí)別的實(shí)現(xiàn)流程圖。實(shí)時(shí)測(cè)試開始前先加載用戶的 LDA 分類器參數(shù)存入容器中，每采集 0.3 s 的數(shù)據(jù)會(huì)將采集到的數(shù)據(jù)進(jìn)行特征值提取并將特征值 featuredata 存入容器中，接著計(jì)算得到不同類型的線性判別函數(shù)，所以比較同一次不同類型的判別函數(shù)，其中值最大的一類即為系統(tǒng)判斷的手勢(shì)類別。采集完 0.3 s 數(shù)據(jù)后進(jìn)行計(jì)算和判斷，有的時(shí)間為 0.03 s，占用時(shí)間很少，因此采用采集-判斷-采集的單線程工作模式可以滿足測(cè)試需要。

圖9 實(shí)時(shí)手勢(shì)識(shí)別的實(shí)現(xiàn)流程圖

手勢(shì)識(shí)別實(shí)時(shí)測(cè)試要求使用者根據(jù)任務(wù)圖片顯示的手勢(shì)任務(wù)做出相應(yīng)手勢(shì)，每 0.3 秒系統(tǒng)會(huì)做一次判斷，判斷使用者是否正確完成任務(wù)圖片顯示的手勢(shì)，每個(gè)任務(wù)完成的標(biāo)準(zhǔn)是 5 秒內(nèi)至少正確完成8 次。系統(tǒng)實(shí)時(shí)的手勢(shì)任務(wù)設(shè)計(jì)是每 8 個(gè)任務(wù)為一組測(cè)試，每組中 8 個(gè)手勢(shì)任務(wù)均以隨機(jī)順序出現(xiàn)，整個(gè)測(cè)試有 15 組，共計(jì) 120 個(gè)手勢(shì)任務(wù)。圖10 為一組測(cè)試的實(shí)現(xiàn)流程圖，圖11 為軟件手勢(shì)識(shí)別實(shí)時(shí)測(cè)試模塊的運(yùn)行圖。

圖10 一組手勢(shì)識(shí)別實(shí)時(shí)測(cè)試的實(shí)現(xiàn)流程圖

圖11 軟件手勢(shì)識(shí)別實(shí)時(shí)測(cè)試模塊的運(yùn)行圖

3.3 虛擬場(chǎng)景的構(gòu)建于游戲?qū)崿F(xiàn)

3.3.1 Flash 虛擬場(chǎng)景的建立系統(tǒng)的虛擬環(huán)境是基于 Flash 建立的，虛擬環(huán)境采用了網(wǎng)絡(luò)分享“雷霆戰(zhàn)機(jī)”的 Flash 游戲，此游戲使用 Adobe Flash CS5 開發(fā)，編程語(yǔ)言為 ActionScript 3.0。使用時(shí)系統(tǒng)對(duì)信號(hào)控制部分進(jìn)行了更改，添加了控制飛機(jī)方向的變量 control，當(dāng) control 值為 0 時(shí)飛機(jī)向左飛行，當(dāng) control 值為 1 時(shí)飛機(jī)向右飛行，使用者可以使用手勢(shì)信號(hào)通過 MFC 和 Flash 通訊控制飛機(jī)飛行方向。

3.3.2 MFC 和 Flash 通訊的實(shí)現(xiàn)

圖12 MFC 和 Flash 通訊流程示意圖

圖13 Flash 康復(fù)訓(xùn)練游戲運(yùn)行圖

圖12 為 Flash 與 VC 交互流程示意圖。如圖所示，F(xiàn)lash 和 MFC 之間通過 shockwave flash object 控件實(shí)現(xiàn)。系統(tǒng)人機(jī)交互軟件和 Flash 康復(fù)訓(xùn)練游戲進(jìn)行通訊時(shí)，MFC 使用 SetVariable() 設(shè)置 Flash 中控制飛機(jī)方向變量 control 的值，F(xiàn)lash 通過 FSCommand()函數(shù)向 MFC 發(fā)送 control 值，同時(shí) MFC 通過添加 flash控件的成員函數(shù) OnFSCommand() 接收 Flash 發(fā)送的control 值。圖13 即為 Flash 康復(fù)訓(xùn)練游戲運(yùn)行圖。

4 系統(tǒng)功能詳述

(1)首先，使用者登錄系統(tǒng)，新用戶使用時(shí)先要進(jìn)行注冊(cè)，需要填寫用戶信息，包括用戶姓名、性別、年齡、偏癱時(shí)間、偏癱患者手部功能評(píng)價(jià)等，用戶注冊(cè)后打開用戶便登錄系統(tǒng)。

(2)用戶需要進(jìn)行 8 類手勢(shì)信號(hào)的采集，每類手勢(shì)信號(hào)要采集兩組分別作為訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)。數(shù)據(jù)采集時(shí)，用戶首先將數(shù)據(jù)手套連接到電腦的USB 接口，軟件能自動(dòng)搜索數(shù)據(jù)手套并顯示，打開數(shù)據(jù)手套軟件信號(hào)顯示的界面會(huì)顯示實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)手套信號(hào)曲線。用戶根據(jù)提示和播放的動(dòng)畫可以完成手勢(shì)信號(hào)的數(shù)據(jù)采集。

(3)采集完數(shù)據(jù)后，用戶進(jìn)入手勢(shì)信號(hào)分類模塊進(jìn)行 LDA 分類器的訓(xùn)練和手勢(shì)分類的離線測(cè)試，軟件界面會(huì)顯示測(cè)試的結(jié)果，包括混淆矩陣和分類誤差。訓(xùn)練好 LDA 分類器后用戶可以進(jìn)行實(shí)時(shí)手勢(shì)識(shí)別測(cè)試，打開數(shù)據(jù)手套，開始測(cè)試，用戶根據(jù)界面顯示的手勢(shì)任務(wù)作出相應(yīng)的手勢(shì)即可完成測(cè)試。

(4)用戶進(jìn)行 Flash 康復(fù)訓(xùn)練游戲時(shí)，首先打開數(shù)據(jù)手套，選擇并設(shè)置好控制游戲的手勢(shì)信號(hào)后可以開始進(jìn)行游戲。

5 總結(jié)與展望

本文設(shè)計(jì)并實(shí)現(xiàn)了虛擬現(xiàn)實(shí)手部康復(fù)訓(xùn)練系統(tǒng)，能夠指導(dǎo)使用者進(jìn)行有效的手部康復(fù)訓(xùn)練， Flash 虛擬現(xiàn)實(shí)游戲應(yīng)用于手部康復(fù)訓(xùn)練中能將被動(dòng)的康復(fù)訓(xùn)練轉(zhuǎn)化為病人主動(dòng)進(jìn)行手部康復(fù)訓(xùn)練，提高病人進(jìn)行訓(xùn)練的積極性。系統(tǒng)具有以下特點(diǎn)：(1)交互設(shè)備采用 5DT Data Glove 14 Ultra 數(shù)據(jù)手套；(2)基于 MFC編程實(shí)現(xiàn)了人機(jī)交互軟件，能完成用戶管理、數(shù)據(jù)采集、手勢(shì)信號(hào)分類、實(shí)時(shí)手勢(shì)分類測(cè)試等功能；(3)虛擬環(huán)境的建立采用 Flash 游戲，通過 MFC 和 Flash 間的通訊能使病人通過手勢(shì)進(jìn)行 Flash 游戲控制。

實(shí)現(xiàn)有效的手部康復(fù)訓(xùn)練系統(tǒng)來(lái)指導(dǎo)偏癱患者進(jìn)行主動(dòng)高效的手部康復(fù)訓(xùn)練，仍然是當(dāng)前偏癱康復(fù)研究的熱點(diǎn)和難點(diǎn)。我們對(duì)以后的研究工作有如下展望：①建立偏癱患者數(shù)據(jù)庫(kù)、將病人的基本信息、采集數(shù)據(jù)、分類器參數(shù)、康復(fù)訓(xùn)練結(jié)果存入數(shù)據(jù)庫(kù)中，方便醫(yī)生進(jìn)行管理；②人機(jī)交互軟件中建立康復(fù)訓(xùn)練反饋評(píng)價(jià)模塊，能評(píng)價(jià)各個(gè)使用者的康復(fù)訓(xùn)練效果和進(jìn)度，并將此存入數(shù)據(jù)庫(kù)，方便醫(yī)生了解各個(gè)病人康復(fù)情況并對(duì)其進(jìn)行有效地康復(fù)訓(xùn)練指導(dǎo)；③在對(duì)偏癱患者研究調(diào)查后，設(shè)計(jì)多款偏癱患者喜歡的Flash 康復(fù)訓(xùn)練游戲以提高病人進(jìn)行康復(fù)訓(xùn)練的主動(dòng)性和積極性。

[1]邵衛(wèi). 機(jī)器人輔助上肢康復(fù)的虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)的研究 [D].上海: 上海交通大學(xué), 2012.

[2]樂趣, 屈云. 腦卒中后偏癱側(cè)手部運(yùn)動(dòng)功能康復(fù)技術(shù)進(jìn)展 [J].中國(guó)康復(fù)醫(yī)學(xué)雜志, 2012, 27(11).

[3]孫貴新, 徐文東, 顧玉東. 手部相關(guān)腦功能可塑性的研究進(jìn)展 [J].實(shí)用手外科雜志, 2002, 16(3): 159-161.

[4]林日武, 林茂恩, 潘仕海, 等. 強(qiáng)制性運(yùn)動(dòng)療法治療腦卒中偏癱的臨床應(yīng)用 [J]. 心腦血管病防治, 2007, 7(2): 97-98.

[5]于維東, 范紅杰, 張文娟. 偏癱康復(fù)理論與實(shí)踐(續(xù)一)[J]. 現(xiàn)代康復(fù), 2001, 5(4): 9-13.

[6]紀(jì)樹榮. 康復(fù)醫(yī)學(xué) [M]. 高等教育出版社, 2004.

[7]曾麒. MFC 中雙緩沖處理貼圖閃屏問題 [J]. 科技信息, 2011,3: 68-68.

[8]張亮. 基于雙緩沖技術(shù)的 VC++ 圖形刷新技術(shù)的原理和實(shí)現(xiàn) [J].福建電腦, 2010, 26(6): 110-110.

[9]鐘珞, 潘吳, 封筠, 等. 模式識(shí)別 [M]. 武漢大學(xué)出版社, 2006.

[10]Sensinger J W, Lock B A, Kuiken T A. Adaptive pattern recognition of myoelectric signals: exploration of conceptual framework and practical algorithms [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2009, 17: 270-278.

[11]Hargrove, Englehart. A training strategy to reduce classification degradation due to electrode displacements in pattern recognition based myoelectric control [J]. Biomedical Signal Processing and Control, 2008, 3: 175-180.