張少白，諸明倩

(南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210003)

0 引 言

隨著科學(xué)技術(shù)的不斷發(fā)展，機(jī)器的智能化程度也是日新月異。而機(jī)器人作為高新技術(shù)的代表[1]，一直是近年來科學(xué)研究者所討論的熱點(diǎn)問題。它可以作業(yè)于一些相當(dāng)惡劣的工作環(huán)境，從而大大降低人力資源的成本，保障工作人員的人身安全[2]。有關(guān)機(jī)器人的研究涉及到很多領(lǐng)域，比如計(jì)算機(jī)科學(xué)、傳感器技術(shù)、生物科學(xué)等等[3]。而機(jī)械臂作為機(jī)器人的一個重要組成部分，已經(jīng)成為機(jī)器人學(xué)領(lǐng)域一個重要的研究課題[4]。對此，許多相關(guān)領(lǐng)域的科研人員都做了相應(yīng)的研究，并且取得了一定的成果。

Hoff和Arbib曾經(jīng)構(gòu)建了一種神經(jīng)計(jì)算模型，該模型可以解決手臂移動以及手指預(yù)成型相關(guān)的各種問題。它是基于最小加加速度最優(yōu)標(biāo)準(zhǔn)的計(jì)算模型[5]，也是學(xué)術(shù)界公認(rèn)的經(jīng)典模型之一，但該模型是最早期的模型，因此不具有認(rèn)知功能；Antonio Ulloa和Daniel Bullock在Hoff模型的基礎(chǔ)上繼續(xù)研究，提出了一種神經(jīng)網(wǎng)絡(luò)模型[6]。該模型是針對初始抓握角度、手掌的方向、被抓取物體的尺寸以及位置改變時手臂延伸和抓取間的時間協(xié)調(diào)問題的。該模型已經(jīng)具備初步的認(rèn)知功能，但并不系統(tǒng)；J. Molina Vilaplana和J. Lopez Coronado在2006年構(gòu)建出抓握和移動過程中時空協(xié)調(diào)的神經(jīng)網(wǎng)絡(luò)模型[7]。該模型參考了DIRECT(direction-to-rotation effector control transform)模型和VITE模型(vector integration to end point)，提供了手指間協(xié)調(diào)各種動作的方法，并且抓握過程中手勢形成的策略也得到了簡化；J. Molina Vilaplana和Rodolphe J Gentili于2011年在此前文章的基礎(chǔ)上，提出了一種靜態(tài)逆計(jì)算模型[8]。不僅具有文獻(xiàn)[7]中模型所有的認(rèn)知功能，而且將手臂延伸與抓握和靈長類腦區(qū)皮層神經(jīng)元分布相關(guān)聯(lián)。

但是Vilaplana的模型考慮的僅僅是一般情況下的手部抓取運(yùn)動，并沒有討論在視覺遮擋時的情況。當(dāng)視覺缺失時，該模型是否能繼續(xù)適用，是否能進(jìn)行準(zhǔn)確抓握，這些問題都有待解決。因此，文中以Vilaplana的模型為基礎(chǔ)，將手臂移動與手勢抓取劃分為四個階段，即手臂收縮階段、抓取物體階段，手臂關(guān)節(jié)收縮階段、物體釋放階段。討論視覺對各個階段的影響程度，在此基礎(chǔ)上對Vilaplana的模型進(jìn)行改進(jìn)，使之能夠適應(yīng)視覺遮擋下的抓取運(yùn)動。

1 手勢協(xié)調(diào)的神經(jīng)網(wǎng)絡(luò)模型

1.1 計(jì)算模型

Vilaplana提出的模型如圖1所示，該模型為分布式運(yùn)動神經(jīng)結(jié)構(gòu)提供了對象的位置，大小，形狀和方向信息。圖1的左半部分描述了實(shí)現(xiàn)該運(yùn)動的傳輸組件計(jì)算模型。物體位置的視覺信息為神經(jīng)控制器提供相應(yīng)的數(shù)據(jù)，為正確的抓取提供合適的位置信息。圖1右半部分中所示的運(yùn)動結(jié)構(gòu)，保證了合適的手指預(yù)成型以及正確的手掌方向。需要注意的是，抓取有關(guān)的視覺通道被分成兩個子通道，一個與手指結(jié)構(gòu)相關(guān)，另一個與手掌方向相關(guān)。手掌方向的模式使用對象的外在屬性，如方向來確定。模型中包含了另一種必須被送到抓取通道的信息。這種信息是與任務(wù)要求相關(guān)的[9]。顯然，不管對象的外在方向是什么，與抓取相關(guān)的運(yùn)動程序都必須考慮需要完成的任務(wù)。例如，不同的抓取意圖會導(dǎo)致不同的手掌方向和抓取的最終手勢，就比如想要準(zhǔn)確抓取圓柱表面和插入圓柱上的一個孔會導(dǎo)致不同的抓握方式。

圖1 手勢協(xié)調(diào)神經(jīng)網(wǎng)絡(luò)模型

圖1右下角的VITE模型[10]實(shí)現(xiàn)手指預(yù)成型和手掌方向的確定，左下角的DIRECT模型[11]實(shí)現(xiàn)傳輸組件的運(yùn)作。與手勢和手掌方向相關(guān)的運(yùn)動方案也要考慮意圖或者任務(wù)限制，如抓取的種類(抓取精度或力度)。一個共同的GO信號作為門控機(jī)制來調(diào)節(jié)啟動過程和動作的執(zhí)行速度，保證所有通道的時間等效。

1.2 手指預(yù)成型和手掌朝向

端點(diǎn)間的矢量積分(VITE)動力學(xué)被用于模擬抓取過程中的手指預(yù)成型神經(jīng)通道[12]。在該通道中，手勢用一個二自由度的系統(tǒng)來模擬，這個系統(tǒng)與系統(tǒng)效應(yīng)(w1,w2)的時間比重有關(guān)。其中w1和w2是用于產(chǎn)生各種手勢的兩個協(xié)同時間比重，產(chǎn)生方式如下所示：

θ=S1w+S2

(1)

其中，θ表示仿人運(yùn)動手模型具有15個自由度的向量；S1是一個15*2的矩陣，這個矩陣含有一個作為列向量的兩協(xié)同作用的數(shù)字模型；S2是一個偏置向量，具體的原理已經(jīng)由Santello說明過[13]。

1.3 DIRECT模型

負(fù)責(zé)手臂移動的DIRECT模型是一種自組織神經(jīng)網(wǎng)絡(luò)模型，該模型解釋了作為人類達(dá)到行為特點(diǎn)的靈活性和強(qiáng)大性的許多方面。模型的中心是對目標(biāo)導(dǎo)向控制的視覺、空間以及運(yùn)動表示的形成方式進(jìn)行分析。

DIRECT模型主要實(shí)現(xiàn)從空間方向到關(guān)節(jié)旋轉(zhuǎn)的坐標(biāo)變換。模型主要包括兩個部分，一是處理階段的流程，該階段允許外部目標(biāo)位置在到達(dá)任務(wù)時引導(dǎo)末端執(zhí)行器位置的變化。首先，必須計(jì)算目標(biāo)的空間坐標(biāo)。在DIRECT模型中，目標(biāo)位置的三維體心表示通過神經(jīng)網(wǎng)絡(luò)來計(jì)算，該神經(jīng)網(wǎng)絡(luò)由視覺，眼部位置以及頭部位置信息組成。利用視網(wǎng)膜，眼運(yùn)動，頸部運(yùn)動信號來完成變換的神經(jīng)網(wǎng)絡(luò)曾由Greve等[14]說明過。然后，空間差分向量(DV)通過比較目標(biāo)位置表示與末端執(zhí)行器位置的表示來計(jì)算，在相同體心坐標(biāo)系中測量。空間差分向量編碼了方向和大小信息。它指定了所需的空間位移，使端部執(zhí)行器與目標(biāo)接觸。第三，空間到運(yùn)動轉(zhuǎn)換計(jì)算了關(guān)節(jié)角度的變化，或旋轉(zhuǎn)，該旋轉(zhuǎn)使末端執(zhí)行器沿著空間差分向量移動到目標(biāo)位置。因?yàn)檫@個轉(zhuǎn)換計(jì)算了產(chǎn)生所需空間運(yùn)動方向的關(guān)節(jié)旋轉(zhuǎn)，也可以被稱為direction-to-rotation轉(zhuǎn)換。計(jì)算合適的關(guān)節(jié)角度變化需要空間DV的方向和現(xiàn)在關(guān)節(jié)配置的信息。因此direction-to-rotation階段的來自編碼關(guān)節(jié)角度階段的另一個輸入也被進(jìn)行了描述。最后，在前饋流程的第四個主要階段通過direction-to-rotation信號完成角度遞增或者遞減的整合。該階段的輸出指定所有關(guān)節(jié)的角度設(shè)置，從而控制末端執(zhí)行器的位置。為了確保指定的關(guān)節(jié)角度變化和實(shí)際執(zhí)行器位置變化之間的緊密聯(lián)系，需要一個方案來解決逆動力學(xué)問題。該討論存在一個假設(shè)，就是該問題可以通過額外的神經(jīng)回路來解決，如由Bullock and Grossberg在FLETE[15]模型中分析過的脊髓和小腦電路。

第二部分是三個不同的反饋回路。第一個回路用關(guān)節(jié)角度積分來更新direction-to-rotation轉(zhuǎn)換。關(guān)節(jié)角度積分也用來更新多模式階段，該階段可以使用關(guān)節(jié)配置輸入或視覺上的輸入來計(jì)算端部執(zhí)行器的空間坐標(biāo)。這需要一個中間運(yùn)動-空間轉(zhuǎn)換來將關(guān)節(jié)配置信息轉(zhuǎn)化成用于軌跡形成的空間坐標(biāo)系。末端執(zhí)行器位置的空間表示是相對于用來計(jì)算空間DV的目標(biāo)位置空間表示的，從而關(guān)閉第二反饋回路。本體感覺信息也可以在這些性能中使用，形成額外的反饋回路(圖中未示出)，從而增加剛剛討論的兩個回路。第三個也是最長的反饋回路，是存在于可見末端執(zhí)行器時的一個外部循環(huán)。它的空間坐標(biāo)能夠通過將其視網(wǎng)膜圖像轉(zhuǎn)化為一個三維體心空間表示來計(jì)算。它被用于多模式階段，在多模式階段可以將關(guān)節(jié)配置輸入相結(jié)合來估計(jì)末端執(zhí)行器位置。

總之，在運(yùn)動周期中，目標(biāo)位置和末端執(zhí)行器的位置之間的任何差異都會在空間DV階段被記錄，空間DV階段的輸出轉(zhuǎn)換成相應(yīng)的關(guān)節(jié)旋轉(zhuǎn)。隨著關(guān)節(jié)旋轉(zhuǎn)，內(nèi)部反饋確保direction-to-rotation轉(zhuǎn)換將會被調(diào)整以反映新的關(guān)節(jié)配置。隨著運(yùn)動的進(jìn)行，無論是到多模態(tài)階段的內(nèi)部或外部反饋都將更新末端執(zhí)行器位置的內(nèi)部表示。因?yàn)檫@種在目標(biāo)方向上，空間DV上變化的表示被逼近于零。當(dāng)末端執(zhí)行器位置和目標(biāo)位置的內(nèi)部空間表示相一致以及空間DV等于零時，該移動將自我終止。

如上所述，內(nèi)部和外部反饋回路是為了更新末端執(zhí)行器位置的內(nèi)部表示而存在的。內(nèi)部循環(huán)更快，而且可以用來避免滯后的不穩(wěn)定性。因此，通過內(nèi)部反饋循環(huán)更新在快速移動或者較慢運(yùn)動高速度段時是最好的。但是為了準(zhǔn)確度，較慢的視覺反饋是可取的。這些考慮可以提供兩方面的優(yōu)化性能。首先，當(dāng)移動速率低時，可以使視覺反饋占主導(dǎo)地位，當(dāng)移動速率高時，內(nèi)部反饋占主導(dǎo)地位。其次，它可以在運(yùn)動過程中進(jìn)行速度分配，從而允許為了進(jìn)行準(zhǔn)確視覺引導(dǎo)的終端低速階段。

2 視覺遮擋對抓握孔徑的影響

抓握動作是日常生活中的一種典型動作。Jeannerod提出，抓握動作由兩個主要部分組成：傳輸組件和控制(抓握)組件。在抓握組件系統(tǒng)中，首先手指會逐漸打開，之后會根據(jù)被抓握的物體尺寸形成合適的結(jié)構(gòu)，然后繼續(xù)張大以達(dá)到一個比目標(biāo)物體尺寸更大的最大值，也就是峰值抓握孔徑，然后開始閉合直至接觸到物體表面。已經(jīng)有研究表明，在抓握過程中視覺缺失時，峰值抓握孔徑(PGA)會明顯增大[16]，因此PGA被認(rèn)為是抓握過程中在線視覺影響的表征。雖然不清楚為什么抓握孔徑會發(fā)生超調(diào)現(xiàn)象，或者說為什么缺少在線視覺時，PGA會變得更大，一種可能的原因就是抓握孔徑的變化可以允許運(yùn)動過程中的誤差以及防止手指與目標(biāo)物體之間的碰撞[17]。

為了更直觀地了解視覺的影響，可以進(jìn)行下面這樣一個實(shí)驗(yàn)。實(shí)驗(yàn)者配備有液晶快門護(hù)目鏡并以一種舒適的姿勢坐在桌子前面，如圖2所示。目標(biāo)物體(c)擺放在距離實(shí)驗(yàn)者50 cm的地方，開始位置(a)與實(shí)驗(yàn)者右肩在一條直線上，并放有一個壓力感覺開關(guān)。用兩個圓柱體(直徑為4 cm或者6 cm，高為11 cm)作為目標(biāo)物體。電磁運(yùn)動跟蹤傳感器用于檢測拇指，食指以及手腕的位置，兩個直徑1 cm的球形微型接收器連接到拇指和食指的指尖，一個立方體的接收器(b)(寬2.8 cm，長度2.3 cm，高1.5 cm)附在手腕上。每個接收器的時間分辨率為120點(diǎn)/秒(每個接收器連接到每個系統(tǒng)的電子單元)，空間分辨率為0.8 mm。液晶快門眼鏡大約3 ms變透明，約20 ms變成不透明。實(shí)驗(yàn)者需要將圓柱體從c移動到d處。

圖2 視覺遮擋實(shí)驗(yàn)裝置

實(shí)驗(yàn)前，參與者將右手放在起始位置，食指與拇指相互接觸，此時的眼鏡是不透明的。當(dāng)接受到一個go信號時，眼鏡變得透明，之后實(shí)驗(yàn)者就開始移動手臂。整個運(yùn)動過程持續(xù)的時間為1 100 ms。接著根據(jù)實(shí)驗(yàn)者視覺被遮擋的時間劃分為六種情況：完全沒有視覺(NV)；從150 ms的時候開始關(guān)閉眼鏡(150S)；從350 ms的時候關(guān)閉眼鏡(350S)；從500 ms的時候開始關(guān)閉眼鏡(500S)；從700 ms的時候開始關(guān)閉眼鏡(700S)；整個過程眼鏡都是透明的(FV)。每個實(shí)驗(yàn)者都需要進(jìn)行32次練習(xí)實(shí)驗(yàn)以熟悉任務(wù)并確認(rèn)所要執(zhí)行任務(wù)的細(xì)節(jié)。實(shí)驗(yàn)數(shù)據(jù)如圖3所示。

圖3 六種情況下的各個運(yùn)動學(xué)參數(shù)

從圖3的數(shù)據(jù)可以看出，遮擋的時間越長，最大抓握孔徑就會越大。由此可以得出，視覺遮擋將會導(dǎo)致抓握孔徑變大，因此在構(gòu)建的模型中需要增大手指預(yù)成型時的最大抓握孔徑以補(bǔ)償視覺的不確定性，從而實(shí)現(xiàn)視覺遮擋下的抓握。

3 新模型的構(gòu)建

3.1 視覺遮擋下的最大孔徑計(jì)算模型

根據(jù)主成分分析法，Schlicht和Schrater認(rèn)為[18]，當(dāng)目標(biāo)物體放在不同的可見位置時，只有一個主要因素可以解釋伸手抓握過程中手指運(yùn)動軌跡的差異，這個因素可以通過手的孔徑大小來表示。因此，應(yīng)該對拇指和食指之間的抓握孔徑而不是每個手指的運(yùn)動進(jìn)行建模?？刂谱ノ湛讖降膭幼髦噶钤谟醒舆t和干擾的情況下被傳送到末端執(zhí)行器(手)，然后抓握孔徑發(fā)生變化。

同時，運(yùn)動命令被復(fù)制并發(fā)送到狀態(tài)估計(jì)器，這個過程毫無延遲，同時身體運(yùn)動狀態(tài)(抓握孔徑)也會被模型所估計(jì)。所估算的抓握孔徑與感覺反饋進(jìn)行比較，而感覺反饋來源于視覺和抓握孔徑實(shí)際感受。估計(jì)誤差被用來糾正對身體狀態(tài)的估計(jì)。然后根據(jù)預(yù)測的身體狀態(tài)和估計(jì)的不確定性來生成運(yùn)動指令。視覺所觀察到的目標(biāo)物體的大小及其不確定性也被用來生成運(yùn)動指令。

3.2 視覺遮擋下手勢抓握模型的構(gòu)建

為了應(yīng)對視覺不確定性對手勢抓握的影響，可以將上述模型應(yīng)用于Vilaplana的模型中，構(gòu)建出新的模型，在視覺被遮擋的情況下適當(dāng)增大峰值抓握孔徑以避免手與目標(biāo)物體之間的碰撞，從而順利完成抓握。新的模型如圖4所示。

圖4 視覺遮擋下的手勢抓握模型

4 抓握孔徑的計(jì)算

4.1 抓握孔徑模型

為了對抓握孔徑進(jìn)行計(jì)算，首先需要對抓握過程建模，模型如圖5所示。手沿y軸從起始位置移動到目標(biāo)位置，手指孔徑沿著x軸打開，考慮到手和目標(biāo)物體的不確定性，為了避免伸手抓握過程中不希望出現(xiàn)的碰撞，抓握孔徑必須有安全冗余。物體在x軸的位置和物體直徑分別記為x0、s0，物體右邊邊緣位置是x0+s0/2。手的位置和抓握孔徑大小分別被記為xh和a，物體右邊手指的位置是xh+a/2。為了避免手指與物體發(fā)生碰撞，手指必須在物體邊緣的右邊，即x0+s0/2

圖5 抓握孔徑模型

(2)

這是一個累積分布函數(shù)，用來描述在有高斯噪聲的情況下，抓握孔徑a大于目標(biāo)物體s0的概率。

為了在不確定情況下完成抓握動作，CNS必須考慮發(fā)生碰撞的風(fēng)險(xiǎn)。如果考慮一個特殊概率Ф，CNS令其為成功率，所要獲得的抓握孔徑就可以由這個公式計(jì)算得出：a*=Ф-1(Ф,s0,σ)。

注意，Ф是CNS在完成動作前在有不確定性和變化的情況下(即σ2)預(yù)測的概率，這個不確定性和變化也是由CNS估算出來的。這個Ф并不代表抓握動作真實(shí)的成功率。這里，孔徑a*為目標(biāo)孔徑。一旦目標(biāo)孔徑確定，控制器就生成動作指令來移動抓握孔徑靠近目標(biāo)孔徑。

4.2 孔徑尺寸計(jì)算

抓握動作可以由一個狀態(tài)空間表達(dá)式進(jìn)行建模：

xt+Δt=Fxt+Dut+Gwt

(3)

(4)

(5)

(6)

(7)

控制器此時確定的不是整個軌跡，而是t時刻的瞬間加速度?；诘仁?，t+Δt時刻抓握速度是：

(8)

ut=b1+b2Δt

(9)

雖然動作指令是由現(xiàn)有孔徑和目標(biāo)孔徑計(jì)算得出，但是CNS并不知道此時身體動作的真實(shí)狀態(tài)。身體動作的狀態(tài)信息必須通過感官系統(tǒng)獲得。在這里，抓握孔徑是通過視覺和本體感受得出的。

yt=Hxt+vt

(10)

(11)

(12)

(13)

這些等式基于估算的身體狀態(tài)產(chǎn)生動作指令。

現(xiàn)實(shí)中的大腦-身體系統(tǒng)在動作指令上有傳輸延遲和感官反饋回路。當(dāng)動作延遲和感官延遲分別用dm和ds表示時，式3和式10可以被修改為：

xt+Δt=Fxt+Dut-dm+Gwt

(14)

t時刻產(chǎn)生的動作指令必須基于t+dm時刻的身體狀態(tài)(估算值)，這里式12和式13被修改為：

(15)

(16)

這個等式表明此刻大腦意識到的身體狀態(tài)提前于真實(shí)的身體狀態(tài)。這個函數(shù)對可預(yù)測重映射十分重要，其中有計(jì)劃地掃視運(yùn)動的神經(jīng)表達(dá)式被加以修改去彌補(bǔ)眼睛位置未來的變化。同樣的，在伸手抓握過程中，抓握孔徑也必須在動作指令到達(dá)執(zhí)行器之前被預(yù)測到。

5 實(shí)驗(yàn)仿真

實(shí)驗(yàn)將對新模型進(jìn)行仿真，并將實(shí)驗(yàn)結(jié)果與Vilaplana模型中得出的結(jié)果進(jìn)行比較。Vilaplana模型是在視覺可見的情況下進(jìn)行的仿真，將兩者進(jìn)行對比可以得出新模型的各項(xiàng)性能。仿真實(shí)驗(yàn)中，分別將目標(biāo)大小設(shè)置成6 cm直徑的圓柱體，通過幾組實(shí)驗(yàn)對比，觀察手臂的移動速度、抓握孔徑以及總的移動時間的變化情況。實(shí)驗(yàn)情況如圖6所示：

(a)抓握孔徑變化情況

(b)抓握速度變化情況

圖6(a)中數(shù)據(jù)記錄的是在視覺遮擋后抓握孔徑的變化情況?？芍趯σ曈X進(jìn)行遮擋后，模型的最大抓握孔徑變大了，這樣就有了一定的安全冗余，避免了手與物體之間的碰撞，模型通過增大抓握孔徑補(bǔ)償了感官上的不確定性。

圖6(b)是為了驗(yàn)證該模型的改進(jìn)對手臂移動過程的影響，記錄改進(jìn)前后的手腕速度。從圖中可以看出，當(dāng)模型改進(jìn)之后，手腕速度的變化并不是很大，只是有輕微的振蕩。由此可見，視覺遮擋下的手臂移動也能夠正常進(jìn)行。

6 結(jié)束語

通過對Vilaplana模型進(jìn)行深入研究，考慮到視覺遮擋這一特殊情況，對手指預(yù)成型部分進(jìn)行改進(jìn)，構(gòu)建出視覺遮擋下的手勢抓握模型。實(shí)驗(yàn)結(jié)果證明，模型的改進(jìn)并不會對手臂移動過程產(chǎn)生較大影響，而且通過增大抓握孔徑來補(bǔ)償視覺的不確定性，使其能夠在缺少視覺反饋的情況下完成手臂移動以及抓握動作，大大擴(kuò)展了模型的應(yīng)用范圍。

但是，該模型仍然存在許多問題，需要進(jìn)一步完善，對于心理學(xué)和認(rèn)知學(xué)方面的東西涉及不多，模型的智能化程度還需要一定提高。