這是一款便攜式獨(dú)立神經(jīng)假肢系統(tǒng)，手勢識(shí)別準(zhǔn)確率超95%，原本截掉手臂、失去手指的患者，可讓患者像正常人一樣玩電子游戲。

這不是簡單的機(jī)械手，而是深度學(xué)習(xí)和機(jī)械臂硬件的結(jié)合。近年來，深度學(xué)習(xí)在分析、解釋和解碼生物醫(yī)學(xué)數(shù)據(jù)方面的應(yīng)用正在穩(wěn)步發(fā)展。在迅速發(fā)展的腦機(jī)接口和神經(jīng)假體領(lǐng)域，基于深度學(xué)習(xí)的神經(jīng)解碼器已成為創(chuàng)造下一代靈巧、易操作的神經(jīng)假體的最被看好的方法。

簡單來說，神經(jīng)解碼器就是一種能夠識(shí)別大腦神經(jīng)活動(dòng)的人造裝置。對于因神經(jīng)系統(tǒng)受損而無法正?？刂浦w的人來說，它可以解碼大腦活動(dòng)，傳遞大腦向肢體發(fā)出的控制指令，從而實(shí)現(xiàn)對配套神經(jīng)假肢的操控。

相比普通假肢，神經(jīng)假肢可以由“意念”控制，也就是直接接受大腦發(fā)出的指令，顯然更加靈活且符合人類的直覺。

隨著人工智能和深度學(xué)習(xí)技術(shù)的發(fā)展，科學(xué)家開始嘗試將其應(yīng)用在各個(gè)領(lǐng)域，假肢控制也不例外，以主流CNN和RNN等神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的算法都能用來驅(qū)動(dòng)神經(jīng)解碼器。

不過，高性能深度學(xué)習(xí)模型對硬件的運(yùn)算能力提出了很高的要求，而且通常依賴GPU以支撐其大規(guī)模的并行運(yùn)算。這不僅對縮小硬件尺寸和降低功耗提出了挑戰(zhàn)，更是限制了假肢及其神經(jīng)解碼系統(tǒng)的便攜性和易用性，使其難以應(yīng)用在臨床上。

為了解決這一問題，美國明尼蘇達(dá)大學(xué)楊知教授的研究團(tuán)隊(duì)開發(fā)出本次便攜式獨(dú)立神經(jīng)假肢系統(tǒng)，主要部件包括基于深度學(xué)習(xí)的神經(jīng)解碼器，英偉達(dá)letson邊緣計(jì)算套件，Neuronix神經(jīng)接口微芯片，連接神經(jīng)纖維的束內(nèi)微電極陣列，定制的PCB電路板和i-Limb機(jī)械手。

多年成果融為一體

除了英偉達(dá)J etson套件，電極陣列和機(jī)械手部分組件，剩下的成果或是最新努力，或是研究團(tuán)隊(duì)成員此前完成的成果，一步步積累和融合成了今天的樣子。研究成果以預(yù)印本的形式發(fā)表于Arxiv上。

Scorpius系統(tǒng)由Neuronix神經(jīng)芯片，電極連接器，穩(wěn)壓器和Microsemi的現(xiàn)場可編程門陣列（FPGA）等組件構(gòu)成。每套系統(tǒng)包含八個(gè)記錄信道，并且配有頻率整形放大器和高精度模數(shù)轉(zhuǎn)換器，可以捕捉極其微弱的神經(jīng)信號(hào)并排除干擾信號(hào)。如果需要更多的通道數(shù)量，還可以部署多個(gè)設(shè)備。

最終，組合而成的機(jī)械手可以套在殘臂上，參與測試的殘障人士成功實(shí)現(xiàn)了用意念控制機(jī)械手指，做出握拳、拿捏、指向、搖滾等手勢，系統(tǒng)也可以準(zhǔn)確識(shí)別其控制的是哪根手指。

此外，給正常人的小臂植入電極后，機(jī)械手也可以捕捉神經(jīng)控制信號(hào)，實(shí)現(xiàn)隔空遙控。

“據(jù)我們所知，這是最先進(jìn)的、通過將基于深度學(xué)習(xí)的神經(jīng)解碼器和便攜式計(jì)算平臺(tái)結(jié)合，從而實(shí)現(xiàn)神經(jīng)假肢?！毖芯咳藛T在論文中表示。

為了實(shí)現(xiàn)對機(jī)械手的操控，研究人員必須先捕獲并解碼大腦傳遞出的神經(jīng)信號(hào)。

楊知表示，將深度學(xué)習(xí)和硬件結(jié)合，并將其應(yīng)用于疾病治療，是本次成果的亮點(diǎn)。其主要涉及的技術(shù)是神經(jīng)解碼，這在古代叫做“讀心術(shù)”，即搞清楚一個(gè)人的內(nèi)心想法。人類的思考和行動(dòng)是基于大量的神經(jīng)活動(dòng)。這些活動(dòng)會(huì)在體內(nèi)留下痕跡，比如產(chǎn)生微弱的電信號(hào)。這時(shí)就可用到深度學(xué)習(xí)的優(yōu)勢，其優(yōu)點(diǎn)在于可根據(jù)大量的電信號(hào)，來產(chǎn)生類似黑盒子的計(jì)算模型，從而映射出信號(hào)和結(jié)果之間的關(guān)系。

硬件方面，他們使用了一套名為Scorpius（天蝎座）的神經(jīng)接口系統(tǒng)，是論文作者Anh Tuan Nguyen和Jian Xu等人在2020年發(fā)表的研究成果。

該系統(tǒng)隨后會(huì)將捕捉到的原始神經(jīng)數(shù)據(jù)實(shí)時(shí)傳輸給letson Nano套件。

letson平臺(tái)是英偉達(dá)專為邊緣計(jì)算開發(fā)的AI平臺(tái)，其中的Nano系列套件自帶TegraX1片上系統(tǒng)（SoC），配有ARM A57四核CPU和128核英偉達(dá)Maxwell GPU。

經(jīng)過研究人員的定制，該套件可以運(yùn)行經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型，負(fù)責(zé)將神經(jīng)信號(hào)實(shí)時(shí)翻譯成對應(yīng)的大腦指令，例如要控制哪根手指，做出什么樣的動(dòng)作。它能在10w和5W功率模式下分別運(yùn)行2小時(shí)和4小時(shí)。

機(jī)械手本身使用了SSUr公司的i-Limb產(chǎn)品，不過原裝驅(qū)動(dòng)被研究人員替換成了自己開發(fā)的手部控制單元，可以直接接收深度學(xué)習(xí)模型發(fā)出的指令并操控手指內(nèi)的電機(jī)。

在數(shù)據(jù)處理方面，研究人員用Python實(shí)現(xiàn)了三個(gè)線程，分別用于數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理和電機(jī)解碼。

數(shù)據(jù)獲取線程負(fù)責(zé)從兩個(gè)或更多的Scorpius設(shè)備上獲取數(shù)，并且將它們與對應(yīng)的信道對齊。對齊后的神經(jīng)數(shù)據(jù)會(huì)被輸入預(yù)處理線程，經(jīng)過過濾和降采樣后，再提取其中包含的特征。

研究人員一共定義了14種特征函數(shù)，提取出的特征數(shù)據(jù)會(huì)被放入LIFO（后進(jìn)先出）序列中，所有數(shù)據(jù)都會(huì)被實(shí)時(shí)傳輸?shù)诫姍C(jī)解碼線程中。處理不了或來不及處理的神經(jīng)數(shù)據(jù)會(huì)被直接丟棄，以確保解碼線程能夠始終接收到最新的數(shù)據(jù)。

在電機(jī)解碼的過程中，會(huì)基于最新的特征數(shù)據(jù)進(jìn)行深度學(xué)習(xí)推理，使用的深度學(xué)習(xí)模型是RNN架構(gòu)，每個(gè)模型包含160萬個(gè)參數(shù)。

該設(shè)備最多支持同時(shí)部署五個(gè)模型，每個(gè)負(fù)責(zé)一根或更多根手指動(dòng)作的解碼。在實(shí)驗(yàn)中，所有模型都有一樣的架構(gòu)，但使用了不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)了對特定手指及其動(dòng)作的優(yōu)化。

最終的解碼結(jié)果會(huì)輸出到手部控制器上，驅(qū)動(dòng)手指上的電機(jī)執(zhí)行相應(yīng)的指令。

手勢識(shí)別準(zhǔn)確率超95%

在實(shí)際測試中，研究團(tuán)隊(duì)分別對殘障人士和正常人進(jìn)行了測試。楊知告訴DeepTech，本次論文中展示的受試者，在14年前的一次事故中，失去了左手大拇指以外的四個(gè)手指，接下來的8年中他忍受著長期的神經(jīng)痛，夜里經(jīng)常會(huì)被痛醒，直到把整個(gè)左小臂截肢，疼痛才得到緩解。3年前，他加入本次研究小組的測試項(xiàng)目，楊知評(píng)價(jià)他“又無私又勇敢”。

植入設(shè)備后，他可以自由控制義肢，包括其各個(gè)手指，同時(shí)可對義肢產(chǎn)生感知，就好像變成了身體的一部分。

這位受試者告訴楊知：“這個(gè)技術(shù)如果變成產(chǎn)品，就會(huì)有很多栩栩如生的功能，能讓他做各種不同的日常工作，就好像使用自己另一只完好的手一樣。”

結(jié)果現(xiàn)實(shí)，在只使用一個(gè)模型的情況下，10w功率配置的機(jī)械手延遲不到50ms，隨著模型部署數(shù)量提升，延遲最多增加到120ms左右一一這個(gè)程度的延遲是可以感受到的，但對手指的可控程度和靈活性不會(huì)有太大影響。

如果降低到5W功率，其最大延遲會(huì)增加約一倍至220ms左右，考慮到設(shè)備的尺寸、功耗和成本，這個(gè)響應(yīng)速度也是可以接受的。

在識(shí)別準(zhǔn)確率方面，深度學(xué)習(xí)模型的準(zhǔn)確率可以穩(wěn)定在95%～99%之間，其中識(shí)別健全人五指活動(dòng)的準(zhǔn)確率均超過97%，而識(shí)別殘障人士五指活動(dòng)的準(zhǔn)確率也超過95%，表現(xiàn)亮眼。

“我們發(fā)現(xiàn)殘障人士的食指識(shí)別準(zhǔn)確率偏低，這是由較低的神經(jīng)信號(hào)噪聲比導(dǎo)致的?！毖芯咳藛T表示，“在實(shí)際操作中，我們可以引入更多的訓(xùn)練或者訓(xùn)練一個(gè)模型專門控制食指?！?/p>

為了測試機(jī)械手在日常生活中的表現(xiàn)，研究團(tuán)隊(duì)讓一名殘障人士在多個(gè)場景下操作該設(shè)備。結(jié)果顯示它的表現(xiàn)并未受到wi-Fi、手機(jī)和電子設(shè)備的干擾，可以持續(xù)穩(wěn)定的工作。

“我覺得如果這個(gè)設(shè)備經(jīng)過更好地調(diào)試，以一個(gè)消費(fèi)級(jí)產(chǎn)品問世時(shí)，它將會(huì)具備更多的功能，能（讓我）在未經(jīng)思考的情況下完成許多日常操作，”測試者表示，“當(dāng)我想夠到和拿起東西的時(shí)候，我也不需要刻意地去操作它，就像我的真手一樣。我相信它能實(shí)現(xiàn)這一點(diǎn)?！?/p>

當(dāng)然，目前的模型還存在一些不足，在判斷一些手勢時(shí)容易混淆，比如握拳Vs豎起大拇指。

未來，研究團(tuán)隊(duì)計(jì)劃進(jìn)一步優(yōu)化軟件和完善硬件，包括優(yōu)化神經(jīng)網(wǎng)絡(luò)模型，采用真正的多線程來避開Python的全局解釋器鎖，強(qiáng)化Jetson的深度學(xué)習(xí)推理能力，采用在線電機(jī)解碼優(yōu)化等等，從而在便攜的基礎(chǔ)上實(shí)現(xiàn)更低延遲、更高精度的實(shí)時(shí)控制。

未來投入應(yīng)用后，病人使用就像配眼鏡一樣，驗(yàn)光之后配置度數(shù)合適的鏡片和鏡架。同樣，給病人配置合適的機(jī)械臂和神經(jīng)解碼器，也是一樣的思路。

目前，團(tuán)隊(duì)已成立公司對該設(shè)備進(jìn)行成果轉(zhuǎn)化，首先將用于治療殘疾人的疼痛。楊知表示，該神經(jīng)解碼技術(shù)已幫助參與實(shí)驗(yàn)的受試者們，減輕或治愈他（她）們的疼痛。

用患者的話說，“有了這個(gè)系統(tǒng)，我們可以看到我的痛苦是可以量化的，并且可以做些什么……這是對生活的巨大改善……它幾乎無可估量地改善了我的生活質(zhì)量，達(dá)1000%。”楊知還表示神經(jīng)解碼技術(shù)還可以用于治療更多的疾病。一旦通過美國FDA和中國相關(guān)審批，該技術(shù)將產(chǎn)生一個(gè)新的醫(yī)療器械市場，涵蓋很多現(xiàn)在不能被藥物和手術(shù)治愈的疾病。（摘自關(guān)《深科技》）（編輯/費(fèi)勒萌）