李曉博 于會敏 孟昭軍 劉鍇旭 陶紅穎

（遼寧科技學(xué)院電氣與信息工程學(xué)院，遼寧本溪，117004）

0 引言

據(jù)《中國自閉癥教育康復(fù)行業(yè)發(fā)展狀況報告》顯示，中國自閉癥人群數(shù)量超過千萬，其中0～14歲兒童患者人數(shù)超過200萬[1]。據(jù)Coeckelbergh 等人的調(diào)查，74%的自閉癥兒童相比與人交流，更愿意接受可愛型機器人[2]。有些機器人造型雖然不規(guī)則，卻有討人喜歡的外觀，讓自閉癥兒童感到親切且易于接受。因此，本文以NAO機器人為平臺，結(jié)合視覺、語音、觸覺等多通道的人機交互技術(shù)，將人形機器人應(yīng)用到自閉癥兒童社會交往課程中。

1 國內(nèi)外研究現(xiàn)狀

1976年，在機器人誕生之初，國外有研究者進行了一項大膽的嘗試：Weir等人利用機器人對一名自閉癥兒童進行干預(yù)訓(xùn)練，最后取得了良好效果。之后，隨著智能機器人的出現(xiàn)，更多的研究人員開始利用智能機器人輔助治療自閉癥兒童[3]。Dautenhahn等人研究認為，機器人在和自閉癥兒童交流時，會給自閉癥兒童營造出一種可預(yù)測的環(huán)境，這種安全又穩(wěn)定的環(huán)境對穩(wěn)定自閉癥兒童的情緒十分有利，同時也非常適合發(fā)展自閉癥兒童的社交技能[4]。以上這些研究都表明：機器人在干預(yù)治療自閉癥兒童過程中具有潛力和優(yōu)勢。

目前國外的相關(guān)研究方向多集中于模仿、引發(fā)行為等。在模仿方向上，Warren等人曾設(shè)計過一個2×2的“兩因素混合”實驗，每個因素有兩個水平，一個水平是有機器人的場景和真人場景，另一個水平是自閉癥兒童和正常兒童。實驗讓每名兒童模仿機器人或真人，來對比測試自閉兒童和普通兒童模仿機器人或者真人時的效果[5]。在引發(fā)行為方向上，Dautenhahn等人在研究中引入了具有觸覺和視覺交流的機器人，讓自閉癥兒童觀察機器人唱歌、跳舞，引發(fā)眼神交流和注視行為[6]。因為眼神可以傳達人的注意力和情緒，而這是自閉癥兒童極為缺少的一項能力。

在國內(nèi)，南開大學(xué)的研究者挑選了20名自閉癥兒童進行人機交互社交場景的眼動實驗，研究發(fā)現(xiàn)自閉癥兒童和正常兒童對人機交互社交場景展現(xiàn)出相同的注意模式，證明機器人可以引發(fā)自閉癥兒童的正常的注意模式[7]。

本文根據(jù)自閉癥兒童的性格差異（如社交障礙表現(xiàn)、自身特點、行為習(xí)慣等），利用多通道人機交互技術(shù)制定出個性化方案設(shè)計、開發(fā)社會交往課程，以人機交互模式干預(yù)治療自閉癥兒童的社會交往能力缺失癥狀。

2 多通道的人機交互

多通道人機交互就是將視覺、語音、觸覺等多個感知通道綜合在一起，實現(xiàn)NAO機器人像人一樣通過多種途徑與自閉癥兒童進行互動，進而激發(fā)自閉癥兒童的興趣。多通道的人機交互技術(shù)使NAO能更加靈活、更加智能地干預(yù)治療自閉癥兒童。

2.1 視覺交互通道

視覺交互通道實現(xiàn)了讓NAO機器人“看到”交互者的功能。NAO 的頭部有2個作為視覺傳感器的攝像頭，一個是前額攝像頭，主要用于拍攝遠景圖像，另一個是嘴部攝像頭，主要用于拍攝機器人下方的圖像。

與人類的視覺處理不同，NAO需要對拍攝到的圖像進行計算處理，以便了解自己看到的是什么。NAO的視覺交互主要依賴于ALVideoDevice（視覺處理）模塊和ALFaceDetection（臉部檢測）模塊。其中，ALVideoDevice模塊負責(zé)對相機獲取的源圖像進行前期處理，是其他視覺模塊的基礎(chǔ)；ALFaceDetection是人機交互的重要模塊，用于檢測和識別人臉[8]。調(diào)用ALFaceDetection模塊后，該模塊會在相機已獲取到圖像中搜索人臉并計算人臉特征值，如圖1所示，并將特征值寫入NAO的數(shù)據(jù)庫中。

圖1 人臉特征值

圖2 為多通道人機交互實例，其中，視覺交互通道模塊調(diào)用了選擇照相機指令盒、視覺掃描指令盒、臉部檢測指令盒、開關(guān)指令盒、說話指令盒。其中，視覺掃描指令盒采用時間軸編寫，通過設(shè)置NAO頭部的關(guān)節(jié)，使得頭部可以朝向左和右，把視覺掃描指令盒的輸入和輸出接在一起，就可以實現(xiàn)NAO的搖頭功能，如圖3所示。NAO可以尋找四周的目標人物，其頭部擺動范圍在-119.5°～119.5°之間。

當NAO上的相機掃描到自閉癥兒童時，NAO會主動向?qū)Ψ秸f：“你好啊，小朋友”，并試圖和對方握手。

圖2 多通道人機交互實例

圖3 NAO搖頭仿真

2.2 語音交互通道

語音交互通道可以實現(xiàn)機器人與自閉癥兒童進行對話交流的功能，讓NAO具有“說”和“聽”的能力。NAO的頭部裝有4個靈敏度為20mV/Pa±3dB at 1kHz、頻率范圍在150Hz～12kHz的定向麥克風(fēng)，使得機器人在獲取外界聲音的同時，還可以辨別出聲源的方向。每個麥克風(fēng)都對應(yīng)一個聲道，并且具有獨立的采樣和編碼電路[9]。

NAOqi（NAO機器人內(nèi)部的操作系統(tǒng)）可提供ALAudioRecorder（錄音）模塊，其錄音的音頻文件保存的文件格式為WAV或OGG[10]，語音識別流程如圖4所示。

圖4 語音識別流程圖

NAO的ALSpeechRecognition(語音識別)算法采用美國NUANCE公司的語音識別引擎，可以識別預(yù)先定義的詞和短語語音。由于NAO本身的中文語音識別有一定的局限性，所以筆者在科大訊飛股份有限公司的官網(wǎng)申請語音識別WebAPI（網(wǎng)絡(luò)應(yīng)用程序編程接口），再利用APPID（接口賬號）和接口密鑰組裝了一個http請求頭（這需要根據(jù)開發(fā)文檔來更改音頻參數(shù)以得到所需要的音頻），然后把NAO的IP地址添加到該官網(wǎng)上，最終通過調(diào)用語音識別WebAPI的接口提高了NAO對中文的語音識別的準確度[11]。

當Speech Reco（語音識別模塊）聽到聲音輸入時，它會根據(jù)設(shè)定的詞庫做出相應(yīng)的回答。如果輸入的聲音信號與Speech Reco中設(shè)定的詞庫相同，則信號會傳入到利用Python語言編程好的語音指令盒中，如圖5所示；如果聲音信號和Speech Reco的詞庫不同，那么信號就會傳入到說話指令盒中并輸出所設(shè)定的對話。該模塊設(shè)置的交互語言為中文和英文。

NAO機器人能夠引導(dǎo)自閉癥兒童進行一些有趣的對話和游戲。語音交互模塊中還設(shè)置了幾個有趣的故事，當自閉癥兒童說出故事名字時，NAO便會把這個故事講給自閉癥兒童聽。當自閉癥兒童問NAO：“你能給我跳個舞嗎?”NAO就會說：“當然，唱、跳、rap（說唱）、踢足球，我樣樣精通”。接下來自閉癥兒童就可以欣賞NAO跳的舞蹈了。

圖5 語音代碼

2.3 觸覺交互通道

觸覺交互原理是通過依靠NAO的各種傳感器（如紅外線、超聲波、溫度傳感器以及頭部、手部、胸部的觸摸傳感器等），感知外部信息。當自閉癥兒童觸碰到NAO的頭部或者腳部等部位的傳感器時，NAO會做出相應(yīng)的反應(yīng)。

NAO的觸覺交互主要依賴于ALTouch（觸覺)模塊和ALSonar（聲吶）模塊。當自閉癥兒童觸碰到觸摸傳感器時，傳感器讀出的值為1.0，NAO做出的反應(yīng)是根據(jù)編寫的程序而定；否則讀出的值為0.0，此時表示沒有觸碰到，NAO不作出反應(yīng)。當自閉癥兒童觸摸NAO的腳步傳感器時，NAO眼睛和耳朵上LED燈的顏色會發(fā)生改變，同時還可以讓NAO切換到不同形態(tài)。當NAO的腦袋被觸摸時，NAO會說：“是誰在摸我的腦袋，我好癢啊”。自閉癥兒童還可以拉著NAO的手，讓NAO跟著他們一起走。

ALSonar（聲吶）模塊用于超聲波的測距。超聲波系統(tǒng)有2個發(fā)射器和2個接收器，二者的頻率為40kHz，敏感度為- 86dB，分辨率為1cm，檢測范圍為25mm～2.55m。當超聲波向某一方向發(fā)射時，發(fā)射的同時開始計數(shù)，當碰到障礙物時信號反射回來，接收器接收到信號時停止計數(shù)。聲波在空氣中傳播的速度是340m/s，計時器記錄的時間是t，故可以計算出發(fā)射點到障礙物的距離為s=340t/2[12]。NAO在行走過程中，聲吶模塊會檢測與前方障礙物的距離，當障礙物與機器人的距離小于設(shè)定的參數(shù)值時，機器人會轉(zhuǎn)向左邊或者右邊。

3 實驗分析

本文的實驗過程是把NAO機器人應(yīng)用到自閉癥兒童的戶外課堂中。研究小組將5名10～14歲的自閉癥兒童分5個組，分別與1名正常兒童和1個NAO機器人做短時互動交流，最后進行對比實驗，如圖6所示。

圖6 NAO與自閉癥兒童互動實驗

實驗數(shù)據(jù)表明，自閉癥兒童與NAO機器人互動的時間明顯多于與正常兒童互動的時間。5組自閉癥兒童的實驗數(shù)據(jù)如圖7所示。研究結(jié)果表明，自閉癥兒童對NAO機器人更有好奇心，與其互動的意愿更強，通過適合的自閉癥干預(yù)治療模塊可以提高自閉癥兒童的社交能力。

圖7 實驗數(shù)據(jù)

4 結(jié)論

本文以NAO機器人為平臺，結(jié)合了視覺交互、語音交互、觸覺交互等多通道的人機交互技術(shù)，設(shè)計了一套相應(yīng)的干預(yù)治療自閉癥模塊。其中，在視覺方面，通過ALFcaeDetectionmo算法來識別人臉；在語音方面，通過調(diào)用科大訊飛的語音識別API完善了NAO的在線語音識別功能，利用對話程序?qū)AO進行控制；在觸覺方面，利用ALTouch算法實現(xiàn)NAO與人的肢體交互。最后通過對NAO機器人干預(yù)治療自閉癥兒童的康復(fù)訓(xùn)練模塊進行驗證，實驗結(jié)果表明，自閉癥兒童對NAO更好奇，NAO能夠激發(fā)自閉癥兒童與外界溝通的意愿。

NAO機器人干預(yù)治療自閉兒童的人機交互應(yīng)用研究中涉及多方面的理論、方法和技術(shù)。雖然筆者在NAO與人對話方面編寫了相關(guān)的模塊，但是目前需要開發(fā)更多適合與自閉癥兒童對話交流的模塊以形成更完善的數(shù)據(jù)庫，同時也需要更多特定情景和不同類型自閉癥兒童的模塊。本項研究還需要在實際應(yīng)用中不斷積累和完善，做進一步的研究和開發(fā)。