譚啟蒙，陳 磊，周永輝，孫沂昆，王耀兵，高 升

（1.北京空間飛行器總體設計部空間智能機器人系統(tǒng)技術與應用北京市重點實驗室，北京100094；2.戰(zhàn)略支援部隊航天工程研究院 十六室，北京100028）

1 引言

近年來，伴隨著人工智能技術的發(fā)展，空間服務機器人已經(jīng)逐步發(fā)展成一種輔助或代替航天員開展多種復雜空間作業(yè)的重要手段，尤其是對空間站在軌服務、深空探測等領域有重要意義［1］。艙內方面，機器人需要輔助航天員完成諸如日常艙內清潔、工具校準、庫存盤點、設備擺放、食物準備、艙內生存環(huán)境（含空氣、水等）質量測試等常規(guī)任務；艙外方面，機器人應具備輔助或代替航天員完成艙外檢測、維修、安裝，艙外狀態(tài)檢查以及星球表面探測等空間任務的能力。在軌人機交互（On?orbit Human Robot Interaction，OHRI）包括航天員與機器人之間的信息互通、物理空間中的行為互動以及兩種交互的集成［2］，是空間服務機器人的核心技術之一。根據(jù)交互過程中二者之間的時空對應關系，OHRI主要分為遠程交互和近程交互兩類［3?5］：前者基于時空分離狀態(tài)，明確航天員與機器人之間的主從關系，航天員根根據(jù)機器人實時采集的操作對象或周圍環(huán)境特征的多模態(tài)信息，主動向機器人發(fā)送運動控制命令，機器人接收用戶指令并完成指定操作任務；后者則凸顯航天員與機器人之間的平等合作關系，機器人能夠自主感知并接收航天員的輸入，其自身的控制系統(tǒng)通過對采集獲得的多模態(tài)傳感信息進行分析、理解和決策，驅動末端執(zhí)行機構完成指定操作或定向移動，同時做出能夠被航天員所覺察的恰當?shù)捻憫蚍答仭?/p>

截至目前，我國對于人機交互技術的研究還處于起步階段，尚無人機交互在軌應用的型號任務。國際空間站在軌人機交互應用的成功案例主要有Robonaut 2（簡稱R2）和Kiribo：R2作為世界上首個艙內服務機器人，先后完成了諸如與航天員在太空中首次握手、人機交互式協(xié)同操作旋鈕、面板、閥門等多次在軌人機交互測試任務［6?7］；Kiribo則完成了在軌與現(xiàn)役日本航天員之間的自然對話與聊天等交互式測試［8］。盡管如此，上述人機交互系統(tǒng)只能完成少數(shù)、固定應用場景下的簡單交互，并未涉及多源、復雜信息融合，具有較大的局限性。因此，如何設計一種自然友好、高效便捷的人機交互系統(tǒng)并提供視、聽、力、位等多模態(tài)交互手段，實現(xiàn)航天員與機器人之間的自然交流、二者默契合作完成空間任務，一直是空間服務機器人在軌應用亟待解決的技術瓶頸之一。

針對上述問題，本文提出一種基于多模態(tài)信息融合的OHRI設計方案，以不同任務類型、環(huán)境條件的應用需求為基礎，構建OHRI整體架構及多模態(tài)信息傳輸機制，設計出航天員與機器人近程、遠程交互方案的硬件配置及信息交互流程，然后從中梳理對應的關鍵技術途徑，并經(jīng)由地面試驗驗證這些技術。

2 需求分析

隨著空間科學技術的發(fā)展，未來復雜環(huán)境空間作業(yè)任務將普遍面臨耗時長、難度大、風險高、環(huán)境惡劣等問題，需要在軌人機交互系統(tǒng)（OHRI）可以使航天員與機器人進行自然、高效、頻繁、多維度地交互，形成一套及時溝通與協(xié)調、相互幫助與支持、彼此監(jiān)督與操控的高效運行管理機制，達到人類高智能與機器高性能的有機結合，實現(xiàn)二者協(xié)同完成任務以提高任務完成的效率并降低風險。鑒于上述應用需求，OHRI應具備以下特點：

1）人機交互體系框架可實現(xiàn)多模態(tài)信息融合，能兼顧遠程交互和近程交互等不同的交互模式；

2）多源信息交互機制應為沉浸式，可以使航天員根據(jù)空間操作任務的應用情景及難易程度合理選擇與機器人的交互方式，并對應明確的從屬關系與職責范疇；

3）在軌遠程交互方式強調航天員與機器人之間的主從關系，要求人機交互系統(tǒng)具備功能如下：

（1）利用機器人身上配置的多源傳感器實時采集表征操作對象或周圍環(huán)境特征的多模態(tài)信息進行三維建模，為航天員提供一種基于混合現(xiàn)實的沉浸式虛擬操控環(huán)境，顯著消除航天員與機器人之間的時空差異問題；

（2）利用多源傳感器準確建立機器人各功能部件與人體各關鍵部位之間的物理映射，使航天員能夠根據(jù)主觀意愿自主操控機器人，并確保二者行為的一致性；

4）在軌近程交互方式建立在同一時空環(huán)境基礎上，更加強調二者之間的平等合作關系，要求人機交互系統(tǒng)具備功能如下：

（1）使機器人能夠對航天員在任意時刻發(fā)出的指令（例如：聲音、手勢、動作等）及時做出恰當?shù)捻憫蚍答仯詽M足時效性要求；

（2）使機器人可以智能識別參與交互航天員的相關信息，自主接收、理解航天員的主觀意圖后，輔助或代替航天員獨立完成某項工作或工作的某一部分項目，滿足協(xié)作性要求，極大地提高人機協(xié)同工作的效率、可靠性和安全性。

3 在軌人機交互系統(tǒng)設計

目前，面向空間服務領域的OHRI任務分配原則是［9］：航天員主要完成機器人難以勝任的隨機性強、復雜程度高、缺乏客觀判據(jù)而只能依賴于主觀經(jīng)驗評判的突發(fā)任務，機器人則執(zhí)行程序性強、成本高、風險大的固有任務。

3.1 體系架構

本文將OHRI體系架構主要歸納為三部分，由底層到高層依次分為傳感層、感知層和行為層。傳感層的主要職能是：完成外界環(huán)境信息的實時采集與無損傳輸；感知層的主要職能是：完成對傳感層信息的實時處理與深度解析；行為層則主要負責將感知層的解析結果直接轉換為指令或參數(shù)，驅動機器人末端執(zhí)行機構完成指定操作或定向移動。

結合圖1，以視覺、聽覺為典型示例，在軌人機交互體系架構中的多模態(tài)信息流的傳輸機制可闡述如下：主要利用傳感層中的多源傳感器為機器人實時獲取有效的視覺、聽覺等多模態(tài)信息，傳輸至感知層，開展諸如特征分類、挖掘、處理、學習、融合等一系列的復雜運算，進而提煉出表征航天員的真實意圖和空間環(huán)境的逼真再現(xiàn)的深度模型，以同時滿足遠程和近程兩種交互方案設計目標，為機器人控制系統(tǒng)提供有效、完整的指令輸入，直接驅動機器人末端執(zhí)行機構執(zhí)行各項空間任務，此時，再次利用多源傳感器跟蹤采集實際的操作結果，實時反饋給航天員用于評判成功與否，最終構建一套完整的航天員與機器人之間穩(wěn)固的雙向交互機制。

3.2 遠程交互設計

在軌遠程交互的硬件設計如圖2。航天員配備頭盔式顯示器、立體聲耳機、降噪麥克風、數(shù)據(jù)手套及其他體感設備等便攜裝置，構建航天員與機器人之間的信息交互通道，其內部信息流遠程交互機制如圖3所示。

遠程交互方案所涉及的多源傳感器、交互設備及其具體功能如下：

1）頭盔式顯示器內置左、右兩個微顯示屏，主要功能包括：

（1）同步顯示機器人頭部左、右目相機采集的在軌空間環(huán)境的圖像視頻信息，為構建航天員的沉浸式虛擬操控環(huán)境提供三維立體視覺反饋信息；

圖2 在軌遠程交互方案設計原理示意圖Fig.2 Schematic diagram of remote interaction de?sign

圖3 信息流遠程交互原理示意圖Fig.3 Schematic diagram of remote interaction for information flow

（2）完成航天員雙眼（球）定位，進行人眼視線跟蹤，確保機器人頭部左、右目相機的朝向始終與人眼視線方向保持一致，實現(xiàn)根據(jù)航天員主觀意愿對感興趣區(qū)域進行觀測。

2）立體聲耳機主要用于同步播放通過機器人頭部聽覺傳感器實時獲取的空間環(huán)境音頻信息，為航天員提供空間環(huán)境的聽覺反饋，顯著增強航天員的臨場感。

3）降噪麥克風的功能是：對航天員發(fā)出的語音信息進行接收、處理、識別及自然語義注釋，實現(xiàn)對航天員主觀意圖的準確理解，處理結果將直接映射為機器人控制系統(tǒng)的輸入指令，驅動機器人遵照上述指令完成指定操作。

4）數(shù)據(jù)手套通過集成力反饋裝置，精確捕捉航天員手臂或手指的微小動作，進一步換算為機器人各關節(jié)的運動角（速）度、扭轉力矩等動態(tài)參數(shù)數(shù)據(jù)，作為機器人控制系統(tǒng)的輸入，驅動機器人靈巧手與人手保持同步運動；同時，數(shù)據(jù)手套還能夠重建機器人靈巧手的交互作用力并反饋至操控者，使其真實體驗機器人靈巧手抓取過程中的交互作用力情況。

5）體感設備主要采用可見光、激光、紅外等光學測量原理，實時、連續(xù)、精確估計表征人體姿態(tài)特征的關鍵部位的三維空間位置信息，完成對航天員動作和行為的識別，檢測數(shù)據(jù)將映射為機器人控制器系統(tǒng)的輸入指令，進而驅動機器人頭、頸、軀干、臂、手等功能部件與人體各關鍵部位的運動態(tài)勢嚴格保持一致。

3.3 近程交互設計

圖4 在軌近程交互方案示意圖Fig.4 Schematic diagram of close?range interaction

圖5 信息流在軌近程交互原理示意圖Fig.5 Schematic diagram of close?range interaction for information flow

在軌近程交互系統(tǒng)分別為機器人配置視覺傳感器和聽覺傳感器，為航天員配備降噪麥克風以及立體聲耳機，以方便航天員與機器人開展面對面交互。具體如下：

1）視覺傳感器：實時采集機器人工作環(huán)境的圖像信息，基于深度學習模型［9］，將可見光、激光、紅外等多源信息進行深度融合，實現(xiàn)工作環(huán)境場景的感知與三維建模［10］，并依次完成參與交互航天員（合作伙伴）的人臉檢測與識別、視線跟蹤［11］、人體姿態(tài)計算、手勢以及動作識別，最終的計算結果將直接轉換為機器人控制系統(tǒng)的輸入，驅動機器人末端執(zhí)行機構完成相應操作。

2）聽覺傳感器：實時采集工作環(huán)境的背景音頻信息以及航天員自身發(fā)出的語音指令，為航天員攜帶的立體聲耳機提供有效輸入。

3）降噪麥克風與立體聲耳機組合體：不僅能夠實現(xiàn)遠程交互設計中的單方面、被動接受航天員指令的反饋，更多的需要實現(xiàn)機器人與航天員之間的無障礙、自然語音雙向交互［12］，既能確保航天員的語音指令準確無誤地發(fā)送至機器人，又能將體現(xiàn)機器人工作進展程度的語音信息同步反饋至航天員，確保二者協(xié)同工作的一致性。

3.4 技術途徑

上述OHRI架構具體節(jié)點，除去成熟的技術和貨架產(chǎn)品，其余待研究內容可歸納為以下三項關鍵技術途徑：

1）復雜場景三維重建技術

在未知、復雜、非結構空間環(huán)境中，機器人必須具備自主環(huán)境感知與三維建模功能。首先，利用張正友提出的二維平面標定方法［13］，準確獲取視覺傳感器內外參數(shù)信息，完成立體視覺校正；其次，提出一種基于光流法的特征檢測算法，能夠準確提取未知、復雜、非結構、弱紋理等環(huán)境特征信息［14］；再次，采用多尺度、多源信息融合的混合匹配策略［15］，建立視覺傳感器在不同時間、空間采集的圖像幀之間、圖像幀與當前環(huán)境特征之間、環(huán)境特征之間的物理映射與對應匹配關系；最后，準確計算出復雜場景的三維點云數(shù)據(jù)，依次完成點云配準、融合、稠密化及紋理化等處理，真實重建三維場景信息。

明清時期，數(shù)量激增的女性詩人群體在傳統(tǒng)道德規(guī)訓之下用“去女性化”的策略努力爭取文壇的合理地位，并成為十分突出的現(xiàn)象?！叭ヅ曰爆F(xiàn)象及女性的詩文創(chuàng)作引起了士人階層的廣泛爭議，而這種爭議將女性創(chuàng)作置于主流文壇的討論之中，在一定程度上也促進了女性詩人向文壇中心的靠攏。面對士人的爭議，女性詩人群體自身矛盾的態(tài)度也表明了明清時期女詩人用“去女性化”的方式在傳統(tǒng)道統(tǒng)與文統(tǒng)壓迫下而爭取自由創(chuàng)作空間的努力是一種探索性的策略。

2）三維人體姿態(tài)估計技術

利用可見光、激光、紅外等多源視覺傳感器［16］相結合的方式，融合深度信息和顏色信息并結合人體各重要部位模型，快速檢測、識別出傳感器視場范圍內航天員的人體骨骼輪廓，在此基礎上，將三維測量數(shù)據(jù)與人體骨骼模型予以數(shù)據(jù)配準，即可精確計算出表征航天員的頭、臂、手、腿、腳等重要部位的三維空間位置姿態(tài)。

3）手勢動作識別技術

機器人成功識別、定位航天員骨骼輪廓并檢測出人體瞬時姿態(tài)后，局部放大航天員各重要部位（例如：手、腳）的細節(jié)動作信息，并通過與預先設定的多樣化模式數(shù)據(jù)庫信息進行配準計算，準確識別出航天員某一手勢、動作的深層意圖，進而將其轉化為機器人控制命令引導末端執(zhí)行機構完成相應的運動或操作。

現(xiàn)以手勢識別為例予以說明：在場景三維數(shù)據(jù)中，首先利用深度聚類方法將前景與背景分離，獲得手勢三維數(shù)據(jù)，并提取三維角點、曲面曲率等三維特征；然后將這些特征作為序貫貝葉斯模型的觀測，采用隱馬爾科夫模型、條件隨機場模型等構建手勢狀態(tài)的時變模型，通過貝葉斯信任傳播方式完成手勢類別的推理［17?18］。

4）語音命令識別技術

語音命令同樣也是航天員與機器人交互的一種重要手段，然而機器人無法準確接收、理解復雜、冗長的語音指令，這就需要機器人在接收語音指令的同時，深入分析航天員說話時的動態(tài)姿態(tài)變化，并將其作為聲音特征的輔助手段，可顯著提高語音命令識別的準確度和魯棒性。盡管如此，但對于復雜的工作流程，單純依賴語音命令，航天員必須時刻關注機器人的操作進度，并頻繁地發(fā)送語音指令引導機器人接續(xù)工作，上述情況，反而增加了航天員的負擔，確實難以適應復雜多變的空間環(huán)境和繁瑣的作業(yè)流程。

4 試驗驗證

結合上述方案設計，實驗室環(huán)境搭建一套在軌人機交互地面驗證系統(tǒng)，硬件配置規(guī)格參數(shù)與技術指標詳見表1～表5。

表1 頭盔式顯示器規(guī)格參數(shù)Table 1 Specification of head mounted display

表2 數(shù)據(jù)手套規(guī)格參數(shù)Table 2 Specification of data glove

表3 體感設備規(guī)格參數(shù)Table 3 Specification of motion sensor

表4 可見光傳感器規(guī)格參數(shù)Table 4 Specification of visible light sensor

表5 工控機規(guī)格參數(shù)Table 5 Specification of IPC

針對3.4節(jié)提煉的關鍵技術途徑，在軌人機交互地面驗證系統(tǒng)依次開展了諸如模擬空間復雜場景三維重建、人體三維姿態(tài)估計、手勢識別、語音命令識別等驗證性試驗，具體結果介紹如下。

1）模擬空間復雜場景三維重建測試

利用機器人自身攜帶的雙目立體視覺相機與紅外結構光相機分別采集空間復雜場景圖像信息，經(jīng)視覺傳感器內外參標定與立體視覺校正、特征點檢測與匹配、點云配準與紋理映射等操作，利用OpenGL真實再現(xiàn)模擬空間復雜場景的三維點云（圖 6）。

圖6 復雜場景三維重建結果Fig.6 Result of 3D reconstruction for complex scene

2）三維人體姿態(tài)估計測試

在三維人體姿態(tài)估計測試中，主要利用Ki?nect2.0體感相機實時采集人體動作姿態(tài)的深度數(shù)據(jù)，如圖7所示，正確識別人體骨骼模型并建立其與人體各關鍵部位之間的三維映射關系，精確恢復出包含人體姿態(tài)特征的三維點云圖（圖8），完成三維測量數(shù)據(jù)與人體骨骼模型之間的數(shù)據(jù)配準，即可估計三維人體位置姿態(tài)信息。

3）手勢識別測試

手勢識別測試中，首先，構建手勢圖像識別數(shù)據(jù)庫，規(guī)定手勢類型包括：握拳、五指伸直并攏、剪刀手、OK手型等，上述每種類型手勢所需左手、右手圖像各10張；其次，使用上述手勢訓練機器人完成深度聚類和手勢推理；最終，測試現(xiàn)場分別對上述每類手勢隨機進行100次測試，統(tǒng)計機器人正確識別率，具體如表6所示。

圖7 Kinect 2.0采集的人體姿態(tài)深度圖Fig.7 Depth map of human pose captured by Kinect 2.0

圖8 人體姿態(tài)三維測量點云數(shù)據(jù)Fig.8 3D measurement point cloud of human pose

表6 手勢識別測試結果Table 6 Test results of gesture recognition

試驗結果表明，經(jīng)過訓練后的機器人能夠正確識別4種手勢指令，且同時支持左、右手，上述規(guī)定手勢的平均正確識別率可達74%。

4）語音命令識別測試

與手勢識別相類似，語音命令識別測試同樣包括訓練和識別兩個階段。前者需要采集、存儲至少3個測試者在不同時刻發(fā)出諸如打開、放回、剪刀、螺絲刀、鉗子、啟動、停止等單一詞匯的語音命令構建數(shù)據(jù)庫，用于訓練機器人完成語音信號模型構建、特征檢測、模型訓練與配準等處理；后者則要求測試者現(xiàn)場隨機對機器人發(fā)出上述規(guī)定詞匯的語音命令累計100次測試，最終統(tǒng)計機器人正確識別率，具體如表7所示。

表7 語音指令識別測試結果Table 7 Test results of voice command

試驗結果表明，經(jīng)過訓練后的機器人能夠正確識別至少3個測試者發(fā)出的規(guī)定語音命令，平均正確識別率可達86.1%。

5 結論

本文提出了一種基于多模態(tài)信息融合的在軌人機交互系統(tǒng)設計，兼顧航天員與機器人之間的近／遠程交互模式，適應不同的任務需求和空間環(huán)境。試驗結果表明，OHRI涉及的復雜場景三維重建、人體姿態(tài)估計結果顯著改善了時延大、臨場感差等缺陷；經(jīng)訓練后的機器人對規(guī)定手勢、語音指令的平均識別正確率分別可達74%和86.1%。上述在軌交互系統(tǒng)在我國載人航天工程、月球及深空探測工程的近期及中遠期發(fā)展階段中都有很廣闊的應用前景。

［1］ 林益明，李大明，王耀兵，等.空間機器人發(fā)展現(xiàn)狀與思考［J］.航天器工程， 2015，24（3）： 1?7.

LIN Yiming， LIDaming， WANGYaobing， et al.Current sta?tus and analysis of space robot［J］.Spacecraft Engineering，2015， 24（3）： 1?7.（in Chinese）

［2］ Goodrich M，Schultz A.Human?robot interactions： A survey［J］.Foundations and Trends in Human?Computer Interac?tion， 2007， 1（3）： 203?275.

［3］ 黃進，韓冬奇，陳毅能，等.混合現(xiàn)實中的人機交互綜述［J］.計算機輔助設計與圖形學學報，2016，28（3）：869?880.

Huang Jin， Han Dongqi， Chen Yineng， et al.A survey on human?computer interaction in mixed reality［J］.Journal of Computer?aided Design ＆ Computer Graphics， 2016， 28（3）：869?880.（in Chinese）

［4］ National Academy of Sciences.NASA space technology road?maps and priorities： restoring NASA’s technological edge and paving the way for a new era in space［R］.NASA 20120008951， 2012.

［ 5 ］ Robotics?vo.A roadmap for U.S.robotics from Internet to Robotics2013 edition［R／OL］.（2013）［2018］.http：／／www. roboticscaucus. org／Schedule／2013／20March2013／2013%20Robotics%20Roadmap?rs.pdf.

［6］ Diftler M A，Ahlstrom T D，Ambrose R O，et al.Robonaut 2－ ?Initial activities on?board the ISS［C］ ／／Aerospace Confer?ence.IEEE， 2011：1?12.

［7］ Diftler M A，Mehling J S，Abdallah M E，et al.Robonaut 2－ ?The first humanoid robot in space［C］ ／／IEEE International Conference on Robotics and Automation.IEEE， 2011：2178?2183.

［ 8 ］ Toyota Inc.Kibo robot project［EB／OL］.Tokyo， （2014）［2018］.https：／／toyota.jp／kirobo＿ mini／kibo?robo／en／re?port／＃re019.pdf.

［ 9 ］ Feil?Seifer D J， Mataric M J.Human?robot interaction［M］ ／／Encyclopedia of Complexity and Systems Science，Springer Reference， 2009.

［10］ Murphy R， Nomura T， Billard A， et al.Human?Robot inter?action［J］.IEEE Robotics＆ Automation Magazine，2010，17（2）： 85?89.

［11］ Nieuwenhuisen M， Stückler J， Behnke S.Intuitive multimo?dal interaction for service robots［ C］ ／／ACM／IEEE Interna?tional Conference on Human?Robot Interaction （HRI）， Am?sterdam，2010： 177?178.

［12］ Cakmak M，Chao C，Thomaz A L.Designing interactions for robot active learners［J］.IEEE Transactions on Autonomous Mental Development， 2010， 2（2）： 108?118.

［13］ Zhang Zhengyou.A flexible new technique for camera calibra?tion［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）：1330?1334.

［14］ 林義閩.未知環(huán)境中智能機器人的視覺導航技術研究［D］.北京：北京郵電大學，2014.

Lin Yimin.Research on Visual Navigation Techniques for In?telligent Robots in Unknown Environments［D］.Beijing： Bei?jing University of Posts and Telecommunications， 2014.（in Chinese）

［15］ Chen Lei， Dong Zhen， Gao Sheng， et al.Stereo vision?only based interactive mobile robot for human?robot face?to?face in?teraction［C］／／22nd International Conference and Pattern Recognition， Stockholm， 2014： 1840?1845.

［16］ 管業(yè)鵬.基于多模態(tài)視覺特征的自然人機交互［J］.電子學報，2013， 41（11）： 2223?2229.

Guan Yepeng.Multimodal visual features based natural hu?man?computer interaction ［ J］. Acta Electronica Sinica，2013， 41（11）： 2223?2229.（in Chinese）

［17］ 毛勝磊.移動機械臂人機交互系統(tǒng)研究［D］.濟南：山東大學，2016.

Mao Shenglei.The Research of Human?Machine Interaction System for Mobile Manipulator［D］.Jinan： Shangdong Uni?versity， 2016.（in Chinese）

［18］ 陳磊.交互式機器人立體視覺感知方法［D］.北京：北京理工大學博士學位論文，2011.

Chen Lei.Stereo Vision Perception of Interactive Robot［D］.Beijing： Beijing Institute of Technology， 2011.（in Chinese）