劉晶

編者按：10月21日，2019年世界VR產(chǎn)業(yè)大會云計算和大數(shù)據(jù)國家重點專項虛擬現(xiàn)實與人機交互專題分論壇在南昌舉辦，論壇由云計算和大數(shù)據(jù)國家重點專項總體專家組、北京理工大學(xué)承辦，江西省科技廳、紫光云技術(shù)有限公司協(xié)辦。來自各大研究機構(gòu)的首席科學(xué)家、研究領(lǐng)域的領(lǐng)軍學(xué)者就虛擬現(xiàn)實環(huán)境下的人機互動課題，分享了最前沿進展。本報摘登部分精彩演講，以饗讀者。

史元春：

挖掘人機交互自然性計算原理

我所負責(zé)的人機交互自然形態(tài)的計算原理這個項目，是系統(tǒng)研究人的基本交互信息處理能力、計算機所提供的交互信道和人機交互情境三個層面上交互自然性的計算原理。它揭示和建立交互自然性的生理心理機理及計算模型、自然交互模態(tài)的信道特征與交互語義、基于情境的交互路徑優(yōu)化原理，創(chuàng)新地建立優(yōu)化目標明確、量化的自然交互計算框架和評價體系，為穿戴設(shè)備、智能空間、VR/AR、機器人等領(lǐng)域自然交互技術(shù)的研發(fā)提供理論依據(jù)和優(yōu)化方法。

我們的預(yù)期成果包括以下方面。一是兩項新理論，即面向自然交互的用戶信息處理模型和自然交互計算框架。二是三項新原理，面向連續(xù)與不確定動作的交互輸入行為識別原理、面向海量信息呈現(xiàn)需求的視聽觸聯(lián)覺呈現(xiàn)的機制、基于可穿戴心理生理測量的自然交互認知狀態(tài)識別原理。三是一項新方法，面向復(fù)雜情境的用戶心理建模方法。四是一項新技術(shù)，基于無線射頻技術(shù)的云端融合情境感知技術(shù)。五是兩項新裝置，支持多模態(tài)輸入的光學(xué)透射式智能顯示穿戴設(shè)備和新型穿戴式多指力觸覺交互裝置。

我們分析了自然交互中人的認知特征，對人的感知和認知規(guī)律進行了研究。我們建立了超小目標的點擊能力模型，首次提出觸摸點擊速度和精度的雙極模型，統(tǒng)一解釋閉環(huán)和開環(huán)運動控制。首次建立盲觸摸條件下的相對運動控制機制，首次提出并驗證了僅憑借肌肉記憶觸摸時的相對運動控制機制，基于此原理實現(xiàn)的盲鍵盤輸入可以達到25單詞每分鐘。

宋愛國：

探索云端融合自然交互技術(shù)

自然人機交互有多種方式，包括語音的交互、生理通道的交互、數(shù)據(jù)頭套與手勢的交互、運動捕捉和體感交互。

我們主要的的創(chuàng)新性成果是有源無源器件結(jié)合的小型可穿戴力觸覺反饋裝置，具有觸覺反饋的多通道三維書空筆式交互技術(shù)與裝置和基于肌電生理信息的手勢識別算法與裝置。

有源無源器件結(jié)合的小型可穿戴力觸覺反饋裝置，突破了有源和無源器件結(jié)合的手指力覺反饋的小型化關(guān)鍵技術(shù)，研制了系列小型力反饋執(zhí)行器;提出了多種觸感震動信號調(diào)制方式及控制算法，顯著提升了觸覺交互裝置的用戶體驗。

具有觸覺反饋的多通道三維書空筆式交互技術(shù)與裝置，突破了大空間超聲波三維高精度無線定位技術(shù)，以及筆式、觸覺、語音、手勢、姿態(tài)和觸控的多通道自然融合技術(shù)，研發(fā)了支持大空間非接觸三維書空模式的多通道筆式交互裝置。

基于肌電生理信息的手勢識別算法與裝置，在手勢識別方面，研制了基于肌電的無線穿戴式手勢獲取識別裝置，創(chuàng)新地把肌電信號轉(zhuǎn)化為肌電圖像，提出了基于深度學(xué)習(xí)的高準確率手勢識別算法。傳統(tǒng)的肌電識別轉(zhuǎn)化為肌電圖像識別，我們可以識別精確的手部動作，像53個啞語動作可以準確的識別，對啞語信號的識別率可以達到90%。

田豐：

實現(xiàn)智能時代人機交互

通過這幾年的共同努力，我們有幾個代表性的成果。一是穿戴式全身體感交互設(shè)備，全身動作捕捉模塊可以感知身體的行為，知道人手的精細動作，實時感知人的生理體征。我們可以支持百平米的激光定位，可以支持手指關(guān)節(jié)電阻模型的感知和理解?；谌嵝詡鞲懈兄獢?shù)據(jù)模塊，可以實時感知人的心電。整個課題是由電子科技大學(xué)牽頭。

二是大幅面高分辨觸控設(shè)備，怎么樣解決計算量上升的問題，怎么樣解決響應(yīng)速度降低的問題。我們提出了間距為6毫米的高密度并行傳感器網(wǎng)絡(luò)的設(shè)計方案，精度可以達到0.1毫米。同時在上面有些實物交互的界面，可以在教育、辦公等領(lǐng)域有很好的應(yīng)用。

三是多感知交互技術(shù)，目前可以支持表情、手勢、筆觸控、眼動、生理等幾個通道的輸入。比如表情技術(shù)可以感知人的人臉，情感交互技術(shù)目前可以做到對人幾種基本情緒，比如驚訝、大笑等做有效的理解。目前我們跟小愛機器人合作建立聯(lián)合實驗室，希望讓機器人對人的表情有基本理解。

吳楓：

以多通道感知發(fā)展綜合智能

我們的思路是希望像人一樣，人的大腦是分了幾百個區(qū)域，不同區(qū)域會接受不同的信息，然后做不同的處理，這些處理的信息又在其他的腦區(qū)進行綜合，所以是多通道的感知，多腦區(qū)的協(xié)同。這種情感的機器人，需要把感知處理、理解決策整合起來。

人腦分了很多功能區(qū)域，包括聽覺、視覺、感知、運動和嗅覺等等，區(qū)域之間相互如何作用，目前來講還是未知的。傳統(tǒng)辦法主要是掃描區(qū)域進行分析，我們是希望用大量的數(shù)據(jù)對規(guī)模腦區(qū)進行分析。同時我們研究腦區(qū)相互作用，更多是研究視聽覺下腦區(qū)的活動模式，這對我們視聽覺綜合處理在人工智能這塊提供了啟發(fā)。我們在關(guān)鍵技術(shù)理論取得了突破，包括語音的識別和合成。在自然環(huán)境下，周圍有噪音，可能有多個人講話，機器這時候就會弄不清楚究竟要關(guān)注哪個人。這時候就需要在多語音的場景下，用語音分辨方法獲得最好的性能。我們提出了新的模型，性能也有很大的提高。

李遠清：

以腦機交互實現(xiàn)設(shè)備控制設(shè)備

我們采集腦信號然后進行信號處理，然后用設(shè)備來控制設(shè)備，效果反饋給用戶，用戶根據(jù)反饋效果調(diào)整策略，然后來調(diào)整性能，這是腦機交互的簡單原理。大家可以打開思維去想象，可以控制的東西有很多，包括虛擬現(xiàn)實。控制虛擬現(xiàn)實里面的虛擬對象，這也是很好的方向。

我們采集信號是在頭皮，用對大腦沒有傷害的方式采集信號，整體技術(shù)在逐步提高，并且提高得很快。我們把多種智能技術(shù)結(jié)合起來，把虛擬現(xiàn)實和腦機技術(shù)結(jié)合起來，還有可穿戴和臨床應(yīng)用等方向。我們主要關(guān)注兩個問題，一個是多自由度控制，另一個是檢測性能的提高，主要方法就是混合/多模態(tài)的腦機接口。

腦機交互的一種應(yīng)用是意識檢測，意識檢測主要是針對意識障礙病人，通常講就是植物人。醫(yī)生原來只能根據(jù)觀察看有什么樣的表現(xiàn)，所以誤診率非常高。我們用設(shè)備來做意識檢測，如讓病人認照片，分辨能不能聽懂醫(yī)生的話，可以判斷他有沒有意識。

金小剛：

推動多源數(shù)據(jù)的高效場景建模

虛擬現(xiàn)實是把物理世界數(shù)字化，它可能是一項顛覆性技術(shù)，是未來互聯(lián)網(wǎng)的入口跟交互環(huán)境，發(fā)展非常迅速。

要創(chuàng)建虛擬現(xiàn)實環(huán)境，首先要建模。建模有很多軟件，繪制也有很多軟件，但是軟件存在幾個問題：數(shù)據(jù)源比較單一，建好的模型通常缺乏語音信息，建模跟繪制的云平臺也比較缺乏。我們圍繞這幾個關(guān)鍵挑戰(zhàn)研發(fā)建模軟件跟繪制平臺，我們解決建模效率低、質(zhì)量差的問題?，F(xiàn)實場景我們知道這是什么事情，如果充分利用語音系統(tǒng)，可以大幅度提升虛擬現(xiàn)實建模和繪制引擎的速度。此外要實現(xiàn)云端融合，很多場景非常大，同時也要適用于手機、PAD、臺式機等各種平臺。

在場景建模方面，我們提出了復(fù)雜場景多元數(shù)據(jù)融合和優(yōu)化的方法，這種方法充分利用場景結(jié)果，有局部的結(jié)構(gòu)信息，也有整體的結(jié)構(gòu)信息，我們把局部和整體結(jié)構(gòu)信息相結(jié)合，這樣可以提高數(shù)據(jù)質(zhì)量。針對大尺度場景，比如城市場景或者搶險救災(zāi)，我們提出了大規(guī)模分布式解決方案，這個解決方案是為了城市場景快速重建的問題。目前已經(jīng)采集了天津大學(xué)城區(qū)近5平方公里的場景，構(gòu)造了大規(guī)模數(shù)據(jù)集，這方面的工作已經(jīng)獲得了《中國科學(xué)》的報道，還有相關(guān)媒體的轉(zhuǎn)播。

汪國平：

致力發(fā)展國產(chǎn)仿真引擎

仿真跟VR相關(guān)，VR跟感觀的感受相關(guān)，但是VR真正產(chǎn)業(yè)落地，必須跟仿真結(jié)合起來。而且仿真技術(shù)本身是一種重要的科學(xué)驗證手段，仿真軟件系統(tǒng)或者模塊一直以來就受到國內(nèi)外的青睞，目前我們產(chǎn)業(yè)中使用的仿真軟件基本上是國外的，國產(chǎn)的仿真軟件幾乎沒有。尤其是當前形勢下，發(fā)展國產(chǎn)的仿真引擎尤為重要。

仿真的研究對象可以從氣體、流體、固體等各種維度做，仿真的介質(zhì)很多種，彈性體、塑性體、流體等。對于超線性的關(guān)系，用工程計算可能就算不出來。例如醫(yī)療中，血管流體算出來就很費勁;在仿真鉆井平臺中，空氣環(huán)境、海洋對鉆井平臺會有影響，這是非常復(fù)雜的仿真過程。

我們的一個成果就是研發(fā)了仿真引擎，這個引擎是開源的，開發(fā)時間已經(jīng)很長，從物理對象到仿真方法全維度進行了全面構(gòu)建。對塑性體、彈性體、多像多態(tài)流固等等都有研究，目前針對這些介質(zhì)提供了各種各樣的仿真方法，也在很多場合得到應(yīng)用。

王黨校：

從基礎(chǔ)理論研究多模態(tài)交互

圍繞大數(shù)據(jù)增量交互的問題，我們重點研究大數(shù)據(jù)多模態(tài)增量式交互的推理和方法。圍繞多模態(tài)協(xié)同的問題從兩個方面研究，一個是計算機如何去感知用戶的交互意圖，實現(xiàn)魯棒多模態(tài)的協(xié)同感知;另一個是從計算機的信息呈現(xiàn)和反饋，研究視聽觸虛實配準，強真實感混合呈現(xiàn)的方法。針對個性化的用途理解，實現(xiàn)時空深度融合的用戶意圖理解。

項目包括5個課題，以研究基礎(chǔ)理論來支撐課題二、三、四，從感知、呈現(xiàn)和用戶意圖理解三個方面，最終構(gòu)建人機交互虛擬現(xiàn)實示范應(yīng)用系統(tǒng)。課題二是利用多傳感器技術(shù)手段對用戶的意圖進行協(xié)同感知，這塊取得了很多進展。我們希望構(gòu)建幾個典型的應(yīng)用，其中之一就是虛擬購物的系統(tǒng)，用戶可以在虛擬場景觸摸和看到、聽到虛擬商品的信息，實現(xiàn)多模態(tài)的交互。

王瓊?cè)A：

面向桌面真三維顯示展開研究

顯示技術(shù)是無處不在，現(xiàn)在每個人在顯示屏前的時間據(jù)統(tǒng)計至少是5個小時。顯示技術(shù)在快速發(fā)展中也存在一些問題，比如說常規(guī)顯示都是二維的，在虛擬現(xiàn)實應(yīng)用中，因為VR用的設(shè)備是頭戴式的，很難與其他人分享。即便是做成了常規(guī)的三維顯示，也具有視疲勞問題。

基于這種問題，科技部在云計算大數(shù)據(jù)中立了一個題目：面向大數(shù)據(jù)應(yīng)用的桌面實時真三維顯示技術(shù)，有11家單位參加，我是項目負責(zé)人。項目的主要目標是從少數(shù)人觀看的墻面顯示轉(zhuǎn)向眾多人觀看的桌面顯示，從容易產(chǎn)生視疲勞的顯示到真三維顯示，從純圖象的被動觀看到實時融合的交互顯示。

桌面真3D顯示的應(yīng)用場景很多，特有環(huán)視效果可用在醫(yī)學(xué)、教育、軍民用電子沙盤、建筑模型展覽，以及3D游戲、會議和教育系統(tǒng)等方面。桌面真三維顯示技術(shù)由幾層結(jié)構(gòu)構(gòu)成，首先有顯示圖象的2D屏，我們再加透鏡陣列實現(xiàn)空間成像，有視覺導(dǎo)向?qū)?，以及保障圖象連續(xù)性的擴散光學(xué)層，通過這種方式可以把2D圖象作3D呈現(xiàn)。

潘志庚：

研發(fā)面向?qū)嶒灦嗄B(tài)人機交互技術(shù)

VR和人機交互有很多年的發(fā)展歷史，我在國內(nèi)做得比較早，從1992年就做這方面的研究，在教育方面也做了很多實驗，中學(xué)實驗中看不見、看不清或者有危險的，可以通過VR的方法來解決。為了增強具體實驗的體驗，實驗要使用多模態(tài)人機交互的方法讓學(xué)生有體驗，而不是簡單放在屏幕上去看看。

項目要解決的問題主要是幾個方面，包括研發(fā)面向?qū)嶒灦嗄B(tài)人機交互技術(shù)，包括中學(xué)實驗行為評價。大家知道做實驗的時候，有些地方是通過專人觀察進行評估，主觀因素比較多。我們開發(fā)云端的智能實驗學(xué)習(xí)環(huán)境和開放平臺。

陶建華：

面向移動辦公研究智能交互關(guān)鍵技術(shù)

移動辦公市場在這幾年變化非常大，未來五年據(jù)很多人預(yù)測將上升270%。從未來發(fā)展的角度來說，我們希望構(gòu)建虛實融合的方式，把信息傳遞多樣化融入進來，改善移動辦公的體驗。

在我們項目的支持下，我們構(gòu)建了幾個重要的研究工作，這些研究工作包括多通道信息輸入和內(nèi)容編輯的工作，主要是針對個人辦公的環(huán)境。還有多終端協(xié)同呈現(xiàn)和沉浸式顯示，這主要是面向辦公，辦公除了個人辦公環(huán)境以外還有很重要的場景就是利用移動辦公平臺構(gòu)建會議系統(tǒng)，還有多模態(tài)融合的智能終端以及智能移動的辦公重建等。

陳為：

實現(xiàn)虛擬場景中虛實結(jié)合可迅速挖掘關(guān)聯(lián)要素

我講三個趨勢，一是虛擬現(xiàn)實的應(yīng)用和產(chǎn)業(yè)大部分集中在現(xiàn)實世界的模擬和呈現(xiàn)，主要呈現(xiàn)的是真實物理世界。隨著智能制造、數(shù)據(jù)孿生的應(yīng)用，在虛擬場景中虛實融合，尤其是和大數(shù)據(jù)融合，可以把場景中的要素和關(guān)聯(lián)關(guān)系迅速挖掘出來。二是在虛擬現(xiàn)實領(lǐng)域可以和社交化結(jié)合起來，由于頭盔和其他呈現(xiàn)設(shè)備沒有達到非常好用的地步，所以在VR的游戲社交方面做得很少;在課堂里面，如果有VR頭盔，在老師和學(xué)生在虛擬世界中進行互動，可以達到遠程教育的目的。三是暢想在頭盔成為很好的呈現(xiàn)設(shè)備的時候，可以讓辦公的人戴輕便或者無感知的VR設(shè)備，接上鼠標和鍵盤，實現(xiàn)辦公自動化。

李波：

感知是虛擬現(xiàn)實關(guān)注重點

感知方面是虛擬現(xiàn)實要重點關(guān)注的，無論是智能系統(tǒng)還是虛擬現(xiàn)實系統(tǒng)，如果信息感知沒有進來、沒有充足的信息，后面的事都不容易做。人類有多種感知，虛擬現(xiàn)實也是如此，希望把人類多種感知的手段做起來，我覺得這是很重要的，這是輸入端。在輸出上，包括以什么樣的方式展現(xiàn)都是要多下工夫的。智能分析、智能理解在虛擬現(xiàn)實里面肯定很重要，我認為其中的輸入和輸出是非常重要的。

沈一棟：

做到真正人機交互和協(xié)同還有很長的路

從基礎(chǔ)研究角度看，現(xiàn)在還沒有真正的人機交互。交互是雙方的，但現(xiàn)在主要是針對機器，很多產(chǎn)品、技術(shù)基本上是對計算機輸入的識別。但我們需要交互，甚至需要協(xié)同，真正做到這一步的路還很長。我在這里提個不成熟的想法，把VR和真正的人機交互協(xié)同起來做一件事情，比如能不能實現(xiàn)人機交互的繪畫，一邊是很知名的畫家在畫畫，另一邊是機器在畫畫，如果這個能夠通過評價，VR和人機交互的融合也就成了。

趙耀：

設(shè)備要向小型化無感知化方向發(fā)展

在人機交互中，和諧自然的交互方式是非常重要的研究方向。人和計算機之間的交互，也應(yīng)該像人和人之間的交互一樣的和諧和自然，所以我覺得這塊應(yīng)該是我們研究非常重要的點。作為感知的設(shè)備和展示的設(shè)備，要更多向小型化、無感知化方向發(fā)展。如果頭盔特別重、特別大，戴在頭上，我們會感覺不自然，所以我覺得從這些感知設(shè)備來講，應(yīng)該沿著小型化、無感知化方向發(fā)展。