佟冉

摘要：虛擬現(xiàn)實(shí)是近年來十分活躍的技術(shù)研究領(lǐng)域，是一系列高新技術(shù)的匯集，它能給用戶更為逼真的體驗(yàn)。文章通過分析研究三維虛擬環(huán)境框架的體系結(jié)構(gòu)，對軟件模塊進(jìn)行分層，比較篩選多種三維圖形引擎，最終選擇通過OpenSceneGraph（OSG）作為虛擬場景圖形引擎，實(shí)現(xiàn)繪制三維虛擬環(huán)境。分析研究如何操作和改造虛擬環(huán)境中的對象，實(shí)現(xiàn)虛擬環(huán)境中的人機(jī)交互。

關(guān)鍵詞：虛擬現(xiàn)實(shí)技術(shù)；三維虛擬環(huán)境；人機(jī)交互；三維圖形引擎；沉浸式

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2012）33-8066-03

伴隨著制造企業(yè)信息化進(jìn)程的不斷發(fā)展，仿真建模在產(chǎn)品制造中的應(yīng)用也由分散到集成，由局部到全局，并且更加注重可視化技術(shù)的應(yīng)用和與用戶之間的交互[1]。采用虛擬現(xiàn)實(shí)技術(shù)為相關(guān)裝置構(gòu)造虛擬環(huán)境可以擺脫傳統(tǒng)仿真培訓(xùn)系統(tǒng)中所存在的一些不足，例如在軟件仿真中，主要以圖、圖表、照片和現(xiàn)場錄像等傳統(tǒng)多媒體方式為表現(xiàn)手段，真實(shí)感和臨場感都較為欠缺；而在物理仿真中，系統(tǒng)復(fù)雜、龐大難于實(shí)現(xiàn)，虛擬現(xiàn)實(shí)技術(shù)可以在很大程度上提高場景的沉浸感和真實(shí)感。

1三維虛擬環(huán)境框架

虛擬環(huán)境的開發(fā)涉及了網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)、人工智能、高性能計(jì)算技術(shù)、模式識別、傳感技術(shù)、計(jì)算機(jī)圖形學(xué)、圖像處理等技術(shù)，還涉及社會學(xué)、美學(xué)、氣象、通信、物理、數(shù)學(xué)等學(xué)科，復(fù)雜程度可想而知。虛擬現(xiàn)實(shí)要達(dá)到實(shí)現(xiàn)自然實(shí)時(shí)交互和逼真的多種感覺的要求，其組成主要應(yīng)包括幾方面：虛擬環(huán)境生成系統(tǒng)，產(chǎn)生實(shí)時(shí)的圖像；用以確定參與者位置和動作的定位跟蹤系統(tǒng)；提供虛擬空間多用戶協(xié)同交互功能的網(wǎng)絡(luò)接口；含有CAVE、PowerWall、立體顯示設(shè)備的沉浸式顯示系統(tǒng)；提供立體聲源和判定空間位置的音效系統(tǒng)；提供參與者感知力與壓力的反饋的觸覺和力反饋系統(tǒng)。

虛擬環(huán)境[2]框架的功能主要體現(xiàn)在：首先支持對象的屬性和交互的訂購發(fā)布，同時(shí)提供回調(diào)和事件的通知機(jī)制，支持HLA的各種時(shí)間管理策略，從而達(dá)到在全部聯(lián)邦范圍內(nèi)的對象可以根據(jù)已給定的時(shí)序和消息傳遞關(guān)系來工作；其次是提供與各種對象定位、創(chuàng)建、刪除等相關(guān)的服務(wù)，并且分類、統(tǒng)一組織管理不同功能和不同性質(zhì)的仿真實(shí)體，即是對虛擬場景的結(jié)構(gòu)和組織管理；最后還可以通過事件驅(qū)動和回調(diào)函數(shù)機(jī)制和場景對象組織、仿真對象管理功能集成，沉浸式人機(jī)交互設(shè)備和接口的集成。

根據(jù)軟件模塊[3]的分層結(jié)構(gòu)，我們把系統(tǒng)分為三個(gè)層次，如圖2所示，即用戶界面層、交互層和數(shù)據(jù)服務(wù)，虛擬環(huán)境和仿真管理層。

界面層提供的用戶界面輸入可以接收用戶對數(shù)據(jù)的訪問請求，然后經(jīng)環(huán)境和仿真層的相關(guān)轉(zhuǎn)換成為對數(shù)據(jù)服務(wù)層的訪問請求，然后數(shù)據(jù)服務(wù)層將其處理后通過中間層傳送給界面層進(jìn)行最終的輸出。

實(shí)現(xiàn)虛擬場景的基礎(chǔ)是三維圖形引擎?，F(xiàn)在，開發(fā)者較多使用可以提供功能強(qiáng)大模塊的較為流行的繪制引擎，例如OpenGVS、CG2公司的Vtree和Multigen公司的Vega等，但是它們也存在很多不足：商業(yè)引擎開發(fā)缺乏靈活性，因?yàn)槠湟话愣疾惶峁┑讓娱_發(fā)接口，從而限制功能的擴(kuò)展；商業(yè)引擎無法渲染出較為逼真的場景效果，浪費(fèi)GPU的處理能力從而影響系統(tǒng)實(shí)時(shí)性；由于其功能繁多，產(chǎn)生冗余代碼也多，影響其運(yùn)行效率。

介于以上圖形引擎的諸多不足，OpenSceneGraph（OSG）作為虛擬場景圖形引擎，是一個(gè)跨平臺的、開放源碼的、高效的三維圖形引擎，目前應(yīng)用于高性能圖形設(shè)計(jì)領(lǐng)域中，例如虛擬現(xiàn)實(shí)、游戲、仿真、科學(xué)可視化等。OSG不僅提供基于OpenGL的面向?qū)ο蟮目蚣?，還有加快圖形應(yīng)用開發(fā)的附加功能模塊和可擴(kuò)展接口庫。

2基于情景上下文的虛擬交互

隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展以及人機(jī)交互在其中所占有的重要地位，虛擬環(huán)境和其參與者的人機(jī)交互作用賦予了新的內(nèi)涵。沉浸式虛擬環(huán)境[4-5]讓用戶有一種“身臨其境”的感覺，這也正是用戶與對象之間進(jìn)行交互的過程，其歸根結(jié)底要解決如何操作和改造虛擬環(huán)境中的對象。

2.1語義對象與交互行為

“信息透鏡”概念指的是界面對象通過視圖的不同縮放比例來顯示相對應(yīng)的外觀信息，這是Jazz在可伸縮用戶界面中提出的早期語義對象的概念；再如“按需提供細(xì)節(jié)（themantraofdetail.on.demand）”的技術(shù)[6]是BenShneiderman在信息可視化系統(tǒng)中提出的。

語義對象的定義可以從實(shí)現(xiàn)面向語義的高層交互隱喻的目標(biāo)這個(gè)角度來詮釋，一個(gè)語義對象由交互構(gòu)件（interactioncomponent）、圖形構(gòu)件（graphicscomponent）、規(guī)則構(gòu)件（rulecomponent）、和應(yīng)用構(gòu)件（applicationcomponent）行為構(gòu)件（behaviorcomponen0構(gòu)成.在虛擬環(huán)境中的虛擬對象，它的語義一般包括一系列行為狀態(tài)和規(guī)則事件。換句話說，存在于虛擬環(huán)境中為用戶所感知的對象或者物體（包含其交互上下文的語義信息和外觀幾何信息）按照相應(yīng)的規(guī)則反饋和相應(yīng)所發(fā)生的交互事件，繼而完成相應(yīng)任務(wù)。

通過我們分析觀察的上文所提及的事件，在人機(jī)交互中多由用戶所觸發(fā)，一般分為虛擬場景中用戶化身的位置變化即化身位置感應(yīng)（PositionRps）和用戶在虛擬對象[7]上進(jìn)行各種交互操作的用戶手勢操作（GestOpt）。語義模型可以很好的解決場景圖處理不好交互語義的問題，它是具有特定應(yīng)用含義和組織形式的場景構(gòu)成模式，達(dá)到易于操作處理用戶界面的目的。

在實(shí)際操作中，我們一般會遇到的例如對象在化身可操作范圍內(nèi)時(shí)處于“可操作”狀態(tài)，離開操作范圍后變?yōu)椤安豢刹僮鳌睜顟B(tài)，或者鼠標(biāo)的各項(xiàng)操作和三維手勢等。

1）規(guī)則構(gòu)件[8]：在我們的現(xiàn)實(shí)世界里，有很多操作都會有特定的先后順序，比如先倒水再喝水，在虛擬世界中我們把它看作是是否響應(yīng)事件和如何響應(yīng)事件，規(guī)則構(gòu)件則表達(dá)了虛擬對象的交互規(guī)則和約束。另外，在現(xiàn)實(shí)世界里某些對象具有特定的供給屬性，比方說人可以在水里游泳卻不可以在陸地上，這就說明了水具有可以游泳的供給，而陸地不具備，所以規(guī)則構(gòu)件還含有某些特定的供給屬性，這也同時(shí)決定了某些對象的交互特性。

2）圖形構(gòu)件：在某些情況下，當(dāng)我們需要對圖形構(gòu)件進(jìn)行更進(jìn)一步的抽象來實(shí)現(xiàn)高層交互語義時(shí)，接收的輸入內(nèi)容含有復(fù)雜的交互行為指令，這時(shí)圖形構(gòu)件就發(fā)揮了作用。它包含了虛擬對象的諸如紋理、顏色、材質(zhì)、形狀等屬性、語音信息以及動態(tài)特征等，方便同一層次中的交互行為。

3）應(yīng)用構(gòu)件：當(dāng)用戶和虛擬環(huán)境發(fā)生交互時(shí)，當(dāng)圖形構(gòu)件提供相應(yīng)的視聽覺方面的線索于反饋時(shí)，應(yīng)用構(gòu)件表達(dá)與之相關(guān)的應(yīng)用任務(wù)，并由交互構(gòu)件觸發(fā)執(zhí)行。

4）交互構(gòu)件：交互構(gòu)件可以處理基本的交互事件如點(diǎn)擊和拖拽等，還可以處理完成給復(fù)雜的例如三維手勢的交互性操作。它主要做了處理接收和交互分發(fā)的工作，處理接收轉(zhuǎn)化用戶的交互操作以及語義對象能夠相應(yīng)的交互事件，將其發(fā)送給行為構(gòu)件來執(zhí)行。為實(shí)現(xiàn)復(fù)雜的交互操作，分析和推理交互事件通過調(diào)用規(guī)則構(gòu)件來進(jìn)行。

5）行為構(gòu)件：行為構(gòu)件反應(yīng)了虛擬環(huán)境中相應(yīng)對象的各種行為，在人機(jī)交互的過程當(dāng)中，通過調(diào)用圖形構(gòu)件的功能來實(shí)現(xiàn)執(zhí)行對象的行為。這些行為描述了語義對象對對象狀態(tài)變化和語義對象對用戶交互動作的響應(yīng)。行為構(gòu)件接收交互構(gòu)件所發(fā)來的查詢命令，將反饋狀態(tài)的信息發(fā)送給交互構(gòu)件，交互構(gòu)件因此來分析判斷最終決定執(zhí)行何種交互行為。

語義對象體系結(jié)構(gòu)[9]中的各個(gè)構(gòu)件之間通過查詢規(guī)則狀態(tài)、反饋對象的行為規(guī)則及狀態(tài)或者功能調(diào)用來實(shí)現(xiàn)它們之間的通信，實(shí)現(xiàn)從輸入“事件”到輸出“反饋”的流程。在虛擬環(huán)境中，通過加入交互語義IS=來識別虛擬對象需要執(zhí)行的交互任務(wù)。交互對象為Object，用謂詞邏輯演算表達(dá)式來描述的觸發(fā)交互行為的規(guī)則為rule，參與者和相應(yīng)的交互對象所產(chǎn)生的動作為action，交互結(jié)果即所執(zhí)行的交互任務(wù)為task，交互產(chǎn)后后的多感知通道級視聽覺和觸覺等的反饋為feedback。

綜上所述，我們通過一張圖來說明語義對象解析和響應(yīng)交互事件的過程：首先，經(jīng)過系統(tǒng)的分析整合，用戶的實(shí)際操作封裝成交互事件傳遞給正在交互的虛擬對象；其次，語義動作的生成，通過查詢該虛擬對象的語義規(guī)則然后將交互事件附上特定的語義屬性；最后，系統(tǒng)判斷做動作反饋還是進(jìn)行導(dǎo)航，還是選擇、操作或者控制任務(wù)，如果是反饋，則包括紋理、材質(zhì)或顏色等可視化表達(dá)信息和旋轉(zhuǎn)平移等幾何變換。

如何讓用戶根據(jù)實(shí)際感知來和虛擬環(huán)境進(jìn)行交互？通過人機(jī)接口系統(tǒng)將虛擬環(huán)境中的壓力、音響、圖像等信息傳送到這個(gè)封閉回路系統(tǒng)中的重要角色用戶的感官，并及時(shí)的將用戶的行為反應(yīng)通過傳感器進(jìn)行測試來調(diào)整生成的序列。

所以，隨著技術(shù)的日益完善，人已不再是被動的接受者于虛擬現(xiàn)實(shí)系統(tǒng)相對立，而是一個(gè)不可或缺的關(guān)鍵角色，這種觀念引導(dǎo)著更加和諧的人與虛擬環(huán)境的關(guān)系，也讓人機(jī)交互更加的人性化、真實(shí)化。

3結(jié)束語

虛擬現(xiàn)實(shí)主要通過使用計(jì)算機(jī)及其外部設(shè)備生成虛擬環(huán)境，并且能夠?qū)崿F(xiàn)對其中的實(shí)體進(jìn)行控制和交互操作。操作者能夠很好地融入到虛擬環(huán)境中，達(dá)到一種身臨其境的感覺。

它是集傳感器技術(shù)、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)仿真、人工智能、人機(jī)接口等多種高科技為一體的人機(jī)交互技術(shù)。作為一種高級的人機(jī)交互技術(shù)，虛擬現(xiàn)實(shí)的研究主要圍繞著提高系統(tǒng)的構(gòu)想性、沉浸感、交互性來進(jìn)行。隨著對人類感知系統(tǒng)的不斷深入研究，三維圖形技術(shù)和多傳感器技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)作為一項(xiàng)實(shí)用技術(shù)，廣泛的應(yīng)用于很多領(lǐng)域，例如娛樂、訓(xùn)練、產(chǎn)品原型設(shè)計(jì)、教育、醫(yī)療、遙控操作等。

虛擬現(xiàn)實(shí)研究的熱點(diǎn)也是重要的研究領(lǐng)域?yàn)樘摂M環(huán)境，它是通過計(jì)算機(jī)生成聽、視、觸覺等感覺作用于用戶，使用戶產(chǎn)生“身臨其境”感覺的交互式視景仿真系統(tǒng)。該文所構(gòu)建的仿真虛擬環(huán)境的沉浸感還不足，可以通過結(jié)合虛擬現(xiàn)實(shí)技術(shù)中的傳感器技術(shù)、人工智能等技術(shù)來加強(qiáng)，考慮逐步增加其它交互通道。

參考文獻(xiàn)：

[1]王曉偉.虛擬環(huán)境及其應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，1994，16（4）：60-63.

[2]王紅兵.虛擬現(xiàn)實(shí)技術(shù)——回顧與展望[J].計(jì)算機(jī)工程與應(yīng)用，2001，37（1）.

[3]薛曉明，敬萬鈞，劉錦德.虛擬環(huán)境交互技術(shù)研究[J].系統(tǒng)仿真學(xué)報(bào)，2001（S2）：549-552.

[4]雷超，戴國忠.三維交互體系結(jié)構(gòu)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)研究與發(fā)展，2001，38（5）：557-562.

[5]李自力.虛擬現(xiàn)實(shí)中基于圖形與圖象的混合建模技術(shù)[J].中國圖象圖形學(xué)報(bào)，2001（1）..

[6]劉賢梅.虛擬現(xiàn)實(shí)技術(shù)及其應(yīng)用[J].大慶石油學(xué)院學(xué)報(bào)，2002（2）.

[7]王煒，包衛(wèi)東.虛擬仿真系統(tǒng)導(dǎo)論[M].長沙：國防大學(xué)出版社，2007.

[8]吳旭光，楊慧珍，王新民.計(jì)算機(jī)仿真技術(shù)[M].北京：化學(xué)工業(yè)出版社，2005

[9]馬登武，孫隆和.虛擬現(xiàn)實(shí)技術(shù)研究綜述[C]//中國體視學(xué)學(xué)會圖像分析專業(yè)、中國體視學(xué)學(xué)會仿真與虛擬現(xiàn)實(shí)專業(yè)、中國航空學(xué)會信號與信息處理專業(yè)第一屆聯(lián)合學(xué)術(shù)會議論文集，2000.