王象剛

（東營職業(yè)學院，山東東營，257091）

1 智能手機三維交互框架

智能手機，尤其是像蘋果，三星等配有高像素攝像頭、大尺寸多點觸摸屏幕、豐富傳感器的手機，給大屏幕交互帶來了新的希望.相比于鼠標等傳統(tǒng)設(shè)備，智能手機具有明顯優(yōu)勢。智能手機有著不同于傳統(tǒng)交互設(shè)備特點：傳統(tǒng)交互設(shè)備專用性較強，如鼠標的發(fā)明是為了用于WIMP 界面交互，而智能手機的主要用途是通訊；鼠標輸入通道單一，其移動與按鍵構(gòu)成全部輸入而智能手機集成了多個輸入通道，如攝像頭視頻輸入通道、話筒語音輸入通道、慣性傳感器運動輸入道、觸摸屏輸入通道等；傳統(tǒng)鼠標交互需要支撐面，因此其交互范圍受到限制，而智能手機采用無線方式在三維空間中進行交互.通過分析智能手機與大屏幕交互過程中的數(shù)據(jù)流動。

所示，它采用客戶端服務(wù)器架構(gòu)，客戶端運行于手機上，服務(wù)器端運行于公共大屏幕等后端服務(wù)器，客戶端用Wi-Fi 或者藍牙與服務(wù)器進行通信客戶端按數(shù)據(jù)流動的方向劃分為交互層、應(yīng)用邏輯層、網(wǎng)絡(luò)層.交互層監(jiān)聽用戶的交互操作，將捕獲的觸屏輸入與傳感器輸入傳遞給應(yīng)用邏輯層.應(yīng)用邏輯層含觸屏輸入處理模塊、空間姿態(tài)解算模塊以及消息合成模塊.觸屏數(shù)據(jù)輸入模塊處理交互層發(fā)送過來的手指手勢信息并將其解釋成觸屏消息；空間姿態(tài)解算模塊處理交互層發(fā)送過來的傳感器原始數(shù)據(jù)并計算出設(shè)備的空間姿態(tài)；消息合成模塊將屏消息與空間姿態(tài)通過定義的交互消息格式合成為交互消息，交由網(wǎng)絡(luò)層負責發(fā)出.服務(wù)器端按數(shù)據(jù)流動的方向劃分為網(wǎng)絡(luò)層、交互映射層、界面層。

2 三維人際交互分類

2.1 基本交互任務(wù)

所謂的基本交互任務(wù)就是我們平常所使用的漫游技術(shù)，或則是系統(tǒng)控制任務(wù)，使用者操作技術(shù)時三維用戶界面的基礎(chǔ)，通常也是交互技術(shù)的基本組成部分，比如在系統(tǒng)控制技術(shù)中必須用到選擇技術(shù)來判定三維物體，而對于離散點的漫游技術(shù)中，同樣需要連續(xù)的選擇多個點組成運動軌跡來實現(xiàn)。

2.2 雙手交互技術(shù)

所謂的雙手交互技術(shù)憑借其在行為學上的優(yōu)勢而受到較為廣泛的推廣，雙手交互技術(shù)不僅僅能夠提高工作效率和網(wǎng)速，還能將用戶在日常生活中的技能自然的反映到人機對話中，從而有效的降低用戶的學習壓力和使用難度，比如虛擬制造就是雙手交互技術(shù)比較典型的應(yīng)用。

2.3 多通道交互技術(shù)

多通道交互技術(shù)時基于人具有多通道感知能力來發(fā)明的，為用戶提供形象逼真的感官體驗是虛擬環(huán)境研究的關(guān)鍵，從這個角度來說，虛擬環(huán)境就是研究多通道交互技術(shù)的最佳環(huán)境，比如語音、手勢都可以作為輸入通道，不難理解，各個通道之間的融合和用戶使用意圖的敏銳捕捉是多通道交互技術(shù)的關(guān)鍵。

2.4 二維設(shè)備的交互技術(shù)

基于二維設(shè)備的三維交互技術(shù)可以說是從CAD 領(lǐng)域發(fā)展而來的，現(xiàn)階段主流的CAD 軟件都支持鼠標進行二維變化，但是二維設(shè)備應(yīng)用不夠靈活，三維界面中的自由度往往需要轉(zhuǎn)化為鼠標的操作序列，這就會降低用戶的操作效率和交互自然性，二維設(shè)備中最為合適的交互技術(shù)就是指點選擇。目前的三維交互設(shè)備還處于探索階段，還沒有一種比較完善的輸入裝置能夠像二維圖形界面一樣廣泛的流行開來，但是三維設(shè)備的發(fā)展特別快，目前已經(jīng)由的三維交互設(shè)備主要有立體顯示、3D位置跟蹤設(shè)備等，立體顯示設(shè)備比如我們?nèi)粘Ｊ褂玫目梢苿拥娘@示器等，立體眼鏡是一種特殊的眼鏡，使用者能夠從眼鏡上看到顯示器上的立體圖像，三維的顯示器能夠根據(jù)人眼的區(qū)別顯示兩種圖像。

3 基于慣性傳感器的姿態(tài)解算

對物體空間姿態(tài)與位置的研究主要來源于捷聯(lián)慣導系統(tǒng)，軍用系統(tǒng)中借助GPS、全站儀來輔助計算.由于設(shè)備的限制，本文只關(guān)注設(shè)備姿態(tài)的計算，而對于位置計算則不做過多探討.物體的空間姿態(tài)解算的經(jīng)典算法有龍格－庫塔法以及卡爾曼濾波.龍格－庫塔法通過對陀螺儀的三軸角速度值進行積分，可以得出任一時刻的空間姿態(tài)；其缺點在于陀螺儀精度有限，長時間積分會發(fā)生誤差積累，使計算結(jié)果隨時間發(fā)生漂移.爾曼濾波用加速度計測量值作為觀測值去校正前一狀態(tài)通過陀螺儀積分計算出來的預測值，通過迭代過程預測值被更新并且逼近真實值；其缺點在于在運動比較平穩(wěn)的情況下其預測效果很好，但是當運動較快等受慣性力情況下，因受加速度計值快速變化的影響，會出現(xiàn)抖動嚴重以及收斂較慢等情況，并且迭代過程計算量也較大，算法復雜度較高.針對上述問題，本文提出了一種輕量級、實時準確的多傳感器融合空間姿態(tài)解算算法.由于手機運動過程總是快速運動狀態(tài)與準靜止狀態(tài)（手機運動速度非常小，接近于靜止狀態(tài)）的相互轉(zhuǎn)換，當手機快速運動時運動幅度較大，加速度計值，因為無法消除重力分量而不可信，在此狀態(tài)下棄用加速度計值，用四階龍格－庫塔法對陀螺儀數(shù)值進行積分求得運動狀態(tài)下的空間姿態(tài)；而當手機在準靜止狀態(tài)時，即三軸加速度模值接近重力加速度g時，加速度計值結(jié)合磁力計值用重力分解法解算空間姿態(tài)，可達到消除當前姿態(tài)漂移誤差的目的.整個計算過程是基于四元數(shù)運算的，四元數(shù)相比于歐拉角來說，可以避免“萬向死鎖節(jié)”，并且相對于旋轉(zhuǎn)矩陣來說，四元數(shù)只需4 個數(shù)表示可以簡化計算過程。整個姿態(tài)解算過程步驟如圖1：

帶有慣性傳感器、觸摸屏、攝像頭智能手機，如目前出現(xiàn)的蘋果、安卓系統(tǒng)的手機，它們在具備通訊功能的同時，可以很方便地用于遠距離、大幕的交互.本文基于傳感器與觸屏信息融合的思想，提出2 種交互技術(shù)，分別用于二維交互場景與三維交互場景，達到用手機代替?zhèn)鹘y(tǒng)二維交互設(shè)備在這些場景下交互的目的.本文進行了相關(guān)應(yīng)用實例的開發(fā)與評估，從實驗的結(jié)果可以看出，在二維交互應(yīng)用場景中，手機通過合適的交互映射技術(shù)，幾乎可以代替?zhèn)鹘y(tǒng)的鼠標與鍵盤進行交互；而在三維應(yīng)用場景中，在交互效率、自然性、易學習性以及用戶偏好方面，手機相比于鼠標鍵盤都有著不可比擬的優(yōu)越性.開發(fā)者若基于智能手機的三維交互框架，能快速地開發(fā)出適應(yīng)用戶需求的應(yīng)用；整個框架可擴展性強，通過添加相應(yīng)的模塊即可用于特定的交互場景.智能手持設(shè)備除了具有移動通訊功能外，也是一類具有輸入、輸出集成的多通道交互設(shè)備，在虛擬現(xiàn)實和普適計算等領(lǐng)域具有廣泛的應(yīng)用前景。

4 三維交互映射

三維交互映射是將獲取的輸入信息映射成三維交互操作的技術(shù)三維交互技術(shù)可以分為虛擬手（virtual hand）與虛擬射線（virtual pointer）2 種，在“虛擬手”中，用戶主要通過“虛擬手”來觸摸與拾取物體；而在“虛擬射線”中，用戶主要通過指向物體來進行交互.本文中可以獲得手機的空間姿態(tài)［φ，θ，ψ］，但是手機空間運動的位移與位置由于傳感器的限制無法精確計算，而“虛擬射線”中的第九射線技術(shù)用指點設(shè)備的空間姿態(tài)就可以對物體進行控制，所以本文選擇用第九射線實現(xiàn)三維交互.經(jīng)典第九射線通過空間姿態(tài)的映射達到對物體3DOF 的控制.具體來說，用ψ 角映射為三維空間x軸上移動物體，θ 角映射為y軸上移動物體，而φ 角映射z軸上旋轉(zhuǎn)物體.本文通過把空間姿態(tài)與觸屏信息相結(jié)合，對第九射線算法進行了改進，在實現(xiàn)了在x，y軸上移動物體以及z軸旋轉(zhuǎn)物體的同時，增加了對物體在z軸上移動以及放大縮小的控制。

圖形菜單的轉(zhuǎn)變是三維交互映射中的主要內(nèi)容，將二維的圖形菜單變?yōu)槿S的，是當下最為受歡迎的系統(tǒng)控制技術(shù)，這些菜單的原始功能與桌面環(huán)境下的基本相同，通常情況下，二維的菜單具有下拉式、浮動式以及彈出式菜單，將二維的菜單轉(zhuǎn)為三維技術(shù)，其中最為關(guān)鍵的就是將菜單選項對準相機，這樣的話用戶不管向哪看，都可以看到菜單顯示，這種三維的菜單最大的優(yōu)勢就是對于交互技術(shù)能夠靈活的應(yīng)用，并且便于用戶理解和使用，基本上所有的用戶都能立刻識別這些菜單的元素。智能手機的空間坐標分布（如圖2）：

菜單的位置直接影響著用戶對設(shè)計結(jié)果的接受程度，從這個角度來說，菜單最好是能夠便于用戶操作。任何操作技術(shù)都是由一定的適用范圍的，比如醫(yī)學中的操作技術(shù)不能夠在城市規(guī)劃中使用，因此在研究交互技術(shù)之前，我們必須要明確交互任務(wù)，要根據(jù)不同的操作華寧，采用不同的操縱方式，從而實現(xiàn)不同的交互技術(shù)應(yīng)用。

5 結(jié)語

三維交互技術(shù)將是未來智能手機發(fā)展的一個重要方向，我們要基于現(xiàn)有的技術(shù)水平，不斷的改進和創(chuàng)新三維交互技術(shù)與智能手機的結(jié)合技術(shù)，不斷提升智能手機的性能和質(zhì)量，更好的滿足用戶的日常需求，進一步豐富智能手機的功能，實現(xiàn)更為廣泛的應(yīng)用和推廣。三維交互技術(shù)將是未來手機的一個重要的發(fā)展方向，因此我們要不斷的豐富和完善智能手機的三維交互技術(shù)，不斷的創(chuàng)新三維交互設(shè)備，充分利用二者的優(yōu)勢和長處，徹底的實現(xiàn)優(yōu)勢互補和資源共享。

圖2

[1] 董世海. 人機交互的進展及面臨的挑戰(zhàn)[J].計算機輔助設(shè)計與圖形學學報.2013

[2] 廖竹華. 裝配仿真的三維交互和用戶界面設(shè)計[J].系統(tǒng)仿真學報.2013

[3] 永剛.桌面環(huán)境下的三維用戶界面和三維交互技術(shù)[D].中國科學院研究生院博士學位論文.2013

[4] 邢衛(wèi)東. 基于GVS 的城區(qū)漫游系統(tǒng)的開發(fā)[J]. 計算機應(yīng)用.2011