程淑紅, 楊鎮(zhèn)豪， 王 唱

(1.燕山大學 電氣工程學院，河北 秦皇島 066004；2.燕山大學 機械工程學院，河北 秦皇島 066004)

1 引 言

船舶操縱模擬平臺是利用電子設(shè)備、計算機和顯示設(shè)備在實驗室環(huán)境下模擬船舶海上航行狀況[1]，用以提升海員對船只的實時操作能力。隨著虛擬現(xiàn)實技術(shù)的發(fā)展，船舶操縱模擬平臺開始利用三維仿真技術(shù)搭建船舶和水體虛擬模型[2，3]，但采用的人機交互方式依然以鍵盤、鼠標等傳統(tǒng)交互方式為主，面對虛擬場景存在操作繁瑣的問題[4]。船舶操縱模擬平臺需要一種更自然有效的人機交互方式。

手勢是人與人之間最自然的交流方式之一，具有通用性和抗干擾能力強的優(yōu)點。實現(xiàn)手勢識別主要有3類方法: 第1類需要使用可穿戴設(shè)備。如李秀艷等[5]和李露等[6]分別利用傳感器采集了手腕和手指部分的手勢數(shù)據(jù)，通過對數(shù)據(jù)處理實現(xiàn)手勢分類；或者通過手勢設(shè)備采集大量的數(shù)據(jù)，如Zhang X L等[7]和Shin S O等[8]分別利用數(shù)據(jù)手套和可穿戴IMU設(shè)備檢測手部運動數(shù)據(jù)并建立龐大數(shù)據(jù)庫; 前者采用LSTM網(wǎng)絡(luò)建立手勢分類模型，后者采用隱馬爾可夫模型作為用戶姿態(tài)精度的確定方法。該類方法需要穿戴的設(shè)備往往比較昂貴，設(shè)備本身也限制了手的靈活性。第2類是通過處理雷達傳感器識別來自目標手勢的反射信號來實現(xiàn)手勢識別。如Hazra S等[9]將手勢的反射信號生成距離多普勒圖像，Smith K A等[10]使用機器學習記錄每個手勢的雷達特征。但這類方法使用的毫米波雷達傳感器容易受到外來雜波的影響，器件成本較高。

相比于前兩類手勢識別方法，第3類是基于視覺的手勢識別采集圖像。該類設(shè)備成本更低，無需額外穿戴設(shè)備，人機交互更自然流暢。如Ahuja M K等[11]采用一種閾值分割法和模板匹配法匹配出正確手勢，但該方法對輸入手勢圖像要求較高，容易受到光線、角度因素影響，因此時夢麗等[12]采用一種超像素手勢識別算法，實現(xiàn)了在較復(fù)雜環(huán)境下手勢識別；宋一凡等[13]利用卷積神經(jīng)網(wǎng)絡(luò)對圖像數(shù)據(jù)良好的特征提取能力來提取手勢特征，提高了手勢識別準確率。

針對目前船舶操縱模擬平臺缺乏自然流暢的人機交互模式的問題，本文提出一種多通道融合的手勢識別算法，以YOLOv4目標檢測算法為基礎(chǔ)，實現(xiàn)多視角手勢識別，將多個識別結(jié)果通過一種多數(shù)據(jù)融合算法來降低誤識率。同時設(shè)計一船舶虛擬交互平臺，通過手勢指令實現(xiàn)對虛擬船舶的操作。

2 系統(tǒng)構(gòu)成

手勢識別船舶虛擬交互平臺主要由手勢識別部分和虛擬場景搭建2部分構(gòu)成，如圖1所示。手勢識別部分在多視角下采集手勢圖像，經(jīng)過手勢識別算法框架和多數(shù)據(jù)融合算法后輸出最終手勢指令，實現(xiàn)對虛擬船舶的各種操作。

圖1 手勢識別船舶虛擬交互平臺構(gòu)成

2.1 多通道融合手勢識別算法研究

手勢識別部分又分為多視角手勢圖像獲取、通過YOLOv4手勢識別模型識別手勢和多識別結(jié)果數(shù)據(jù)融合3個階段。多通道融合手勢識別算法框架如圖2所示。

圖2 多通道融合手勢識別算法框架

2.1.1 YOLOv4目標檢測算法

YOLO[14～16]是一種端到端的基于深度神經(jīng)網(wǎng)絡(luò)的目標檢測和定位算法，具有識別速度快、準確率高的特點。

YOLOv4相較之前的版本在主干網(wǎng)絡(luò)上引入CSPNet網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成CSPDarknet，這種網(wǎng)絡(luò)結(jié)構(gòu)可以將梯度信息變化從開始到結(jié)束都集成在特征圖中，在保證準確率的同時減少了計算負擔；YOLOv4在主干網(wǎng)絡(luò)后引入SPPNet，減少了輸入圖像在經(jīng)過圖像尺寸變換后造成的信息丟失，增強了網(wǎng)絡(luò)的魯棒性；YOLOv4利用PANet結(jié)構(gòu)將網(wǎng)絡(luò)底層定位信息傳遞到高層，同時減少了高層到底層信息流通所需經(jīng)過的卷積層數(shù)，進一步提升了YOLOv4網(wǎng)絡(luò)對特征的提取能力，提升了對小目標檢測的準確率。YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

2.1.2 手勢識別通訊方案及多數(shù)據(jù)融合算法

如圖2所示，設(shè)計在3個不同設(shè)備上分別實現(xiàn)對手勢的識別，將3個識別結(jié)果發(fā)送到主設(shè)備的數(shù)據(jù)庫，并通過多數(shù)據(jù)融合算法得到最終識別結(jié)果。在進行手勢識別結(jié)果的實時發(fā)送時，采用多設(shè)備同時讀寫MySQL數(shù)據(jù)庫方式。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，具有良好的讀寫文件速度和魯棒性。多數(shù)據(jù)融合算法流程如圖4所示。

圖4 多數(shù)據(jù)融合算法流程

融合算法采用投票機制和加權(quán)機制：如果3端結(jié)果一致或者兩方結(jié)果一致，排除未識別結(jié)果(f(x)=0)后，取此時票數(shù)最大一方的結(jié)果進行輸出。若3者結(jié)果均不同，此時算法轉(zhuǎn)換為加權(quán)比較機制，即將左中右3端設(shè)備采集的置信度數(shù)據(jù)結(jié)果乘以各自的權(quán)重系數(shù)，然后比較三視角的最終置信度大小，輸出此時置信度最大的手勢識別結(jié)果。f1、f2、f3和f4的表達式如下：

f1=f(x1)

(1)

(2)

(3)

f4=f(c4)

(4)

c1=x1

(5)

c2=max(x1,x2,x3)

(6)

c3=max(x1,x2,x3)

(7)

(8)

式中：x1、x2和x3分別是3個手勢識別結(jié)果的置信度；f(x1)、f(x2)和f(x3)分別是置信度所對應(yīng)的手勢種類；c1、c2、c3和c4分別是輸出結(jié)果f1、f2、f3和f4對應(yīng)的最終置信度；w1、w2和w3是3個識別結(jié)果置信度的權(quán)重系數(shù)；wmax是置信度加權(quán)比較后最大值的權(quán)重系數(shù)。

2.2 多通道融合手勢識別算法研究

本文基于Unity3D開發(fā)引擎搭建船舶虛擬平臺，以實現(xiàn)手勢識別技術(shù)與船舶虛擬平臺的交互驗證。Unity3D是一個由Unity Technologies開發(fā)的用于創(chuàng)建三維游戲、實時三維動畫等互動類型的開發(fā)工具。使用Unity3D的主要優(yōu)點是支持平臺發(fā)布、支持導(dǎo)入多種模型文件格式以及支持外接VR設(shè)備。

本文搭建的基于Unity3D的船舶虛擬交互平臺如圖5所示。該平臺主要包括船舶在海浪中航行的虛擬場景和搭載于船舶之上的自由度穩(wěn)定平臺的轉(zhuǎn)動的虛擬場景。

圖5 基于Unity3D搭建的船舶虛擬平臺

在船舶實體建模時，首先，通過系統(tǒng)自帶文件的宏命令輸入型值點，再執(zhí)行宏程序生成船體型線；然后，運用“多界面曲面”命令由船體型線生成曲面，分船首、船中和船尾分別生成；最后，檢查曲面是否存在縫隙并對其進行修補。搭建虛擬船舶后通過“凸臺拉伸”等命令分別繪制駕駛甲板以及船舶甲板等，并在零件圖中繪制自由度穩(wěn)定平臺和錨機、欄桿、導(dǎo)覽器以及雷達桅等，完成對其在船舶加撥上的安裝。

為增強虛擬場景的真實感和用戶沉浸體驗以及海浪的復(fù)雜性，選擇導(dǎo)入Scrawk制作的Ceto Ocean System資源包。該工具包包含了Ocean基本組件、Wave Spectrum波浪組件等。通過對這些組件的參數(shù)設(shè)置，即可搭建出海浪場景。在天空場景渲染時，使用Unity3D提供的Skybox資源包，包含了各種天空貼圖，使用這些貼圖即可渲染出一個虛擬的天空。

目前在大型串并混聯(lián)穩(wěn)定跟蹤系統(tǒng)中，船載自由度穩(wěn)定平臺具有重要的應(yīng)用價值，該平臺的控制主要通過操作傳感和按鈕等方式。本文研究旨在通過手勢實現(xiàn)對虛擬船載穩(wěn)定平臺的智能控制，促進傳統(tǒng)控制方式的智能化和多樣性。

3 實驗驗證

3.1 實驗條件

本次實驗設(shè)計的攝像頭組包括3個200萬像素高清USB攝像頭，分別從中間、左邊和右邊獲取手勢圖像；為保證在3個視角下采集的手勢在圖像中大小占比一致，要求中間攝像頭6 mm焦距，左右攝像頭8 mm焦距，3個攝像頭處于同一高度且間隔50 cm，左右攝像頭與中間攝像頭構(gòu)成120°夾角，手掌距離中間攝像頭40 cm到80 cm，左右偏移 40 cm。3個攝像頭擺放位置如圖6所示。

圖6 3個攝像頭擺放位置

搭建YOLOv4手勢識別框架的3樣設(shè)備分別為2個JETSON AGX Xavier開發(fā)板和1臺主控計算機；程序運行環(huán)境為Ubuntu18.04、CUDA10.0、PyTorch。

船舶航行面臨的惡劣光照環(huán)境一般是在夜間航行時受到的光污染[17]。這些光污染源使光照環(huán)境明暗交替不定，手勢圖像受干擾嚴重。為最大程度還原船舶夜間行駛的光照環(huán)境，在實驗室條件下利用手機閃光燈直接照射手部來模擬強光環(huán)境；陰天室內(nèi)，在無其他光源情況下僅依靠顯示屏亮度來模擬昏暗環(huán)境；使手部隨機晃動來模擬船舶搖晃環(huán)境。

3.2 手勢圖像采集方案和數(shù)據(jù)集建立

為了能更全面的獲取手勢信息，設(shè)計了能在3個視角下對手勢圖像進行采集的攝像頭組，分別在左、中、右采集手勢圖像。因為同一種手勢在不同視角下有不同的表現(xiàn)，在建立手勢數(shù)據(jù)集時需采集到每個手勢在3個視角下圖像。同時考慮到手勢與攝像頭距離、焦距因素的影響，又分別在距離較遠、距離適中、距離較近的情況下對手勢進行樣本采集。

定義如圖7所示21種靜態(tài)手勢。為增強手勢識別模型的魯棒性和采集的手勢圖像的多樣性，每種手勢分別對15～20人進行采集，平均每種手勢采集400張圖片并使用數(shù)據(jù)增廣策略處理手勢圖像。

圖7 21種手勢示意圖

3.3 手勢圖像采集方案和數(shù)據(jù)集建立

將手勢數(shù)據(jù)集的80%作為訓(xùn)練樣本，經(jīng)過訓(xùn)練優(yōu)化模型參數(shù)后，分別在3個設(shè)備上搭建手勢識別算法框架。在實驗室環(huán)環(huán)境下，模擬搖晃、強光、昏暗3種復(fù)雜環(huán)境，并用該算法對手勢進行實時識別。每種手勢隨機截取50張圖片，分別測試該算法在復(fù)雜環(huán)境下對21種手勢識別的準確率δAcc，并比較在相同條件下單視角的識別效果。選取前5種手勢識別結(jié)果如表1和表2所示。

表1 單視角下手勢識別準確率

表2 多通道融合手勢識別準確率

手勢識別的準確率定義如下：

(9)

式中：TP表示該手勢被正確識別次數(shù)；TN表示該手勢被誤識別次數(shù)。

分析表1數(shù)據(jù)，在單視角下手勢出現(xiàn)劇烈搖晃情況對手勢識別準確率影響最大。因為在劇烈搖晃時，攝像頭捕捉的手勢圖像會出現(xiàn)殘影、模糊現(xiàn)象，手勢特征會發(fā)生不確定改變，導(dǎo)致對手勢的誤識別。如圖8所示單視角下手勢在劇烈搖晃時出現(xiàn)的手勢誤識別情況。

圖8 單視角誤識別情況

分析表2數(shù)據(jù)，在多視角下對5種手勢識別的準確率相較單視角得到提升。數(shù)據(jù)計算得到通道融合手勢識別算法在正常、搖晃、強光和昏暗4種情況下對手勢識的平均準確率分別為：99.2%、91.6%、97.2%、96.4%，在復(fù)雜環(huán)境下對手勢的平均識別準確率達到95.06%。因為手勢被多個相機采集并識別可以更全面的提取手勢特征，通過多數(shù)據(jù)融合算法綜合比較多個識別結(jié)果，剔除單一視角識別出的置信度較低的手勢，輸出識別次數(shù)最多且置信度較高的手勢識別結(jié)果，降低誤識別次數(shù)，提升系統(tǒng)的魯棒性。

如圖9所示多通道融合手勢識別算法在手勢劇烈晃動情況下的識別結(jié)果和置信度。

圖9 多通道融合手勢識別算法識別劇烈晃動手勢

分析圖9識別情況，3個攝像頭分別對手勢進行識別。其中，手勢1的右視角、手勢4的左視角和手勢5的右視角分別出現(xiàn)：“識別出當前手勢置信度過低”、“識別錯誤”、“正確識別當前手勢其他較高置信度手勢”。但通過多數(shù)據(jù)融合算法與其他兩個視角結(jié)果進行比較，剔除識別的錯誤種類和低置信度手勢，最終輸出正確識別結(jié)果并保留最高置信度。實驗結(jié)果說明多通道融合手勢識別算法具有較高的識別準確率和魯棒性。

3.4 手勢圖像采集方案和數(shù)據(jù)集建立

環(huán)境的復(fù)雜性與交互的穩(wěn)定性密切相關(guān)。本文基于手勢與船舶虛擬平臺的交互測試面向室內(nèi)環(huán)境，以船舶自由度穩(wěn)定平臺操作為例，定義順時針旋轉(zhuǎn)和逆時針旋轉(zhuǎn)2種旋轉(zhuǎn)形態(tài)，以60°為最小旋轉(zhuǎn)單位，使用兩類不同的手勢分別執(zhí)行順時針和逆時針旋轉(zhuǎn)指令。使用手勢19和手勢20分別表示自由度穩(wěn)定平臺的順時針和逆時針旋轉(zhuǎn)。手勢指令實現(xiàn)人與虛擬船舶的人機交互如圖10所示。其中對手勢識別的置信度達到99%，平均響應(yīng)時間小于0.1 s，證明該手勢識別算法在船舶虛擬交互平臺具有優(yōu)越的識別準確率和響應(yīng)速度。

圖10 使用手勢指令實現(xiàn)船舶虛擬交互

4 結(jié) 論

為促進船舶虛擬交互平臺從傳統(tǒng)交互模式向智能化轉(zhuǎn)變，本文提出一種多通道融合下的手勢識別算法，同時實現(xiàn)了通過手勢對虛擬船舶穩(wěn)定平臺的操作。該手勢識別算法在3個設(shè)備上搭建基于YOLOv4的手勢識別模型，利用多攝像頭組采集手勢并通過多數(shù)據(jù)融合算法決策出最終識別結(jié)果。結(jié)果顯示該手勢識別方法在復(fù)雜環(huán)境下仍能保持95%以上的準確率。

實驗測試利用手勢指令實現(xiàn)對虛擬船舶的自由度穩(wěn)定平臺的操作，自由度穩(wěn)定平臺能根據(jù)手勢指令迅速做出響應(yīng)，在整個操作過程中實現(xiàn)了手勢識別人機交互模式的自然感和高流暢度。