沈立新，胡威，王艷紅

（1.長(zhǎng)春師范高等?？茖W(xué)校，長(zhǎng)春 130216；2.長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022）

據(jù)世界衛(wèi)生組織（WHO）數(shù)據(jù)顯示，全球約有7 500 萬(wàn)盲人和約1.24 億的視力低下的人群。由于視力受損，該人群的自理能力和生活質(zhì)量都受到了極大的影響。隨著物質(zhì)生活和科技水平的不斷提高，視障患者也有與正常人一樣享受物質(zhì)文化成果和體驗(yàn)科技進(jìn)步的需求。然而，視覺(jué)的缺失嚴(yán)重限制了視障患者的信息獲取能力，在無(wú)他人幫助的情況下，視障患者無(wú)法通過(guò)自主運(yùn)動(dòng)而完成正常的生活活動(dòng)。同時(shí)，視力受損導(dǎo)致的行動(dòng)能力缺失，使視障患者無(wú)法參與到社會(huì)活動(dòng)中。

區(qū)別于室外導(dǎo)航服務(wù)系統(tǒng)，室內(nèi)環(huán)境普遍存在遮擋和多徑效應(yīng)，因此，無(wú)法通過(guò)接收衛(wèi)星定位信號(hào)為用戶提供位置服務(wù)［1-2］。視障患者在室內(nèi)空間中迫切需要確定自身位置并感知環(huán)境信息，因此，研究和開(kāi)發(fā)不依賴衛(wèi)星信號(hào)的室內(nèi)輔助導(dǎo)航系統(tǒng)是十分重要的。近年來(lái)，隨著圖像處理與傳感器技術(shù)的發(fā)展，視覺(jué)驅(qū)動(dòng)的定位方法逐漸成為了輔助導(dǎo)航領(lǐng)域的研究熱點(diǎn)。

室內(nèi)輔助導(dǎo)航根據(jù)其使用設(shè)備不同，可分為視覺(jué)導(dǎo)航系統(tǒng)、視覺(jué)-深度（RGB-D）導(dǎo)航系統(tǒng)、智能手杖系統(tǒng)以及輔助導(dǎo)航車系統(tǒng)等［3-5］。綜合考慮定位精度、有效距離以及使用便利性等因素，認(rèn)為RGB-D 輔助導(dǎo)航系統(tǒng)在保證性能的同時(shí)，更具有使用便利性。視障患者受制于生理缺陷，無(wú)法通過(guò)視覺(jué)系統(tǒng)獲取導(dǎo)航指引信息和環(huán)境感知結(jié)果。因此，跨模態(tài)的信息交互方法是指導(dǎo)患者完成環(huán)境感知和自主運(yùn)動(dòng)的關(guān)鍵。Li 等人［6］提出了可穿戴式輔助導(dǎo)航系統(tǒng)，該系統(tǒng)雖然可以在室外環(huán)境中借助于GPS 信號(hào)為患者提供位置信息，但該系統(tǒng)無(wú)法在室內(nèi)環(huán)境中工作。Hirano 等人［7］通過(guò)觸覺(jué)感知系統(tǒng)將運(yùn)動(dòng)指導(dǎo)信息傳遞給參與運(yùn)動(dòng)的視障患者，并對(duì)患者的運(yùn)動(dòng)動(dòng)作提供指導(dǎo)。近年來(lái)，語(yǔ)音提示功能被引入到面向視障患者的環(huán)境感知和輔助導(dǎo)航系統(tǒng)中［8-9］。但是，視障患者無(wú)法通過(guò)語(yǔ)音提示（例如“前、后、左、右”等方位提示）理解環(huán)境中地理要素的準(zhǔn)確位置，尤其是當(dāng)患者需要與室內(nèi)設(shè)施發(fā)生互動(dòng)時(shí)，準(zhǔn)確的方位指引便顯得尤為重要。因此，在本文中，將視覺(jué)可見(jiàn)的地理要素轉(zhuǎn)化為虛擬聲源，以跨模態(tài)的方式傳遞給視障患者。通過(guò)調(diào)制虛擬聲場(chǎng)的頻率、振幅和響度，賦予地理要素不同的語(yǔ)義標(biāo)簽，從而指導(dǎo)視障患者完成環(huán)境感知。在此基礎(chǔ)上，通過(guò)深度學(xué)習(xí)方法，實(shí)現(xiàn)對(duì)視障患者的跨模態(tài)導(dǎo)航。

1 系統(tǒng)介紹與地理要素識(shí)別

本文提出的跨模態(tài)導(dǎo)航系統(tǒng)由兩個(gè)消費(fèi)級(jí)傳感器（RGB-D 傳感器和骨傳導(dǎo)耳機(jī)）以及一個(gè)微型計(jì)算機(jī)構(gòu)成，如圖1所示。在該系統(tǒng)中，RGB-D傳感器采集室內(nèi)環(huán)境中的視覺(jué)特征以及視覺(jué)特征對(duì)應(yīng)的深度信息。視覺(jué)和深度信息在計(jì)算機(jī)中進(jìn)行處理和運(yùn)算，生成聽(tīng)覺(jué)導(dǎo)航信息，并由骨傳導(dǎo)耳機(jī)傳遞給視障患者。震動(dòng)馬達(dá)放置于患者的腰部，用于發(fā)送運(yùn)動(dòng)方向指令。

圖1 輔助導(dǎo)航系統(tǒng)示意圖

在跨模態(tài)導(dǎo)航系統(tǒng)中，視覺(jué)傳感器采集到的信息首先被輸入到Y(jié)OLO-V3 深度學(xué)習(xí)模型［10］中，對(duì)室內(nèi)場(chǎng)景中的重要地理要素進(jìn)行識(shí)別和標(biāo)記。對(duì)于視障患者來(lái)說(shuō)，室內(nèi)環(huán)境中的重要地理要素主要包括生活中所必須使用的生活設(shè)施，例如桌椅、電器、衣柜等。通過(guò)深度學(xué)習(xí)方法可以對(duì)圖像中的地理要素進(jìn)行識(shí)別并加以理解和標(biāo)記。獲得地理要素標(biāo)簽后，將地理要素以聲學(xué)符號(hào)的形式加以描述，并以虛擬聲源的方式將地理要素進(jìn)行表示。在室內(nèi)地理要素轉(zhuǎn)換為虛擬聲源之前，需要根據(jù)人耳的聽(tīng)力范圍，對(duì)不同的語(yǔ)義元素進(jìn)行音頻編碼，即對(duì)不同的語(yǔ)義元素賦予不同頻率的音頻信號(hào)，頻譜劃分示例如圖2 所示。人的聽(tīng)覺(jué)系統(tǒng)可以分辨20～20 000 Hz 范圍內(nèi)的聲音信號(hào)。本系統(tǒng)中選用更為舒適的頻率區(qū)間（即200～8 000 Hz）用于對(duì)地理要素的音頻編碼。

圖2 虛擬聲源頻譜劃分示例

2 視覺(jué)地理要素的跨模態(tài)聲學(xué)渲染

在本導(dǎo)航系統(tǒng)中，將采用頭相關(guān)傳輸函數(shù)進(jìn)行視覺(jué)地理要素的跨模態(tài)聲學(xué)渲染。頭相關(guān)傳輸函數(shù)（Head Related Transfer Function，HRTF）是一個(gè)與頭部相關(guān)脈沖響應(yīng)的傅里葉變換，頭相關(guān)傳輸函數(shù)結(jié)果取決于患者與地理要素之間的相對(duì)位置。頭相關(guān)傳輸函數(shù)是一個(gè)線性時(shí)不變的傳遞函數(shù)，因此可以用線性時(shí)不變模型來(lái)近似［11］。本系統(tǒng)中主要利用頭相關(guān)傳輸函數(shù)的空間指向特性來(lái)實(shí)現(xiàn)對(duì)地理要素的聲學(xué)渲染。

根據(jù)RGB-D 傳感器的原理可知，視覺(jué)圖像中地理要素與傳感器之間的距離可以通過(guò)深度傳感器進(jìn)行測(cè)量，該距離r在本系統(tǒng)認(rèn)為是患者與地理要素之間的距離。利用頭相關(guān)傳輸函數(shù)可以對(duì)地理要素進(jìn)行二維聲學(xué)渲染，得到在P位置處的渲染結(jié)果為：

其中，方位角φk表示患者與地理要素在水平面上的相對(duì)位置關(guān)系；wk為與方位角相關(guān)的權(quán)重。如果將RGB-D 傳感器上彩色相機(jī)的光心與地理要素之間的連線稱為視覺(jué)線，那么方位角即為視覺(jué)線與彩色相機(jī)光軸在水平面上的夾角。

由式（1）可知，P位置處的聲學(xué)渲染結(jié)果是由已測(cè)量的HRTF 函數(shù)結(jié)果f(φk) 加權(quán)相加得到的。

通過(guò)參數(shù)(φ,r) 可以表示出患者與地理要素之間的相對(duì)位置關(guān)系。當(dāng)?shù)乩硪嘏c患者的方向角為φ（φk≤φ≤φk+1）時(shí)，利用鄰域線性插值法可得［12］：

由式（3）可知，視障患者與地理要素之間的相對(duì)位置關(guān)系由渲染結(jié)果表示。在實(shí)際應(yīng)用過(guò)程中，需要針對(duì)左右耳分別進(jìn)行聲學(xué)渲染，從而獲得左右耳的渲染結(jié)果和。此外，地理要素與患者之間的距離用音頻的強(qiáng)度來(lái)表示，不同地理要素之間用不同頻率的音頻信號(hào)來(lái)加以區(qū)分。這樣，RGB-D 傳感器采集到的視覺(jué)信號(hào)便轉(zhuǎn)化為了視障患者可以感知的音頻信號(hào)。

3 基于深度學(xué)習(xí)的輔助導(dǎo)航

本系統(tǒng)中提出了基于深度學(xué)習(xí)的視聽(tīng)覺(jué)協(xié)同導(dǎo)航框架（如圖3 所示），在此框架下為視障患者提供環(huán)境感知和輔助導(dǎo)航信息。視聽(tīng)覺(jué)協(xié)同導(dǎo)航框架包含有三個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）層（卷積核尺寸分別為8 × 8、4 × 4 以及3 × 3）、一個(gè)線性層以及一個(gè)門限循環(huán)單元。導(dǎo)航框架的輸入是視覺(jué)信息、深度信息以及經(jīng)過(guò)處理的雙耳音頻信號(hào)，經(jīng)過(guò)卷積網(wǎng)絡(luò)處理后，得到向量VV、VD和VA。將三個(gè)向量串聯(lián)并輸入到門控循環(huán)單元中，門控循環(huán)單元同時(shí)處理當(dāng)前輸入狀態(tài)ht和歷史累積狀態(tài)ht-1，從而更新當(dāng)前狀態(tài)，并輸出觀測(cè)狀態(tài)ot。利用評(píng)判（Critic）模塊和執(zhí)行（Actor）模塊可以進(jìn)一步計(jì)算出狀態(tài)值V(ot,ht-1)以及策略分布πφ(at|ot,ht-1)。動(dòng)作采樣器對(duì)執(zhí)行模塊數(shù)據(jù)進(jìn)行處理，并結(jié)合室內(nèi)環(huán)境形成“動(dòng)作-狀態(tài)”集反饋給輸入端，從而為下一步運(yùn)動(dòng)提供參考策略。

圖3 基于深度學(xué)習(xí)的視聽(tīng)覺(jué)協(xié)同導(dǎo)航框架

面向視障患者的輔助導(dǎo)航系統(tǒng)在提供運(yùn)動(dòng)決策方案時(shí)，需要預(yù)先定義運(yùn)動(dòng)指令集合A={MF,TL,TR,LF,RF,S} ，其中，MF 表示前進(jìn)、TL 表示左轉(zhuǎn)、TR 表示右轉(zhuǎn)、LF 表示向左前方前進(jìn)、RF表示向右前方前進(jìn)，S表示停止。在某個(gè)時(shí)間t，室內(nèi)環(huán)境狀態(tài)為st∈S，輔助導(dǎo)航系統(tǒng)觀測(cè)到的狀態(tài)為ot，該狀態(tài)包含有輔助導(dǎo)航系統(tǒng)渲染的音頻、RGB-D 傳感器采集的視覺(jué)和深度信息。輔助導(dǎo)航系統(tǒng)根據(jù)先前狀態(tài)ht-1和當(dāng)前觀測(cè)狀態(tài)ot制定策略πt,θ:A→[ 0,1] ，其中，輔助導(dǎo)航系統(tǒng)在時(shí)刻t指導(dǎo)患者實(shí)施動(dòng)作a（tat∈A）的概率是πt,θ(at|ot,ht-1)。當(dāng)輔助導(dǎo)航系統(tǒng)進(jìn)入下一個(gè)狀態(tài)st+1，即時(shí)獎(jiǎng)勵(lì)定義為rt∈?。未來(lái)衰減獎(jiǎng)勵(lì)之和Gt,γ為：

其中，γ∈[ 0,1] 是衰減系數(shù)，用于調(diào)節(jié)對(duì)近期或長(zhǎng)期獎(jiǎng)勵(lì)權(quán)重；Vt,θ(ot,ht-1)的值是期望回報(bào)。本系統(tǒng)采用近端策略優(yōu)化（Proximal Policy Optimization）［13］對(duì)導(dǎo)航系統(tǒng)進(jìn)行優(yōu)化，近端策略優(yōu)化是一種具有高魯棒性和高采樣率的一階優(yōu)化方法，在充分考慮視障患者運(yùn)動(dòng)特性和安全約束規(guī)則的條件下，近端策略算法可以實(shí)現(xiàn)對(duì)患者運(yùn)動(dòng)方案的優(yōu)化，從而提高輔助導(dǎo)航系統(tǒng)的性能表現(xiàn)。優(yōu)化后的導(dǎo)航系統(tǒng)可以向視障患者發(fā)出運(yùn)動(dòng)指令，指導(dǎo)患者在室內(nèi)環(huán)境中進(jìn)行自主移動(dòng)。

在輔助導(dǎo)航系統(tǒng)運(yùn)行過(guò)程中，室內(nèi)環(huán)境信息（包括障礙物檢測(cè)結(jié)果、人類狀態(tài)識(shí)別結(jié)果等）和輔助導(dǎo)航信息通過(guò)骨傳導(dǎo)耳機(jī)和振動(dòng)馬達(dá)傳遞給視障患者，指導(dǎo)患者與室內(nèi)設(shè)施的互動(dòng)，并指引患者進(jìn)行自主運(yùn)動(dòng)。具體來(lái)說(shuō)，患者利用數(shù)字鍵盤選擇一個(gè)地理要素作為導(dǎo)航目的地，這樣患者便可以通過(guò)音頻渲染結(jié)果識(shí)別出地理要素的距離和方位，同時(shí)通過(guò)振動(dòng)馬達(dá)感知運(yùn)動(dòng)方向。這樣，視障患者便可以在已知目的地方位的情況下，依據(jù)震動(dòng)信號(hào)進(jìn)行室內(nèi)行走，更有利于發(fā)揮患者的主觀能動(dòng)性，更好地完成自主運(yùn)。

4 實(shí)驗(yàn)結(jié)果與分析

本文中提出的輔助定位系統(tǒng)以RGB-D 傳感器（Intel Real Sense D435i）作為信息輸入設(shè)備，信息經(jīng)過(guò)微型計(jì)算機(jī)運(yùn)算和加工后，導(dǎo)航信息通過(guò)骨傳導(dǎo)耳機(jī)（SHOKZ Open Run Pro）和震動(dòng)馬達(dá)傳遞給視障患者。輔助導(dǎo)航系統(tǒng)運(yùn)行在ubuntu18.04 操作系統(tǒng)上，配備有Intel I7 9700K 處理器和NVIDIA GeForce RTX 2070 SUPER 顯卡。本文實(shí)驗(yàn)主要驗(yàn)證輔助導(dǎo)航系統(tǒng)的導(dǎo)航指引性能和地理要素感知性能。

輔助導(dǎo)航系統(tǒng)通過(guò)渲染聲音信號(hào)，為患者提供地理要素指引信息，即方位信息。為了驗(yàn)證輔助導(dǎo)航系統(tǒng)的方位指引能力，實(shí)驗(yàn)前召集了16 名身體健康的志愿者作為測(cè)試對(duì)象。測(cè)試對(duì)象接收到音頻信號(hào)后，需要根據(jù)左右耳信號(hào)差別，判斷地理要素的方向。實(shí)驗(yàn)中共設(shè)置12 類生活常用物品（包括冰箱、電視機(jī)、計(jì)算機(jī)、打印機(jī)等），對(duì)不同種類物品賦予不同的音頻標(biāo)簽，以供用戶判斷物品種類。不同物品分別擺放在與人體矢狀面夾角為-90°、-60°、-30°、0°、30°、60°、90°位置處，不同位置被編號(hào)為P1、P2、…、P7。對(duì)于每位待測(cè)試志愿者，分別在不同位置擺放不同物品用于測(cè)試，每個(gè)物品重復(fù)測(cè)試10 次，計(jì)算志愿者感知到的方位與真實(shí)方位之間的角度誤差，結(jié)果如表1 所示。綜合分析16 名志愿者的方向指引結(jié)果，在位置P1、P2、P3、P4、P5、P6、P7處的平均方位指引誤差分別為2.5°、3.3°、4.5°、8.1°、4.9°、4.2°、2.7°。

表1 輔助導(dǎo)航系統(tǒng)方位指引誤差統(tǒng)計(jì)表

從輔助導(dǎo)航系統(tǒng)方位指引誤差統(tǒng)計(jì)結(jié)果來(lái)看，方位指引精度在人體矢狀面夾角為-90°和90°時(shí)，方位指引精度最高；物品位置與人體矢狀面夾角為0°時(shí)，方位指引誤差較大。該結(jié)果表明，當(dāng)被測(cè)試者接收到的左右耳信號(hào)差別較大時(shí)（即在P1和P7位置處），被測(cè)試者方位辨別能力較強(qiáng)；當(dāng)被測(cè)試者接收到的左右耳信號(hào)差別較小時(shí)（即在P4位置處），被測(cè)試者方位辨別能力較弱。對(duì)于所有被測(cè)試志愿者，不同角度下的方位指引平均誤差為4.31°。

在蒙住眼睛的情況下，志愿者佩戴導(dǎo)航系統(tǒng)進(jìn)行室內(nèi)行走實(shí)驗(yàn)，導(dǎo)航目的地為預(yù)先設(shè)定好的地點(diǎn)。志愿者事先不了解測(cè)試場(chǎng)地的實(shí)際情況，開(kāi)始測(cè)試時(shí)蒙住眼睛并由工作人員帶領(lǐng)至測(cè)試場(chǎng)地。導(dǎo)航開(kāi)始后，志愿者僅依靠輔助導(dǎo)航系統(tǒng)在室內(nèi)進(jìn)行自主行走。測(cè)試場(chǎng)地中安裝有光學(xué)三維動(dòng)作捕捉系統(tǒng)，可以完整記錄志愿者的運(yùn)動(dòng)軌跡。通過(guò)比較志愿者的運(yùn)動(dòng)軌跡和導(dǎo)航規(guī)劃路徑，可以評(píng)估輔助導(dǎo)航系統(tǒng)的性能表現(xiàn)。圖4 所示為某個(gè)志愿者的輔助導(dǎo)航結(jié)果示例，圖中由黑色圓點(diǎn)組成的軌跡是導(dǎo)航系統(tǒng)的規(guī)劃路徑，由星號(hào)組成的軌跡是志愿者實(shí)際運(yùn)動(dòng)路徑。

圖4 輔助導(dǎo)航結(jié)果示例

通過(guò)圖4 所示結(jié)果可知，當(dāng)導(dǎo)航系統(tǒng)引導(dǎo)志愿者進(jìn)入轉(zhuǎn)彎狀態(tài)時(shí)，產(chǎn)生的導(dǎo)航誤差較大；當(dāng)志愿者直行時(shí)導(dǎo)航誤差較小。這是因?yàn)閷?dǎo)航系統(tǒng)向志愿者發(fā)出轉(zhuǎn)彎信號(hào)后，志愿者接收信號(hào)并執(zhí)行時(shí)會(huì)產(chǎn)生偏差，從而導(dǎo)致實(shí)際路徑與規(guī)劃路徑不一致。導(dǎo)航系統(tǒng)的引導(dǎo)誤差用均方根誤差（RMSE）進(jìn)行評(píng)價(jià)，計(jì)算公式如下：

其中，pi為導(dǎo)航規(guī)劃路徑點(diǎn)；p?i為志愿者實(shí)際運(yùn)動(dòng)軌跡點(diǎn)。

在實(shí)際的輔助導(dǎo)航實(shí)驗(yàn)中發(fā)現(xiàn)，導(dǎo)航系統(tǒng)在引導(dǎo)視障患者直線行走時(shí)，導(dǎo)航精度較高；當(dāng)導(dǎo)航系統(tǒng)引導(dǎo)患者進(jìn)行轉(zhuǎn)彎時(shí)，產(chǎn)生的引導(dǎo)誤差大于直行引導(dǎo)誤差。因此，本文對(duì)不同導(dǎo)航狀態(tài)下的引導(dǎo)誤差進(jìn)行了統(tǒng)計(jì)，結(jié)果如表2 所示。對(duì)于16 位參與實(shí)驗(yàn)的志愿者，每位志愿者均在導(dǎo)航系統(tǒng)的指引下完成10 次輔助導(dǎo)航任務(wù)，直行狀態(tài)平均引導(dǎo)誤差為5.936 cm，轉(zhuǎn)彎狀態(tài)平均引導(dǎo)誤差為17.793 cm，不同導(dǎo)航引導(dǎo)狀態(tài)下的平均引導(dǎo)誤差為15.125 cm。通過(guò)分析導(dǎo)航誤差結(jié)果可知，在輔助導(dǎo)航系統(tǒng)引導(dǎo)志愿者進(jìn)行直行時(shí)，引導(dǎo)誤差較低，僅為5.936 cm。但是，當(dāng)輔助導(dǎo)航系統(tǒng)引導(dǎo)志愿者進(jìn)行轉(zhuǎn)彎時(shí)，平均導(dǎo)航誤差達(dá)到17.793 cm。

表2 輔助導(dǎo)航引導(dǎo)誤差統(tǒng)計(jì)表

在轉(zhuǎn)彎狀態(tài)下，導(dǎo)致系統(tǒng)引導(dǎo)誤差較高的原因主要有兩個(gè)方面：（1）志愿者接收到系統(tǒng)發(fā)送的以震動(dòng)形式傳遞的轉(zhuǎn)彎信號(hào)后，需要一段反應(yīng)時(shí)間，導(dǎo)致運(yùn)動(dòng)方向的改變滯后于系統(tǒng)指令；（2）志愿者對(duì)方位理解存在偏差，無(wú)法準(zhǔn)確地對(duì)“向左前方前進(jìn)”、“向右前方前進(jìn)”等指令做出準(zhǔn)確的響應(yīng)動(dòng)作。針對(duì)以上兩個(gè)問(wèn)題，可以讓使用輔助導(dǎo)航系統(tǒng)的患者參加短期導(dǎo)航訓(xùn)練。實(shí)驗(yàn)表明，當(dāng)16 名志愿者分別參加20 次導(dǎo)航訓(xùn)練后，轉(zhuǎn)彎引導(dǎo)誤差的平均值可以降至9.476 cm，綜合導(dǎo)航引導(dǎo)誤差可以控制在10 cm 以內(nèi)。

5 結(jié)論

針對(duì)視障患者在室內(nèi)場(chǎng)景中行動(dòng)困難的問(wèn)題，提出了跨模態(tài)環(huán)境感知與導(dǎo)航系統(tǒng)，該系統(tǒng)通過(guò)頭相關(guān)傳輸函數(shù)將RGB-D 相機(jī)采集的視覺(jué)和距離信息轉(zhuǎn)化為視障患者可以感知的音頻信號(hào)，并利用深度學(xué)習(xí)方法實(shí)現(xiàn)輔助導(dǎo)航功能，以震動(dòng)方式將導(dǎo)航信號(hào)傳遞給視障患者，從而使視障患者在感知地理要素方位的同時(shí)，在導(dǎo)航系統(tǒng)的指引下完成運(yùn)動(dòng)。實(shí)驗(yàn)結(jié)果表明，輔助導(dǎo)航系統(tǒng)的平均方位指引誤差為4.31°，平均導(dǎo)航誤差為9.476 cm，可以有效幫助視障患者在室內(nèi)場(chǎng)景中完成自主運(yùn)動(dòng)。