陸 翔，吳 冕，楊新宇，張國(guó)寧，王新鈺

(山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590)

世界衛(wèi)生組織估計(jì)全世界有盲人約4 000～4 500萬(wàn)，低視力人群的數(shù)量是盲人的3倍。截至2019年，中國(guó)的盲人數(shù)達(dá)到1 700萬(wàn)[1]。隨著視障人士數(shù)量的逐年增加，解決視障人士的出行問(wèn)題成為熱門(mén)問(wèn)題。近年來(lái)，隨著該領(lǐng)域相關(guān)技術(shù)的快速發(fā)展，國(guó)內(nèi)外研發(fā)了不同解決方案的導(dǎo)盲系統(tǒng)，其中障礙物檢測(cè)與人機(jī)交互是相關(guān)研究的重點(diǎn)領(lǐng)域。

在導(dǎo)盲設(shè)備研究領(lǐng)域，目前障礙物檢測(cè)方法主要有雷達(dá)[2]、紅外[3]以及圖像檢測(cè)[4]。其中，便攜式三維激光雷達(dá)價(jià)格昂貴，紅外難以檢測(cè)垂直方向障礙物，而圖像檢測(cè)方法尚未廣泛應(yīng)用。但隨著相關(guān)研究的不斷推進(jìn)，有研究表明[5]大多數(shù)視障人士的心理障礙遠(yuǎn)大于周?chē)挛飳?duì)他們?cè)斐傻恼系K。目前大多數(shù)研究著重關(guān)注導(dǎo)盲系統(tǒng)的功能性問(wèn)題，采取多樣的障礙物檢測(cè)方式，但往往忽略了視障人士的心理狀態(tài)。盡管也有導(dǎo)盲系統(tǒng)使用語(yǔ)言提示的方式將導(dǎo)盲信息以語(yǔ)言播報(bào)的方式提供給使用者[6]，但通常忽略了人腦在處理聲音信息時(shí)，不夠直觀的信息對(duì)視障群體造成的認(rèn)知壓力[7]過(guò)大的問(wèn)題。目前大多數(shù)價(jià)格適中的導(dǎo)盲設(shè)備無(wú)法檢測(cè)到垂直方向上的障礙物，對(duì)于常使用導(dǎo)盲拐杖的視障人群而言，地面上的障礙物已不是最大的安全隱患。因此迫切需要一種方法，能在檢測(cè)到水平及垂直方向障礙物的同時(shí)，兼顧解決視障群體認(rèn)知壓力的問(wèn)題。

本研究提出一種將視聽(tīng)融合與虛擬環(huán)繞聲技術(shù)融入導(dǎo)盲系統(tǒng)的設(shè)計(jì)方案，緩解視障人士在使用相關(guān)導(dǎo)盲輔助設(shè)備時(shí)所帶來(lái)的認(rèn)知壓力過(guò)大的問(wèn)題。方案采用圖像障礙物檢測(cè)的方式獲取障礙物相關(guān)信息，首先提取圖像的輪廓或者特征點(diǎn)，在兩幅或者多幅圖像中進(jìn)行匹配，利用得到的視差圖計(jì)算障礙物的大小、距離、位置等信息，然后將圖像映射為聲音，利用頭相關(guān)傳輸函數(shù)實(shí)現(xiàn)虛擬環(huán)繞聲，將障礙物信息映射為聲音的音長(zhǎng)、頻率和方位，實(shí)現(xiàn)系統(tǒng)的導(dǎo)盲功能。該方案在應(yīng)對(duì)復(fù)雜多變環(huán)境時(shí)有著明顯優(yōu)勢(shì)，并且能夠提供足夠的準(zhǔn)確度以及穩(wěn)定性，為降低視障群體的認(rèn)知壓力提供一種新的途徑。

1 理論背景

1.1 映射音頻產(chǎn)生原理

聲音從聲源傳輸?shù)饺说碾p耳過(guò)程中，左耳和右耳不是在同一時(shí)刻接收到音頻信號(hào)的，而是存在一個(gè)很小的時(shí)間差，該時(shí)間差就是雙耳時(shí)間差[8]；且由于距離不同，空氣等媒質(zhì)對(duì)聲音的衰減不同，左耳和右耳接收到的聲音強(qiáng)度也不一樣，這個(gè)強(qiáng)度差值就是雙耳強(qiáng)度差，如圖1所示。從圖1可以看出，距離聲源遠(yuǎn)的耳朵接收到聲音時(shí)間比距離聲源近的耳朵接收到聲音的時(shí)間更長(zhǎng)、聲音強(qiáng)度更小。

圖1 雙耳時(shí)間、強(qiáng)度差示意圖

1.2 頭相關(guān)傳輸函數(shù)

目前已有相關(guān)研究提出了更符合人聽(tīng)覺(jué)特性的頻域傳輸函數(shù)——頭相關(guān)傳輸函數(shù)(head-related transfer functions，HRTF)[9-10]。HRTF是一組頻域?yàn)V波器，用來(lái)描述聲音從聲源傳輸?shù)蕉涞倪^(guò)程。HRTF的定義為：

(1)

式中：PL為聲源到左耳的復(fù)數(shù)聲壓，PR為聲源到右耳的復(fù)數(shù)聲壓，P0為假設(shè)人頭部消失時(shí)中心處的復(fù)數(shù)聲壓，θ為水平方位角，φ為垂直方位角，r為聲源到人頭部中心的距離，ω為聲音的角頻率，α為人的頭部大小。

2 基于視聽(tīng)融合的導(dǎo)盲系統(tǒng)設(shè)計(jì)

為了實(shí)現(xiàn)輔助導(dǎo)盲并緩解使用者認(rèn)知壓力，并且在較為復(fù)雜的環(huán)境下，如果無(wú)法解決垂直方向的障礙物識(shí)別問(wèn)題，將混淆使用者對(duì)障礙物方位的判斷。因此，本研究采用虛擬環(huán)繞聲作為提示音，提示使用者障礙物的方位、距離、大小等信息。在獲取3個(gè)音頻參數(shù)之前，需要對(duì)攝像頭進(jìn)行預(yù)處理，獲得優(yōu)化的圖像后計(jì)算與障礙物的3個(gè)參數(shù)相對(duì)應(yīng)的音頻參數(shù)，進(jìn)行圖像聲音映射與虛擬環(huán)繞聲的合成，最后通過(guò)耳機(jī)輸出音頻。本設(shè)計(jì)解決了大多數(shù)方案在垂直方向上識(shí)別障礙物方位困難的問(wèn)題，解決了文獻(xiàn)[2]的雷達(dá)方案與文獻(xiàn)[3]的紅外方案只能實(shí)現(xiàn)水平方向上對(duì)障礙物檢測(cè)的局限。總體方案流程如圖2所示。

圖2 導(dǎo)盲系統(tǒng)流程圖

2.1 圖像采集預(yù)處理

為采集到較為準(zhǔn)確、穩(wěn)定的圖像，本研究首先利用MATLAB的立體相機(jī)校準(zhǔn)工具箱對(duì)所使用的攝像頭進(jìn)行相機(jī)標(biāo)定，標(biāo)定方法參考文獻(xiàn)[11]，用雙目攝像機(jī)在不同角度拍攝標(biāo)定板，通過(guò)標(biāo)定板上的棋盤(pán)格角點(diǎn)位置，結(jié)合多個(gè)圖像，求解出標(biāo)定參數(shù)，具體標(biāo)定流程如圖3所示。完成標(biāo)定后，獲得雙目攝像頭的相關(guān)參數(shù)，如表1所示。運(yùn)用畸變向量、旋轉(zhuǎn)矩陣等對(duì)原始圖像進(jìn)行矯正。對(duì)矯正后的兩張圖片進(jìn)行像素點(diǎn)匹配，并根據(jù)計(jì)算結(jié)果得到深度圖。

圖3 MATLAB 工具箱標(biāo)定流程

2.2 立體匹配獲取深度圖

完成標(biāo)定之后可以采集并處理得到具有精確參數(shù)的圖像。由于雙目攝像頭拍攝獲得的圖片無(wú)法直接用來(lái)獲取本研究所需的參數(shù)，需要利用立體匹配將圖片處理為深度圖——通過(guò)圖像中某空間點(diǎn)計(jì)算出該點(diǎn)與相機(jī)的距離。立體匹配利用OpenCV(open computer vision)自有BM(block matching)算法完成，流程如圖4所示。該算法為局部匹配算法，處理速度快。

圖4 OpenCV BM算法實(shí)現(xiàn)流程圖

進(jìn)行立體匹配獲得的深度圖有較多的噪點(diǎn)和部分錯(cuò)誤匹配的點(diǎn)，對(duì)其進(jìn)行空洞填充和中值濾波后能夠得到修復(fù)后的深度圖。原圖、未經(jīng)修復(fù)的深度圖以及修復(fù)后的深度圖對(duì)比如圖5所示。

圖5 修復(fù)前后對(duì)比圖

對(duì)修復(fù)后的深度圖，選擇連通面積最大的一個(gè)區(qū)域，計(jì)算大小參數(shù)、中心點(diǎn)坐標(biāo)(x，y)，并計(jì)算平均距離d。為了獲取本研究所需參數(shù)，首先對(duì)修復(fù)后的深度圖進(jìn)行閾值分割獲得二值化圖像，然后進(jìn)行連通區(qū)域識(shí)別，獲得連通區(qū)域數(shù)目、中心點(diǎn)坐標(biāo)、面積等信息，用以計(jì)算距離最近和面積最大障礙物的映射參數(shù)。這里只計(jì)算深度圖障礙物的平均距離，也就是深度圖障礙物區(qū)域的平均像素值，最終效果如圖6所示。

圖6 距離最近或面積最大的障礙物

2.3 映射方案設(shè)計(jì)

為了能夠讓使用者直觀地感受到映射出的音頻參數(shù)與上述參數(shù)的關(guān)系，符合常人的聲音分辨習(xí)慣，本研究將獲取到的障礙物位置、大小、距離等參數(shù)分別通過(guò)各自的映射方案映射為音頻中的方位、音長(zhǎng)、頻率[12]，映射參數(shù)如表2所示。

表2 提示音參數(shù)區(qū)間

音長(zhǎng)0.1 s對(duì)應(yīng)小障礙物，1 s對(duì)應(yīng)最大障礙物。頻率500 Hz對(duì)應(yīng)遠(yuǎn)距離障礙物，聲音柔和；1 500 Hz對(duì)應(yīng)最近距離障礙物，聲音尖銳，以此提醒使用者更加警覺(jué)。方位采用HRTF數(shù)據(jù)庫(kù)表示方法。

2.3.1 障礙物大小與距離映射

障礙物大小的映射方法與距離的映射方法類(lèi)似，均為直接映射方式。其中，障礙物的像素個(gè)數(shù)映射區(qū)間為[500，4 000]，對(duì)應(yīng)的音長(zhǎng)區(qū)間為[0.1 s，1 s]，映射關(guān)系為：

(2)

式中：s為映射的大小量；t為映射后的音長(zhǎng)，ms。

距離的映射區(qū)間為[300 mm, 3 000 mm]，對(duì)應(yīng)的頻率區(qū)間為[500 Hz, 1 500 Hz]，映射關(guān)系為：

(3)

式中：d為映射的平均距離，mm；f為映射后的頻率，Hz。

通過(guò)上述映射關(guān)系式，可將參數(shù)s映射為音長(zhǎng)t，參數(shù)d映射為頻率f。

2.3.2 障礙物方位映射

1) 圖像像素方位到角度轉(zhuǎn)換

由于圖像像素方位和該像素點(diǎn)現(xiàn)實(shí)中角度方位的映射不是線(xiàn)性關(guān)系，因此需要把圖像像素方位轉(zhuǎn)換到角度方位，轉(zhuǎn)換方法如圖7所示。

圖7 像素角度轉(zhuǎn)換示意圖

圖7(a)中，扇形為視野范圍[-65°, 65°]，BA為圖像平面水平方向的正半軸方向，∠BOA為65°，可得：

(4)

式中，dAB、dBP分別為圖7中AB、BP的距離。從而得到映射角

(5)

同理可以得：

(6)

式中，hCP、hOD分別為圖7中CP、OD的高度。

借助現(xiàn)有HRTF數(shù)據(jù)庫(kù)實(shí)現(xiàn)虛擬立體環(huán)繞聲[13]，通過(guò)查找α、β在HRTF數(shù)據(jù)庫(kù)中對(duì)應(yīng)的頭相關(guān)沖激響應(yīng) (head-related impulse response，HRIR)，將此HRIR數(shù)據(jù)與合成聲音進(jìn)行時(shí)域卷積，即可實(shí)現(xiàn)方位的映射。其中HRIR為HRTF的時(shí)域表示，可由傅里葉逆變換得出。

2) 方案實(shí)施

方位映射的流程如圖8所示。首先得到物體中心的像素?cái)?shù)據(jù)，將像素?cái)?shù)據(jù)坐標(biāo)轉(zhuǎn)化為角度坐標(biāo)，然后在HRTF數(shù)據(jù)庫(kù)中查找最接近該方位的HRIR數(shù)據(jù)位置，最后將該數(shù)據(jù)用于后續(xù)的虛擬環(huán)繞聲合成。

圖8 方位映射流程圖

2.4 虛擬環(huán)繞聲合成

首先利用Python中Numpy庫(kù)的相關(guān)函數(shù)產(chǎn)生音頻，并對(duì)音頻信號(hào)進(jìn)行時(shí)域卷積；然后從HRIR數(shù)據(jù)庫(kù)中提取左、右耳對(duì)應(yīng)方向上的HRIR數(shù)據(jù)，利用相關(guān)卷積函數(shù)對(duì)其進(jìn)行時(shí)域卷積得到左、右聲道的音頻文件，并將其合并得到輸出的雙聲道音頻文件；最后將獲取的音頻文件用于音頻設(shè)備輸出，為使用者提供導(dǎo)盲功能。

3 試驗(yàn)結(jié)果驗(yàn)證與分析

3.1 試驗(yàn)數(shù)據(jù)

本研究采用CIPIC(center for image processing and integrated computing)機(jī)構(gòu)[14]測(cè)量的多人數(shù)據(jù)集，該數(shù)據(jù)集有多人的HRTF數(shù)據(jù)且公開(kāi)發(fā)布，每組數(shù)據(jù)均包含個(gè)體特征的測(cè)量值，對(duì)每個(gè)個(gè)體測(cè)量了1 250個(gè)方位的沖激響應(yīng)。

HRTF在時(shí)域中有以下關(guān)系：

y(n)=u(n)?h(n)。

(7)

式中：n為離散時(shí)間序列，?表示卷積運(yùn)算，h(n)為HRIR，u(n)為原始音頻序列，y(n)為時(shí)域卷積的結(jié)果。將左、右聲道的聲音分別與對(duì)應(yīng)的HRIR進(jìn)行卷積后得到y(tǒng)L(n)和yR(n)，然后將二者合成為雙聲道立體聲yS(n)，通過(guò)耳機(jī)輸出到人雙耳中。

HRIR數(shù)據(jù)分為左耳和右耳數(shù)據(jù)。單耳的1 250個(gè)方位的數(shù)據(jù)構(gòu)成25×50×200的三維矩陣，分別對(duì)應(yīng)水平方位角(圖9(a))、垂直方位角(圖9(b))及對(duì)應(yīng)數(shù)據(jù)[15]。對(duì)于虛擬環(huán)繞聲的生成來(lái)說(shuō)，HRIR數(shù)據(jù)最為重要，其直接與待處理音頻對(duì)應(yīng)聲道時(shí)域卷積，參與虛擬環(huán)繞聲的生成過(guò)程。

圖9 CIPIC HRTF數(shù)據(jù)方位角示例

1) 水平方位角

水平方位角數(shù)據(jù)一共25個(gè)方向，如圖9(a)所示。假定使用者正前方為0°，左側(cè)為-90°，右側(cè)為90°，則這25組數(shù)據(jù)分布在-80°、-65°、-55°、80°、65°、55°等6個(gè)方向和-45°～45°中每5°間隔共19個(gè)方向上。

2) 垂直方位角

垂直方位角為均勻分布，如圖9(b)所示，從-45°開(kāi)始逆時(shí)針轉(zhuǎn)到人體后側(cè)230.625°，方位間隔為5.625°。對(duì)于每個(gè)方位來(lái)說(shuō)，其數(shù)據(jù)是采樣頻率為44.1 kHz的沖激響應(yīng)函數(shù)。如圖10所示，顯示了水平方位角0°、垂直方位角0°時(shí)左耳的HRIR數(shù)據(jù)。

圖10 水平和垂直方位角均為0°時(shí)左耳HRIR數(shù)據(jù)

測(cè)試好HRIR數(shù)據(jù)后，利用Python的Numpy庫(kù)、Simpleaudio庫(kù)進(jìn)行音頻生成與輸出。

3.2 障礙識(shí)別及聲音映射準(zhǔn)確度試驗(yàn)

3.2.1 障礙識(shí)別試驗(yàn)

為了便于使用者正確識(shí)別障礙物的大小、方位和距離，耳機(jī)中播放出的虛擬環(huán)繞聲會(huì)呈現(xiàn)不同的特性。對(duì)于識(shí)別障礙物的大小，障礙物在圖像中像素點(diǎn)個(gè)數(shù)越多，則聲音的持續(xù)周期越長(zhǎng)，反之越短；對(duì)于識(shí)別障礙物的方位，基于虛擬環(huán)繞聲的環(huán)繞特性，使用者能識(shí)別障礙物在前方某個(gè)角度大致的水平與垂直方位；對(duì)于識(shí)別障礙物的距離，類(lèi)似于汽車(chē)?yán)走_(dá)系統(tǒng)中的聲音信號(hào)，距離較遠(yuǎn)時(shí)，聲音頻率較低而低沉，隨著距離逐漸減小，聲音頻率也隨之升高而顯得尖銳。

試驗(yàn)結(jié)果如圖11所示。結(jié)果表明，本研究設(shè)計(jì)的導(dǎo)盲系統(tǒng)在正常光照下對(duì)靜止和移動(dòng)中的障礙物識(shí)別準(zhǔn)確度能夠維持在90%以上，但在強(qiáng)光位置點(diǎn)的靜止和移動(dòng)的障礙物識(shí)別準(zhǔn)確度僅在50%左右，后續(xù)可以考慮通過(guò)增加環(huán)境光傳感器來(lái)緩解光線(xiàn)強(qiáng)弱的影響。

圖11 障礙識(shí)別準(zhǔn)確度試驗(yàn)結(jié)果

3.2.2 聲音映射試驗(yàn)

為使數(shù)據(jù)更具代表性，在選取試驗(yàn)個(gè)體時(shí)，遵循普遍性的原則，根據(jù)不同的個(gè)體參數(shù)進(jìn)行篩選，如耳廓尺寸、頭圍等。水平方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果如圖12所示，其中測(cè)試點(diǎn)信息如表3所示。垂直方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果如圖13所示，其中測(cè)試點(diǎn)信息如表4所示。

表3 水平方向測(cè)試點(diǎn)信息

表4 垂直方向測(cè)試點(diǎn)信息

圖12 水平方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果

圖13 垂直方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果

試驗(yàn)結(jié)果表明，使用者的方位識(shí)別水平偏差角度在15°之內(nèi)的準(zhǔn)確度為82.85%，垂直偏差角度在15°之內(nèi)準(zhǔn)確度為67.5%，對(duì)應(yīng)水平方向的識(shí)別能力總體上高于垂直方向，可輔助盲人進(jìn)行基本的障礙物識(shí)別。試驗(yàn)結(jié)果還可以看出，每個(gè)測(cè)試個(gè)體的準(zhǔn)確度均不同，這是由于在CIPIC的HRTF數(shù)據(jù)庫(kù)中，受測(cè)試個(gè)體頭部的形狀、肩寬、耳廓尺寸等人體參數(shù)的影響，每個(gè)測(cè)試個(gè)體對(duì)應(yīng)不同的HRTF數(shù)據(jù)，因此產(chǎn)生準(zhǔn)確度的差別。

4 結(jié)論

1) 本設(shè)計(jì)將虛擬環(huán)繞聲應(yīng)用于導(dǎo)盲領(lǐng)域，而不再拘泥于語(yǔ)言播報(bào)等忽視視障人士心理因素的提示方式，為該領(lǐng)域后續(xù)研究提供參考。

2) 采用圖像檢測(cè)方式，在復(fù)雜環(huán)境中依然能夠穩(wěn)定檢測(cè)障礙物，并能夠檢測(cè)障礙物的垂直方位，為室外復(fù)雜環(huán)境下障礙物檢測(cè)方案提供了借鑒。

3) 采用圖像-聲音的映射方案設(shè)計(jì)，將視聽(tīng)融合技術(shù)引入導(dǎo)盲系統(tǒng)。在方位識(shí)別方面，使用者判斷的水平偏差角度在15°之內(nèi)的測(cè)試成功數(shù)占總測(cè)試次數(shù)的82.85%，垂直偏差角度在15°之內(nèi)的測(cè)試成功數(shù)占總測(cè)試次數(shù)的67.5%，可實(shí)現(xiàn)簡(jiǎn)單的導(dǎo)盲功能。

本設(shè)計(jì)對(duì)光強(qiáng)變化較為敏感，在不同光照環(huán)境下障礙物識(shí)別準(zhǔn)確度差距較大，后續(xù)將嘗試通過(guò)環(huán)境光傳感器等手段進(jìn)行光補(bǔ)償自適應(yīng)調(diào)整方面的試驗(yàn)研究。