陶春靜 ，陸彥琦，余曉強(qiáng)

(1. 國(guó)家康復(fù)輔具中心，北京 100176；2. 北京市老年功能障礙康復(fù)輔助技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100176；3. 華中科技大學(xué)自動(dòng)化學(xué)院，武漢 430074)

根據(jù)世界衛(wèi)生組織(WTO)資料顯示[1]：世界上有2.85億視覺障礙者，其中包括0.39億盲人與2.46億視力低下人群，約有 90%,的視覺障礙者生活在低收入的環(huán)境中．全球盲人數(shù)量最多的國(guó)家為中國(guó)，總數(shù)達(dá) 1,233萬(wàn)．人類感知外部事物的方式包括：視覺、觸覺、嗅覺、聽覺和味覺，即人們所說(shuō)的“五感”．據(jù)分析，正常人日常生活中 80%,的信息是通過(guò)視覺獲取的，視覺是最主要的獲取信息的途徑[2]．視覺障礙者無(wú)法通過(guò)視覺來(lái)獲取信息，在學(xué)習(xí)、生活及工作將存在著很大的困擾，因此必須通過(guò)輔具獲取信息，利用感覺替代以獲取經(jīng)驗(yàn)．

隨著世界盲人聯(lián)盟的創(chuàng)立，盲人的安全出行與正常生活已經(jīng)越來(lái)越受重視，帶有定位功能的電子行走輔助系統(tǒng)(ETA)也成為科研工作者的研究項(xiàng)目之一．Shoval等[3]于1992年設(shè)計(jì)的Navbelt導(dǎo)航系統(tǒng)，是在一個(gè)移動(dòng)機(jī)器人上實(shí)現(xiàn)避障的．Meijer[4]設(shè)計(jì)的電子行走輔助系統(tǒng) vOICe包括一個(gè)附著于眼鏡上的電子攝像機(jī)、一對(duì)耳機(jī)和裝有必要軟件的便攜式電腦．加拿大圭爾夫大學(xué)的 Zelek[5]和他的學(xué)生研發(fā)了一套價(jià)格低廉、可穿戴、低功耗的設(shè)備，能夠?qū)z像機(jī)捕捉到的外界信息通過(guò)觸覺傳遞給視覺障礙者．Ulrich等[6]設(shè)計(jì)的 Guidecane，可以像手杖一樣由使用者手持，當(dāng)遇到障礙物時(shí)，通過(guò)自身改變方向讓使用者感知信息．弗羅里達(dá)國(guó)際大學(xué)的 Adjouadi[7]從事計(jì)算機(jī)視覺項(xiàng)目的研究，他致力于開發(fā)一套能夠以最優(yōu)的方式將攝像頭得到的環(huán)境信息描述給用戶的設(shè)備．總結(jié)國(guó)內(nèi)外電子行走輔助系統(tǒng)大部分研究成果，有些需要患者長(zhǎng)期學(xué)習(xí)輔助系統(tǒng)的人機(jī)交互界面，有的結(jié)構(gòu)過(guò)于復(fù)雜或者體積龐大、價(jià)格昂貴、外觀設(shè)計(jì)不佳．

本文以視覺障礙者體驗(yàn)為出發(fā)點(diǎn)，設(shè)計(jì)了一種結(jié)構(gòu)簡(jiǎn)單、大小適中、輕便、易于佩戴，并能夠?qū)崿F(xiàn)實(shí)時(shí)定位的系統(tǒng)．

1 系統(tǒng)總體方案

多功能電子行走輔助系統(tǒng)是針對(duì)視覺障礙者或者全盲者的，其肢體健全，且擁有除了視覺以外的其他感覺．所以，系統(tǒng)只需要采集實(shí)驗(yàn)者周圍的障礙物信息，并確定其所處的地理位置．系統(tǒng)的主要功能包括：探測(cè)腰部周圍的障礙物信息；每邁出一步后，探測(cè)地面上的障礙物信息；實(shí)現(xiàn)視覺障礙者的室內(nèi)定位；實(shí)現(xiàn)避障與定位信息的反饋．系統(tǒng)的總體方案設(shè)計(jì)見圖1．

圖1 總體方案設(shè)計(jì)Fig. 1 Overall design

系統(tǒng)的硬件結(jié)構(gòu)如圖2所示．為了兼顧I/O接口數(shù)量、數(shù)據(jù)運(yùn)算速度、信號(hào)反饋等的要求，系統(tǒng)采用雙CPU處理方式：主CPU選用E8_BOARD卡片式計(jì)算機(jī)，完成姿態(tài)檢測(cè)的數(shù)據(jù)處理、定位算法的實(shí)現(xiàn)以及定位信息的語(yǔ)音播報(bào)；從 CPU采用基于 ARM內(nèi)核的 16位單片機(jī) STM32F103VET6，主要完成傳感器的信息采集與微型振動(dòng)電機(jī)的振動(dòng)信息反饋．

系統(tǒng)用到的傳感器包括 4個(gè)薄膜壓力傳感器、7個(gè)超聲波傳感器、5個(gè)姿態(tài)檢測(cè)傳感器，信息反饋采用7個(gè)微型振動(dòng)電機(jī)與1個(gè)骨傳導(dǎo)耳機(jī)．

圖2 系統(tǒng)硬件結(jié)構(gòu)框圖Fig. 2 Hardware system structure

2 基于感覺替代的避障方法

針對(duì)視覺障礙者，Bach-Y-Rita提出了感覺替代的思想，即利用大腦的可塑性，將其他形式的感知形態(tài)(如聽覺或觸覺等)呈現(xiàn)出某種缺失的感知形態(tài)(如視覺等)，使大腦獲得的感知特性[8]．對(duì)于一個(gè)完整的視覺系統(tǒng)，光學(xué)圖像映射到視網(wǎng)膜上，并在視網(wǎng)膜上轉(zhuǎn)換為神經(jīng)上的電脈沖信號(hào)，從而感知圖像在人腦中得到呈現(xiàn)．許多研究證明，使用感覺替代系統(tǒng)能夠讓盲人體驗(yàn)類似的主觀圖像[9]．以這種方式恢復(fù)失去的感知形態(tài)時(shí)，信息被一個(gè)人機(jī)界面接收，然后進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換后的信息通過(guò)一個(gè)完好的器官傳送給大腦．現(xiàn)有的感覺替代研究包括視覺、觸覺、聽覺、定位與平衡感及空間感覺等之間的相互替代．其中最常見的是觸覺代償視覺的研究，同時(shí)利用聽覺的代償系統(tǒng)也在逐步成熟[10]．

2.1 超聲波傳感器測(cè)距

腰部周圍的障礙物由均勻分布在視覺障礙者腰間的 5個(gè)超聲波傳感器進(jìn)行探測(cè)，其分布見圖 3，保證了對(duì)視覺障礙者整個(gè)前方區(qū)域的覆蓋．對(duì)地表障礙物的探測(cè)由鞋子前端的2個(gè)超聲波傳感器完成．

圖3 腰部超聲波傳感器的布局Fig. 3 Layout of the ultrasonic sensors

HC-SR04超聲波傳感器是借助于超聲波脈沖渡越時(shí)間法來(lái)實(shí)現(xiàn)測(cè)距的，7個(gè)超聲波傳感器的連接方式相同，VCC、GND 分別與 STM32F103VET6的5,V、GND 端口連接，TRIG、ECHO 與 STM32F103 VET6的I/O端口相連．

2.2 壓力傳感器的開關(guān)控制

在每只鞋前后腳掌下各安裝一片薄膜壓力傳感器 FSR402，壓力傳感器的電路連接如圖 4所示．傳感器與 10,k?的電阻串聯(lián)于 5,V電壓的電路中．當(dāng)視覺障礙者邁出步伐后，前后腳掌同時(shí)著地，壓力傳感器受到的壓力增大，電阻減小，從而電阻兩端電壓增大．將A點(diǎn)處的電壓值引出，經(jīng)過(guò)電壓跟隨器后與STM32F103VET6的I/O口連接，然后再進(jìn)行模數(shù)轉(zhuǎn)換，與設(shè)定閾值進(jìn)行比較，從而實(shí)現(xiàn)邁步的判斷．電壓跟隨器在電路中起著隔離、緩沖與提高帶載能力的作用．

圖4 壓力傳感器電路Fig. 4 Diagram of pressure sensor circuit

2.3 基于觸覺的信息反饋

在避障系統(tǒng)中，對(duì)距離信息的提醒是通過(guò)微型振動(dòng)電機(jī)實(shí)現(xiàn)的，在腰部的每個(gè)超聲波傳感器下方分別安置一個(gè)微型振動(dòng)電機(jī)，用以提醒視覺障礙者探測(cè)到的空中障礙物信息．同時(shí)，在人體較為敏感的腳踝處也分別固定兩個(gè)微型振動(dòng)電機(jī)，用于鞋子前端傳感器探測(cè)到的地表障礙物信息的提醒．

系統(tǒng)通過(guò)調(diào)節(jié)微型振動(dòng)電機(jī)的振動(dòng)頻率，給實(shí)驗(yàn)者以距離遠(yuǎn)近的提醒．實(shí)驗(yàn)發(fā)現(xiàn)，人體對(duì) 250,Hz的振動(dòng)最敏感，因此設(shè)置振動(dòng)頻率在 200～300,Hz范圍．振動(dòng)強(qiáng)弱是通過(guò)脈沖寬度調(diào)制(PWM)，設(shè)置不同占空比的方波來(lái)實(shí)現(xiàn)的．

3 基于擴(kuò)展卡爾曼濾波的室內(nèi)定位設(shè)計(jì)

3.1 定位系統(tǒng)的軟硬件基礎(chǔ)

3.1.1 姿態(tài)檢測(cè)模塊

將 5個(gè)姿態(tài)傳感器分別固定在使用者的大小腿及腰部，當(dāng)人體下肢運(yùn)動(dòng)時(shí)，附著在身上的傳感器會(huì)有對(duì)應(yīng)的運(yùn)動(dòng)，根據(jù)傳感器的姿態(tài)，就可以得到肢體的運(yùn)動(dòng)狀態(tài)．

姿態(tài)檢測(cè)傳感器由三軸磁力計(jì)、三軸加速度計(jì)和三軸陀螺儀組成．加速度計(jì)在靜止?fàn)顟B(tài)下用于檢測(cè)重力加速度，在運(yùn)動(dòng)狀態(tài)下用于檢測(cè)重力加速度與運(yùn)動(dòng)加速度的合成量；磁力計(jì)用于檢測(cè)地磁場(chǎng)強(qiáng)度；陀螺儀用于檢測(cè)旋轉(zhuǎn)過(guò)程中的角速度．

對(duì)于每個(gè)傳感器，可以根據(jù)重力加速度與磁場(chǎng)強(qiáng)度確定該傳感器在傳感器坐標(biāo)系中的姿態(tài)角．

3.1.2 超聲波觀測(cè)模塊

利用腰間的5個(gè)超聲波傳感器的測(cè)量數(shù)據(jù)，探測(cè)視障者前方 180°范圍內(nèi)的障礙物，從而實(shí)現(xiàn)視覺障礙者在室內(nèi)的絕對(duì)定位．根據(jù)使用者的實(shí)際情況，長(zhǎng)半軸與短半軸的長(zhǎng)度均為已知的值．

3.1.3 數(shù)據(jù)采集模塊

STM32F103VET6通過(guò)I/O口實(shí)時(shí)采集超聲波傳感器及姿態(tài)傳感器的數(shù)據(jù)，其中，姿態(tài)檢測(cè)傳感器與STM32F103VET6之間的連接采用串行外設(shè)接口(SPI)實(shí)現(xiàn)．

STM32F103VET6將采集到的數(shù)據(jù)通過(guò)串口發(fā)送給主 CPU，串口數(shù)據(jù)的傳送采用中斷方式實(shí)現(xiàn).STM32F103VET6與主 CPU之間由藍(lán)牙模塊連接，實(shí)現(xiàn)了數(shù)據(jù)的無(wú)線通信．為保證數(shù)據(jù)處理的實(shí)時(shí)性，STM32F103VET6以 60,ms周期發(fā)送數(shù)據(jù)幀形式的采集數(shù)據(jù)．

3.1.4 數(shù)據(jù)處理模塊

數(shù)據(jù)處理 E8_BOARD卡片式計(jì)算機(jī)完成，程序在Linux系統(tǒng)下實(shí)現(xiàn)，數(shù)據(jù)處理界面如圖5所示．界面顯示了包括5個(gè)姿態(tài)傳感器的姿態(tài)角、腰上5個(gè)超聲波傳感器的障礙物距離、慣性導(dǎo)航的定位坐標(biāo)及多傳感器信息融合的定位坐標(biāo)等內(nèi)容．整個(gè)終端的軟件工程自定義了5個(gè)類與1個(gè)文件，即卡爾曼濾波算法類 CKalman、串口通信類 CPort、電源開關(guān)類CPoweroff、數(shù)據(jù)處理類 CDataprocess、窗口類MainWindow和main.cpp文件．

圖5 數(shù)據(jù)處理模塊的界面Fig. 5 Data processing module interface

3.2 基于擴(kuò)展卡爾曼濾波的多傳感器融合定位方法

3.2.1 定位系統(tǒng)的總體設(shè)計(jì)

室內(nèi)定位是多功能電子行走輔助系統(tǒng)的一個(gè)重要功能．基于慣性導(dǎo)航的定位方法屬于相對(duì)定位，隨著視覺障礙者行走步數(shù)的增加，定位誤差會(huì)不斷累加．因此，采用了基于擴(kuò)展卡爾曼濾波的多傳感器數(shù)據(jù)融合方法，充分利用姿態(tài)傳感器與腰間超聲波傳感器的數(shù)據(jù)，對(duì)慣性導(dǎo)航數(shù)據(jù)進(jìn)行周期性修正，從而提高定位精度，其實(shí)現(xiàn)過(guò)程如圖 6所示．第一步是狀態(tài)預(yù)測(cè)，根據(jù)慣性導(dǎo)航傳感器的信息得到狀態(tài)估計(jì)值與對(duì)應(yīng)的統(tǒng)計(jì)特性．第二步，超聲波傳感器采集觀測(cè)信息值；同時(shí)，根據(jù)狀態(tài)估計(jì)值及地圖信息得到預(yù)測(cè)觀測(cè)值；然后，根據(jù)預(yù)測(cè)觀測(cè)值與傳感器采集的觀測(cè)值形成有效的特征匹配對(duì)．第三步，利用擴(kuò)展卡爾曼濾波對(duì)有效的特征匹配對(duì)進(jìn)行信息融合，實(shí)現(xiàn)位姿的更新．

圖6 定位系統(tǒng)的擴(kuò)展卡爾曼濾波定位框圖Fig. 6 Location diagram of the extended Kalman filter positioning system

3.2.2 定位實(shí)現(xiàn)

(1)位姿預(yù)測(cè)

由于時(shí)間及精力有限，僅對(duì)第八版醫(yī)學(xué)微生物某些章節(jié)內(nèi)容進(jìn)行了題目的設(shè)計(jì)和問卷星試卷的制作，目前已經(jīng)編寫的習(xí)題包括：細(xì)菌的遺傳與變異、細(xì)菌的耐藥性、細(xì)菌的感染與抗細(xì)菌免疫、細(xì)菌感染的檢查方法與防治原則及病毒總論等內(nèi)容。今后將持續(xù)完善其他章節(jié)內(nèi)容。

假設(shè)表示當(dāng)前時(shí)刻的狀態(tài)估計(jì)，U(n?1)表示控制輸入，下一時(shí)刻的預(yù)測(cè)狀態(tài)為

預(yù)測(cè)方差為

式中：Q(n?1)表示系統(tǒng)噪聲協(xié)方差矩陣；?F(n)表示F的Jacobi矩陣，滿足

(2)預(yù)測(cè)觀測(cè)模型

結(jié)合已知地圖，得到第j個(gè)超聲波傳感器與對(duì)應(yīng)的墻面i

l間的預(yù)測(cè)觀測(cè)值，可表示為

(3)觀測(cè)

通過(guò)超聲波傳感器收集n時(shí)刻的觀測(cè)值Zij(n)．

根據(jù)超聲波的觀測(cè)模型，對(duì)墻面il的觀測(cè)值Zij(n)需滿足

①觀測(cè)值必須在傳感器量程范圍內(nèi)，即

②dij(n)與xg的夾角θij(n)滿足

在n時(shí)刻，保存此時(shí)所有滿足以上條件的觀測(cè)值Zij(n)，并且取與之對(duì)應(yīng)的超聲波傳感器的預(yù)測(cè)觀測(cè)值，分別組成一個(gè)新的向量，即

對(duì)應(yīng)于每對(duì)有效觀測(cè)，? Hij表示 Jacobi矩陣，Rj(n)為觀測(cè)噪聲，分別將它們組成新的矩陣，有

最后，根據(jù)擴(kuò)展卡爾曼濾波的步驟，視覺障礙者的位姿更新可表示為

協(xié)方差矩陣的更新方程為

4 實(shí) 驗(yàn)

4.1 單個(gè)超聲波測(cè)距實(shí)驗(yàn)

為檢測(cè)超聲波傳感器的測(cè)距效果，首先針對(duì)單個(gè)HC-SR04超聲波傳感器進(jìn)行測(cè)距實(shí)驗(yàn)，讓超聲波與擋板距離在10～170,cm，每隔20,cm測(cè)量1次，假定人工測(cè)量的數(shù)據(jù)為標(biāo)準(zhǔn)值，實(shí)驗(yàn)結(jié)果見表 1．實(shí)際距離與測(cè)量距離之間存在一定的誤差，分析誤差來(lái)源，可能是：聲速受溫度、壓力、濕度等因素的影響；超聲波傳感器的尺寸影響，由 2.1節(jié)的測(cè)距原理可知，對(duì)于不是收發(fā)一體的超聲波傳感器，其自身的尺寸對(duì)結(jié)果有一定的影響．

表1 單個(gè)超聲波傳感器測(cè)距實(shí)驗(yàn)結(jié)果Tab. 1 Experimental results of single ultrasonic sensor

4.2 室內(nèi)定位與語(yǔ)音反饋實(shí)驗(yàn)

實(shí)驗(yàn)者穿戴電子行走輔助系統(tǒng)進(jìn)行實(shí)驗(yàn)．5個(gè)超聲波均勻分布在實(shí)驗(yàn)者腰部前端 180°方向，超聲波陣列的分布近似為長(zhǎng)軸 30,cm，短軸 20,cm 的橢圓．實(shí)驗(yàn)環(huán)境地圖如圖 7所示，將地圖信息存儲(chǔ)于主CPU中．

圖7 實(shí)驗(yàn)環(huán)境地圖Fig. 7 Experimental environment map

實(shí)驗(yàn)者從五角星處出發(fā)，沿著藍(lán)色虛線順時(shí)針行走一周，若按下播報(bào)按鍵，則播報(bào)所在區(qū)域的語(yǔ)音信息．實(shí)驗(yàn)過(guò)程，當(dāng)實(shí)驗(yàn)者行至圖 7地圖中紅色標(biāo)識(shí)的房間(302、305、310、314及衛(wèi)生間)時(shí)，固定于腰部的E8_BOARD卡片式計(jì)算機(jī)會(huì)自動(dòng)語(yǔ)音播報(bào)當(dāng)前的房間號(hào)，并根據(jù)腰部姿態(tài)傳感器的航向角，識(shí)別該房間所在的方位(實(shí)驗(yàn)者左側(cè)，還是右側(cè))；在 4個(gè)區(qū)域按下按鍵時(shí)，能夠語(yǔ)音播報(bào)當(dāng)前的區(qū)域．

實(shí)驗(yàn)過(guò)程中，記錄實(shí)驗(yàn)者每行走一步僅依靠姿態(tài)傳感器的相對(duì)定位坐標(biāo)與利用多傳感器融合定位的坐標(biāo)，并離線作圖，如圖 8所示．實(shí)驗(yàn)數(shù)據(jù)的誤差曲線如圖9所示．

圖8 實(shí)際路線與相對(duì)定位、多傳感器融合定位數(shù)據(jù)Fig. 8 The actual route，relative positioning and multisensor fusion positioning data

由圖8與圖9可知：基于多傳感器融合的室內(nèi)定位方法相比于慣性導(dǎo)航的相對(duì)定位在精度上顯著提高．由于慣性導(dǎo)航的相對(duì)定位在行走過(guò)程中存在著累積誤差，因此估計(jì)的坐標(biāo)曲線將越來(lái)越偏離于實(shí)際路線．根據(jù)超聲波傳感器的觀測(cè)值周期性地修正姿態(tài)傳感器的計(jì)算結(jié)果后，有效地提高了定位精度．

圖9 實(shí)驗(yàn)誤差曲線Fig. 9 Error curve of experiment data

5 結(jié) 語(yǔ)

本文設(shè)計(jì)了一套結(jié)構(gòu)簡(jiǎn)單、穿戴方便、價(jià)格低廉的多功能電子行走輔助系統(tǒng)，能夠?qū)崿F(xiàn)空中及地表障礙物探測(cè)、室內(nèi)定位與信息反饋等功能．

系統(tǒng)利用腰間超聲波傳感器感知空中障礙物的距離信息，由鞋前部的超聲波傳感器感知地表的障礙物信息，由安裝在鞋底的薄膜壓力傳感器控制鞋上的超聲波傳感器在邁出步伐時(shí)才啟動(dòng)工作．所有的測(cè)距信息轉(zhuǎn)換為不同頻率的振動(dòng)反饋給使用者．

利用腰間的 5個(gè)超聲波傳感器，并結(jié)合室內(nèi)地圖，建立了室內(nèi)的絕對(duì)定位系統(tǒng)．利用超聲波傳感器和姿態(tài)傳感器得到當(dāng)前位置相對(duì)于初始位置的距離與方向，從而實(shí)現(xiàn)相對(duì)定位；并通過(guò)基于擴(kuò)展卡爾曼濾波的多傳感器融合，不斷修正累計(jì)誤差，顯著提高了定位的精確性．

［1］ World Health Organization. Visual impairment and blindness[EB/OL]. [2017-10-11]. http：//www.who.int/mediacentre/factsheets/fs282/en/.

［2］ 何婧， 旻聶 ，羅蘭，等. 聽覺引導(dǎo)助盲系統(tǒng)[J]. 生物醫(yī)學(xué)工程學(xué)雜志，2010，27(2)：467-470.

［3］ Shoval S，Borenstein J，Koren Y. Mobile robot obstacle avoidance in a computerized travel aid for the blind[C]//Proceedings of IEEE Conference on Robotics and Automation. Piscataway：IEEE，1994：2023-2029.

［4］ Meijer P B L. An experimental system for auditory image representations[J]. IEEE Transactions on Biomedical Engineering，1992，39(2)：112-121.

［5］ Sainarayanan G，Nagarajan R，Yaacob S. Fuzzy image processing scheme for autonomous navigation of human blind[J]. Applied Soft Computing，2007，7(1)：257-264.

［6］ Ulrich I，Borenstein J. The guidecane-applying mobile robot technologies to assist the visually impaired people[J]. IEEE Transactions on Systems，Man and Cybernetics，Part A：Systems and Humans，2001，31(2)：131-136.

［7］ Adjouadi M. A man-machine vision interface for sensing the environment[J]. Journal of Rehabilitation Research and Development，1992，29(2)：57-76.

［8］ Szeto A Y，Saunders F A. Electrocutaneous stimulation for sensory communication in rehabilitation engineering[J]. IEEE Transactions on Biomedical Engineering，1982，29(4)：300-308.

［9］ White B W，Saunders F A，Scadden L，et al. Seeing with the skin[J]. Perception and Psychophysics，1970，7(1)：23-27.

［10］ Visell Y. Tactile sensory substitution：Models for enaction in HCI[J]. Interacting with Computers，2009，21(1)：38-53.