陳 鵬，陳智利，李龐躍，牛 恒，周 泉

(西安工業(yè)大學(xué) 光電工程學(xué)院，西安 710021)

據(jù)統(tǒng)計(jì)，中國(guó)擁有世界最大的盲人群體。2018年，我國(guó)視力殘疾患者人數(shù)達(dá)到1700多萬(wàn)，每年新增盲人數(shù)量達(dá)到45萬(wàn)左右[1]，盲人的出行問(wèn)題越來(lái)越受到社會(huì)的重視。傳統(tǒng)的導(dǎo)盲手段如手杖，其攜帶方便成本低，但其提供的信息有限，往往只能夠探測(cè)距離較近、位置較低的簡(jiǎn)單障礙物。導(dǎo)盲犬的訓(xùn)練成本高，培養(yǎng)周期長(zhǎng)，遠(yuǎn)遠(yuǎn)不能滿足我國(guó)龐大盲人群體的需求[2]。近年來(lái)，計(jì)算機(jī)軟硬件技術(shù)的快速發(fā)展，一些現(xiàn)代化的導(dǎo)盲手段不斷被提出，為盲人的出行提供了更多的選擇。文獻(xiàn)[3]提出了一種包含GPS定位與超聲波導(dǎo)盲的拐杖，可以為盲人提供位置信息，文獻(xiàn)[4]設(shè)計(jì)了一款基于超聲波的導(dǎo)盲眼鏡，其體積小、便于攜帶，但其探障功能僅僅采用超聲波，并不能很好的獲取障礙物信息和環(huán)境信息。文獻(xiàn)[5]提出了基于圖像處理的導(dǎo)盲設(shè)備，采用傳統(tǒng)圖像處理方法構(gòu)建分類器，能夠識(shí)別紅綠燈和斑馬線，文獻(xiàn)[6]通過(guò)灰度變換等圖像處理方法能夠?qū)β访娼Y(jié)構(gòu)進(jìn)行分析，可以有效提取路沿信息，引導(dǎo)盲人在正確的道路上行走。上述基于圖像的導(dǎo)盲系統(tǒng)很好的避免了由單超聲避障帶來(lái)的缺陷，但不足的是只能夠識(shí)別某些特定的場(chǎng)景信息，魯棒性不強(qiáng)。為了解決盲人在小區(qū)等結(jié)構(gòu)化道路上的出行問(wèn)題，以及上述設(shè)備中的不足之處，本文基于樹(shù)莓派3B+設(shè)計(jì)了一款包含導(dǎo)航、避障、一鍵呼叫、語(yǔ)音播報(bào)等功能的導(dǎo)盲系統(tǒng)，整套系統(tǒng)由盲人采用小挎包進(jìn)行背負(fù)，極輕的重量不會(huì)給盲人產(chǎn)生負(fù)擔(dān)，能夠更好的方便盲人出行，解決盲人生活中的實(shí)際困難。

1 系統(tǒng)工作原理與設(shè)計(jì)方案

1.1 工作原理

系統(tǒng)通過(guò)GPS模塊對(duì)盲人實(shí)現(xiàn)定位[7]，將位置信息通過(guò)3G模塊傳到服務(wù)器，通過(guò)語(yǔ)音模塊獲得盲人所說(shuō)的目的地信息，在服務(wù)器上通過(guò)由高德地圖API改制的地圖軟件生成導(dǎo)航信息，將導(dǎo)航信息發(fā)送至樹(shù)莓派，并語(yǔ)音播報(bào)至盲人。在盲人按照導(dǎo)航指令行走的過(guò)程中，避障模塊工作，一個(gè)超聲波傳感器用來(lái)探測(cè)前方的障礙物距離信息，另一個(gè)超聲波傳感器探測(cè)由盲人手持，用來(lái)探測(cè)所需方向的障礙物距離信息。與此同時(shí)，攝像頭間隔采集前方圖像信息，用來(lái)探測(cè)超聲波模塊無(wú)法準(zhǔn)確探測(cè)的環(huán)境信息，給盲人提供全方位的保障。

1.2 硬件設(shè)計(jì)

系統(tǒng)的核心主體為樹(shù)莓派3B+，樹(shù)莓派是由英國(guó)樹(shù)莓派基金會(huì)研發(fā)的一種只有卡片大小的單板機(jī)電腦，具有優(yōu)秀的擴(kuò)展性和易于開(kāi)發(fā)的特性，并且隨著其版本的一代代更新，其計(jì)算能力也在逐漸增強(qiáng)。本文所使用的樹(shù)莓派3B+為64位四核ARM處理器，主頻為1.4 GHz，運(yùn)行內(nèi)存1 GB，搭載官方的Raspbian系統(tǒng)，其計(jì)算能力相當(dāng)可觀，可以用來(lái)處理較為復(fù)雜的計(jì)算任務(wù)[8]。定位模塊由GPS傳感器ATK1218-BD組成，通訊模塊由3G模塊組成，避障模塊外部傳感器由兩個(gè)HC-SR04超聲波傳感器和一個(gè)500萬(wàn)像素的樹(shù)莓派攝像頭構(gòu)成，系統(tǒng)整體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)

本文主要研究導(dǎo)盲系統(tǒng)中的避障模塊，即通過(guò)超聲波傳感器和攝像頭探別前方障礙物信息，通過(guò)內(nèi)置軟件進(jìn)行處理，生成避障信息，并語(yǔ)音播報(bào)至盲人，引導(dǎo)盲人行走。對(duì)樹(shù)莓派安裝相關(guān)支持?jǐn)?shù)據(jù)，安裝相機(jī)后，需要使用配置工具激活攝像頭，并配置OpenCV庫(kù)來(lái)調(diào)用和控制攝像頭[9]，配置Tensorflow進(jìn)行圖像識(shí)別，所有軟件均使用Python開(kāi)發(fā)。

1.3 避障模塊原理

超聲波測(cè)距的公式Od=v·t/2，其中v為聲音在空氣中的傳播速度，約為340 m/s，t為聲波發(fā)出去到接收到聲波所用的時(shí)間[10]。本文采用HC-SRO4超聲波模塊，其超聲波從發(fā)出到接收所需的時(shí)間即為指引腳的高電平時(shí)間。

卷積神經(jīng)網(wǎng)絡(luò)是近幾年興起的進(jìn)行圖像識(shí)別與分類的方法，在其出現(xiàn)之前，人們多用SIFT和HOG等算子來(lái)提取圖像特征，再結(jié)合SVM等機(jī)器學(xué)習(xí)算法來(lái)進(jìn)行圖像分類和識(shí)別，但SIFT算法是有其局限性的，需要進(jìn)行繁瑣的數(shù)據(jù)操作。而卷積神經(jīng)網(wǎng)絡(luò)可以直接使用圖像的原始像素作為輸入，通過(guò)卷積操作可以提取圖像的各種特征，再進(jìn)行網(wǎng)絡(luò)訓(xùn)練，自動(dòng)提取最有效的特征。簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層，池化層，非線性激活層，全連接層,在全連接層后面通常連接Softmax層來(lái)進(jìn)行分類,通過(guò)反向傳播對(duì)代價(jià)函數(shù)的優(yōu)化以達(dá)到選擇最優(yōu)參數(shù)的目的[11-12]。

由于樹(shù)莓派的計(jì)算能力有限，網(wǎng)絡(luò)不能過(guò)于復(fù)雜，網(wǎng)絡(luò)采用經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。網(wǎng)絡(luò)參數(shù)在電腦上進(jìn)行訓(xùn)練，將保存好的訓(xùn)練模型移至樹(shù)莓派進(jìn)行圖像識(shí)別。

2 軟件設(shè)計(jì)及測(cè)試分析

2.1 超聲波模塊

超聲波模塊包括兩個(gè)超聲波傳感器，在程序中對(duì)各引腳做出定義，其中Trig引腳為S，Echo引腳為R，將兩個(gè)超聲波的Trig引腳和Echo引腳初始化為低電平。超聲波模塊核心代碼為：

def HCSRO4(S,R):

GPIO.output(S,GPIO.HIGH)

Time.sleep(0.000015)

GPIO.output(S,GPIO.LOW)//Ttig引腳持續(xù)發(fā)射15毫秒的超聲波

While GPIO.input(R)==0:

t1=time.time//記錄Echo引腳為高電平的時(shí)間t1

While GPIO.input(R)==1:

t2=time.time//記錄Echo引腳為低電平的時(shí)間t2

distance=(t2-t1)*340/2*100//計(jì)算距離

樹(shù)莓派對(duì)Trig引腳發(fā)射一個(gè)持續(xù)15 ms的脈沖，超聲波模塊會(huì)發(fā)射一個(gè)持續(xù)15 ms的超聲波，記錄檢測(cè)到Echo端口高電平的時(shí)間t1，檢測(cè)到其為低電平的時(shí)間t2，(t2-t1)即為超聲波傳播的時(shí)間，帶入距離公式d=v·t/2中，即可得到前方障礙物的距離。

2.2 攝像模塊

本文將盲人在路上行走所遇到的場(chǎng)景簡(jiǎn)單分為四類，如圖2所示。分別為圖2(a)所示的前方路上無(wú)障礙物，可以行走，圖2(b)所示的前方為斑馬線，圖2(c)所示的處在路邊，圖2(d)所示的前方有行人或車輛，需要謹(jǐn)慎行走，并提醒盲人注意避障信息。

圖2 場(chǎng)景分類

在程序中導(dǎo)入Opencv模塊后，利用VideoCapture函數(shù)來(lái)調(diào)用攝像頭，用Read函數(shù)獲得圖像.但由于網(wǎng)絡(luò)計(jì)算耗時(shí)較長(zhǎng)，而Read函數(shù)只能一幀一幀的來(lái)讀取，因此將VideoCapture函數(shù)和Read函數(shù)放到圖像處理函數(shù)內(nèi)部，即每執(zhí)行完一次圖片預(yù)測(cè)，再重新打開(kāi)攝像頭，取出當(dāng)前幀作為網(wǎng)絡(luò)的輸入，由于攝像頭剛打開(kāi)時(shí)前幾幀圖像質(zhì)量較差，因此需要舍去前幾幀圖像。攝像頭采集的圖片分辨率為640×640，需要對(duì)圖片進(jìn)行預(yù)處理，利用Resize函數(shù)將其改為32×32大小后再發(fā)送神經(jīng)網(wǎng)絡(luò)，以減少計(jì)算量。

網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，每個(gè)卷積層都包含卷積，池化和非線性激活，其中卷積核大小都為3×3，步長(zhǎng)為1，池化層大小為，將數(shù)據(jù)量減小為原來(lái)的一半。網(wǎng)絡(luò)的輸入是1張RGB三通道圖片，設(shè)置第二層節(jié)點(diǎn)數(shù)為64，第三層節(jié)點(diǎn)數(shù)為32，第四層節(jié)點(diǎn)數(shù)為16，其后全連接層的隱含節(jié)點(diǎn)數(shù)為128，最后一層為Softmax回歸層，將輸入圖片分成四類，整個(gè)學(xué)習(xí)過(guò)程學(xué)習(xí)率均為0.0001。

通過(guò)拍攝某高校道路場(chǎng)景，共收集每類圖像三百?gòu)垼惨磺Ф購(gòu)堊鳛橛?xùn)練集，另有每類圖片五十張作為測(cè)試集。先在電腦上進(jìn)行訓(xùn)練，共迭代了2 500次，損失函數(shù)與準(zhǔn)確率曲線如圖4所示。

從圖4中可看出,在迭代2 100次后損失函數(shù)趨近于0，準(zhǔn)確率也接近于1，說(shuō)明模型各參數(shù)已經(jīng)訓(xùn)練完成。訓(xùn)練完成后得到四個(gè)文件，將其拷貝至樹(shù)莓派后，將Checkpoint文件中的地址改為Raspbian系統(tǒng)下剛剛保存的地址即可在樹(shù)莓派上運(yùn)用該模型。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 損失函數(shù)和準(zhǔn)確率

2.3 測(cè)試及分析

在某高校內(nèi)道路上對(duì)系統(tǒng)進(jìn)行整體測(cè)試，在通過(guò)斑馬線時(shí)，樹(shù)莓派的輸出見(jiàn)表1。測(cè)試中發(fā)現(xiàn)圖像模塊識(shí)別較慢，并會(huì)與超聲波模塊發(fā)生沖突，通過(guò)給兩個(gè)模塊分配不同的線程，運(yùn)行時(shí)間大幅減少，超聲波模塊和攝像頭模塊也可以同時(shí)運(yùn)行。

圖像模塊的測(cè)試中，每類圖片的測(cè)試集包含50幅圖像，測(cè)試結(jié)果見(jiàn)表2。從表2中可看到，對(duì)于斑馬線這類特征明顯的圖像識(shí)別率較高，而在實(shí)際測(cè)試中由于特征比較相似，前方無(wú)障礙物與處在路邊容易混淆。限于樹(shù)莓派3B+的運(yùn)算速度以及網(wǎng)絡(luò)復(fù)雜度，識(shí)別單幅圖片平均耗時(shí)為10.6 s。

表1 整體測(cè)試結(jié)果

表2 圖像模塊測(cè)試結(jié)果

3 結(jié) 論

本文以樹(shù)莓派3B+為主體，設(shè)計(jì)了一款包含導(dǎo)航、避障、一鍵呼叫、語(yǔ)音播報(bào)等功能的導(dǎo)盲系統(tǒng),并針對(duì)其中避障模塊進(jìn)行了軟硬件設(shè)計(jì)，避障模塊通過(guò)兩個(gè)超聲波傳感器實(shí)現(xiàn)對(duì)近處障礙物距離進(jìn)行探測(cè)，而通過(guò)圖像模塊獲取并分類前方環(huán)境信息。最終攜帶設(shè)備在校園道路上實(shí)際測(cè)試表明，超聲波模塊可以識(shí)別前方0.02～3.5 m處障礙物的距離信息，而圖像模塊對(duì)前方場(chǎng)景的識(shí)別正確率為89%，平均耗時(shí)10.6 s，兩模塊能夠并行運(yùn)行。表明在樹(shù)莓派上運(yùn)行神經(jīng)網(wǎng)絡(luò)為盲人實(shí)現(xiàn)導(dǎo)盲的可行性，為整體導(dǎo)盲系統(tǒng)提供了可靠的基礎(chǔ)。隨著卷積神經(jīng)網(wǎng)絡(luò)的改良和樹(shù)莓派運(yùn)算速度的提升，在不久的將來(lái)，該系統(tǒng)或許能夠在更短的時(shí)間內(nèi)識(shí)別更多的場(chǎng)景。