張柯凡　吉野　薄健博　黃名哲

摘 要：室內(nèi)導(dǎo)航尋路是物聯(lián)網(wǎng)智能家居的一個重要應(yīng)用場景，文中設(shè)計了一種基于深度學(xué)習(xí)的室內(nèi)簡單環(huán)境尋路算法，包括物體捕捉與追蹤、周圍環(huán)境感知、路徑規(guī)劃、抓取返回四個重要過程。其中，捕捉與追蹤采用TOP技術(shù)對目標(biāo)進(jìn)行標(biāo)注與距離判斷。周圍環(huán)境感知采用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方法，通過訓(xùn)練并自我對弈對網(wǎng)絡(luò)進(jìn)行激勵，從而不斷更新網(wǎng)絡(luò)，在路徑規(guī)劃的柵格法中尋求最優(yōu)路徑。抓取返回過程采用垂直下落抓取方法并對柵格進(jìn)行最短路徑計算，從而以最短路徑返回，完成全過程。

關(guān)鍵詞：移動機(jī)器人;尋路算法;深度學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);路徑規(guī)劃;環(huán)境感知

中圖分類號：TP39文獻(xiàn)標(biāo)識碼：A文章編號：2095-1302（2020）04-00-04

0 引 言

自物聯(lián)網(wǎng)技術(shù)提出以來，尋路算法便成為智能化的重要研究方向。自動尋路的目的是為了讓物體能夠在給定或任意區(qū)域中，通過算法躲避障礙，前進(jìn)到最終目的地執(zhí)行目標(biāo)。尋路算法的核心是躲避障礙和最優(yōu)路徑的選擇，通過計算快速、準(zhǔn)確到達(dá)目的地。

本文嘗試將深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)引入自動尋路算法中。尋路過程分為目標(biāo)物體捕捉與追蹤、機(jī)器人周圍環(huán)境感知、路徑規(guī)劃、抓取物體四個部分，具體如下：

（1）在目標(biāo)物體捕捉過程中使用OpenCV轉(zhuǎn)換涂抹區(qū)域，通過歸中算法追蹤目標(biāo);

（2）在機(jī)器人周圍環(huán)境感知中引入深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)，輸出判斷可用路徑的條數(shù)并不斷對自身進(jìn)行訓(xùn)練，提高判斷準(zhǔn)確度;

（3）在路徑規(guī)劃中采取柵格法，不斷搜集存儲更新當(dāng)前已獲取的信息，從而進(jìn)行最優(yōu)路徑判斷;

（4）在抓取物體過程中，采取最有兼容性的垂直下落抓取方式。

根據(jù)此思路設(shè)計了室內(nèi)簡單環(huán)境尋路并自動抓取物體返回的算法系統(tǒng)，最終驗證了此系統(tǒng)的可行性。

1 室內(nèi)簡單環(huán)境下的尋路算法

1.1 算法的應(yīng)用場景

本算法適用于簡單的室內(nèi)環(huán)境中帶有目標(biāo)的尋路場景。例如大學(xué)生機(jī)器人大賽或水中機(jī)器人競賽等障礙物簡單、場地相對開闊、目標(biāo)物體位置明顯且在一定高度始終可視的場景下，可應(yīng)用在移動機(jī)器人與機(jī)械臂的組合結(jié)構(gòu)上，結(jié)構(gòu)示意圖如圖1所示。

1.2 算法研究現(xiàn)狀

迄今為止，對于室內(nèi)尋路算法的研究主要集中于探討兩大課題。一是對室內(nèi)路徑規(guī)劃系統(tǒng)的研發(fā)，以室內(nèi)感知系統(tǒng)、智能教室為典型代表;二是通過移動機(jī)器人實(shí)現(xiàn)室內(nèi)尋路的任務(wù)，該領(lǐng)域的研究重點(diǎn)在于對機(jī)器人本身性能及算法的不斷改進(jìn)，而對于尋路算法的功能完善相對滯后。

在尋路算法中，最符合室內(nèi)系統(tǒng)需求的是基于圖論的圖搜索算法，即從初始位置到目標(biāo)位置進(jìn)行搜索的算法。當(dāng)今，與尋找路徑相關(guān)的算法約有17種，有學(xué)者對其中的若干尋路算法進(jìn)行了科學(xué)實(shí)踐，而測試結(jié)果表明，有三種算法具有相對更好的可行性，分別是TQQ算法、DKA算法與DKD算法。

室內(nèi)尋路算法研究的改進(jìn)在一定程度上改善了室內(nèi)尋路系統(tǒng)中對于最優(yōu)路徑選擇的問題。但值得注意的是，室內(nèi)尋路算法需要滿足不同應(yīng)用環(huán)境下不同的應(yīng)用需求，作為應(yīng)用系統(tǒng)的支撐。因此，研究者很大部分能夠?qū)Φ湫突蚓唧w的環(huán)境提出最優(yōu)算法，但是在實(shí)際系統(tǒng)的應(yīng)用過程中僅占少數(shù)，其原因在于設(shè)計會受到不同環(huán)境及其他限制條件的約束，所以尋路算法還有待研究出更加完善的路徑尋找方式。根據(jù)以上所述，本文利用神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)對室內(nèi)最優(yōu)路徑算法進(jìn)行優(yōu)化處理，使之能夠應(yīng)用于室內(nèi)服務(wù)機(jī)器人上。相較于原有的尋路算法，該算法擁有更強(qiáng)的可靠性與魯棒性。

2 算法總體設(shè)計思路

本算法分為目標(biāo)物體捕捉與追蹤、機(jī)器人周圍環(huán)境感知、路徑規(guī)劃、抓取物體。算法流程如圖2所示。

首先，通過設(shè)置在機(jī)械臂上的景深鏡頭依靠用戶在APP上的手動涂抹來捕捉目標(biāo)物體，之后使用歸中算法對目標(biāo)物體進(jìn)行實(shí)時追蹤，確定機(jī)器人與物體的相對位置，并判斷目標(biāo)物體周圍環(huán)境狀況，如圖3所示。

其次，通過設(shè)置在移動機(jī)器人上的景深鏡頭拍攝機(jī)器人周圍的全景圖片并處理為深度圖像，使用神經(jīng)網(wǎng)絡(luò)來判斷場景下的可能路徑數(shù)量及各路徑的方位。

之后，使用A*或柵格等尋路算法，通過收集到的信息進(jìn)行路徑規(guī)劃。

最后，當(dāng)目標(biāo)物體進(jìn)入機(jī)械臂的抓取范圍時，操作機(jī)械臂抓取物體。

3 算法具體設(shè)計思路

3.1 物體捕捉與追蹤

物體捕捉與追蹤是系統(tǒng)確定目標(biāo)物體的過程，通過設(shè)置在機(jī)械臂上的景深鏡頭依靠用戶在APP上的手動涂抹來捕捉目標(biāo)物體，之后使用歸中算法對目標(biāo)物體進(jìn)行實(shí)時追蹤，以達(dá)到確定機(jī)器人與物體相對位置并判斷目標(biāo)物體周圍環(huán)境狀況的目的。步驟如下所示。

（1）將用戶涂抹的區(qū)域使用 OpenCV轉(zhuǎn)換為一個矩形方框[1]，使用歸中算法確保配合攝像頭移動，使目標(biāo)物體始終位于攝像頭拍攝的畫面中心，獲得機(jī)器人與目標(biāo)物體的相對方向d。

（2）獲得攝像頭拍攝的深度圖像及目標(biāo)物體與相鄰環(huán)境的顏色深度差df，如圖4所示。

（3）記錄d和df以備后續(xù)使用。

在第（3）步中使用景深鏡頭[2]來拍攝深度圖。景深是指相機(jī)對焦點(diǎn)前后相對清晰的成像范圍。景深的提取有多種途徑，主要有基于雙目視覺提取景深和利用測距設(shè)備獲取深度信息，即TOF技術(shù)。前者通過攝像頭對同一場景在不同角度進(jìn)行拍攝，獲取兩幅具有視差的圖像，并進(jìn)行攝像機(jī)標(biāo)定與圖像的預(yù)處理后，通過立體匹配圖像間的視差信息，結(jié)合標(biāo)定數(shù)據(jù)將視差轉(zhuǎn)化為現(xiàn)實(shí)世界中物體的深度信息。后者通過發(fā)射光線并接收反射光線實(shí)現(xiàn)深度信息的實(shí)時提取。這種方法原理簡單，測距速度高，同時可以避免陰影與遮擋等問題，但相對的，對信號處理系統(tǒng)的時間分辨率要求較高。為提高測量精度，一般情況下，實(shí)際的飛行測量系統(tǒng)采用時間調(diào)制類別的光束。在實(shí)際對比兩種方法的適用性后，選用雙目視覺提取景深的技術(shù)，利用帶有景深攝像頭的 iPhone實(shí)現(xiàn)這一功能，通過調(diào)用AVFoundation框架生成深度圖像。

首先利用機(jī)械臂上已有的景深攝像頭獲取當(dāng)前對應(yīng)的環(huán)境顏色值與深度值，所獲取的圖像要確保目標(biāo)物體處于畫面的中央位置，將攝像頭獲取的圖像信息傳輸?shù)讲僮髡叩氖謾C(jī)上，進(jìn)而利用操作者手機(jī)上預(yù)先編寫好的應(yīng)用程序?qū)δ繕?biāo)物體進(jìn)行涂抹，使得目標(biāo)物體的RGB值、深度值與周圍環(huán)境有明顯差別，始終保證目標(biāo)物體處于攝像頭視野的中央位置。在小車行動過程中，機(jī)械臂上的景深攝像頭始終對準(zhǔn)目標(biāo)物體，面向方向始終與目標(biāo)物體所在位置保持一致，以有效保證小車每次行動都朝向目標(biāo)物體移動，在一定程度上確保小車移動方向的準(zhǔn)確性。

3.2 機(jī)器人周圍環(huán)境感知

僅僅獲取了機(jī)器人和目標(biāo)物體之間的方位信息并不能有效規(guī)劃路徑，還需要獲取機(jī)器人周圍的環(huán)境信息。在本算法中，使用了卷積神經(jīng)網(wǎng)絡(luò)來獲取小車周圍的可用路徑條數(shù)。使用卷積神經(jīng)網(wǎng)絡(luò)判斷可用路徑的優(yōu)點(diǎn)在于：它可以模擬人類大腦對事物進(jìn)行主觀學(xué)習(xí)，從而避免人工標(biāo)定特征帶來的局限性，降低編寫程序過程中對圖像處理所需專業(yè)經(jīng)驗的依賴[3]。

近年來，由于高算力GPU對深度學(xué)習(xí)的訓(xùn)練和推理提供了強(qiáng)大支持，使得在特定領(lǐng)域模擬人類學(xué)習(xí)的過程成為可能。如今基于強(qiáng)化學(xué)習(xí)開發(fā)的系統(tǒng)已經(jīng)在圖像識別領(lǐng)域取得了較大突破，使人們認(rèn)識到，在圖像處理領(lǐng)域，人工智能已經(jīng)可以按照設(shè)定的要求進(jìn)行自我學(xué)習(xí)。其本質(zhì)是自始至終地訓(xùn)練同一個神經(jīng)網(wǎng)絡(luò)，在不斷試錯的過程中自我提升。

3.2.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)p=f （s）的輸入是景深攝像頭拍攝的360°全景深度圖像，將圖像轉(zhuǎn)換為二維向量，輸入神經(jīng)網(wǎng)絡(luò)。

網(wǎng)絡(luò)是18層卷積神經(jīng)網(wǎng)絡(luò)，分別使用3個具有32個3×3過濾器、3個具有64個3×3過濾器、4個具有128個3×3過濾器、4個具有256個3×3過濾器的卷積層，然后添加一個ReLu激活函數(shù)以增加網(wǎng)絡(luò)間的非線性關(guān)系，使用1個具有4個1×1過濾器的卷積層，通過一個大小與輸入一致的神經(jīng)元全鏈接層，使用softmax函數(shù)計算出棋盤上每個像素是可行路徑的概率。這樣的網(wǎng)絡(luò)對于筆者現(xiàn)有的設(shè)備來說，可以達(dá)到較快的訓(xùn)練和預(yù)測速度。

優(yōu)化器使用AdamOptimizer[4]。其中，學(xué)習(xí)速率通過每一次預(yù)測后與預(yù)先給出的樣本通道位置對比后的結(jié)果精準(zhǔn)程度進(jìn)行動態(tài)調(diào)整，這樣能夠比固定學(xué)習(xí)速率的輸出更準(zhǔn)確。AdamOptimizer的更新規(guī)則如下：

（1）

參數(shù)設(shè)定見表1所列。

3.2.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

在本算法中，筆者基于強(qiáng)化學(xué)習(xí)的方法，依靠自我對弈從始至終訓(xùn)練同一個神經(jīng)網(wǎng)絡(luò)。強(qiáng)化學(xué)習(xí)模擬生物在特定環(huán)境中，在給定獎勵或懲罰的刺激下實(shí)現(xiàn)自我學(xué)習(xí)的過程[5]。

在訓(xùn)練過程中，輸入的每一組深度圖都帶有預(yù)先標(biāo)定的可行通道位置，在每次預(yù)測后，對比神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果，對在通道范圍內(nèi)的預(yù)測進(jìn)行激勵。筆者給出的獎勵信號見

表2所列。

使用結(jié)果反向傳播更新網(wǎng)絡(luò)。其中，損失函數(shù)選擇平方損失，其優(yōu)點(diǎn)是計算較為方便，計算過程中使用的歐氏距離是一種很好的相似性度量標(biāo)準(zhǔn)，在不同的表示域變換后特征性質(zhì)不變。

（2）

式中：Y為真實(shí)值;X為預(yù)測結(jié)果。

3.3 路徑規(guī)劃

本文采用柵格法[6]進(jìn)行路線規(guī)劃。

問題的重點(diǎn)在于如何使小車在保持一定效率的同時實(shí)現(xiàn)小車隨機(jī)游走和路徑規(guī)劃兩種方案的實(shí)現(xiàn)，而非將整個屋子走過一遍從而到達(dá)目標(biāo)位置，并在取得物品后對比總路徑，選擇總路徑最短的路線返回，從而得到相對高效的方式。

環(huán)境與系統(tǒng)實(shí)現(xiàn)的前提如下：

（1）房間的障礙物位置情況不可知，空間為掃地機(jī)器人的數(shù)倍以方便有足夠的空間進(jìn)行移動與機(jī)械臂回旋;

（2）小車行走地面光滑，只允許有隨機(jī)設(shè)置的障礙物存在，防止外界因素干擾;

（3）小車前進(jìn)速度勻速，與方向結(jié)合判斷當(dāng)前位置與目標(biāo)間的距離;

（4）小車轉(zhuǎn)向時可在不干擾機(jī)械臂攝像頭的情況下自我旋轉(zhuǎn)360°;

（5）掃地機(jī)器人在運(yùn)行之前會得到房間的地圖和自身位置;

（6）假設(shè)機(jī)器人的初始位置在坐標(biāo)原點(diǎn)（使用者）處。

節(jié)點(diǎn)與規(guī)劃地圖的方法如下所示。

（1）選擇將屋子進(jìn)行柵格化，并將柵格中每一個理論上可到達(dá)的柵格作為一個節(jié)點(diǎn)。

（2）如圖5所示，首先在房間內(nèi)隨機(jī)放置障礙物，將柵格模型抽象為標(biāo)識矩陣，矩陣對應(yīng)位置的標(biāo)記表示柵格對應(yīng)位置的狀態(tài)，0表示當(dāng)前節(jié)點(diǎn)位置;1對應(yīng)該節(jié)點(diǎn)位置無障礙物可正常到達(dá);2表示對應(yīng)位置存在障礙物不可到達(dá)。

（3）小車搭載速度傳感器，可借由速度傳感器時刻記錄小車速度與目標(biāo)方向，并計算自己走過的路徑長度與目標(biāo)間的距離，從而獲悉自己當(dāng)前所在節(jié)點(diǎn)位置信息。

小車搭載景深攝像頭，可以360°掃描全景，判斷周圍四個方向的節(jié)點(diǎn)上是否存在障礙物，并輸入至神經(jīng)網(wǎng)絡(luò)，記錄當(dāng)前節(jié)點(diǎn)信息，判斷完畢后選擇與目標(biāo)間距離最短的節(jié)點(diǎn)方向前進(jìn)，隨后每到一個新節(jié)點(diǎn)便掃描周圍節(jié)點(diǎn)并更新節(jié)點(diǎn)信息，進(jìn)而使用深度優(yōu)先搜索算法按照離目標(biāo)最近路線不停探索，實(shí)現(xiàn)地圖柵格信息的確認(rèn)。最后記錄小車走過的路徑與路徑長度，自動規(guī)劃地圖，到達(dá)目標(biāo)后地圖便初步設(shè)置完成。隨著目標(biāo)位置的改變可多次使用，逐漸補(bǔ)充位置節(jié)點(diǎn)信息。重復(fù)以上過程即可完成路徑規(guī)劃。

3.4 抓取物體

到達(dá)固定位置后，此時機(jī)械臂上的攝像頭采集到的景深距離等于或小于規(guī)定可抓取范圍，且待抓取物體已處于機(jī)械臂下方，利用轉(zhuǎn)軸將攝像頭調(diào)整至目標(biāo)物體正上方，采取垂直下落式抓法，判定抓取到目標(biāo)物體后抬起機(jī)械臂，之后按照小車已規(guī)劃好的地圖進(jìn)行最優(yōu)路徑判斷，根據(jù)最優(yōu)路徑返回至起始點(diǎn)。抓取流程如圖6所示。

景深距離判斷：設(shè)置全局變量可抓取范圍，并實(shí)時判斷與目標(biāo)物體的距離，一旦接近便下達(dá)停止移動命令。

抓取物體過程：如圖7所示，根據(jù)固定程序，利用轉(zhuǎn)軸將一號攝像頭向下轉(zhuǎn)動，并時刻根據(jù)算法判斷是否轉(zhuǎn)動至與地面垂直或與目標(biāo)物體、機(jī)械爪處于同一直線，之后傳遞命令給機(jī)械臂，機(jī)械爪垂直向下運(yùn)動，利用固定程序判斷機(jī)械爪可伸縮范圍內(nèi)是否抓取到目標(biāo)物體，控制機(jī)械臂帶著目標(biāo)物體一起向上升起，直至無法升起后，傳遞命令給小車，準(zhǔn)備返回。

返回過程：Dijkstra算法[7]是從一個頂點(diǎn)到其余各頂點(diǎn)的最短路徑算法，解決的是有權(quán)圖中最短路徑問題。迪杰斯特拉算法的主要特點(diǎn)是以起始點(diǎn)為中心向外層層擴(kuò)展，擴(kuò)展到終點(diǎn)為止。適用于返回最優(yōu)路徑中的單源最短路徑。利用小車行進(jìn)過程中的地圖進(jìn)行最優(yōu)路徑規(guī)劃，采用Dijkstra算法進(jìn)行無向圖最優(yōu)路徑計算，之后按照最優(yōu)路徑控制小車返回原點(diǎn)。

4 實(shí)驗結(jié)果與分析

本實(shí)驗將尋路過程分為目標(biāo)物體捕捉與追蹤、機(jī)器人周圍環(huán)境感知、路徑規(guī)劃、抓取物體四個部分。

深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)相結(jié)合引入自動尋路算法。通過景深攝像頭完成對物體的捕捉和追蹤及周圍環(huán)境的感知，對目標(biāo)進(jìn)行標(biāo)注與距離判斷后采用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方法，通過自我對弈來激勵網(wǎng)絡(luò)不斷更新。

路徑規(guī)劃方面采用柵格法尋求最優(yōu)路徑，記錄當(dāng)前地區(qū)位置信息，之后采用垂直下落抓取方法抓取目標(biāo)，以最短路徑返回。

據(jù)此思路設(shè)計了室內(nèi)簡單環(huán)境尋路并自動抓取物體后返回的算法系統(tǒng)，最終小車可按照計劃成功到達(dá)目的地并抓取目標(biāo)返回，同時還在內(nèi)部生成了地圖的大致信息，結(jié)果較好地驗證了系統(tǒng)的可行性。

5 結(jié) 語

當(dāng)今社會上自動智能機(jī)器人逐漸普及，要使得機(jī)器人能在不同的環(huán)境（比如室內(nèi)家庭）順利完成動作，需要將各種情況考慮在內(nèi)。本文提出利用深度學(xué)習(xí)使得機(jī)器自主學(xué)習(xí)。以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，方便機(jī)器人在變化的環(huán)境中執(zhí)行相同任務(wù)時，可以通過對環(huán)境的自我多次嘗試來實(shí)現(xiàn)使用者的目的，并制造出一個能判斷環(huán)境后自主規(guī)劃前進(jìn)路線并完成交代任務(wù)的神經(jīng)網(wǎng)絡(luò)。利用智能小車搭載機(jī)械臂，通過自然語言交流、機(jī)器視覺探知周圍環(huán)境的模式，自動抓取用戶需要的物品，未來可采用可調(diào)節(jié)高度的小車做進(jìn)一步完善。

參考文獻(xiàn)

[1]劉培軍，馬明棟，王得玉.基于OpenCV圖像處理系統(tǒng)的開發(fā)與實(shí)現(xiàn)[J].計算機(jī)技術(shù)與發(fā)展，2019，29（3）：127-131.

[2]韓芳芳，段發(fā)階，王凱，等.機(jī)器人視覺檢測系統(tǒng)中相機(jī)景深問題的研究與建模[J].傳感技術(shù)學(xué)報，2010（12）：1744-1747.

[3] SIMONYAN K ，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[Z].arXiv preprint arXiv：1409.1556，2014.

[4]崔廣新，李殿奎.基于AdamOptimizer自編碼的手寫數(shù)字識別研究[J].佳木斯大學(xué)學(xué)報（自然科學(xué)版），2018，36（3）：363-366.

[5]劉建，黃嬌潔.一種算法對于深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度的提升[J].電腦知識與技術(shù)，2019，15（24）：207-209.

[6]劉梅.基于柵格化視覺的機(jī)器人路徑優(yōu)化研究[J].計算機(jī)與數(shù)字工程，2018，46（8）：1548-1552.

[7]孟慶偉，張冬姣.基于Dijkstra最短路徑算法的優(yōu)化及應(yīng)用研究

[J].電子商務(wù)，2014（12）：60-61.

[8]高歡斌.基于深度學(xué)習(xí)的室內(nèi)定位算法研究[D].成都：電子科技大學(xué)，2016.

[9]楊伊璇.基于深度學(xué)習(xí)的蜂窩信號室內(nèi)定位算法[J].中國電子科學(xué)研究院學(xué)報，2019（9）：943-947.

[10]單明媚，王華通，鄭浩嵐，等.視頻運(yùn)動目標(biāo)跟蹤算法研究綜述

[J].物聯(lián)網(wǎng)技術(shù)，2019，9（7）：76-78.