宋明磊，謝麗蓉，安 冬，2

（1.新疆大學(xué)電氣工程學(xué)院，新疆 烏魯木齊 830047；2.中國農(nóng)業(yè)大學(xué)信息與電子工程學(xué)院，北京 100083）

0 引 言

隨著社會的不斷發(fā)展與進(jìn)步，巡檢機器人已經(jīng)在各種環(huán)境下被普遍使用。目前，電力巡檢機器人和無人機巡檢機器人是市面上最常見的兩類巡檢機器人[1]。自動導(dǎo)航技術(shù)通過巡檢機器人的傳感器對未知環(huán)境進(jìn)行感知，并結(jié)合已知環(huán)境信息對其進(jìn)行相應(yīng)控制，完成巡檢作業(yè)任務(wù)[2?3]。巡檢機器人如何實現(xiàn)安全到達(dá)指定位置，且在行駛過程中快速避開障礙物是研究的重點[4]。巡檢機器人常用的導(dǎo)航方法有基于衛(wèi)星[5]、機器視覺[6?7]、激光雷達(dá)[8]、慣性導(dǎo)航[9]等的方法，可以單獨使用或結(jié)合使用。

未來導(dǎo)航技術(shù)應(yīng)用的主要模型是組合導(dǎo)航，將幾種不同的傳感器組合，每個單獨傳感器彼此補充其獨特性和局限性，以提高系統(tǒng)的準(zhǔn)確度[10]。文獻(xiàn)[11]提出了一種基于GPS 和機器視覺組合導(dǎo)航的定位系統(tǒng)，克服了僅有一種定位方式的不足，提高了農(nóng)業(yè)機器人的定位效果，但未實現(xiàn)其自主化控制；文獻(xiàn)[12]提出了組合視覺導(dǎo)航與慣性導(dǎo)航的方法，使用立體相機獲得最小化重投影組合IMU 慣性優(yōu)化函數(shù)來估計移動機器人的位姿、速度，此系統(tǒng)成本高，且容易產(chǎn)生累積誤差；文獻(xiàn)[13]提出通過相機、IMU、GPS 的組合方法跟蹤照相機在6 個自由度的運動，但GPS 信號容易產(chǎn)生丟失問題。

為了實現(xiàn)巡檢機器人的高精度定位和自主導(dǎo)航能力，提高巡檢機器人的作業(yè)效率，本文研究聯(lián)合了實時差分定位（Real?Time Kinematic，RTK）和機器視覺導(dǎo)航兩種方法，未發(fā)現(xiàn)障礙時，采用RTK 導(dǎo)航為主、視覺導(dǎo)航為輔的組合方式；發(fā)現(xiàn)障礙物時，切換為視覺導(dǎo)航為主、RTK 導(dǎo)航為輔的組合方式。其中視覺導(dǎo)航采用多個卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）分類模型實時地對障礙物進(jìn)行分類，得到相應(yīng)的指令來控制巡檢機器人自主避障。采用生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）對數(shù)集進(jìn)行訓(xùn)練，CNN 訓(xùn)練分類模型，速度快、準(zhǔn)確率高、數(shù)集采集量小，可以更好地識別到障礙物并為巡檢機器人發(fā)出正確的指令，運用無模型自適應(yīng)控制避開障礙物。實驗證明該組合導(dǎo)航系統(tǒng)具有較強的抗干擾能力，自主性好、精度高，能為巡檢機器人提供準(zhǔn)確的導(dǎo)航信息以及運動信號。

1 數(shù)據(jù)提取

1.1 RTK 數(shù)據(jù)提取

對實時動態(tài)（Real?Time Kinematic，RTK）數(shù)據(jù)進(jìn)行字節(jié)分離，提取緯度數(shù)據(jù)、經(jīng)度數(shù)據(jù)。將數(shù)據(jù)按世界坐標(biāo)計算公式計算得到緯度數(shù)據(jù)與經(jīng)度數(shù)據(jù)，同時將目標(biāo)點的經(jīng)度和緯度數(shù)據(jù)讀取出來；再利用兩個世界坐標(biāo)點計算距離和角度公式得到直線距離（L）和偏轉(zhuǎn)角（v）。公式如下：

式中：A1是巡檢機器人所在點經(jīng)度；A2是目標(biāo)點的緯度；B1是目標(biāo)點的緯度；B2是目標(biāo)點經(jīng)度；R是地球平均半徑，約為6 371.004 km。

1.2 障礙物數(shù)據(jù)提取

單目相機的成像原理如圖1所示，圖中世界坐標(biāo)系O?XWYWZW中的點P(XC,YC,ZC)通過透視投影在成像平面成像，成像點為p，成像平面的像素坐標(biāo)系以像素點為單位，以圖像左上角O0點為原點，成像點p在以O(shè)0點為原點的坐標(biāo)系中的坐標(biāo)為(up,vp)。由于本文是采集圖像信息，不需要確定距離，所以不需要進(jìn)行相機的內(nèi)外參數(shù)的標(biāo)定工作。

圖1 單目相機的成像原理

1.3 障礙物數(shù)據(jù)GAN 處理

生成式對抗網(wǎng)絡(luò)（GAN）是一種深度學(xué)習(xí)模型。本文采用GAN 對數(shù)據(jù)集進(jìn)行處理，該模型由兩個模塊組成：生成模型（Generative Model）和判別模型（Discriminative Model），兩模塊皆為深度神經(jīng)網(wǎng)絡(luò)。通過兩者互相博弈學(xué)習(xí)輸出新的數(shù)據(jù)集，公式如下：

式中：s表示真實圖片；Px(x)表示輸入G網(wǎng)絡(luò)的噪聲；G(x)表示G網(wǎng)絡(luò)生成的圖片；D(s)表示D網(wǎng)絡(luò)判斷真實圖片是否真實的概率。

2 模型搭建

2.1 無模型自適應(yīng)控制模型

無模型自適應(yīng)控制（Model?free Adaptive Control，MFAC）是一種無需被控對象先驗?zāi)Ｐ蛥?shù)信息的控制策略。RTK 移動站安裝在車輛的幾何中心，航向角計算模型如圖2所示。

圖2 航向角計算模型

式中γ為航向角。

得到偏轉(zhuǎn)角和需運動距離，無模型自適應(yīng)控制運動的速度，并及時反饋修改運動速度，控制巡檢機器人快速到達(dá)下一個點。因此，每個麥克納姆輪的電機系統(tǒng)可視作一個SISO 的離散時間非線性系統(tǒng)，其表達(dá)形式如下：

式中：y(k)∈R是電機在采樣時刻k時的速度大??；u(k)∈R表示系統(tǒng)的控制輸入信號；ny和nu是兩個未知的正整數(shù)；f(·):Rnu+ny+2?R是未知的非線性函數(shù)。

在得到緊格式動態(tài)線性化（CFDL）前，需給出以下假設(shè)：

假設(shè)1：非線性函數(shù)f(·)關(guān)于第(ny+2)個變量的偽偏導(dǎo)數(shù)是連續(xù)的。

假設(shè)2：非線性系統(tǒng)滿足廣義Lipschitz 條件，對任意的k1≠k2,k1,k2≥0 和u(k1)≠u(k2)，有：

式中 ：y(ki+1)=f(y(ki),…,y(ki-ny),u(ki),…,u(ki-nu)),i=1,2;b為常數(shù)，b>0。

定理1：當(dāng)非線性系統(tǒng)滿足假設(shè)1 和假設(shè)2，且|Δu(k) |≠0 時，一定存在被稱作PPD 的時變參數(shù)φ(k)∈R，使得麥克納姆輪的電機系統(tǒng)如式（9）所示，能夠轉(zhuǎn)化成等效的CFDL 數(shù)據(jù)驅(qū)動模型[14]。

考慮CFDL 數(shù)據(jù)驅(qū)動模型如式（9）所示，設(shè)計無模型自適應(yīng)控制如下：

式中：(k)是PPD 參數(shù)φ(k)的估計值；μ是步長因子；是權(quán)重因子，>0；ρ是步長因子，用于控制輸入量的變化；yr(k+1)是期望的速度大小。

2.2 CNN 分類模型

卷積神經(jīng)網(wǎng)絡(luò)（CNN）有較好的非線性形變穩(wěn)定性，其結(jié)構(gòu)分為卷積層、最大池化層和全連接層。

卷積層：本文為提高算法收斂速度，降低算法復(fù)雜度，使用ReLU 作為激活函數(shù)對輸入數(shù)據(jù)進(jìn)行卷積運算，其函數(shù)定義和激活函數(shù)公式如下：

池化層：池化層的主要作用是計算特征圖每一個固定窗口內(nèi)的像素值，相當(dāng)于對特征圖片進(jìn)行了縮減，可以防止模型的過擬合。

沒有了戴菲兒，艾莉成為豪宅真正的主人。她可以赤裸著身子在各個房間之間走來走去，她可以赤裸著身子躺在游泳池邊的躺椅上享受或溫暖或熱烈的日光浴。她可以毫無顧忌地與秦川做愛，在臥室里，在廚房里，在浴室里……在地板上，在桌子上，在空中……在霧氣里，在陽光里，在大雨中……在一缸飄著花瓣的溫水中，在一叢葳蕤的花草旁，在一株高大的棗樹下……無聊時候，這是她和秦川最喜歡的娛樂方式。后來她發(fā)現(xiàn)她再一次愛上秦川，這足以成為她繼續(xù)留在這里的理由?？墒撬龑@種感覺保持著足夠的警惕，她知道，當(dāng)女人對男人言聽計從，那么這個女人，已經(jīng)成為充氣娃娃。

全連接層：將提取的各種特征進(jìn)行組合，并將其特征反映到分類標(biāo)簽。其計算公式如下：

式中：x1，x2，x3為全連接層的輸入數(shù)據(jù)；a1，a2，a3為輸出數(shù)據(jù)。

選擇先使用卷積神經(jīng)網(wǎng)絡(luò)來提取環(huán)境特征，再通過全連接神經(jīng)網(wǎng)絡(luò)將這些得到的特征值聯(lián)系起來歸結(jié)為該圖片三種類別的概率，其中概率最大的一類便是識別結(jié)果。

首先使用搭建好的智能巡檢機器人平臺拍攝圖像制作數(shù)據(jù)集；之后通過實驗初步確定深度神經(jīng)網(wǎng)絡(luò)的層數(shù)與結(jié)構(gòu)組成。通過訓(xùn)練和調(diào)參，最終得到一個滿意的模型。本文采用了7 層神經(jīng)網(wǎng)絡(luò)，分別為4 層卷積、池化層以及3 層全連接層（包括輸出層），其結(jié)構(gòu)如圖3所示。

圖3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 RTK 與視覺切換模型

巡檢機器人導(dǎo)航系統(tǒng)的目的主要是精準(zhǔn)定位和障礙物的避讓，對導(dǎo)航的精度要求比較高。RTK 可以精確地獲得巡檢機器人的絕對位置，視覺導(dǎo)航可以檢測障礙物并繞過障礙物，因此結(jié)合兩種導(dǎo)航方式對系統(tǒng)進(jìn)行設(shè)計，其設(shè)計框架如圖4所示。

圖4 RTK 與視覺組合系統(tǒng)總設(shè)計圖

系統(tǒng)分三層，設(shè)備層負(fù)責(zé)位置信息獲取、障礙物信息感知；數(shù)據(jù)層是對接收的數(shù)據(jù)進(jìn)行儲存和使用；算法決策層通過數(shù)據(jù)處理進(jìn)行運動控制。數(shù)據(jù)層中RTK 為巡檢機器人提供精確的導(dǎo)航位置和需要行駛的參數(shù)，單目相機主要是對周邊環(huán)境信息進(jìn)行采集，獲得前方障礙物的圖片信息。

設(shè)計的整個RTK 導(dǎo)航與視覺避障主輔切換優(yōu)化控制策略工作流程為：起始采用RTK 導(dǎo)航為主、視覺導(dǎo)航為輔的組合方式，由RTK 接收器獲得當(dāng)前小車的位置信息并進(jìn)行RTK 導(dǎo)航，計算出前行距離和航向角，通過無模型自適應(yīng)控制車輪速度，對巡檢機器人進(jìn)行導(dǎo)航控制。同時在巡檢機器人行動過程中，使用視覺傳感器采集周邊環(huán)境信息，實時對圖片進(jìn)行障礙物的檢測識別，若識別到障礙物時，切換為視覺導(dǎo)航為主、RTK 導(dǎo)航為輔的組合方式，對障礙物進(jìn)行位置分類，依據(jù)障礙物類型確定小車運動方向，再次通過無模型自適應(yīng)控制車輪速度，從而實現(xiàn)巡檢機器人視覺避障導(dǎo)航。巡檢機器人根據(jù)RTK 和視覺組合實現(xiàn)不同情況下導(dǎo)航方式的切換，并能準(zhǔn)確地行駛到指定位點，實現(xiàn)連續(xù)的障礙物躲避，進(jìn)行轉(zhuǎn)彎等操作。

3 實驗結(jié)果與分析

3.1 實驗平臺搭建

上層控制器的運行環(huán)境為Ubuntu 18.04.5 LTS，該系統(tǒng)為Linux 的一種，CPU 為ARM Cortex?A72 1.5 GHz（四核），內(nèi)存為4 GB。遠(yuǎn)程控制軟件使用CPU：雙Cortex?A72大核+四Cortex?A53小核，最高主頻為1.8 GHz；操作系統(tǒng)為Windows 10；開發(fā)平臺為Android Studio 4.0。差分GPS 接收器使用UB482 差分GPS 接收器，其平面精度為1 cm+1 ppm。

3.2 GAN?CNN 分類模型

單目相機采集的數(shù)據(jù)集經(jīng)GAN 處理后生成新數(shù)據(jù)集，再由新數(shù)據(jù)集進(jìn)行CNN 分類模型訓(xùn)練。GAN?CNN分類框架如圖5所示。

圖5 GAN?CNN 分類框架

為了選擇適合本文設(shè)計的神經(jīng)網(wǎng)絡(luò)參數(shù)，在實驗開始前對不同層數(shù)或者不同節(jié)點數(shù)的神經(jīng)網(wǎng)絡(luò)進(jìn)行了測試，目的是找到可以滿足設(shè)計需求而且模型盡量要小的神經(jīng)網(wǎng)絡(luò)參數(shù)來進(jìn)行后續(xù)的實驗。網(wǎng)絡(luò)從一層卷積池化層加一層全連接層開始測試，增加卷積鏈接層的數(shù)量，觀察其會對訓(xùn)練過程中的數(shù)據(jù)的影響，結(jié)果如圖6所示。

圖6 卷積層、連接層數(shù)對準(zhǔn)確率的影響

經(jīng)過分析，決定采用兩層卷積池化層加兩層全連接層的網(wǎng)絡(luò)結(jié)構(gòu)作為本文設(shè)計中的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。對于神經(jīng)網(wǎng)絡(luò)中超參數(shù)的調(diào)節(jié)，運用了經(jīng)驗分析以及實驗調(diào)試的方法，最終的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)如下：輸入層輸入120×120×1 的灰度圖像數(shù)據(jù)；隱層第一層卷積層采用32 個6×6 的卷積核進(jìn)行卷積運算，池化層選擇核大小為4×4 的取最大值的下采樣方式，取樣的步長為4，這樣經(jīng)過第一層的卷積激活池化后，輸出結(jié)果為30×30×32的矩陣；隱層第二層卷積層采用64 個4×4 的卷積核進(jìn)行卷積運算，池化層選擇核大小為3×3 的取最大值的下采樣方式，取樣的步長為3，輸出結(jié)果為10×10×64 的矩陣；之后三維矩陣通過reshape 函數(shù)進(jìn)行降維，輸出6 400×1的向量；隱層第三層為全連接層，輸入降維后的數(shù)組，輸出512×1 的數(shù)組；最后為輸出層，再經(jīng)過全連接輸出3×1的結(jié)果。

將GAN 訓(xùn)練的圖片采用CNN 訓(xùn)練出模型，進(jìn)行最后實驗。對訓(xùn)練數(shù)據(jù)進(jìn)行可視處理，損失函數(shù)最低為0.58，識別精度最高為96.52%，再對測試集圖片進(jìn)行識別測試，可完成測試集分類，其分類精度最高可以達(dá)到96%。識別精度結(jié)果如圖7所示。

圖7 識別精度

表1中詳細(xì)列出了各類識別圖片的數(shù)目以及識別結(jié)果。

表1 驗證集識別結(jié)果

表1中：橫向表示正確的分類，列向表示實際識別到的分類；C0 表示標(biāo)簽為右轉(zhuǎn)；C1 表示識別標(biāo)簽為左轉(zhuǎn)；C2 表示識別標(biāo)簽為直行。通過對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練以及驗證分析，理論上是可以滿足巡檢機器人避障的功能實現(xiàn)所需要的準(zhǔn)確度。

驗證圖片集的部分驗證結(jié)果如圖8所示。

圖8 驗證集識別結(jié)果（部分圖片）

3.3 RTK?GAN?CNN 驗證

實驗環(huán)境為漁場模擬環(huán)境，本文RTK?GAN?CNN 組合導(dǎo)航實驗采用的巡檢機器人行駛速度為0.6 m/s，最后實驗未碰觸到障礙物，成功從起始點到末位點。其巡檢機器人百度地圖的既定路線遠(yuǎn)程與實際運動追蹤軌跡如圖9所示。

圖9 巡檢機器人實際運動追蹤軌跡圖

其中紅線為既定路線，藍(lán)線為實際路線。整個過程共設(shè)置了5 個障礙物，巡檢機器人皆以直線平移的方式成功繞過障礙物。巡檢機器人在實際環(huán)境中的實驗，在未設(shè)定障礙物時，采用RTK 導(dǎo)航為主GAN?CNN 視覺導(dǎo)航為輔、MFAC 控制小車速度的組合方式進(jìn)行導(dǎo)航，巡檢機器人實際行駛與既定路線誤差小于5 cm。在設(shè)定障礙物時，未遇到障礙物時，采用差分GPS 導(dǎo)航為主、GAN?CNN 視覺導(dǎo)航為輔的組合方式；遇到障礙物時，切換為GAN?CNN 視覺導(dǎo)航為主RTK 導(dǎo)航為輔、MFAC 控制小車速度的組合方式進(jìn)行導(dǎo)航，脫離既定路線以較小的平移距離繞開障礙物。

為了驗證所提出的模型在預(yù)測精度上的優(yōu)越性，本文還分別對無障礙物時使用的RTK?PID 模型、RTK?MFAC 模型，有障礙物時使用的RTK?CNN?PID 模型、RTK?GAN?CNN?PID 模型、RTK?CNN?MFAC 模型、RTK?GAN?CNN?MFAC 模型進(jìn)行實驗對比。未設(shè)定障礙物的既定路線與實際路線對比圖、設(shè)定障礙物后的理想路線與實際路線對比圖如圖10所示。

圖10 巡檢機器人導(dǎo)航算法路線對比圖

巡檢機器人在遇到模擬障礙物（障礙物類型之一紙箱）時，導(dǎo)航過程主要分為三個階段，如圖11所示。

圖11 巡檢機器人室外避障示意圖

第一階段如圖11a）所示，距離障礙物較遠(yuǎn)，系統(tǒng)為RTK?MFAC 導(dǎo)航為主GAN?CNN 識別為輔的導(dǎo)航模式快速前進(jìn)至第二階段位置。第二階段如圖11b）所示，已到達(dá)障礙物前端，單目相機采集圖片被GAN?CNN 模型識別為存在障礙物，系統(tǒng)切換為GAN?CNN?MFAC 導(dǎo)航為主RTK 獲取實時定位為輔的導(dǎo)航模式，通過平移繞過障礙物，到達(dá)第三階段位置。第三階段如圖11c）所示，已繞開障礙物，系統(tǒng)重新切換為RTK?MFAC 導(dǎo)航為主GAN?CNN 識別為輔的導(dǎo)航模式快速行駛。綜上所述，巡檢機器人RTK?GAN?CNN?MFAC 組合導(dǎo)航系統(tǒng)可以使巡檢機器人安全平穩(wěn)地規(guī)避障礙物。

4 結(jié) 論

為了實現(xiàn)巡檢機器人的準(zhǔn)確定位和自主導(dǎo)航能力，提高巡檢機器人的工作效率，本文提出了一種RTK 導(dǎo)航與視覺導(dǎo)航主副切換模型，設(shè)計了巡檢機器人導(dǎo)航系統(tǒng)。實驗結(jié)果表明：與其他算法對比，本文采用的GAN?CNN 算法能夠提高識別障礙物的精度；與傳統(tǒng)PID 相比，本文采用的MFAC 能夠更精準(zhǔn)地反饋實時的速度變化，及時地調(diào)整麥克納姆輪的速度。采用巡檢機器人RTK?GAN?CNN?MFAC 組合導(dǎo)航系統(tǒng)能夠更好地實現(xiàn)導(dǎo)航控制，驗證了本文模型的優(yōu)越性，使得巡檢機器人更好、更安全地完成漁場巡檢。