顧江濤 胡新平

（南通大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 南通 226000）

1 引言

當(dāng)前，無(wú)人機(jī)在航拍攝影、農(nóng)業(yè)植保、快遞運(yùn)輸、災(zāi)難救援、野生動(dòng)物觀察、傳染病監(jiān)控、軍事偵察、電子對(duì)抗、通信中繼等軍事或是民用領(lǐng)域都有著舉足輕重的地位［1］。通常情況下，手動(dòng)操作無(wú)人機(jī)可以很好地執(zhí)行完成既定任務(wù)，然而在某些情況下，需要無(wú)人機(jī)自動(dòng)地前往目的地完成任務(wù)，比如大范圍的搜索、快遞運(yùn)送等。此時(shí)就需要無(wú)人機(jī)自動(dòng)規(guī)劃它的飛行線路，并根據(jù)飛行過程中實(shí)際的環(huán)境（如移動(dòng)障礙物、天氣變化等）動(dòng)態(tài)調(diào)整飛行線路。

實(shí)現(xiàn)線路規(guī)劃的算法有很多中［2～5］，其中比較常見的是使用動(dòng)態(tài)規(guī)劃算法對(duì)無(wú)人機(jī)飛行線路進(jìn)行優(yōu)化，如快速探索隨機(jī)樹（Rapid-exploration Random Tree，RRT）就是一種用來(lái)動(dòng)態(tài)規(guī)劃線路的方法，它通過隨機(jī)構(gòu)建空間填充樹實(shí)現(xiàn)有效搜索非凸、高維空間的算法。樹是從搜索空間中隨機(jī)抽取的樣本逐步構(gòu)建的，并且本質(zhì)上傾向于朝向大部分未探測(cè)區(qū)域生長(zhǎng)。在無(wú)人機(jī)飛行的過程中由于各種外部因素，環(huán)境經(jīng)常會(huì)發(fā)生變化，此時(shí)RRT就需要重新建樹來(lái)規(guī)劃線路。而當(dāng)環(huán)境變化很大時(shí)，RRT的構(gòu)建則需要較長(zhǎng)的時(shí)間。所以RRT很難滿足動(dòng)態(tài)環(huán)境的實(shí)時(shí)線路規(guī)劃要求。

深度學(xué)習(xí)［6］算法是現(xiàn)代人工智能領(lǐng)域中主流算法之一，卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）［7］在圖像分類與圖像識(shí)別領(lǐng)域中的重要性尤為突出。強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）［8］是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí)，以使獎(jiǎng)勵(lì)函數(shù)（Reward Function）［9］值最大，強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)不是告訴系統(tǒng)如何去產(chǎn)生正確的動(dòng)作，而是對(duì)系統(tǒng)產(chǎn)生的動(dòng)作進(jìn)行評(píng)價(jià)。強(qiáng)化學(xué)習(xí)通過對(duì)環(huán)境的探索，獲得動(dòng)作的評(píng)價(jià)來(lái)驅(qū)動(dòng)訓(xùn)練。

無(wú)人機(jī)飛行受眾多因素影響，如天氣、地形、障礙物等?？傮w來(lái)說無(wú)人機(jī)的飛行任務(wù)是要?jiǎng)討B(tài)規(guī)劃線路來(lái)規(guī)避危險(xiǎn)區(qū)域達(dá)到目標(biāo)地［10］。危險(xiǎn)區(qū)域可能是靜態(tài)的，如地形；也可能是動(dòng)態(tài)的，如天氣、鳥群等。靜態(tài)因素相對(duì)穩(wěn)定，可以預(yù)先設(shè)定，而像天氣等動(dòng)態(tài)因素隨時(shí)都可能發(fā)生變化，所以需要實(shí)時(shí)規(guī)劃。本文僅考慮動(dòng)態(tài)因素，以二維空間為實(shí)驗(yàn)環(huán)境，以天氣中的風(fēng)速為動(dòng)態(tài)影響因素，風(fēng)速超過設(shè)定閾值即為危險(xiǎn)區(qū)域。當(dāng)無(wú)人機(jī)進(jìn)入危險(xiǎn)區(qū)域或飛行超時(shí)，就判定無(wú)人機(jī)飛行失??；若無(wú)人機(jī)能在規(guī)定的時(shí)間內(nèi)到達(dá)設(shè)定的目標(biāo)地，且沒有經(jīng)過危險(xiǎn)區(qū)域，則判定無(wú)人機(jī)飛行成功。

本文將結(jié)合使用深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)無(wú)人機(jī)飛行線路的實(shí)時(shí)優(yōu)化。在實(shí)驗(yàn)中，首先構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)［11～12］來(lái)預(yù)測(cè)氣象模型給出的預(yù)測(cè)天氣，然后使用強(qiáng)化學(xué)習(xí)算法Q-Learning［13］來(lái)規(guī)劃線路。

2 模型

無(wú)人機(jī)飛行路線規(guī)劃模型由兩部分組成，如圖1所示，上層部分為天氣預(yù)測(cè)網(wǎng)絡(luò)，由全卷積神經(jīng)網(wǎng)絡(luò)組成，下層為線路規(guī)劃模型，由強(qiáng)化學(xué)習(xí)Q-Learning算法構(gòu)建，在本文中使用了經(jīng)典的Dueling Deep Q-Network來(lái)實(shí)現(xiàn)線路規(guī)劃。

2.1 天氣預(yù)測(cè)

通過氣象模型可以獲得較為精確的天氣預(yù)報(bào)，通常使用多個(gè)氣象模型給出的天氣預(yù)報(bào)來(lái)預(yù)測(cè)真實(shí)的天氣。但是傳統(tǒng)的預(yù)測(cè)方法比較粗糙且耗時(shí)較長(zhǎng)，很難做到實(shí)時(shí)更新。無(wú)人機(jī)對(duì)天氣狀況的需求僅是局部的，且顆粒度較小，需要對(duì)一個(gè)地區(qū)內(nèi)不同區(qū)域做出預(yù)測(cè)。

圖1 模型結(jié)構(gòu)

一個(gè)地區(qū)的天氣狀況受到其周邊地區(qū)的影響，具有局部相關(guān)的特性。若采用傳統(tǒng)的統(tǒng)計(jì)方法，很難確定影響區(qū)域的范圍有多大，無(wú)法高效地提取特征。因此可以采用CNN，通過不同大小的卷積核，使其自動(dòng)學(xué)習(xí)出每個(gè)卷積核的權(quán)重參數(shù)，從而達(dá)到自適應(yīng)選區(qū)影響區(qū)域的目的；同時(shí)，相鄰的地區(qū)天氣狀況往往相似，通過CNN的池化（pooling）或大步長(zhǎng)的卷積可以起到降維的作用，減少?gòu)?fù)雜度。

2.1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的概念最早起源于科學(xué)家提出感受野（Receptive Field），即每個(gè)動(dòng)物的神經(jīng)元只會(huì)處理一小塊區(qū)域的視覺圖像，相當(dāng)于CNN中卷積核的處理過程。后來(lái)又提出了神經(jīng)認(rèn)知機(jī)的概念，神經(jīng)認(rèn)知機(jī)包含兩類神經(jīng)元，一類是用來(lái)提取特征的S-cell，對(duì)應(yīng)于現(xiàn)在的CNN中卷積核的濾波操作；一類是用來(lái)抗變的C-cell，對(duì)應(yīng)于現(xiàn)在的CNN中激勵(lì)函數(shù)、池化等操作。

一般的CNN由多個(gè)卷積層構(gòu)成，每層卷積層會(huì)進(jìn)行以下幾個(gè)操作：

1）圖像通過不同的卷積核濾波，加偏置bias，提取局部特征；

2）濾波輸出結(jié)果進(jìn)行激活函數(shù)處理，常用Re-LU函數(shù)；

3）激活函數(shù)輸出進(jìn)行池化操作，一般有最大池化和平均池化兩種方法。

CNN的強(qiáng)大之處在于它的多層結(jié)構(gòu)能自動(dòng)學(xué)習(xí)特征，并且可以學(xué)習(xí)到多個(gè)層次的特征：較淺的卷積層感知域較小，學(xué)習(xí)到一些局部區(qū)域的特征；較深的卷積層具有較大的感知域，能夠?qū)W習(xí)到更加抽象一些的特征。CNN的特征提取是通過卷積操作與池化操作實(shí)現(xiàn)的，通過卷積操作可以獲得卷積層C：

其中sign是激活函數(shù)，可以使用sigmoid，ReLU等，?是卷積操作，w是卷積核，x是輸入，b是偏置值，隨后進(jìn)行池化操作，本文采用的是最大值池化，池化層的作用是在用來(lái)減小特征圖尺寸規(guī)模的同時(shí)，增強(qiáng)了特征對(duì)于旋轉(zhuǎn)和變形的魯棒性。

2.1.2 全卷積網(wǎng)絡(luò)

卷積網(wǎng)絡(luò)能夠?qū)D片進(jìn)行分類，而預(yù)測(cè)每個(gè)區(qū)域的天氣情況則需要對(duì)每個(gè)像素點(diǎn)進(jìn)行分類，同時(shí)每個(gè)點(diǎn)天氣的狀況與其周圍地區(qū)天氣的狀況是高度相關(guān)的，因此，可以使用全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）來(lái)對(duì)每個(gè)像素點(diǎn)進(jìn)行預(yù)測(cè)。

FCN的結(jié)構(gòu)如圖2所示。通常CNN網(wǎng)絡(luò)在卷積層之后會(huì)接上若干個(gè)全連接層，將卷積層產(chǎn)生的特征圖（feature map）映射成一個(gè)固定長(zhǎng)度的特征向量。以AlexNet為代表的經(jīng)典CNN結(jié)構(gòu)適合于圖像級(jí)的分類和回歸任務(wù)，因?yàn)樗鼈冏詈蠖计谕玫秸麄€(gè)輸入圖像的一個(gè)數(shù)值描述或概率分布。FCN對(duì)圖像進(jìn)行像素級(jí)的分類，由于不需要固定的全連接層，因此可以對(duì)任意尺寸的圖片進(jìn)行操作。

圖2 全卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

在天氣預(yù)測(cè)網(wǎng)絡(luò)中，通過判斷不同的天氣預(yù)測(cè)模型給出的天氣預(yù)報(bào)來(lái)預(yù)測(cè)真實(shí)的天氣。FCN可以通過每個(gè)像素周邊情況來(lái)進(jìn)行預(yù)測(cè)兼具了局部相關(guān)性與平移不變性的特點(diǎn)，實(shí)現(xiàn)端到端及像素點(diǎn)對(duì)像素點(diǎn)的功能，滿足了預(yù)測(cè)網(wǎng)絡(luò)的需求。

在原始的FCN中，由于采用了上采樣的操作，使得到的結(jié)果還是不夠精細(xì)，對(duì)圖像中的細(xì)節(jié)不敏感。限于精度問題不能夠很好地還原圖像當(dāng)中的特征，因此，融合之前卷積得到的feature map進(jìn)行細(xì)節(jié)上的補(bǔ)充，然后再進(jìn)行反卷積。通過對(duì)生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）［14］模型的研究，發(fā)現(xiàn)采用大步長(zhǎng)卷積來(lái)替代pooling可以更好地提取圖像特征，因此，使用大步長(zhǎng)的卷積操作來(lái)代替最大池化。

2.2 線路規(guī)劃

在無(wú)人機(jī)飛行過程中，需要實(shí)時(shí)做決策，決定每一次的行動(dòng)方向。每次無(wú)人機(jī)會(huì)用一組天氣圖片作為輸入，如圖3所示，白色高亮區(qū)域?yàn)槲ｋU(xiǎn)區(qū)域，黑色區(qū)域?yàn)榘踩珔^(qū)域。該輸入中包含了當(dāng)前的天氣狀況以及接下來(lái)兩個(gè)單位時(shí)間的天氣預(yù)測(cè)，即共有3個(gè)單位時(shí)間的天氣圖片。在無(wú)人機(jī)飛行的途中，天氣的狀況會(huì)隨著時(shí)間而發(fā)生改變，無(wú)人機(jī)只需關(guān)心當(dāng)前時(shí)刻之后的天氣情況，而不需要關(guān)系過去的情況。

圖3 連續(xù)時(shí)間天氣的變化

2.2.1 馬爾可夫決策過程（Markov Decision Process，MDP）［15］

無(wú)人機(jī)飛行的過程具有馬爾可夫性（即無(wú)后效性），系統(tǒng)的下個(gè)狀態(tài)只與當(dāng)前狀態(tài)信息有關(guān)，而與更早之前的狀態(tài)無(wú)關(guān)。MDP具有馬爾可夫性，同時(shí)MDP還考慮到了動(dòng)作對(duì)系統(tǒng)的影響，即系統(tǒng)下個(gè)狀態(tài)不僅和當(dāng)前的狀態(tài)有關(guān)，也和當(dāng)前采取的動(dòng)作有關(guān)。在某個(gè)狀態(tài)S下，采取一個(gè)動(dòng)作a，這時(shí)下個(gè)狀態(tài)S'是無(wú)法確定的，但是和S和a有關(guān)，而不用考慮更早之前的狀態(tài)和動(dòng)作，即S'受到S與a的影響。無(wú)人機(jī)的每個(gè)操作都會(huì)影響到接下來(lái)所處的環(huán)境，因此可以用MDP來(lái)解決無(wú)人機(jī)的線路規(guī)劃問題。

1）S表示狀態(tài)的集合，s∈S，si表示時(shí)刻i的狀態(tài)；

2）A表示動(dòng)作的集合，a∈A，ai表示第i個(gè)動(dòng)作。

3）P表示狀態(tài)轉(zhuǎn)移概率，表示在當(dāng)前狀態(tài)si下，經(jīng)過動(dòng)作ai后，狀態(tài)變化到s'的概率；

4）γ表示后續(xù)獎(jiǎng)勵(lì)值對(duì)當(dāng)前狀態(tài)的影響，γ越大則代表越在意之后的獎(jiǎng)勵(lì)，γ為0則代表只關(guān)心當(dāng)前的獎(jiǎng)勵(lì)；

5）R：S×A→R，R是回報(bào)函數(shù)（reward function）。表示期望獎(jiǎng)勵(lì)。

MDP的動(dòng)態(tài)過程如下：智能體（agent）的初始狀態(tài)為s0，然后從A中挑選一個(gè)動(dòng)作a0執(zhí)行，執(zhí)行后，agent按概率隨機(jī)轉(zhuǎn)移到了下一個(gè)s1狀態(tài)。然后再執(zhí)行一個(gè)動(dòng)作a1，狀態(tài)移到s2，接下來(lái)再執(zhí)行a2，如此循環(huán)，如圖4所示。同時(shí)，在每一次采取動(dòng)作后，環(huán)境會(huì)給出當(dāng)前動(dòng)作的立即獎(jiǎng)勵(lì)r。

圖4 MDP狀態(tài)轉(zhuǎn)移過程

方程（1）、（2）稱為貝爾曼方程，它表明了當(dāng)前狀態(tài)值與下一個(gè)狀態(tài)值之間的關(guān)系［16～17］。如果知道下一個(gè)狀態(tài)的值，就可以知道當(dāng)前狀態(tài)的值。通過這兩個(gè)方程，就可以求解MDP，從而獲得無(wú)人機(jī)線路規(guī)劃的最優(yōu)策略網(wǎng)絡(luò)π*。

2.2.2 Dueling Deep Q-Network

由于強(qiáng)化學(xué)習(xí)過程是對(duì)未知環(huán)境的探索過程，因此，無(wú)法搜索整個(gè)狀態(tài)空間。假設(shè)在某一次決策時(shí)，有a、b、c三個(gè)動(dòng)作，其對(duì)應(yīng)的reward如圖5（a）所示，當(dāng)決策網(wǎng)絡(luò)采取動(dòng)作a的次數(shù)多于c時(shí)，那么a的總reward要大于c的總reward，此時(shí)網(wǎng)絡(luò)的決策會(huì)更偏向于a。為了解決這個(gè)問題，使用了Dueling Deep Q-Network，其結(jié)構(gòu)如圖6所示，此時(shí)需要額外引入優(yōu)勢(shì)函數(shù)

圖5 優(yōu)勢(shì)函數(shù)效果對(duì)比

圖6 Dueling DQN結(jié)構(gòu)圖

通常情況下，方程V表示當(dāng)前狀態(tài)，方程Q表示在采取了特定的動(dòng)作a之后的狀態(tài)。那么方程（5）就可以用來(lái)評(píng)估這一動(dòng)作的優(yōu)劣。決策網(wǎng)絡(luò)是一個(gè)很復(fù)雜，維度很高的方程，可以采用神經(jīng)網(wǎng)絡(luò)來(lái)近似這個(gè)方程，這就是DQN（Deep Q-Network）：，其中θ為網(wǎng)絡(luò)中的參數(shù)，通過下面的損失函數(shù)可以來(lái)優(yōu)化參數(shù)θ：

3 網(wǎng)絡(luò)訓(xùn)練與實(shí)驗(yàn)

3.1 天氣預(yù)測(cè)網(wǎng)絡(luò)訓(xùn)練

天氣預(yù)測(cè)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)來(lái)自阿里天池?cái)?shù)據(jù)庫(kù)，通過旋轉(zhuǎn)，添加噪聲等方法對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。在實(shí)際訓(xùn)練中，為了達(dá)到更好的結(jié)果，去除了pooling層，用大步長(zhǎng)的卷積取代。具體的網(wǎng)絡(luò)參數(shù)如表1所示。

天氣預(yù)測(cè)模型訓(xùn)練結(jié)果如圖7所示。

3.2 線路規(guī)劃網(wǎng)絡(luò)訓(xùn)練

決策網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)除了使用阿里天池?cái)?shù)據(jù)庫(kù)中的數(shù)據(jù)外，還使用了額外的數(shù)據(jù)，額外數(shù)據(jù)均為隨機(jī)生成。為了使決策網(wǎng)絡(luò)可以完成預(yù)定的目標(biāo)，避開危險(xiǎn)區(qū)域且盡可能快的達(dá)到目的地，設(shè)置了如下回報(bào)函數(shù)：

無(wú)人機(jī)每次移動(dòng)獲得-1分；

無(wú)人機(jī)朝著目標(biāo)前進(jìn)獲得2分；

無(wú)人機(jī)遠(yuǎn)離目標(biāo)點(diǎn)獲得-1分；

無(wú)人機(jī)原地不動(dòng)獲得0分；

無(wú)人機(jī)進(jìn)入危險(xiǎn)區(qū)域獲得-100分；

無(wú)人機(jī)到達(dá)目標(biāo)地獲得10分。

表1 全卷積網(wǎng)絡(luò)參數(shù)信息

圖7 天氣預(yù)測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果

圖8表示了決策網(wǎng)絡(luò)的訓(xùn)練過程，其中ENV會(huì)對(duì)無(wú)人機(jī)每一次做出的動(dòng)作進(jìn)行打分，如果無(wú)人機(jī)進(jìn)入危險(xiǎn)區(qū)域，ENV會(huì)返回終止標(biāo)記并初始化狀態(tài)開始新的一輪訓(xùn)練。

決策網(wǎng)絡(luò)參數(shù)如表2所示。

圖8 DQN訓(xùn)練

3.3 實(shí)驗(yàn)

圖9顯示了實(shí)驗(yàn)的具體模型。使用一個(gè)預(yù)測(cè)網(wǎng)絡(luò)FCN來(lái)為多個(gè)無(wú)人機(jī)預(yù)測(cè)天氣，同時(shí)將決策網(wǎng)絡(luò)的卷積部分DQN-CNN移動(dòng)到預(yù)測(cè)網(wǎng)絡(luò)中。決策網(wǎng)絡(luò)直接接收卷積后的特征進(jìn)行線路規(guī)劃。

圖9 實(shí)驗(yàn)?zāi)Ｐ徒Y(jié)構(gòu)

本次實(shí)驗(yàn)?zāi)M了4個(gè)無(wú)人機(jī)，編號(hào)為0，1，2，3。在每次開始時(shí)隨機(jī)分配目標(biāo)點(diǎn)，編號(hào)越大的無(wú)人機(jī)分配的目標(biāo)點(diǎn)越遠(yuǎn)。決策網(wǎng)絡(luò)每迭代500次進(jìn)行一次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果中可以看出，決策網(wǎng)絡(luò)在經(jīng)過較少次的迭代后就可以取得較好的結(jié)果；隨著迭代次數(shù)的增加，失敗的次數(shù)逐漸減少；隨著飛行距離的增加，失敗的概率也逐漸變大，但趨于穩(wěn)定。

4 結(jié)語(yǔ)

在天氣預(yù)測(cè)網(wǎng)絡(luò)中，通過FCN進(jìn)行預(yù)測(cè)后的天氣還不夠精細(xì)，今后仍需進(jìn)行優(yōu)化與修改。無(wú)人機(jī)的飛行狀況應(yīng)是三維的，并且所需應(yīng)對(duì)的障礙也不僅僅是天氣，還有各種地形、飛行物等障礙，今后將進(jìn)行三維空間的線路規(guī)劃，同時(shí)引入目標(biāo)檢測(cè)來(lái)識(shí)別判斷障礙物類型與位置。在強(qiáng)化學(xué)習(xí)的模型上，目前采用值網(wǎng)絡(luò)，還可以采用策略網(wǎng)絡(luò)，如TRPO，PPO之類。在結(jié)構(gòu)方面，可以采用融合模型或更加復(fù)雜的分層模型，上層管理最基本的線路規(guī)劃，底層負(fù)責(zé)實(shí)時(shí)的危險(xiǎn)規(guī)避。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的發(fā)展，人工智能將在無(wú)人機(jī)路線規(guī)劃應(yīng)用中可以承擔(dān)更多的工作。