閆 敬 張 婷 尤康林 商志剛 楊 晛 羅小元

①(燕山大學(xué)電氣工程學(xué)院 秦皇島 066099)

②(哈爾濱工程大學(xué)水聲工程學(xué)院 哈爾濱 150001)

1 引言

水下無線傳感器網(wǎng)絡(luò)被廣泛應(yīng)用于水下目標(biāo)追蹤、輔助導(dǎo)航和海洋數(shù)據(jù)采集等諸多方面[1]。準(zhǔn)確獲取傳感器節(jié)點(diǎn)的位置信息是支持這些應(yīng)用的基礎(chǔ)和關(guān)鍵。目前，水下目標(biāo)定位技術(shù)主要面臨以下挑戰(zhàn)：其一，由于水下溫度與晶振制作工藝的差異，不同類型傳感器節(jié)點(diǎn)晶振片輸出頻率不同，存在時(shí)鐘異步現(xiàn)象。其二，受海水的鹽度和壓力等影響，聲波無法沿直線傳播，呈現(xiàn)分層效應(yīng)。其三，現(xiàn)有定位算法多依賴于測(cè)量噪聲的先驗(yàn)信息[2,3]，然而水下通信環(huán)境惡劣，人為噪聲和環(huán)境噪聲復(fù)合后具有隨機(jī)性和不確定性，并隨著測(cè)量環(huán)境和設(shè)備精度的不同而變化[4]，使其具體的統(tǒng)計(jì)特性難以確定。其四，受到水體波動(dòng)等因素影響，某些錨節(jié)點(diǎn)位置不確定[5]，引起誤差在網(wǎng)絡(luò)拓?fù)渲械睦鄯e傳播，導(dǎo)致當(dāng)前目標(biāo)節(jié)點(diǎn)位置估計(jì)的性能下降。

文獻(xiàn)[6]考慮錨節(jié)點(diǎn)位置不確定的影響，提出了一種基于最大似然估計(jì)的定位算法。但該算法嚴(yán)格依賴于噪聲的先驗(yàn)信息。文獻(xiàn)[7]考慮節(jié)點(diǎn)移動(dòng)性的影響，提出了一種基于最小二乘的定位算法，但該算法容易陷入局部極值。針對(duì)局部極值的問題，文獻(xiàn)[8]通過使用凸松弛將非凸的目標(biāo)定位問題轉(zhuǎn)換為凸問題進(jìn)行求解，然而凸松弛無法完全確保放縮的嚴(yán)密性且轉(zhuǎn)化難度大。近年來，一些研究人員逐漸開始將學(xué)習(xí)類算法應(yīng)用到水下目標(biāo)定位領(lǐng)域。文獻(xiàn)[9]提出了一種基于深度Q學(xué)習(xí)的水下定位算法，將定位問題離散化，在保護(hù)隱私的同時(shí)完成目標(biāo)定位任務(wù)。然而，深度Q學(xué)習(xí)依然面臨過高估計(jì)、樣本利用率低和收斂性脆弱等諸多問題[10]。柔性動(dòng)作-評(píng)價(jià)(Soft Actor-Critic, SAC)方法引入了熵的概念，使得期望獎(jiǎng)勵(lì)和熵的加權(quán)和達(dá)到最大時(shí)輸出最優(yōu)策略，很大程度上保證了策略的魯棒性和優(yōu)越性[11]。

基于上述分析，本文提出考慮錨節(jié)點(diǎn)位置不確定的深度強(qiáng)化學(xué)習(xí)水下目標(biāo)定位算法。主要貢獻(xiàn)如下：(1)提出基于SAC的水下目標(biāo)定位算法，擺脫了對(duì)噪聲先驗(yàn)信息的依賴，在錨節(jié)點(diǎn)位置不確定情景下完成目標(biāo)定位任務(wù)；(2)設(shè)計(jì)合理的獎(jiǎng)勵(lì)函數(shù)，實(shí)現(xiàn)精確定位，并減弱錨節(jié)點(diǎn)的位置不確定性；(3)采用層歸一化技術(shù)，加速深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和收斂，進(jìn)一步提高模型泛化能力。

2 系統(tǒng)模型

水下無線傳感網(wǎng)絡(luò)包含水面浮標(biāo)、錨節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)3種類型的節(jié)點(diǎn)。其中，水面浮標(biāo)不受水下環(huán)境的影響，通過全球定位系統(tǒng)獲取自身位置并校準(zhǔn)時(shí)鐘。錨節(jié)點(diǎn)漂浮在水面以下，可直接與水面浮標(biāo)通信，用于目標(biāo)節(jié)點(diǎn)定位。由于自身位置精度的限制，其分為精確錨節(jié)點(diǎn)和不確定錨節(jié)點(diǎn)。目標(biāo)節(jié)點(diǎn)是需要被定位的節(jié)點(diǎn)。錨節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)之間時(shí)鐘異步，并將目標(biāo)節(jié)點(diǎn)時(shí)鐘定義為真實(shí)時(shí)鐘。

采用射線追蹤法模擬聲波的分層效應(yīng)，獲取兩節(jié)點(diǎn)間的傳輸時(shí)延。依據(jù)文獻(xiàn)[3]，將水下聲速建模為與深度相關(guān)的線性函數(shù)V(z)=b+az,a=0.017s-1,b=1473 m/s。其中，z為深度，b為水面處的聲速，a為與環(huán)境相關(guān)的常數(shù)。

令PS=[xS,yS,zS]T和PR=[xR,yR,zR]T分別為發(fā)送節(jié)點(diǎn) S和接收節(jié)點(diǎn) R的位置向量。由Snell定律可得cosθ/V(z)=cosθS/V(zS)=cosθR/V(zR)。其中，θS,θR∈[-π/2,π/2]分別為發(fā)送節(jié)點(diǎn) S和接收節(jié)點(diǎn) R處的射線角，進(jìn)而可導(dǎo)出?r=?z/tanθ，?l=?z/sinθ，?t=?l/V(z)。其中，l為兩點(diǎn)間聲線長(zhǎng)度，t為傳輸時(shí)間，r為水平距離。

由此可以導(dǎo)出發(fā)送節(jié)點(diǎn) S和接收節(jié)點(diǎn) R之間的單向傳輸時(shí)延τS,R，表示為

其中，β0=arctan((zS-zR)/rS,R) 為 S點(diǎn)和 R點(diǎn)之間的直線與水平軸的夾角，θS=β0+α0,θR=β0-α0,α0=arctan(arS,R/(2b+a(zS+zR)))為聲線偏離角度。

錨節(jié)點(diǎn)之間的時(shí)鐘是完全同步的，但水下目標(biāo)節(jié)點(diǎn)的時(shí)鐘無法與錨節(jié)點(diǎn)完全同步。本文同時(shí)考慮了時(shí)鐘漂移和時(shí)鐘偏移的影響，表示為

其中，T為本地時(shí)鐘，t為參考時(shí)鐘，α和β分別為時(shí)鐘漂移與時(shí)鐘偏移。這里，取α=1.005,β=0.002。

3 定位優(yōu)化問題的建模

3.1 異步通信協(xié)議設(shè)計(jì)

當(dāng)定位過程開始時(shí)，目標(biāo)節(jié)點(diǎn)向整個(gè)網(wǎng)絡(luò)廣播消息。傳感器節(jié)點(diǎn)記為n=1,2,...,N,N ≥3。傳感器節(jié)點(diǎn)n的位置為(xn,yn,zn)，目標(biāo)節(jié)點(diǎn)的位置為(xM,yM,zM)。

步驟1：初始時(shí)刻為TM,M，目標(biāo)節(jié)點(diǎn) M向錨節(jié)點(diǎn)發(fā)送定位請(qǐng)求。啟動(dòng)信息包含錨節(jié)點(diǎn)的發(fā)送順序n=1,2,...,N。隨后，水下目標(biāo) M進(jìn)入監(jiān)聽狀態(tài)，等待來自錨節(jié)點(diǎn)的信息有序傳回。

步驟2：在tM,n時(shí)刻，錨節(jié)點(diǎn)n收到目標(biāo)節(jié)點(diǎn)的信息后，進(jìn)入監(jiān)聽狀態(tài)，對(duì)來自k=1,2,...,n-1的所有信息進(jìn)行解碼，將到達(dá)時(shí)間記錄為tk,n。節(jié)點(diǎn)n接收完來自節(jié)點(diǎn)n-1的信息之后，進(jìn)入發(fā)送模式，在tn,n時(shí)刻發(fā)送自己的信息。節(jié)點(diǎn)n發(fā)出的信息包含tM,n,{tk,n}?k，以及發(fā)送時(shí)間tn,n。

步驟3：水下目標(biāo) M在tn,M時(shí)刻收到來自錨節(jié)點(diǎn)n的回復(fù)信息，其中n=1,2,...,N。在接收到最后一個(gè)錨節(jié)點(diǎn)N的信息后，一輪信息交互完成，收集到的時(shí)間戳為

步驟4：基于上述測(cè)量值，利用SAC定位算法獲取目標(biāo)節(jié)點(diǎn)的水平位置，進(jìn)而得到3維坐標(biāo)。

3.2 定位優(yōu)化問題建立

不同類型節(jié)點(diǎn)間的時(shí)鐘是異步的，因此，為了消除時(shí)鐘異步現(xiàn)象的影響，定義時(shí)間差：

假設(shè)定位過程受到統(tǒng)計(jì)特性未知但有界的測(cè)量噪聲干擾，參考文獻(xiàn)[12,13]構(gòu)建以下測(cè)量噪聲模型，模擬定位過程中未知噪聲的干擾。

其中，lS,R是發(fā)送節(jié)點(diǎn) S和接收節(jié)點(diǎn) R之間的距離，t是當(dāng)前迭代步數(shù)。

時(shí)間差和傳輸時(shí)延之間的關(guān)系如下：

其中，ωn,k和ωk,n為測(cè)量噪聲，分別與對(duì)應(yīng)的發(fā)送節(jié)點(diǎn)和接收節(jié)點(diǎn)間聲線傳輸距離ln,k和lk,n相關(guān)。

針對(duì)目標(biāo)節(jié)點(diǎn) M建立如下定位優(yōu)化問題：

4 基于深度強(qiáng)化學(xué)習(xí)的水下目標(biāo)定位算法

4.1 SAC定位算法

SAC算法在目標(biāo)函數(shù)中添加了一個(gè)熵項(xiàng)，使得策略的熵和累積獎(jiǎng)勵(lì)均最大化，

其中，H為策略π(at|st)的熵，表示策略的隨機(jī)性。α為溫度系數(shù)，控制熵和獎(jiǎng)勵(lì)之間的權(quán)重。

基于動(dòng)作-評(píng)價(jià)網(wǎng)絡(luò)架構(gòu)，采用深度神經(jīng)網(wǎng)絡(luò)對(duì)Q函數(shù)和策略進(jìn)行擬合，通過隨機(jī)梯度下降更新網(wǎng)絡(luò)參數(shù)。這里，取最小的Q值來避免過高估計(jì)。

算法開始時(shí)，初始化策略網(wǎng)絡(luò)和軟Q網(wǎng)絡(luò)參數(shù)，清空經(jīng)驗(yàn)回放池D。依據(jù)以下規(guī)則更新參數(shù)：

(1)V網(wǎng)絡(luò)參數(shù)：通過殘差平方定義損失函數(shù)，訓(xùn)練軟狀態(tài)值函數(shù)，更新V網(wǎng)絡(luò)參數(shù)。

其中，λ是學(xué)習(xí)率，是LV(?)的梯度，

對(duì)目標(biāo)V?target網(wǎng)絡(luò)的參數(shù)進(jìn)行軟更新：

其中，χ為軟更新系數(shù)。

(2)Q網(wǎng)絡(luò)參數(shù)：用軟Bellman殘差定義損失函數(shù)，訓(xùn)練軟Q函數(shù)，更新Q網(wǎng)絡(luò)的參數(shù)。

SAC采用重參數(shù)技巧，即在原有動(dòng)作中添加噪聲向量?t～N(0,I)，并使用壓縮函數(shù)tanh將輸出限制在(-1,1)范圍內(nèi)。μφ(st)和σφ(st)分別是策略網(wǎng)絡(luò)πφ輸出的平均值和標(biāo)準(zhǔn)偏差。

因此，方程(14)中的目標(biāo)函數(shù)可以改寫為

4.2 算法實(shí)現(xiàn)

考慮狀態(tài)空間和動(dòng)作空間均連續(xù)的情況，記S=[x,y]為狀態(tài)向量，A=[Δx,Δy]為動(dòng)作向量。這里，x,y ∈[0 m,100 m], Δx,Δy ∈[-1 m,1 m]?；诖耍O(shè)置定位任務(wù)的整體獎(jiǎng)勵(lì)函數(shù)為

其中，rerror=-ρ*Θ(st)為即時(shí)獎(jiǎng)勵(lì)，Θ(st)為狀態(tài)st下的優(yōu)化目標(biāo)，ρ為大于零的常數(shù)；rpenalty為懲罰項(xiàng)，用于引導(dǎo)目標(biāo)節(jié)點(diǎn)向著獎(jiǎng)勵(lì)增大的方向迭代，加速模型訓(xùn)練；rdone為終止標(biāo)志，當(dāng)獎(jiǎng)勵(lì)rt小于閾值ζ時(shí)，任務(wù)循環(huán)結(jié)束。這里，

為了提高模型的泛化能力，采用層歸一化技術(shù)將網(wǎng)絡(luò)輸出轉(zhuǎn)換為固定均值和方差的高斯分布，則第i個(gè)通道的歸一化輸出可以寫成如下：

其中，H為一層中隱藏單元的數(shù)量，為第i個(gè)通道的第l層中的原始輸出，ε為添加到分母的偏移量，gi和bi為仿射變換因子。

5 仿真與實(shí)驗(yàn)驗(yàn)證

5.1 環(huán)境部署

在200 m3的水域中放置3個(gè)錨節(jié)點(diǎn)A1,A2,A3定位目標(biāo)節(jié)點(diǎn)M 。A1=(200,0,0)和A2=(0,200,0)為精確錨節(jié)點(diǎn)，A3為不確定錨節(jié)點(diǎn)～N(rA3,K)。其中，rA3=(10,20)為A3的真值，K=diag{5,5}為其方差矩陣。

網(wǎng)絡(luò)訓(xùn)練的超參數(shù)設(shè)置如表1所示。

表1 超參數(shù)設(shè)置

5.2 仿真結(jié)果

節(jié)點(diǎn)部署與定位結(jié)果如圖1(a)所示，可知目標(biāo)節(jié)點(diǎn)的坐標(biāo)收斂至(29.89,79.95, -30)，目標(biāo)點(diǎn)迭代過程如圖1(b)所示。由圖1(c)可以看出，改進(jìn)后的算法在訓(xùn)練速度和穩(wěn)定性方面均有明顯提升。

圖1 目標(biāo)節(jié)點(diǎn)定位結(jié)果

每個(gè)回合對(duì)不確定錨節(jié)點(diǎn)A3坐標(biāo)通過求期望進(jìn)行修正，結(jié)果如圖2(a)所示。并且，每回合結(jié)束時(shí)會(huì)重置A3的坐標(biāo)值，將當(dāng)前回合得到的最佳值復(fù)位清除，故其坐標(biāo)值一直在±0.2 m的小范圍內(nèi)波動(dòng)。由圖2(b)、圖2(c)可知，其修正值集中分布在以(10±0.1, 19.9±0.1)為中心的0.1 m2范圍內(nèi)。

圖2 不確定錨節(jié)點(diǎn) A3修正結(jié)果

在給定區(qū)域內(nèi)隨機(jī)采點(diǎn)進(jìn)行一組和多組測(cè)試來驗(yàn)證算法的有效性。一個(gè)回合內(nèi)X軸、Y軸上的定位誤差如圖3(a)-圖3(c)所示?？梢钥闯?，171步時(shí)done條件被觸發(fā)，定位任務(wù)提前結(jié)束，誤差收斂到0.35 m以內(nèi)。15回合內(nèi)定位結(jié)果如圖3(d)-圖3(f)所示。可以看出，80%的測(cè)試點(diǎn)定位精度在1 m以內(nèi)，其余20%的測(cè)試點(diǎn)精度在1～1.2 m。

圖3 目標(biāo)節(jié)點(diǎn)測(cè)試效果

將本文所提定位算法與文獻(xiàn)[14]中基于寬度學(xué)習(xí)的定位算法進(jìn)行對(duì)比。其中，錨節(jié)點(diǎn)3為位置不確定錨節(jié)點(diǎn)，其余為精確錨節(jié)點(diǎn)，仿真結(jié)果如圖4(a)、圖4(b)所示?？梢钥闯?，忽略錨節(jié)點(diǎn)位置不確定時(shí)，文獻(xiàn)[14]中算法的定位精度明顯下降，而本文所提算法的精度在0.2 m范圍內(nèi)，由此可以看出考慮錨節(jié)點(diǎn)位置不確定的必要性。

圖4 SAC定位算法的優(yōu)勢(shì)與適用性

此外，為驗(yàn)證所提算法在不同測(cè)量噪聲模型下的適應(yīng)性，分別在文中所提未知有界測(cè)量噪聲下和高斯測(cè)量噪聲兩種模型下進(jìn)行驗(yàn)證。這里，采用文獻(xiàn)[7]中的高斯測(cè)聲模型N(0,0.0001)，仿真結(jié)果如圖4(c)所示。可以看出，兩種測(cè)量噪聲模型下，算法均在200回合之后收斂，且本文的噪聲模型下定位精度更高，驗(yàn)證了本文所提定位算法的適應(yīng)性與有界測(cè)量噪聲模型的合理性。

5.3 水池實(shí)驗(yàn)

在5 × 6 × 1.5 m3的水池中對(duì)所提算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。硬件設(shè)備主要包括錨節(jié)點(diǎn)、目標(biāo)節(jié)點(diǎn)和控制中心3部分。本實(shí)驗(yàn)中，將通信機(jī)作為錨節(jié)點(diǎn)，分別部署于水池中。這里，通信機(jī)的工作頻帶為21～27 kHz，采用正交頻分復(fù)用模式，穩(wěn)定通信速率為300 bit/s，最大通信速率為2 000 bit/s。使用水下GPS定位裝置(Underwater Global Positioning System, UGPS)對(duì)錨節(jié)點(diǎn)進(jìn)行自定位，獲取其位置坐標(biāo)用于目標(biāo)節(jié)點(diǎn)定位。其中，錨節(jié)點(diǎn)3為位置不確定錨節(jié)點(diǎn)。將UGPS測(cè)得的位置作為其真值，在此基礎(chǔ)上加入均值為0、方差為0.01的高斯噪聲，得到定位過程可用的錨節(jié)點(diǎn)3的坐標(biāo)值。將搭載通信機(jī)與深度傳感器的有纜遙控水下機(jī)器人作為目標(biāo)節(jié)點(diǎn)，可與錨節(jié)點(diǎn)通過水聲通信方式進(jìn)行信息交互，并且可直接獲取其Z軸信息。將筆記本電腦作為控制中心，操縱機(jī)器人移動(dòng)至不同的位置，模擬對(duì)多個(gè)目標(biāo)節(jié)點(diǎn)進(jìn)行定位的過程。同時(shí)，將機(jī)器人纜線傳輸?shù)臄?shù)據(jù)輸入本文所提的深度強(qiáng)化學(xué)習(xí)定位算法中定位目標(biāo)節(jié)點(diǎn)。實(shí)驗(yàn)平臺(tái)如圖5所示。

由于水池的深度較淺，將聲速看作1473 m/s 。對(duì)該區(qū)域內(nèi)5個(gè)目標(biāo)節(jié)點(diǎn)進(jìn)行定位，節(jié)點(diǎn)分布情況和每個(gè)目標(biāo)節(jié)點(diǎn)的定位誤差如圖6(a)、圖6(b)所示?？梢钥闯觯啾扔谖墨I(xiàn)[7]中基于最小二乘的傳統(tǒng)水下目標(biāo)定位方法，本文考慮錨節(jié)點(diǎn)位置不確定影響所提出基于深度強(qiáng)化學(xué)習(xí)的定位方法整體定位誤差較小，精度更高，可以有效完成定位任務(wù)，這表明了文中所提算法的實(shí)際效用性。

圖6 多目標(biāo)節(jié)點(diǎn)定位

6 結(jié)束語

本文研究了錨節(jié)點(diǎn)位置不確定情景下的目標(biāo)定位問題。提出了一種基于深度強(qiáng)化學(xué)習(xí)的水下目標(biāo)定位算法，完成目標(biāo)定位的同時(shí)可修正不確定錨節(jié)點(diǎn)的位置。最后，仿真驗(yàn)證了所提算法的有效性。未來，將研究移動(dòng)目標(biāo)節(jié)點(diǎn)的定位問題，并通過海洋環(huán)境實(shí)驗(yàn)對(duì)算法的性能做進(jìn)一步測(cè)試。