朱大鵬 俞孟蕻 蘇 貞

（1.江蘇科技大學(xué)電子信息學(xué)院 鎮(zhèn)江 212100）（2.江蘇科技大學(xué)海洋裝備研究院 鎮(zhèn)江 212003）

1 引言

在形式各異的疏浚工程船舶中，耙吸挖泥船由于具有獨(dú)立工作能力和很強(qiáng)的環(huán)境適應(yīng)能力而在挖泥船中占有重要地位，是全球疏浚領(lǐng)域的主力軍［1～5］。預(yù)測(cè)耙吸挖泥船的產(chǎn)量對(duì)于提升挖泥船的疏浚效率具有明顯的幫助，通過(guò)耙吸挖泥船產(chǎn)量的預(yù)測(cè)，可以在施工過(guò)程中選擇挖泥船的最優(yōu)施工參數(shù)，從而提升挖泥船的疏浚效率和工程效益。

耙吸挖泥船的產(chǎn)量受到船舶航行速度、耙頭對(duì)地角度、泥泵吸入真空、溢流堰高度、船艙參數(shù)、砂土特性等因素的影響，因此耙吸挖泥船的生產(chǎn)過(guò)程是一個(gè)復(fù)雜的、高難度的過(guò)程。Wangli［6］則通過(guò)把裝艙過(guò)程分為無(wú)溢流階段、恒體積階段和恒載重階段對(duì)裝艙指標(biāo)進(jìn)行評(píng)估分析。王培勝［7］從疏浚機(jī)理出發(fā)，對(duì)挖泥船的裝艙過(guò)程進(jìn)行動(dòng)態(tài)建模，對(duì)溢流密度與溢流流量進(jìn)行了預(yù)測(cè)。王湘［8］通過(guò)使用遺傳算法優(yōu)化疏浚模型，表明改變施工參數(shù)可以有效提高挖泥船的疏浚效率。孫?。?］通過(guò)使用遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，以此來(lái)預(yù)測(cè)干土方生產(chǎn)率。

耙吸挖泥船的施工數(shù)據(jù)是基于時(shí)間序列的數(shù)據(jù)，數(shù)據(jù)之間存在時(shí)間滯后的問(wèn)題，而這些方法大多沒(méi)有考慮時(shí)間序列之間的滯后、依賴(lài)問(wèn)題，且并未涉及未來(lái)時(shí)刻的目標(biāo)參數(shù)的預(yù)測(cè)。因此采用了基于時(shí)間序列的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行產(chǎn)量預(yù)測(cè)模型的建立。與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)引入了“記憶”的概念，從內(nèi)部結(jié)構(gòu)上建立了輸入變量隨時(shí)間的變化關(guān)系，對(duì)于數(shù)據(jù)滯后、長(zhǎng)期依賴(lài)、多步預(yù)測(cè)的情況有較好的預(yù)測(cè)效果。

2 GRU神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于時(shí)間序列的數(shù)據(jù)具有很好的處理能力，對(duì)非線性、多步預(yù)測(cè)問(wèn)題可以取得很好的預(yù)測(cè)效果，因此采用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)耙吸挖泥船進(jìn)行產(chǎn)量預(yù)測(cè)模型的構(gòu)建［10］。GRU神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一個(gè)變種，它通過(guò)使用同一個(gè)門(mén)控單元——更新門(mén)來(lái)同時(shí)進(jìn)行信息的遺忘和記憶，從而使計(jì)算更加便捷，提高訓(xùn)練效率［11］。

GRU神經(jīng)網(wǎng)絡(luò)引入了兩個(gè)門(mén)函數(shù)，分別是更新門(mén)和重置門(mén)，其結(jié)構(gòu)如圖1所示［12］。

由圖1可知，GRU網(wǎng)絡(luò)的前向傳播公式如下所示：

在上述公式中，Xt、Ht分別為隱含層的輸入和輸出，Yt為輸出層的輸出，而Rt、Zt和H~t則分別是隱含層結(jié)構(gòu)中重置門(mén)輸出、更新門(mén)輸出和候選記憶單元輸出［13］。在對(duì)GRU網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)中，首先通過(guò)上一個(gè)時(shí)刻的輸出Ht-1和當(dāng)前時(shí)刻的輸入Xt來(lái)獲取兩個(gè)門(mén)控狀態(tài)——重置門(mén)Rt和更新門(mén)Zt，兩者均輸出一個(gè)值域?yàn)椋?，1］的值。參數(shù)W?r、Wxr、W?z、Wxz、W??~、Wx?~、W?y、br、bz、b?~的學(xué)習(xí)更新過(guò)程是一個(gè)誤差反向傳播的過(guò)程，其中t-1時(shí)刻隱含層的輸出的偏導(dǎo)是由t時(shí)刻各個(gè)門(mén)的輸入的偏導(dǎo)所組成：

式中δ?，t、δ?~，t、δz，t、δr，t分別為t時(shí)刻網(wǎng)絡(luò)的隱含層、候選記憶單元、更新門(mén)和重置門(mén)的偏導(dǎo)。

3 改進(jìn)GRU神經(jīng)網(wǎng)絡(luò)研究

3.1 時(shí)間序列數(shù)據(jù)處理

在進(jìn)行預(yù)測(cè)模型搭建之前需要先對(duì)施工數(shù)據(jù)進(jìn)行處理。首先通過(guò)填補(bǔ)、消噪等方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，消除數(shù)據(jù)采集過(guò)程中因設(shè)備原因而產(chǎn)生的疏漏與噪聲，并通過(guò)歸一化的方式消除不同數(shù)據(jù)間的量綱影響。然后通過(guò)滑動(dòng)窗口的方式將n行輸入數(shù)據(jù)轉(zhuǎn)化為一行輸入數(shù)據(jù)，其轉(zhuǎn)換方式如圖2所示。

圖2 數(shù)據(jù)轉(zhuǎn)換方式

當(dāng)n=3時(shí)，將每3行數(shù)據(jù)合并轉(zhuǎn)化為新的行數(shù)據(jù)，在新的行數(shù)據(jù)中末端數(shù)據(jù)為預(yù)測(cè)輸出值Y。

3.2 注意力機(jī)制

近幾年來(lái)，注意力機(jī)制在深度學(xué)習(xí)領(lǐng)域有著廣泛的應(yīng)用，常被用來(lái)進(jìn)行圖像處理、自然語(yǔ)言處理、目標(biāo)檢測(cè)、語(yǔ)音識(shí)別等任務(wù)［14］。注意力機(jī)制沒(méi)有嚴(yán)格的數(shù)學(xué)定義，它根據(jù)目標(biāo)任務(wù)的不同，進(jìn)行方向和加權(quán)模型的調(diào)整，從而加強(qiáng)對(duì)重要信息的關(guān)注和對(duì)不重要信息的弱化［15～16］。自注意力機(jī)制是注意力機(jī)制的改進(jìn)，它減少了對(duì)外部信息的依賴(lài)，更擅長(zhǎng)捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，對(duì)輸出結(jié)果貢獻(xiàn)大的數(shù)據(jù)賦予較大的權(quán)重，使其對(duì)輸出的影響加強(qiáng)。

3.3 自注意力機(jī)制優(yōu)化的GRU神經(jīng)網(wǎng)絡(luò)

自注意力機(jī)制優(yōu)化的GRU神經(jīng)網(wǎng)絡(luò)（Self-attention GRU，SGRU）其結(jié)構(gòu)如圖3所示，該網(wǎng)絡(luò)結(jié)構(gòu)由四部分構(gòu)成：第一部分為輸入層，第二部分為堆疊式GRU層，第三部分為自注意力層，第四部分為輸出層。

由圖3可知，數(shù)據(jù)由輸入層輸入后先經(jīng)過(guò)GRU層處理得到輸出Ht，然后由GRU層輸出Ht轉(zhuǎn)置后作為自注意力層的輸入進(jìn)行自注意力系數(shù)s的計(jì)算。

圖3 自注意力GRU結(jié)構(gòu)圖

然后將GRU層的輸出Ht與自注意力系數(shù)s一一對(duì)應(yīng)后進(jìn)行相乘得出自注意力層的輸出Z。

最后自注意力層的輸出Z經(jīng)過(guò)輸出層的激勵(lì)函數(shù)得到整個(gè)網(wǎng)絡(luò)的最終輸出Y。

式中，Wsy和by分別為輸出層的權(quán)值和閾值。

4 實(shí)驗(yàn)結(jié)果與分析

耙吸挖泥船產(chǎn)量預(yù)測(cè)模型的數(shù)據(jù)來(lái)自于2016年4月“新?；?”號(hào)耙吸挖泥船在廈門(mén)港進(jìn)行作業(yè)時(shí)的施工數(shù)據(jù)。施工數(shù)據(jù)包括挖泥船航速、耙頭對(duì)地角度、泥泵吸入真空、泥泵流速、波浪補(bǔ)償器壓力、溢流堰高度、裝艙體積以及裝艙質(zhì)量這些參數(shù)數(shù)據(jù)，并按照4∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。

模型通過(guò)對(duì)過(guò)去10個(gè)時(shí)刻樣本數(shù)據(jù)的學(xué)習(xí)來(lái)對(duì)當(dāng)前時(shí)刻以及未來(lái)2個(gè)時(shí)刻的挖泥船裝艙質(zhì)量與裝艙體積進(jìn)行預(yù)測(cè)，并與未優(yōu)化的GRU神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行比較。

圖4、圖5分別是當(dāng)前t時(shí)刻、t+1時(shí)刻、t+2時(shí)刻的裝艙質(zhì)量與裝艙體積的兩個(gè)模型預(yù)測(cè)曲線與真實(shí)值曲線對(duì)比圖。圖6、圖7分別是三個(gè)時(shí)刻的裝艙質(zhì)量與裝艙體積的兩個(gè)模型預(yù)測(cè)值與真實(shí)值之間的絕對(duì)值誤差曲線圖。由圖中可看出經(jīng)過(guò)自注意力機(jī)制優(yōu)化的GRU預(yù)測(cè)模型與未優(yōu)化的GRU預(yù)測(cè)模型相比其預(yù)測(cè)結(jié)果更接近真實(shí)值。

圖4 裝艙質(zhì)量預(yù)測(cè)圖

圖5 裝艙體積預(yù)測(cè)圖

圖6 裝艙質(zhì)量誤差圖

圖7 裝艙體積誤差圖

為進(jìn)一步驗(yàn)證SGRU預(yù)測(cè)模型的優(yōu)越性，文章采用均方根誤差（RMSE）和平均百分比誤差（MAPE）作為指標(biāo)來(lái)進(jìn)行模型之間的比較，RMSE與MAPE的值越大表明預(yù)測(cè)效果越差。

表2 t+1時(shí)刻挖泥船產(chǎn)量預(yù)測(cè)誤差

表3 t+2時(shí)刻挖泥船產(chǎn)量預(yù)測(cè)誤差

表1、2、3通過(guò)比較兩種模型之間的均方根誤差和平均百分比誤差可以清晰地看出經(jīng)過(guò)SGRU預(yù)測(cè)模型的誤差更小，預(yù)測(cè)效果更為精確。

表1 t時(shí)刻挖泥船產(chǎn)量預(yù)測(cè)誤差

5 結(jié)語(yǔ)

實(shí)驗(yàn)表明，使用自注意力機(jī)制對(duì)GRU模型進(jìn)行優(yōu)化可以有效地降低模型的預(yù)測(cè)誤差，較好的對(duì)耙吸挖泥船的產(chǎn)量進(jìn)行預(yù)測(cè)。預(yù)測(cè)模型通過(guò)對(duì)過(guò)去數(shù)據(jù)的分析與學(xué)習(xí)，成功預(yù)測(cè)了耙吸挖泥船的當(dāng)前時(shí)刻以及未來(lái)時(shí)刻產(chǎn)量，更好地構(gòu)建了挖泥船裝艙產(chǎn)量預(yù)測(cè)模型。