張健飛　葉亮　王磊

摘 要：混凝土壩變形測(cè)點(diǎn)數(shù)據(jù)丟失或者新增測(cè)點(diǎn)測(cè)量時(shí)間太短都會(huì)導(dǎo)致這部分測(cè)點(diǎn)的數(shù)據(jù)量不足，使得變形預(yù)測(cè)精度受到影響。為了提高這些小數(shù)據(jù)量測(cè)點(diǎn)的變形預(yù)測(cè)精度，提出了將時(shí)域卷積網(wǎng)絡(luò)（ＴＣＮ）與遷移學(xué)習(xí)相結(jié)合的變形預(yù)測(cè)方法。以數(shù)據(jù)量充足的測(cè)點(diǎn)為源域，以缺少數(shù)據(jù)的測(cè)點(diǎn)為目標(biāo)域，將在源域上訓(xùn)練好的ＴＣＮ 模型的結(jié)構(gòu)和參數(shù)遷移到目標(biāo)域模型中，固定其中的凍結(jié)層參數(shù)，利用目標(biāo)域中的數(shù)據(jù)對(duì)目標(biāo)域模型可調(diào)層參數(shù)進(jìn)行調(diào)整。同時(shí)，采用動(dòng)態(tài)時(shí)間規(guī)整選擇與目標(biāo)域數(shù)據(jù)序列相似度最高的監(jiān)測(cè)數(shù)據(jù)作為最佳源域數(shù)據(jù)，提升遷移學(xué)習(xí)效果。工程實(shí)例分析表明：遷移學(xué)習(xí)后的目標(biāo)域模型的均方根誤差和平均絕對(duì)誤差與利用足量數(shù)據(jù)訓(xùn)練的ＴＣＮ 模型的預(yù)測(cè)誤差相比，差異僅分別為１．７３％和８．０９％，小數(shù)據(jù)量情況下ＴＣＮ 預(yù)測(cè)模型的精度得到了提高。

關(guān)鍵詞：時(shí)域卷積網(wǎng)絡(luò)；遷移學(xué)習(xí)；動(dòng)態(tài)時(shí)間規(guī)整；變形預(yù)測(cè)

中圖分類(lèi)號(hào)：ＴＶ６９８．１ 文獻(xiàn)標(biāo)志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０４．０２４

引用格式：張健飛，葉亮，王磊．基于ＴＣＮ 和遷移學(xué)習(xí)的混凝土壩變形預(yù)測(cè)方法［Ｊ］．人民黃河，２０２４，４６（４）：１４２－１４７．

混凝土壩是大壩的主要壩型之一，目前全球壩高２５０ ｍ 以上的大壩超過(guò)一半為混凝土壩。這些混凝土壩在運(yùn)行過(guò)程中受到循環(huán)荷載、環(huán)境侵蝕、人為破壞及自然災(zāi)害等因素作用，局部和整體安全性能將逐步下降。變形是一種能夠直觀反映混凝土壩安全狀態(tài)的綜合效應(yīng)量。通過(guò)大壩變形分析和預(yù)測(cè)，能夠?qū)崟r(shí)掌握大壩工作性態(tài)、及時(shí)診斷大壩異常，因此依據(jù)實(shí)測(cè)數(shù)據(jù)建立變形預(yù)測(cè)模型對(duì)混凝土壩的安全運(yùn)行具有重要意義［１］ 。目前，應(yīng)用較廣的混凝土壩變形預(yù)測(cè)模型主要有統(tǒng)計(jì)模型、確定性模型、混合模型、組合模型、時(shí)空分布模型和人工智能模型等［２］ 。

隨著深度學(xué)習(xí)的快速發(fā)展，長(zhǎng)短期記憶網(wǎng)絡(luò)（ＬｏｎｇＳｈｏｒｔ?Ｔｅｒｍ Ｍｅｍｏｒｙ，簡(jiǎn)稱(chēng)ＬＳＴＭ）和卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏ?ｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，簡(jiǎn)稱(chēng)ＣＮＮ）等深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在混凝土壩變形預(yù)測(cè)中得到了應(yīng)用。其中ＬＳＴＭ 在長(zhǎng)時(shí)間序列數(shù)據(jù)學(xué)習(xí)訓(xùn)練中克服了梯度爆炸和梯度消失的瓶頸，具有較強(qiáng)的長(zhǎng)序列數(shù)據(jù)學(xué)習(xí)能力，在混凝土壩變形預(yù)測(cè)中研究成果較多［３－５］ ，但ＬＳＴＭ 模型的每一步預(yù)測(cè)都依賴(lài)上一步的隱藏狀態(tài)，并行性較差，且存在訓(xùn)練耗時(shí)長(zhǎng)、處理長(zhǎng)序列時(shí)容易丟失信息等問(wèn)題［６］ 。時(shí)域卷積網(wǎng)絡(luò)（ Ｔｅｍｐｏｒａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ， 簡(jiǎn)稱(chēng)ＴＣＮ）的提出為時(shí)間序列建模提供了一種新的思路。ＴＣＮ 由具有相同輸入和輸出長(zhǎng)度的膨脹因果卷積層組成，具有占用內(nèi)存小、梯度穩(wěn)定、并行性好和感受野靈活的優(yōu)點(diǎn)，較之ＬＳＴＭ 等循環(huán)神經(jīng)網(wǎng)絡(luò)，概念更加簡(jiǎn)潔明了，記憶能力更加長(zhǎng)久［７］ ，已經(jīng)在降水量預(yù)測(cè)［８］ 、天氣預(yù)測(cè)［９］ 和用電量預(yù)測(cè)［１０］ 等方面得到了較多應(yīng)用，并開(kāi)始用于大壩變形預(yù)測(cè)［１１］ 。

ＬＳＴＭ 和ＴＣＮ 等深度學(xué)習(xí)模型雖然都取得了優(yōu)良的預(yù)測(cè)效果，但是其訓(xùn)練需要足夠長(zhǎng)的連續(xù)監(jiān)測(cè)序列數(shù)據(jù)。實(shí)際工程中，有的大壩變形測(cè)點(diǎn)因儀器故障、誤操作等而造成前期監(jiān)測(cè)數(shù)據(jù)大量丟失，有的新建測(cè)點(diǎn)因監(jiān)測(cè)周期短而使得監(jiān)測(cè)數(shù)據(jù)偏少。對(duì)于這些監(jiān)測(cè)數(shù)據(jù)不足的情況，深度學(xué)習(xí)模型容易出現(xiàn)過(guò)擬合，模型的泛化性能變差、預(yù)測(cè)精度下降。因此，有必要研究在缺少監(jiān)測(cè)數(shù)據(jù)條件下的深度學(xué)習(xí)預(yù)測(cè)模型的有效訓(xùn)練問(wèn)題。遷移學(xué)習(xí)是一種將源域中學(xué)習(xí)到的知識(shí)遷移到目標(biāo)域的學(xué)習(xí)過(guò)程。采用遷移學(xué)習(xí)，可以將具有足量數(shù)據(jù)的同類(lèi)或者不同類(lèi)測(cè)點(diǎn)的信息遷移到數(shù)據(jù)量不足的測(cè)點(diǎn)，從而在一定程度上解決訓(xùn)練樣本不足的問(wèn)題，分為基于模型、基于實(shí)例、基于特征和基于關(guān)系的遷移學(xué)習(xí)４ 類(lèi)。目前，在時(shí)間序列預(yù)測(cè)領(lǐng)域，基于模型的遷移學(xué)習(xí)研究較多，其次是基于實(shí)例的遷移學(xué)習(xí)，而基于特征和關(guān)系的遷移學(xué)習(xí)相對(duì)較少。王學(xué)智等［１２］ 提出了一種土壤濕度時(shí)空預(yù)測(cè)模型，采用三維卷積層和長(zhǎng)短期記憶網(wǎng)絡(luò)提取源域中的空間和時(shí)間特征，利用目標(biāo)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。史凱鈺等［１３］ 以數(shù)據(jù)充足的光伏系統(tǒng)為源域，以數(shù)據(jù)有限的光伏系統(tǒng)為目標(biāo)域，建立了一種基于ＬＳＴＭ 的光伏發(fā)電功率預(yù)測(cè)模型。Ｍａ 等［１４］ 提出了一種基于遷移學(xué)習(xí)的雙向ＬＳＴＭ 空氣質(zhì)量預(yù)測(cè)模型，以小時(shí)間分辨率數(shù)據(jù)為源數(shù)據(jù)，以大分辨率數(shù)據(jù)為目標(biāo)數(shù)據(jù)，采用源數(shù)據(jù)對(duì)模型進(jìn)行預(yù)訓(xùn)練，采用目標(biāo)數(shù)據(jù)對(duì)剩余網(wǎng)絡(luò)層進(jìn)行調(diào)整。Ｈｕ 等［１５］ 采用具有豐富數(shù)據(jù)的已建風(fēng)電場(chǎng)的數(shù)據(jù)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用新建風(fēng)電場(chǎng)的數(shù)據(jù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，實(shí)現(xiàn)不同風(fēng)電場(chǎng)信息的相互遷移。Ｃｈｅｎ 等［１６］ 采用ＴｒＡｄａＢｏｏｓｔ 算法建立了一種基于實(shí)例遷移的ＬＳＴＭ 模型，從相關(guān)測(cè)點(diǎn)完整監(jiān)測(cè)數(shù)據(jù)中獲取有用的信息，實(shí)現(xiàn)大段連續(xù)缺失數(shù)據(jù)的填補(bǔ)。

本文提出一種基于ＴＣＮ 和遷移學(xué)習(xí)的混凝土壩變形預(yù)測(cè)方法，用于在缺乏足夠監(jiān)測(cè)數(shù)據(jù)條件下建立有效的變形預(yù)測(cè)模型。首先以具有足夠監(jiān)測(cè)數(shù)據(jù)的測(cè)點(diǎn)為源域，以缺乏數(shù)據(jù)的測(cè)點(diǎn)為目標(biāo)域，采用ＴＣＮ 建立源域和目標(biāo)域的預(yù)測(cè)模型，然后根據(jù)動(dòng)態(tài)時(shí)間規(guī)整（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ，簡(jiǎn)稱(chēng)ＤＴＷ）距離選取與目標(biāo)域數(shù)據(jù)相似度最高的源域數(shù)據(jù)對(duì)源域模型進(jìn)行訓(xùn)練，目標(biāo)模型的低層網(wǎng)絡(luò)權(quán)重直接從源域模型中獲取，高層網(wǎng)絡(luò)權(quán)重在源域模型權(quán)重的基礎(chǔ)上利用目標(biāo)域數(shù)據(jù)進(jìn)行調(diào)整，從而實(shí)現(xiàn)源域知識(shí)向目標(biāo)域的遷移，提高監(jiān)測(cè)數(shù)據(jù)量不足情況下的變形預(yù)測(cè)精度。

１ 基于ＴＣＮ 和遷移學(xué)習(xí)的預(yù)測(cè)模型

１．１ 時(shí)域卷積網(wǎng)絡(luò)

ＴＣＮ 是一種用于時(shí)間序列建模的卷積神經(jīng)網(wǎng)絡(luò)，核心組件是因果膨脹網(wǎng)絡(luò)，其主要特點(diǎn)是：網(wǎng)絡(luò)的輸入與輸出具有因果關(guān)系，感受野的大小可以通過(guò)改變超參數(shù)進(jìn)行調(diào)整。假設(shè)輸入序列為｛ｘ０，ｘ１，…，ｘＴ ｝，預(yù)測(cè)輸出序列為｛ｙ０，ｙ１，…，ｙＴ ｝，時(shí)刻ｔ 的預(yù)測(cè)值ｙｔ 由輸入序列值的卷積運(yùn)算得到，并且滿足因果關(guān)系，即ｙｔ只依賴(lài)于ｔ 時(shí)刻及之前的輸入ｘ０、ｘ１、…、ｘｔ ，而與未來(lái)的ｘｔ ＋１、ｘｔ ＋２、…、ｘＴ無(wú)關(guān)，這種卷積被稱(chēng)為因果卷積。對(duì)于時(shí)間序列預(yù)測(cè)，網(wǎng)絡(luò)通常需要記憶長(zhǎng)期的信息，也就是需要ＴＣＮ 具有足夠大的感受野。原始的因果卷積的感受野與網(wǎng)絡(luò)深度成線性關(guān)系，為擴(kuò)大模型的感受野，需要堆疊較多的卷積層，從而增加了網(wǎng)絡(luò)訓(xùn)練的計(jì)算量和難度。ＴＣＮ 中使用了膨脹卷積，在卷積核的相鄰節(jié)點(diǎn)間設(shè)置特定數(shù)量的空隙，從而使得感受野大小與網(wǎng)絡(luò)深度成指數(shù)關(guān)系，在不改變卷積核大小的情況下可以獲取更大范圍的信息。因果膨脹卷積輸出序列的第ｓ 個(gè)元素的卷積運(yùn)算函數(shù)Ｆ（ｓ）定義為

式中：ｆｉ為卷積核，ｋ 為卷積核尺寸，ｄ 為膨脹因子。

在膨脹卷積中通常按網(wǎng)絡(luò)深度的指數(shù)方式增大膨脹因子，這樣可以保證卷積操作覆蓋到有效范圍內(nèi)的所有輸入元素。深層網(wǎng)絡(luò)在訓(xùn)練過(guò)程中容易出現(xiàn)梯度消失和梯度爆炸的問(wèn)題，殘差鏈接被證明是訓(xùn)練深層網(wǎng)絡(luò)的有效方法，它使得網(wǎng)絡(luò)能夠跨層傳遞信息。本文用于混凝土壩變形預(yù)測(cè)的ＴＣＮ 模型結(jié)構(gòu)如圖１ 所示，包括輸入層、若干膨脹卷積殘差塊和輸出層。

每個(gè)膨脹卷積殘差塊由膨脹因果卷積層、ＲｅＬＵ激活層和隨機(jī)失活層（Ｄｒｏｐｏｕｔ）組成。輸入序列｛ｘ０，ｘ１，…，ｘＴ ｝依次經(jīng)過(guò)若干個(gè)膨脹卷積殘差塊，在每個(gè)殘差塊中，輸入元素經(jīng)過(guò)一系列變換后得到的元素與原始輸入元素相加，并通過(guò)ＲｅＬＵ 激活層、隨機(jī)失活層運(yùn)算得到輸出元素。

ＴＣＮ 預(yù)測(cè)模型由殘差塊完成對(duì)輸入序列時(shí)間特征的提取，輸出層為全連接層，負(fù)責(zé)將殘差塊的多維輸出元素組合后作為下一時(shí)刻的預(yù)測(cè)值。

１．２ 遷移學(xué)習(xí)

遷移學(xué)習(xí)涉及源域Ｄｓ 、源任務(wù)Ｔｓ 和目標(biāo)域Ｄｔ 、目標(biāo)任務(wù)Ｔｔ 。遷移學(xué)習(xí)的目標(biāo)就是在Ｄｓ ≠Ｄｔ 或者Ｔｓ ≠Ｔｔ的情況下，用Ｄｓ 和Ｔｓ 的知識(shí)，來(lái)提升目標(biāo)任務(wù)Ｔｔ 的完成效果。本文采用的是基于模型的遷移學(xué)習(xí)方法，源域?yàn)榫哂凶銐蜷L(zhǎng)變形監(jiān)測(cè)數(shù)據(jù)序列的測(cè)點(diǎn)，源任務(wù)為源域測(cè)值的預(yù)測(cè)，目標(biāo)域?yàn)樽冃伪O(jiān)測(cè)數(shù)據(jù)量不足的測(cè)點(diǎn)，目標(biāo)任務(wù)是目標(biāo)域測(cè)值預(yù)測(cè)，通過(guò)遷移學(xué)習(xí)將源域上訓(xùn)練好的模型結(jié)構(gòu)和參數(shù)選擇性遷移到目標(biāo)域模型中，為目標(biāo)域提供有價(jià)值的信息，提升目標(biāo)域的測(cè)值預(yù)測(cè)能力。

遷移學(xué)習(xí)流程如圖２ 所示，在遷移過(guò)程中，預(yù)訓(xùn)練網(wǎng)絡(luò)的若干低層殘差塊為凍結(jié)層，高層殘差塊和輸出層為可調(diào)層，也就是說(shuō)在利用目標(biāo)域數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，只對(duì)高層殘差塊和輸出層的參數(shù)進(jìn)行調(diào)整，其余各層的參數(shù)保持不變，從而大大減少了訓(xùn)練參數(shù)，降低了對(duì)訓(xùn)練數(shù)據(jù)量的要求。遷移學(xué)習(xí)具體步驟如下。

１）預(yù)訓(xùn)練。建立源域變形預(yù)測(cè)ＴＣＮ 模型，利用源域數(shù)據(jù)對(duì)源域模型進(jìn)行訓(xùn)練，保存模型的結(jié)構(gòu)和參數(shù)。

２）網(wǎng)絡(luò)調(diào)整。讀取源域模型結(jié)構(gòu)和參數(shù)，建立目標(biāo)域變形預(yù)測(cè)模型，利用目標(biāo)域數(shù)據(jù)對(duì)目標(biāo)域模型進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程中固定凍結(jié)層參數(shù)，僅對(duì)可調(diào)層參數(shù)進(jìn)行調(diào)整。

３）網(wǎng)絡(luò)驗(yàn)證。將目標(biāo)域測(cè)試集數(shù)據(jù)輸入目標(biāo)域模型得到預(yù)測(cè)值，與實(shí)測(cè)值對(duì)比，分析遷移后的模型性能。

１．３ 基于動(dòng)態(tài)時(shí)間歸整的時(shí)間序列相似度匹配

遷移學(xué)習(xí)并不總是有效的，當(dāng)源域和目標(biāo)域數(shù)據(jù)分布差異較大時(shí)會(huì)出現(xiàn)負(fù)遷移現(xiàn)象，即源域知識(shí)反而會(huì)導(dǎo)致目標(biāo)域?qū)W習(xí)性能下降。本文采用ＤＴＷ 方法衡量源域和目標(biāo)域數(shù)據(jù)序列的相似度，選取相似度最高的源域數(shù)據(jù)對(duì)目標(biāo)域預(yù)測(cè)任務(wù)進(jìn)行增強(qiáng)。ＤＴＷ 是一種比較兩個(gè)長(zhǎng)度不同的時(shí)間序列的方法，其基本原理是通過(guò)對(duì)兩個(gè)時(shí)間序列進(jìn)行局部拉伸和壓縮，使其相互之間盡量相似，然后通過(guò)累加對(duì)齊點(diǎn)之間的距離得到時(shí)間序列之間的距離，用于衡量時(shí)間序列之間的相似度［１７］ 。目前，ＤＴＷ 方法已經(jīng)在語(yǔ)音識(shí)別［１８］ 、手勢(shì)識(shí)別［１９］ 和故障診斷［２０］ 等領(lǐng)域得到了廣泛應(yīng)用。

給定兩個(gè)長(zhǎng)度分別為ｎ 和ｍ 的時(shí)間序列Ｑ ＝｛ｑ１，ｑ２，…，ｑｎ ｝和Ｃ ＝｛ｃ１，ｃ２，…，ｃｍ ｝，構(gòu)造一個(gè)ｎ×ｍ 的矩陣Ｄ，矩陣中元素ｑｉ和ｃｊ 的距離為ｄ（ｑｉ ，ｃｊ ），一般為歐氏距離。規(guī)整路徑Ｗ 為一條通過(guò)矩陣Ｄ 中若干格點(diǎn)（ｉ，ｊ）的路徑，路徑通過(guò)的格點(diǎn)即兩個(gè)序列進(jìn)行計(jì)算的對(duì)齊點(diǎn)。Ｗ 的第ｋ 個(gè)元素定義為ｗｋ ＝ （ｉ，ｊ）ｋ ，從而得到規(guī)整路徑：

Ｗ ＝｛ｗ１，ｗ２，…，ｗＫ ｝ ［ｍａｘ（ｍ，ｎ）≤Ｋ≤ｍ＋ｎ＋１］（２）

這條路徑需要滿足連續(xù)性和單調(diào)性約束，因此如果路徑已經(jīng)通過(guò)了格點(diǎn)（ｉ，ｊ），那么下一個(gè)通過(guò)的格點(diǎn)只可能是（ｉ＋１，ｊ）、（ｉ，ｊ＋１）或（ｉ＋１，ｊ＋１）。滿足這些約束條件的路徑很多，動(dòng)態(tài)時(shí)間規(guī)整的目的就是在這些路徑中找到一條累計(jì)距離最小的最優(yōu)路徑。為了求解最優(yōu)路徑，構(gòu)建累計(jì)距離矩陣γ，其中的元素γ（ｉ，ｊ）為當(dāng)前格點(diǎn)距離ｄ（ｑｉ ，ｃｊ ）與可以到達(dá)該點(diǎn)的鄰近元素的最小累計(jì)距離之和：

γ（ｉ，ｊ）＝ ｄ（ｑｉ ，ｃｊ ）＋ｍｉｎ［γ（ｉ－１，ｊ－１），γ（ｉ－１，ｊ），γ（ｉ，ｊ－１）］（３）

采用動(dòng)態(tài)規(guī)劃算法求解式（３），從（０，０）點(diǎn)開(kāi)始匹配時(shí)間序列Ｑ 和Ｃ，到達(dá)終點(diǎn)（ｎ，ｍ）后，得到的累計(jì)距離就是最后的ＤＴＷ 距離，距離越小表示這兩個(gè)時(shí)間序列越相似。

２ 實(shí)例驗(yàn)證與分析

２．１ 工程實(shí)例

某混凝土重力壩，壩頂高程１１７．５ ｍ，最大壩高８５．８３ ｍ，壩頂總長(zhǎng)７１９．７ ｍ，共分為３４ 個(gè)壩段，如圖３所示。大壩和船閘的水平位移采用垂線及引張線進(jìn)行觀測(cè)，垂直位移主要采用靜力水準(zhǔn)觀測(cè)，引張線和靜力水準(zhǔn)測(cè)點(diǎn)均接入自動(dòng)化監(jiān)測(cè)系統(tǒng)，每天自動(dòng)觀測(cè)１ 次。本文所使用的變形測(cè)點(diǎn)布置如圖３ 所示，包括：壩頂引張線測(cè)點(diǎn)ＥＸ２－７、ＥＸ２－８、ＥＸ２－１３、ＥＸ２－１４ 和ＥＸ２－２１，廊道引張線測(cè)點(diǎn)ＥＸ１－８，以及船閘閘墻引張線測(cè)點(diǎn)ＳＳ４１；壩頂靜力水準(zhǔn)測(cè)點(diǎn)Ｊ９、Ｊ１０、Ｊ１５、Ｊ２１、Ｊ２６ 和壩基靜力水準(zhǔn)測(cè)點(diǎn)ＪＪ１５－１。引張線測(cè)點(diǎn)監(jiān)測(cè)時(shí)段為２００５－０１－０１—２０２１－０２－２７，壩頂靜力水準(zhǔn)測(cè)點(diǎn)監(jiān)測(cè)時(shí)段為２００４－０４－１５—２０２１－０３－２３，壩基靜力水準(zhǔn)測(cè)點(diǎn)的監(jiān)測(cè)時(shí)段為２００６－０６－１０—２０２１－０３－１４。大壩變形主要受溫度影響，呈現(xiàn)較強(qiáng)的年周期變化規(guī)律，船閘閘墻主要受溫度和閘室水位影響。

為了對(duì)ＴＣＮ 進(jìn)行訓(xùn)練，需要采用滑動(dòng)窗口的方法把原始監(jiān)測(cè)序列數(shù)據(jù)轉(zhuǎn)化為一系列子序列，形成如式（４）所示的數(shù)據(jù)對(duì)：

｛ＳＴ － Ｗ ，ＳＴ －（ Ｗ －１） ，…，ＳＴ －２，ＳＴ －１｝→｛ＳＴ ｝ （４）

式中：｛ＳＴ － Ｗ ，ＳＴ －（ Ｗ －１） ，…，ＳＴ －２，ＳＴ －１｝為輸入序列；｛ＳＴ ｝為預(yù)測(cè)值；Ｗ 為滑動(dòng)窗口的寬度，也是輸入序列的長(zhǎng)度。

滑動(dòng)窗口每次向前移動(dòng)１ 步，從而對(duì)于長(zhǎng)度為Ｎ的監(jiān)測(cè)序列數(shù)據(jù)，可以形成Ｎ －Ｗ ＋１ 個(gè)數(shù)據(jù)對(duì)，作為ＴＣＮ 的訓(xùn)練和測(cè)試樣本。

２．２ 網(wǎng)絡(luò)超參數(shù)

神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)和超參數(shù)對(duì)其性能具有很大的影響，本文利用ＥＸ２－１４ 測(cè)點(diǎn)的實(shí)測(cè)數(shù)據(jù)和網(wǎng)格搜索法對(duì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行搜索尋優(yōu)，模型的評(píng)價(jià)指標(biāo)采用５ 折交叉驗(yàn)證均方根誤差。ＴＣＮ 網(wǎng)絡(luò)的搜索超參數(shù)包括：殘差塊中膨脹卷積的卷積核尺寸和卷積核個(gè)數(shù)，搜索格點(diǎn)分別為２、４、８ 和１６、３２、４８，共計(jì)９種超參數(shù)組合。搜索得到的最優(yōu)超參數(shù)組合為：卷積核尺寸２，卷積核個(gè)數(shù)３２。殘差塊的個(gè)數(shù)根據(jù)輸入序列長(zhǎng)度與感受野覆蓋關(guān)系確定，分別測(cè)試了輸入序列長(zhǎng)度為１５、３０、６０ 三種情況，當(dāng)輸入序列長(zhǎng)度取值３０時(shí)，預(yù)測(cè)效果最好，因此本文輸入序列長(zhǎng)度統(tǒng)一?。常啊８鶕?jù)ＴＣＮ 網(wǎng)絡(luò)感受野要能覆蓋輸入序列長(zhǎng)度的要求，本文ＴＣＮ 包括５ 個(gè)膨脹卷積殘差塊，每個(gè)殘差塊中的膨脹因子分別為１、２、４、８ 和１６。

ＬＳＴＭ 網(wǎng)絡(luò)參與比較。分別對(duì)包含１ 層、２ 層和３層ＬＳＴＭ 的網(wǎng)絡(luò)結(jié)構(gòu)的不同超參數(shù)組合進(jìn)行了比選，搜索超參數(shù)為每一層ＬＳＴＭ 的輸出維度，搜索格點(diǎn)為１６、３２、４８。一層ＬＳＴＭ 結(jié)構(gòu)共計(jì)３ 種超參數(shù)組合，二層結(jié)構(gòu)共計(jì)９ 種超參數(shù)組合，三層結(jié)構(gòu)共計(jì)２７ 種超參數(shù)組合，綜合考慮精度和效率后選用二層網(wǎng)絡(luò)結(jié)構(gòu)，每層輸出維度均為３２。

２．３ ＴＣＮ 預(yù)測(cè)結(jié)果與分析

為了檢驗(yàn)ＴＣＮ 在混凝土壩變形預(yù)測(cè)中的效果，本文采用圖３ 所示測(cè)點(diǎn)的監(jiān)測(cè)數(shù)據(jù)對(duì)ＴＣＮ 進(jìn)行訓(xùn)練和測(cè)試，并與ＬＳＴＭ 網(wǎng)絡(luò)進(jìn)行了比較，訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例?。?∶ ２ ∶ ２。各測(cè)點(diǎn)在測(cè)試集上的均方根誤差（ 簡(jiǎn)稱(chēng)ＲＭＳＥ） 和平均絕對(duì)誤差（ 簡(jiǎn)稱(chēng)ＭＡＥ）見(jiàn)表１?？芍海裕茫?和ＬＳＴＭ 在總體上具有較高的預(yù)測(cè)精度，ＴＣＮ 在多數(shù)測(cè)點(diǎn)上的精度略高于ＬＳＴＭ，對(duì)于如圖４ 和圖５ 所示規(guī)律性較差的ＪＪ１５－１ 測(cè)點(diǎn)以及測(cè)試集存在突變段的ＥＸ２－２１ 測(cè)點(diǎn)，ＴＣＮ 的預(yù)測(cè)精度明顯高于ＬＳＴＭ，說(shuō)明ＴＣＮ 具有更強(qiáng)的時(shí)間特征挖掘能力和預(yù)測(cè)能力。

２．４ 遷移學(xué)習(xí)結(jié)果分析

為了說(shuō)明訓(xùn)練數(shù)據(jù)量對(duì)模型精度的影響， 以ＥＸ２－１４測(cè)點(diǎn)為例，分別截取原始訓(xùn)練數(shù)據(jù)序列長(zhǎng)度的１００％、７５％、５０％、２５％、１０％和５％作為訓(xùn)練數(shù)據(jù)集，即訓(xùn)練數(shù)據(jù)序列長(zhǎng)度分別為５ ２６９、３ ９５２、２ ６３５、１ ３１７、５２７ 和２６３。測(cè)試集統(tǒng)一取最后一年的監(jiān)測(cè)數(shù)據(jù)，其有效監(jiān)測(cè)期數(shù)為３５９，避免測(cè)試集樣本及其數(shù)量的不同造成預(yù)測(cè)誤差計(jì)算的基準(zhǔn)不同，使得誤差不具有可比性。圖６ 為ＴＣＮ 模型在ＥＸ２－１４ 測(cè)點(diǎn)不同長(zhǎng)度訓(xùn)練數(shù)據(jù)集上１０ 次計(jì)算的預(yù)測(cè)結(jié)果的箱線圖。數(shù)據(jù)足量時(shí)誤差均值最小，ＲＭＳＥ 和ＭＡＥ 分別為０．３９２ ３ ｍｍ 和０．２０６ ５ ｍｍ，隨著訓(xùn)練數(shù)據(jù)量的下降，預(yù)測(cè)誤差的均值逐漸增大，預(yù)測(cè)誤差分散程度也逐步增大，當(dāng)訓(xùn)練數(shù)據(jù)量較大時(shí)誤差增大幅度較小，且運(yùn)算結(jié)果穩(wěn)定，當(dāng)數(shù)據(jù)量降為原有數(shù)據(jù)量的１０％以下后，誤差大幅增大，預(yù)測(cè)結(jié)果更加分散，當(dāng)數(shù)據(jù)量降至原有數(shù)據(jù)量的５％時(shí)誤差均值最大，ＲＭＳＥ 和ＭＡＥ 分別為０．７５０ ５ ｍｍ 和０．５２４ ８ ｍｍ，說(shuō)明訓(xùn)練數(shù)據(jù)量對(duì)于模型的精度和穩(wěn)定性都具有重要影響。

為了驗(yàn)證本文提出的遷移學(xué)習(xí)策略的效果，選取具有５％訓(xùn)練數(shù)據(jù)長(zhǎng)度的引張線測(cè)點(diǎn)ＥＸ２－１４ 作為數(shù)據(jù)量不足的目標(biāo)域，以表２ 中的其他測(cè)點(diǎn)作為源域，這些源域數(shù)據(jù)集的選取分別考慮了壩段類(lèi)型、測(cè)點(diǎn)類(lèi)型和距離等因素。同時(shí)，為了選取最佳遷移方案，分別對(duì)３ 種不同的遷移方案進(jìn)行了測(cè)試：方案１，圖２ 中僅輸出層可調(diào)整；方案２，卷積殘差模塊５ 和輸出層可調(diào)整；方案３，卷積殘差模塊４、５ 和輸出層可調(diào)整。表２給出了不同源域和不同遷移方案的遷移學(xué)習(xí)效果?？芍号c圖６ 中同等訓(xùn)練數(shù)據(jù)量的預(yù)測(cè)結(jié)果相比，經(jīng)過(guò)遷移學(xué)習(xí)后的目標(biāo)域模型的預(yù)測(cè)精度較遷移學(xué)習(xí)前得到了大幅提高，不同源域的遷移效果各不相同，遷移方案２和３ 整體上優(yōu)于方案１，方案３ 較之方案２ 沒(méi)有明顯效果提升，說(shuō)明過(guò)度增加可調(diào)整層不能進(jìn)一步提高遷移效果。因此，本文選取遷移方案２ 作為最終的遷移方案。

考慮到監(jiān)測(cè)數(shù)據(jù)缺失周期內(nèi)大壩不同測(cè)點(diǎn)對(duì)不同工作狀態(tài)的反應(yīng)可能存在不一致的情況，從而造成這些測(cè)點(diǎn)的監(jiān)測(cè)數(shù)據(jù)之間存在較大差異。為了選取最佳源域測(cè)點(diǎn)，獲取最佳的遷移學(xué)習(xí)效果，采用ＤＴＷ 方法衡量源域監(jiān)測(cè)序列與目標(biāo)域監(jiān)測(cè)序列的相似度，選擇相似度最高即ＤＴＷ 距離最小的監(jiān)測(cè)序列作為源域數(shù)據(jù)。ＤＴＷ 距離越小，通常遷移學(xué)習(xí)效果越好（見(jiàn)表２），從圖７ 也可以看出，ＤＴＷ 距離與遷移學(xué)習(xí)后的預(yù)測(cè)誤差基本為正線性相關(guān)，隨著ＤＴＷ 距離的減小，預(yù)測(cè)誤差相應(yīng)減小。因此，ＤＴＷ 距離可以作為源域選取的依據(jù)，即選取ＤＴＷ 距離最小的測(cè)點(diǎn)作為源域。

數(shù)據(jù)量不足的ＥＸ２－１４ 測(cè)點(diǎn)經(jīng)過(guò)最佳源域測(cè)點(diǎn)ＥＸ２－１３ 遷移學(xué)習(xí)后，目標(biāo)域ＴＣＮ 模型在測(cè)試集上ＲＭＳＥ 和ＭＡＥ 分別為０．３９９ １ ｍｍ 和０．２２３ ２ ｍｍ，與利用足量數(shù)據(jù)訓(xùn)練的模型預(yù)測(cè)誤差相比，其差異僅分別為１．７３％和８．０９％。經(jīng)過(guò)最佳源域測(cè)點(diǎn)ＥＸ２－１３ 遷移學(xué)習(xí)后目標(biāo)域ＴＣＮ 模型在測(cè)試集上的預(yù)測(cè)曲線及其與遷移前的比較見(jiàn)圖８。可以看出：遷移學(xué)習(xí)后目標(biāo)域模型的預(yù)測(cè)精度得到了很大提高，預(yù)測(cè)曲線與實(shí)測(cè)曲線更加吻合。說(shuō)明選擇合適的源域，經(jīng)過(guò)遷移學(xué)習(xí)，可以大幅提高缺少數(shù)據(jù)的目標(biāo)域ＴＣＮ 模型的預(yù)測(cè)精度。

３ 結(jié)論

首先建立了混凝土壩變形預(yù)測(cè)的ＴＣＮ 模型，然后針對(duì)缺少數(shù)據(jù)的測(cè)點(diǎn)，采用遷移學(xué)習(xí)策略，將數(shù)據(jù)量充足的源域中學(xué)習(xí)到的知識(shí)遷移到缺少數(shù)據(jù)的目標(biāo)域，提升小數(shù)據(jù)序列情況下ＴＣＮ 模型的預(yù)測(cè)能力。主要結(jié)論如下：

１）混凝土壩變形預(yù)測(cè)的ＴＣＮ 模型具有較高的預(yù)測(cè)精度，特別是對(duì)于比較復(fù)雜的變形監(jiān)測(cè)序列，較之ＬＳＴＭ 模型能夠取得更高的預(yù)測(cè)精度；

２）通過(guò)模型遷移，可以將數(shù)據(jù)量充足的源域預(yù)測(cè)模型的知識(shí)遷移至數(shù)據(jù)量不足的目標(biāo)域模型，從而提升目標(biāo)域模型的泛化能力和預(yù)測(cè)精度；

３）通過(guò)ＤＴＷ 可以選擇與目標(biāo)域數(shù)據(jù)相似度高的監(jiān)測(cè)數(shù)據(jù)作為源域數(shù)據(jù)，進(jìn)一步提升遷移學(xué)習(xí)效果。

本文所述遷移學(xué)習(xí)是在同一工程的不同測(cè)點(diǎn)之間的知識(shí)遷移，未來(lái)還將研究不同工程之間的遷移學(xué)習(xí)問(wèn)題。

參考文獻(xiàn)：

［１］ 周仁練，蘇懷智，韓彰，等．混凝土壩變形的長(zhǎng)期預(yù)測(cè)模型與應(yīng)用［Ｊ］．水力發(fā)電學(xué)報(bào)，２０２１，４０（９）：１２２－１３１．

［２］ 吳中如，陳波．大壩變形監(jiān)控模型發(fā)展回眸［Ｊ］．現(xiàn)代測(cè)繪，２０１６，３９（５）：１－３，８．

［３］ 胡安玉，包騰飛，楊晨蕾，等．基于ＬＳＴＭ－Ａｒｉｍａ 的大壩變形組合預(yù)測(cè)模型及其應(yīng)用［Ｊ］．長(zhǎng)江科學(xué)院院報(bào)，２０２０，３７（１０）：６４－６８，７５．

［４］ 周蘭庭，柳志坤，徐長(zhǎng)華．基于ＷＡ－ＬＳＴＭ－ＡＲＩＭＡ 的混凝土壩變形組合預(yù)測(cè)模型［Ｊ］．人民黃河，２０２２，４４（１）：１２４－１２８．

［５］ ＹＡＮＧ Ｄａｓｈａｎ，ＧＵ Ｃｈｏｎｇｓｈｉ，ＺＨＵ Ｙａｎｔａｏ，ｅｔ ａｌ．Ａ ＣｏｎｃｒｅｔｅＤａｍ Ｄｅｆｏｒｍａｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ ＬＳＴＭ ｗｉｔｈ Ａｔ?ｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ［Ｊ］．ＩＥＥＥ ＡＣＣＥＳＳ，２０２０，８：１８５１７７－１８５１８６．

［６］ 左乘旭，胡文?。冢粒簦簦澹睿簦椋铮睿裕茫?的液化氣日訂單量預(yù)測(cè)模型［Ｊ］．計(jì)算機(jī)應(yīng)用，２０２２，４２（增刊１）：８７－９３．

［７］ 王軍，高梓勛，單春意．基于ＴＣＮ－Ａｔｔｅｎｔｉｏｎ 模型的多變量黃河徑流量預(yù)測(cè)［Ｊ］．人民黃河，２０２２，４４（１１）：２０－２５．

［８］ 徐冬梅，王亞琴，王文川．基于ＶＭＤ－ＴＣＮ 的月降水量預(yù)測(cè)模型［Ｊ］．水文，２０２２，４２（２）：１３－１８．

［９］ 孔震，張華魯，岳圣凱，等．基于時(shí)域卷積網(wǎng)絡(luò)的多尺度雙線性天氣預(yù)測(cè)模型［Ｊ］．圖學(xué)學(xué)報(bào)，２０２０，４１（５）：７６４－７７０．

［１０］ 李揚(yáng)帆，張凌浩，雷勇，等．基于時(shí)間卷積網(wǎng)絡(luò)和門(mén)控循環(huán)單元的短期用電量預(yù)測(cè)方法［Ｊ］． 水電能源科學(xué)，２０２１，３９（８）：１９８－２０１，１７３．

［１１］ 曾欣，馬力，戴子卿．基于動(dòng)態(tài)ＭＩＣ 優(yōu)化ＴＣＮ 的混凝土壩變形預(yù)測(cè)模型研究［Ｊ］．水力發(fā)電，２０２２，４８（１０）：５８－６３．

［１２］ 王學(xué)智，李清亮，李文輝．融合遷移學(xué)習(xí)的土壤濕度預(yù)測(cè)時(shí)空模型［Ｊ］．吉林大學(xué)學(xué)報(bào)（工學(xué)版），２０２２，５２（３）：６７５－６８３．

［１３］ 史凱鈺，張東霞，韓肖清，等．基于ＬＳＴＭ 與遷移學(xué)習(xí)的光伏發(fā)電功率預(yù)測(cè)數(shù)字孿生模型［Ｊ］．電網(wǎng)技術(shù)，２０２２，４６（４）：１３６３－１３７２．

［１４］ ＭＡ Ｊ，ＣＨＥＮＧ Ｊ Ｃ Ｐ，ＬＩＮ Ｃ，ｅｔ ａｌ．Ｉｍｐｒｏｖｉｎｇ Ａｉｒ ＱｕａｌｉｔｙＰｒｅｄｉｃｔｉｏｎ Ａｃｃｕｒａｃｙ ａｔ Ｌａｒｇｅｒ Ｔｅｍｐｏｒａｌ Ｒｅｓｏｌｕｔｉｏｎｓ ＵｓｉｎｇＤｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ［Ｊ］．Ａｔ?ｍｏｓｐｈｅｒｉｃ Ｅｎｖｉｒｏｎｍｅｎｔ，２０１９，２１４（Ｃ）：１１６８８５．

［１５］ ＨＵ Ｑｉｎｇｈｕａ，ＺＨＡＮＧ Ｒｕｊｉａ，ＺＨＯＵ Ｙｕｃａｎ．Ｔｒａｎｓｆｅｒ Ｌｅａｒｎｉｎｇｆｏｒ Ｓｈｏｒｔ?Ｔｅｒｍ Ｗｉｎｄ Ｓｐｅｅｄ Ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔ?ｗｏｒｋｓ［Ｊ］．Ｒｅｎｅｗａｂｌｅ Ｅｎｅｒｇｙ，２０１６，８５：８３－９５．

［１６］ ＣＨＥＮ Ｚｅｎｇ，ＸＵ Ｈｕａｎ，ＪＩＡＮＧ Ｐｅｎｇ，ｅｔ ａｌ． Ａ ＴｒａｎｓｆｅｒＬｅａｒｎｉｎｇ?Ｂａｓｅｄ ＬＳＴＭ Ｓｔｒａｔｅｇｙ ｆｏｒ Ｉｍｐｕｔｉｎｇ Ｌａｒｇｅ?ＳｃａｌｅＣｏｎｓｅｃｕｔｉｖｅ Ｍｉｓｓｉｎｇ Ｄａｔａ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ ａ ＷａｔｅｒＱｕａｌｉｔｙ Ｐｒｅｄｉｃｔｉｏｎ Ｓｙｓｔｅｍ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｈｙｄｒｏｌｏｇｙ，２０２１，６０２：１２６５７３．

［１７］ ＧＩＯＲＧＩＮＯ Ｔ．Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｖｉｓｕａｌｉｚｉｎｇ Ｄｙｎａｍｉｃ ＴｉｍｅＷａｒｐｉｎｇ Ａｌｉｇｎｍｅｎｔｓ ｉｎ Ｒ： Ｔｈｅ ＤＴＷ Ｐａｃｋａｇｅ［Ｊ］．Ｊｏｕｒｎａｌｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｆｔｗａｒｅ，２００９，３１（７）：１－２４．

［１８］ 祝禛天，焦繼業(yè)，劉澤?。Z(yǔ)音識(shí)別中動(dòng)態(tài)時(shí)間規(guī)整算法的硬件加速實(shí)現(xiàn)［Ｊ］．電子設(shè)計(jì)工程，２０２２，３０（７）：２１－２５．

［１９］ 楊尊儉，張淑軍．基于ＤＴＷ 和ＣＮＮ 的仿真駕駛手勢(shì)識(shí)別及交互［Ｊ］．重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），２０２１，３５（２）：１４４－１５１．

［２０］ 萬(wàn)書(shū)亭，馬曉棣，陳磊，等．基于振動(dòng)信號(hào)短時(shí)能熵比與ＤＴＷ 的高壓斷路器狀態(tài)評(píng)估及故障診斷［Ｊ］．高電壓技術(shù)，２０２０，４６（１２）：４２４９－４２５７．

【責(zé)任編輯 張華巖】

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（１２０７２１０５）