楊欽榕，陳萬培，高 紳，張 濤,韓 恒

(揚州大學(xué) 信息工程學(xué)院，江蘇 揚州 225009)

0 引言

現(xiàn)如今，物聯(lián)網(wǎng)在線監(jiān)測技術(shù)[1]在高壓輸電線路中的應(yīng)用愈發(fā)廣泛，線路的溫度等參數(shù)在終端即可顯現(xiàn)，告別了傳統(tǒng)的人力巡線，給輸電線路的運維管理帶來了諸多的便利。隨著應(yīng)用的愈發(fā)深入，傳感器掉線、數(shù)據(jù)異常等問題接踵而至，如何對運行線路進行溫度預(yù)測、保證測溫系統(tǒng)的平穩(wěn)運行便成為了亟待解決的問題。測溫系統(tǒng)在監(jiān)測過程中會得到許多關(guān)聯(lián)的數(shù)據(jù)，現(xiàn)階段對這些數(shù)據(jù)主要應(yīng)用就是查看與查詢，沒有做到對數(shù)據(jù)的多方面應(yīng)用。如何利用好這些海量數(shù)據(jù)，通過對數(shù)據(jù)進行分析與研判，對系統(tǒng)運行過程中出現(xiàn)的故障進行診斷，已成為當下研究的熱點。

現(xiàn)階段，溫度預(yù)測的方法大概可分為傳統(tǒng)的手動分析數(shù)據(jù)并提取特征的方法和人工智能網(wǎng)絡(luò)模型預(yù)測法。文獻[2]在介紹變電站測溫系統(tǒng)的基礎(chǔ)上構(gòu)建系統(tǒng)模型，從紅外理論角度出發(fā)，得到時間上存在關(guān)系的數(shù)據(jù)，針對不同的影響因素提出相應(yīng)改進措施。文獻[3]中，羅會蘭等學(xué)者對當前較流行的神經(jīng)網(wǎng)絡(luò)識別行為方法進行了整體的概括，著重介紹了傳統(tǒng)的手動提取行為特征的方法，并對手動提取特征的步驟及優(yōu)缺點進行了論述。王祥民等研究人員提出了一種動態(tài)主元分析與超限學(xué)習(xí)機相結(jié)合的方法來預(yù)測分解爐出口處的溫度。通過提取主元實現(xiàn)降維，并將其作為超限學(xué)習(xí)機的輸入，調(diào)整超限學(xué)習(xí)機的參數(shù)，搭建溫度預(yù)測模型[4]。

然而隨著應(yīng)用場景的多元化、監(jiān)測系統(tǒng)的復(fù)雜化，很難建立一個數(shù)學(xué)模型應(yīng)用到特定的場景中，因此傳統(tǒng)的特征提取方法不再是建立溫度預(yù)測模型的首選。在面對復(fù)雜場景下的溫度預(yù)測時，日趨火爆的以大數(shù)據(jù)為基礎(chǔ)的人工智能優(yōu)化方法逐漸受到研究者的青睞。

Shang等研究人員在文獻[5]中聚焦電極間間隙不均勻的電解加工問題，分析工件、電解液和陰極等參數(shù)對加工精度影響后，提出構(gòu)造BP神經(jīng)網(wǎng)絡(luò)，采用Levenberg Marquadt (LM)算法對該網(wǎng)絡(luò)進行訓(xùn)練。實驗表明，BP神經(jīng)網(wǎng)絡(luò)可實現(xiàn)對陽極精度的精準預(yù)測。

然而，BP神經(jīng)網(wǎng)絡(luò)對網(wǎng)絡(luò)初始權(quán)重較為敏感，不同初始權(quán)重會導(dǎo)致收斂于不同的網(wǎng)絡(luò)極小，在每次訓(xùn)練時出現(xiàn)不同的結(jié)果。同時BP神經(jīng)網(wǎng)絡(luò)具有收斂速度慢、訓(xùn)練數(shù)據(jù)能力和網(wǎng)絡(luò)預(yù)測能力矛盾等缺點，在輸電線路溫度的預(yù)測方面不是最優(yōu)選擇。

文獻[6]提出了利用循環(huán)神經(jīng)網(wǎng)絡(luò)檢測網(wǎng)絡(luò)入侵的方法，將有門控單元的循環(huán)網(wǎng)絡(luò)與多層感知器結(jié)合起來，自動篩選有效特征。實驗表明,提出的系統(tǒng)使用雙向門控循環(huán)單元和多層感知器時,總體檢測率最高達到了99.42%和99.24%,誤報率分別低至0.05%和0.84%,與同類研究相比有更優(yōu)的性能。而自從長短期記憶神經(jīng)網(wǎng)絡(luò)[7](Long Short-Term Memory，LSTM)的邏輯門結(jié)構(gòu)獲得認可以來，陸續(xù)出現(xiàn)了多種LSTM的變體，如有窺視孔連接的LSTM[8]、門遞歸單元(GRU)[9]等。LSTM神經(jīng)網(wǎng)絡(luò)是處理時間序列數(shù)據(jù)的一種方法,通過學(xué)習(xí)歷史數(shù)據(jù),可以找出數(shù)據(jù)之間的關(guān)系以及發(fā)現(xiàn)其中的內(nèi)在規(guī)律。

本文將對高壓輸電線路的數(shù)據(jù)傳輸頻帶進行統(tǒng)一，采用融合后的頻帶進行傳輸，收集運行線路上的溫度數(shù)據(jù)，并構(gòu)建RNN-LSTM網(wǎng)絡(luò)提取數(shù)據(jù)特征并做出溫度預(yù)測。實驗數(shù)據(jù)表明，這種預(yù)測方法準確率高，可為系統(tǒng)后臺管理提供可靠的依據(jù)。

1 寬窄帶融合

由第三地合伙人計劃(The 3rd Generation Partnership Project，3GPP)組織制定的通用移動通信系統(tǒng)技術(shù)標準的長期演進的LTE[10](Long Time Evolution)，在數(shù)據(jù)傳輸速度、單次數(shù)據(jù)傳輸量等方面有著顯著的優(yōu)勢，已成為寬帶通信網(wǎng)絡(luò)的技術(shù)標準。而窄帶網(wǎng)絡(luò)的當前技術(shù)標準則是數(shù)字移動通信系統(tǒng)[11](Digital Mobile Radio,DMR)，此種通信網(wǎng)絡(luò)單次傳輸數(shù)據(jù)量較小，但資源浪費率較低。LTE與DMR在單次數(shù)據(jù)傳輸量、數(shù)據(jù)傳輸速度等方面存在較大差異，可能出現(xiàn)延時、帶寬浪費等問題。

寬帶的通用標準LTE堆棧層面由下到上依次分為物理層(PHY)、數(shù)據(jù)鏈路層(DLL)和網(wǎng)絡(luò)層，其中數(shù)據(jù)鏈路層又可以細分為媒體訪問層(MAC)、數(shù)據(jù)鏈路層(RLL)和分組數(shù)據(jù)匯聚協(xié)議層(PDCP)。而窄帶的通用標準DMR，設(shè)有呼叫控制層(CCL)、DLL和PHY。窄帶與寬帶相比，層次更少，空口技術(shù)[12]差別明顯，物理層對應(yīng)的加密方式、調(diào)制方式以及鏈路層對應(yīng)的幀長等數(shù)據(jù)形式都存在明顯不同。結(jié)構(gòu)上的不同導(dǎo)致寬帶與窄帶有很多關(guān)鍵技術(shù)上的差別。具體差別如表1所示。

表1 LTE與DMR的關(guān)鍵技術(shù)對比

為此，可在鏈路層和物理層之間加入通用數(shù)據(jù)管理層(General Data Management，GDM)，所有數(shù)據(jù)匯集到這一層，再由通用數(shù)據(jù)管理層對數(shù)據(jù)進行統(tǒng)一的分配，使傳輸數(shù)據(jù)量與融合后的帶寬恰好匹配。融合后的架構(gòu)圖如圖1所示。

圖1中，來自不同傳感器的數(shù)據(jù)先匯集到GDM，由GDM根據(jù)帶寬大小，將一定量的數(shù)據(jù)平均分配到每個子網(wǎng)絡(luò)中進行傳輸。融合后的傳輸速率表示如下：

(1)

(2)

式中，j為接入技術(shù)(窄帶或?qū)拵?；i為業(yè)務(wù)；Sij為信道轉(zhuǎn)移函數(shù)；Nij為噪聲功率譜密度；bij為采用接入技術(shù)j所得的帶寬大小；Pij為采用接入技術(shù)j處理業(yè)務(wù)i的發(fā)射功率；βj為系統(tǒng)效率[13]；Ri為香農(nóng)容量。

圖1 寬窄帶融合架構(gòu)Fig.1 Diagram of wide and narrow band fusion architecture

2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一種基于序列數(shù)據(jù)的遞歸神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)包含的循環(huán)結(jié)構(gòu)，可以將上一時刻的數(shù)據(jù)傳遞至下一時刻，并作用于下一時刻。在傳統(tǒng)RNN中，數(shù)據(jù)往往由頂層傳輸至底層，層與層之間的神經(jīng)元以全連接的方式相連。典型RNN的結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)一樣，由輸入層、隱含層和輸出層組成[14]。而與傳統(tǒng)RNN不同的是，典型RNN的隱藏層的輸出與上一隱藏層的輸出有關(guān)，即將先前時刻的信息與當前時刻的任務(wù)聯(lián)系到一起，大大提高了數(shù)據(jù)特征的學(xué)習(xí)能力。典型RNN結(jié)構(gòu)如圖2所示。

在圖2中，A代表循環(huán)體。激活函數(shù)tanh的導(dǎo)數(shù)在(0，1]上，與Relu及Sigmoid等其他激活函數(shù)比，不容易產(chǎn)生梯度消失，因此在構(gòu)造RNN時，一般選用tanh作為激活函數(shù)。

圖2 RNN結(jié)構(gòu)Fig.2 Structure of RNN

3 長短期記憶神經(jīng)網(wǎng)絡(luò)

長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short TimeMemory,LSTM)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，較一般的循環(huán)神經(jīng)網(wǎng)絡(luò)比，LSTM有效地解決了循環(huán)神經(jīng)網(wǎng)絡(luò)存在的長期依賴問題。LSTM通過引入自循環(huán)的設(shè)計來產(chǎn)生梯度長路徑[15]，每迭代一次，自循環(huán)的權(quán)重也隨之改變，通過加入3個門：遺忘門、輸入門及輸出門，這種獨特的結(jié)構(gòu)使得誤差在傳播過程中無需逐層歸因，部分誤差可直接傳遞給下一層網(wǎng)絡(luò)，可有效地解決梯度消失這一問題。其基本網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3 LSTM結(jié)構(gòu)Fig.3 Structure of LSTM

4 新構(gòu)造網(wǎng)絡(luò)

通過對RNN網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的分析，本文提出了一種用于高壓輸電線路溫度預(yù)測的RNN-LSTM網(wǎng)絡(luò)。與單獨RNN網(wǎng)絡(luò)一樣，RNN-LSTM網(wǎng)絡(luò)同樣選擇tanh作為激活函數(shù)，確保不產(chǎn)生梯度消失。RNN網(wǎng)絡(luò)提取到數(shù)據(jù)特征后，在隱含層有時序性地訓(xùn)練一定的次數(shù)，t時刻的輸出作為t+1時刻的輸入，再將RNN網(wǎng)絡(luò)的輸出作為LSTM網(wǎng)絡(luò)的輸入。在LSTM網(wǎng)絡(luò)中，通過在三大門限單元中設(shè)置不同的權(quán)重和偏置，在遺忘門和輸入門分別對數(shù)據(jù)進行篩選和更新的處理后，最后通過輸出門輸出。RNN-LSTM結(jié)構(gòu)如圖4所示。

圖4 RNN-LSTM結(jié)構(gòu)Fig.4 Structure of RNN-LSTM

本文中，RNN及LSTM網(wǎng)絡(luò)的相關(guān)參數(shù)設(shè)置如表2所示。

表2 RNN和LSTM網(wǎng)絡(luò)的參數(shù)設(shè)置

RNN-LSTM混合網(wǎng)絡(luò)模型的算法顯示如下：

輸入：訓(xùn)練集[Xtrain，Ytrain]，測試集Xtest

步驟：

1.將訓(xùn)練集中的數(shù)據(jù)平均劃分為5組；

2.提取每組數(shù)據(jù)中的RNN特征[Xitrain,Yitrain]；

3.提取每組數(shù)據(jù)中的LSTM特征[Xitrain,Yitrain]；

4.根據(jù)訓(xùn)練數(shù)據(jù)，計算下一時刻的溫度值來測試[Xitest,Yitest]；

結(jié)束

返回數(shù)據(jù)

輸出：經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后的溫度值

5 數(shù)據(jù)分析

在終端收集寬窄帶融合后傳輸來的數(shù)據(jù)，將數(shù)據(jù)按照線路號碼歸類，保留來自5條不同線路上100天的溫度值，每條線路共14 400個數(shù)據(jù)。各組數(shù)據(jù)的訓(xùn)練集和測試集大小如表3所示。

表3 各條線路的訓(xùn)練集與測試集數(shù)據(jù)量

以3#線路為例，將數(shù)據(jù)導(dǎo)入Python軟件，對數(shù)據(jù)進行特征提取，并對線路溫度做出預(yù)測，得出如圖5所示的結(jié)果。

圖5 3#線路溫度走勢預(yù)測Fig.5 No.3 line temperature trend prediction chart

通過構(gòu)造出的RNN-LSTM網(wǎng)絡(luò)對5條線路的數(shù)據(jù)分別訓(xùn)練50次，運用均方誤差和平均絕對誤差來衡量所構(gòu)造網(wǎng)絡(luò)預(yù)測的準確率。RNN-LSTM網(wǎng)絡(luò)的預(yù)測結(jié)果如表4所示。

表4 RNN-LSTM網(wǎng)絡(luò)預(yù)測準確率評估

本文基于RNN和LSTM網(wǎng)絡(luò)，構(gòu)造了新的RNN-LSTM網(wǎng)絡(luò)，在此總結(jié)了RNN、LSTM和RNN-LSTM網(wǎng)絡(luò)分別應(yīng)用于數(shù)據(jù)集時的數(shù)據(jù)預(yù)測結(jié)果。實驗結(jié)果表明，運用RNN-LSTM網(wǎng)絡(luò)對輸電線路溫度進行預(yù)測的準確性最高，同時訓(xùn)練時間較短。具體數(shù)據(jù)如表5所示。

表5 網(wǎng)絡(luò)預(yù)測準確率和訓(xùn)練時間

6 結(jié)束語

通過對RNN網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的分析，提出了構(gòu)造RNN-LSTM網(wǎng)絡(luò)來進行溫度預(yù)測的方法。該網(wǎng)絡(luò)與RNN網(wǎng)絡(luò)相比，預(yù)測準確率提高了近3%，比LSTM網(wǎng)絡(luò)的預(yù)測準確率高約5.5%，為提前了解高壓輸電線路上的溫度狀況提供了更可靠的依據(jù)。但該網(wǎng)絡(luò)在提高預(yù)測準確率的同時，訓(xùn)練時間也隨之有所增加，構(gòu)建提高預(yù)測準確率也能降低訓(xùn)練時間的網(wǎng)絡(luò)，有待后續(xù)進一步研究。