李登峰，黃細(xì)霞，吳恩潔，阮 慧

（上海海事大學(xué) 航運(yùn)技術(shù)與控制工程交通行業(yè)重點(diǎn)實(shí)驗(yàn)室，上海 201306）

0 引言

由于很多風(fēng)機(jī)建立在山區(qū)或丘陵，維護(hù)起來(lái)較為麻煩，因此對(duì)風(fēng)機(jī)進(jìn)行故障預(yù)測(cè)顯得尤為重要。目前，有關(guān)風(fēng)機(jī)故障預(yù)測(cè)的研究多是基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法，但風(fēng)機(jī)長(zhǎng)時(shí)間處于正常運(yùn)行狀態(tài)，得到的故障數(shù)據(jù)比較少，不平衡的數(shù)據(jù)無(wú)法訓(xùn)練出好的預(yù)測(cè)模型，于是數(shù)據(jù)增強(qiáng)的研究越來(lái)越多。

生成對(duì)抗網(wǎng)絡(luò)（GAN）是基于少量可用數(shù)據(jù)生成新數(shù)據(jù)集[1]。文獻(xiàn)[2]展示了GAN在不同身體疾病醫(yī)學(xué)圖像生成和分類中的應(yīng)用。文獻(xiàn)[3]設(shè)計(jì)了一種基于圖像金字塔網(wǎng)絡(luò)（FPN）的生成對(duì)抗網(wǎng)絡(luò)，以端到端的形式從模糊圖像生成清晰圖像。文獻(xiàn)[4]提出了一種基于生成對(duì)抗網(wǎng)絡(luò)輸出樣本區(qū)分度的方法，以滿足對(duì)風(fēng)機(jī)的不同健康等級(jí)進(jìn)行量化評(píng)估的需求。文獻(xiàn)[5]利用電流信號(hào)并應(yīng)用生成對(duì)抗網(wǎng)絡(luò)獲取合成數(shù)據(jù)，從而抵消數(shù)據(jù)集不平衡的問(wèn)題?？紤]到風(fēng)機(jī)故障演變是一個(gè)時(shí)序的過(guò)程，其數(shù)據(jù)具有自相關(guān)特性，于是有研究將長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）引入到故障預(yù)測(cè)。文獻(xiàn)[6]提出了基于極端梯度提升樹(shù)與LSTM加權(quán)融合的模型，并將其用于進(jìn)行風(fēng)機(jī)定子繞組溫度預(yù)測(cè)。文獻(xiàn)[7]提出了基于LSTM和自編碼器神經(jīng)網(wǎng)絡(luò)的風(fēng)電機(jī)組時(shí)序狀態(tài)監(jiān)測(cè)數(shù)據(jù)評(píng)估方法。文獻(xiàn)[8]利用GAN對(duì)鋰電池?cái)?shù)據(jù)進(jìn)行擴(kuò)充，利用CNN-LSTM建立健康狀態(tài)預(yù)測(cè)模型。文獻(xiàn)[9]提出GAN/LSTM架構(gòu)，根據(jù)云負(fù)荷時(shí)間序列每個(gè)子帶負(fù)載的復(fù)雜和波動(dòng)性，預(yù)測(cè)每個(gè)子帶負(fù)載的時(shí)間序列。

以上介紹中有兩個(gè)問(wèn)題需要考慮，其一是LSTM的研究更多的是從故障本身出發(fā)基于已有數(shù)據(jù)進(jìn)行建模，而在數(shù)據(jù)生成方面基于LSTM的研究還相對(duì)較少；其次，GAN和LSTM的結(jié)合更多的是一種串聯(lián)關(guān)系，即GAN/LSTM的輸出作為L(zhǎng)STM/GAN的輸入。

綜合前人的研究，本文從網(wǎng)絡(luò)結(jié)構(gòu)出發(fā)，在DCGAN網(wǎng)絡(luò)的基礎(chǔ)上，加入處理長(zhǎng)期數(shù)據(jù)有著較好表現(xiàn)的LSTM網(wǎng)絡(luò)，得到改進(jìn)后的L-DCGAN網(wǎng)絡(luò)。依靠CNN和LSTM的特征提取能力，能夠準(zhǔn)確地提取數(shù)據(jù)的分布特征和時(shí)序特征，并交由FC層計(jì)算。以風(fēng)機(jī)實(shí)際運(yùn)行數(shù)據(jù)為例進(jìn)行模型驗(yàn)證，并與DCGAN網(wǎng)絡(luò)使用均方根誤差（RMSE）和平均絕對(duì)誤差（MAE）評(píng)價(jià)指標(biāo)進(jìn)行生成數(shù)據(jù)真實(shí)性的比較，同時(shí)使用結(jié)構(gòu)相似性指數(shù)（SSIM）和峰值信噪比（PSNR）評(píng)價(jià)指標(biāo)進(jìn)行生成數(shù)據(jù)擬合原始數(shù)據(jù)趨勢(shì)的比較。

1 相關(guān)理論

1.1 GAN

GAN是一種生成模型，包括生成器和判別器兩個(gè)模塊。判別器執(zhí)行的是1個(gè)二分類任務(wù)，使用交叉熵?fù)p失函數(shù)進(jìn)行計(jì)算，其目標(biāo)函數(shù)為

式 中：x為 真 實(shí) 數(shù) 據(jù)；z為 噪 聲；G（z）為 來(lái) 自 于 生 成器 的 數(shù) 據(jù)；D（x），D（G）均 為 判 別 器 判 斷 結(jié) 果。

生成器與判別器進(jìn)行對(duì)抗訓(xùn)練，開(kāi)始生成的數(shù)據(jù)無(wú)法騙過(guò)判別器，誤差梯度下降緩慢，生成器的 目 標(biāo) 函 數(shù) 不 再 簡(jiǎn) 單 的 定 義 為J（G）=-J（D），而 是改用神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練生成器。即使判別器能夠準(zhǔn)確地將來(lái)自生成器的數(shù)據(jù)判別為假數(shù)據(jù)，生成器依然可以根據(jù)神經(jīng)網(wǎng)絡(luò)的反向傳播算法繼續(xù)自適應(yīng)更新參數(shù)，直至生成足可以騙過(guò)判別器的數(shù)據(jù)。

結(jié) 合 式（1），（2）可 得 到 生 成 對(duì) 抗 網(wǎng) 絡(luò) 的 目 標(biāo)優(yōu)化函數(shù)。

1.2 LSTM的時(shí)序特征提取

LSTM在傳統(tǒng)RNN結(jié)構(gòu)上引入了“門”的概念，通過(guò)控制門的方式實(shí)現(xiàn)對(duì)相關(guān)信息的長(zhǎng)期記憶，從而達(dá)到提取時(shí)序特征的作用[10]，其結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 LSTM network structure

圖中上方類似于傳送帶的便是細(xì)胞狀態(tài)，保證了信息的不變性，具體結(jié)構(gòu)如下。

①丟 棄 門：讀 取ht-1和xt，輸 出1個(gè)（0，1）之 間的數(shù)值ft給前時(shí)刻細(xì)胞狀態(tài)Ct-1，確認(rèn)舊的細(xì)胞狀態(tài)丟棄多少。

式 中：{Wf，ht-1，bf}為 丟 棄 門 相 關(guān) 網(wǎng) 絡(luò) 參 數(shù)；ft為 決定丟棄的值。

②記憶門：丟棄門確定丟棄的信息后，記憶門需要確定存放在細(xì)胞狀態(tài)中的新信息，將ht-1和xt拼接并乘以記憶門權(quán)重加上偏置，通過(guò)sigmoid函數(shù)輸出（0，1）確認(rèn)當(dāng)前輸入和歷史記憶保存多少，通過(guò)tanh層創(chuàng)造一個(gè)新的細(xì)胞狀態(tài)作為候選值。

式 中：{Wi，ht-1，bi}為 記 憶 門 相 關(guān) 參 數(shù)；it為 決 定 更新的值；為創(chuàng)建的更新向量。

③更新門：更新操作中，舊的狀態(tài)乘以丟棄門的輸出丟棄掉要遺忘的信息；記憶門的輸出乘以構(gòu)造的細(xì)胞狀態(tài)得到要保存的信息；將二者相加更新舊細(xì)胞狀態(tài)為Ct。

式中：Ct為新細(xì)胞狀態(tài)；Ct-1為舊細(xì)胞狀態(tài)。

④輸出門：輸出值由sigmoid和tanh層完成，通過(guò)sigmoid層確認(rèn)輸出的細(xì)胞狀態(tài)，通過(guò)tanh層 輸 出（0，1）的 值，乘 以sigmoid層 的 輸 出，確 認(rèn)輸出的部分。

式 中：{Wo，ht-1，bo}為 輸 出 門 相 關(guān) 網(wǎng) 絡(luò) 參 數(shù)；ht為 最終決定輸出的值。

2 基于L-DCGAN的齒輪箱時(shí)序溫度數(shù)據(jù)生成模型

2.1 數(shù)據(jù)生成模型結(jié)構(gòu)

DCGAN網(wǎng)絡(luò)依靠CNN強(qiáng)大的特征提取能力，保證了生成數(shù)據(jù)的真實(shí)性。本文延續(xù)DCGAN主體網(wǎng)絡(luò)結(jié)構(gòu)，在生成和判別模塊融入LSTM網(wǎng)絡(luò)得到L-DCGAN，具體結(jié)構(gòu)如下。

①構(gòu)建生成模塊

使用CNN層、LSTM層搭配全連接層構(gòu)建生成模塊。其中，CNN層通過(guò)卷積池化操作進(jìn)行特征的選擇與計(jì)算；LSTM將CNN抽取到的特征通過(guò)固定步長(zhǎng)T進(jìn)行拆分，計(jì)算并學(xué)習(xí)得到數(shù)據(jù)的時(shí)序分布特征hz；FC層將學(xué)習(xí)到的特征映射為符合分布的數(shù)據(jù)Xfake；生成模塊的輸入為服從高斯分布的隨機(jī)向量z，具體計(jì)算步驟為

式 中 ：θG1={WG，bG}，θG2={WGi，WGf，WGo，bGi，bGf，bGo}，θG3={WG，bG}分 別 為CNN，LSTM和FC的 網(wǎng) 絡(luò) 參數(shù)；hc1為CNN的輸出；hz為L(zhǎng)STM的輸出。

②構(gòu)建判別模塊

判別模塊的組成與生成模塊相同，其中CNN層對(duì)生成數(shù)據(jù)和原始數(shù)據(jù)分別進(jìn)行特征提取，LSTM對(duì)CNN層抽取的數(shù)據(jù)特征進(jìn)行拆分并計(jì)算得到時(shí)序特征，F(xiàn)C將特征映射為0或1，其中0為假，1為真。具體計(jì)算步驟為

式 中：Xd∈{Xfake，Xtrue}為 判 別 器 輸 入；θD1={WD，bD}，θD1={WDi，WDf，WDo，bDi，bDf，bDo}分 別 為CNN，LSTM的 網(wǎng) 絡(luò) 參 數(shù)；θD2={WD，bD}為FC的 參 數(shù)。

③損失函數(shù)設(shè)計(jì)

網(wǎng)絡(luò)的訓(xùn)練過(guò)程中損失函數(shù)起著反饋調(diào)節(jié)的作用，本模型中判別模塊主要用來(lái)區(qū)分輸入數(shù)據(jù)的真實(shí)性，對(duì)來(lái)自生成器的數(shù)據(jù)判別為0，對(duì)原始數(shù)據(jù)判別為1，于是設(shè)計(jì)成：

式中：Xtrue為判別器對(duì)真實(shí)值的判別值；Xfake為判別器對(duì)生成值的判別值。

生成模塊的主要作用是欺騙判別模塊，期望能夠最小化其生成數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的差距，使得判別器將其生成數(shù)據(jù)判別為1，于是設(shè)計(jì)成：

基于L-DCGAN的生成模型的結(jié)構(gòu)見(jiàn)圖2。

圖2 基于L-DCGAN的生成模型結(jié)構(gòu)圖Fig.2 The structure diagram of the generative model based on L-DCGAN

2.2 數(shù)據(jù)生成模型參數(shù)設(shè)置

整體預(yù)測(cè)模型的參數(shù)設(shè)置主要是針對(duì)CNN和LSTM模塊的設(shè)置，其中LSTM是隱含層層數(shù)和神經(jīng)元個(gè)數(shù)的設(shè)置。表1為CNN-LSTM參數(shù)設(shè)置。通過(guò)實(shí)驗(yàn)，調(diào)整確定隱含層層數(shù)為2，神經(jīng)元個(gè)數(shù)設(shè)置為32，CNN使用兩層卷積和池化，激活函數(shù)采用Relu。

表1 CNN-LSTM參數(shù)設(shè)置Table1 CNN-LSTM parameter settings

2.3 數(shù)據(jù)生成模型訓(xùn)練

模型訓(xùn)練過(guò)程，當(dāng)交叉訓(xùn)練和優(yōu)化達(dá)到納什平衡時(shí)，認(rèn)為生成的數(shù)據(jù)足夠符合時(shí)序分布特征，具體流程如下。

①訓(xùn)練判別模塊

判 別 模 塊 的 輸 入 為Xd∈{Xfake，Xtrue}，分 別 計(jì) 算判別結(jié)果，結(jié)合式 （12）的損失函數(shù)，利用動(dòng)量Adam優(yōu)化算法進(jìn)行判別網(wǎng)絡(luò)參數(shù)的優(yōu)化，得到第s次迭代后優(yōu)化的判別器。

式中：netD（s-1）為第s-1次迭代后的判別器模型；θD1（s-1），θD2（s-1）均 為 第s-1次 迭 代 的 網(wǎng) 絡(luò) 參 數(shù)；Ld（s）為 第s次 迭 代 的 損 失 值。

②訓(xùn)練生成模塊

生 成 模 塊 的 輸 入 為Z（s），經(jīng) 過(guò) 計(jì) 算 得 到Xfake（s），作 為 判 別 器 的 輸 入 得 到dXfake（s），根 據(jù) 式（13）計(jì) 算得到損失值，利用動(dòng)量Adam優(yōu)化算法進(jìn)行生成網(wǎng)絡(luò)參數(shù)的優(yōu)化，得到第s次迭代后優(yōu)化的生成器。

式中：netG（s-1）為第s-1次迭代后的判別器模型；θG1（s-1），θG2（s-1）均 為 第s-1次 迭 代 的 網(wǎng) 絡(luò) 參 數(shù)；LG（s）為 第s次 迭 代 的 損 失 值。

基于L-DCGAN生成模型訓(xùn)練流程見(jiàn)圖3。

圖3 基于L-DCGAN的生成模型訓(xùn)練流程圖Fig.3 Flow chart of generative model training based on L-DCGAN

2.4 數(shù)據(jù)生成模型評(píng)價(jià)指標(biāo)

本文采用評(píng)價(jià)指標(biāo)RMSE，MAE和決定系數(shù)R2對(duì)生成數(shù)據(jù)與原始數(shù)據(jù)之間的真實(shí)性進(jìn)行評(píng)價(jià)。

式中：N為樣本個(gè)數(shù)；yi為生成數(shù)據(jù)；y1i為真實(shí)數(shù)據(jù)；真實(shí)值的平均值。

針對(duì)生成數(shù)據(jù)是否具有隨時(shí)間演變的自相關(guān)特性，采用SSIM和PSNR進(jìn)行評(píng)價(jià)[11]。

SSIM是通過(guò)亮度、對(duì)比度以及結(jié)構(gòu)3個(gè)方面對(duì)相似性進(jìn)行評(píng)估，從而量化圖像的屬性，SSIM的值為0～1，值越大代表圖像越相似。

式 中：μxμy為xy的 均 值；σx，σy均 為xy的 方 差；σxy為x和y的 協(xié) 方 差；c1=（k1L）2，c2=（k2L）2均 為 用 于維穩(wěn)的常數(shù)。

PSNR是衡量最大值信號(hào)和噪聲之間的圖像質(zhì)量參考值。一般來(lái)說(shuō)，若PSNR＞40dB，說(shuō)明圖像幾乎與原圖一樣好；若PSNR為30～40dB，說(shuō)明失真在可接受范圍內(nèi)；若PSNR為20～30dB，說(shuō)明圖像比較差；若PSNR＜20dB，說(shuō)明圖像失真嚴(yán)重。

式中：MAXI為圖片可能的最大像素值。

3 實(shí)例驗(yàn)證

3.1 實(shí)例概述

為了驗(yàn)證所建立模型，選取上海東海大橋海上風(fēng)電場(chǎng)風(fēng)機(jī)SCADA系統(tǒng)采集的齒輪箱數(shù)據(jù)集（20200601-20210630），本文選擇15號(hào) 風(fēng)機(jī)20200801-20210201的19000組數(shù)據(jù)作為訓(xùn)練集，選取20201001-20201031的8000組數(shù)據(jù)作為測(cè)試集，每組數(shù)據(jù)包含油溫、電機(jī)溫度和軸承溫度3類典型特征。

3.2 模型訓(xùn)練與測(cè)試結(jié)果

由于數(shù)據(jù)是真實(shí)風(fēng)電場(chǎng)數(shù)據(jù)，可能存在錯(cuò)誤信息，因此，首先進(jìn)行數(shù)據(jù)預(yù)處理，之后采用Zscore對(duì)數(shù)據(jù)進(jìn)行歸一化，將預(yù)處理后的數(shù)據(jù)作為真實(shí)樣本傳入所建模型，采用動(dòng)量Adam算法進(jìn)行網(wǎng)絡(luò)優(yōu)化更新，設(shè)置Adam學(xué)習(xí)率為0.001，η=0.1，β1=0.9，β2=0.999。

模型訓(xùn)練后，輸入測(cè)試樣本，對(duì)油溫、電機(jī)溫度、軸承溫度3個(gè)變量進(jìn)行分析。圖4為油溫、電機(jī)溫度、軸承溫度生成數(shù)據(jù)與原始數(shù)據(jù)對(duì)比曲線。

圖4 油溫、電機(jī)溫度、軸承溫度生成數(shù)據(jù)與原始數(shù)據(jù)對(duì)比圖Fig.4 Comparison chart of oil temperature，motor temperature，bearing temperature generated data and original data

由圖4可知，變量的生成數(shù)據(jù)和原始數(shù)據(jù)的差別不大且趨勢(shì)接近。計(jì)算評(píng)價(jià)指標(biāo)（表2，3）進(jìn)一步驗(yàn)證了生成數(shù)據(jù)與原始數(shù)據(jù)之間的差異較小，同時(shí)R2超過(guò)0.95，可以認(rèn)為二者相似度已達(dá)到較高程度；生成數(shù)據(jù)與原始數(shù)據(jù)構(gòu)造的特征圖之間的SSIM達(dá)到98%，同時(shí)PSNR接近40，在誤差允許的范圍內(nèi)認(rèn)為二者的時(shí)序趨勢(shì)有著較高的相似度。

表2 數(shù)據(jù)生成模型評(píng)價(jià)指標(biāo)結(jié)果一Table2 Data generation model evaluation index result one

表3 數(shù)據(jù)生成模型評(píng)價(jià)指標(biāo)結(jié)果二Table3 Data generation model evaluation index result two

3.3 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文所提模型的有效性，與DCGAN模型進(jìn)行對(duì)比實(shí)驗(yàn)，分別采取60，90d和120d的溫度數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試，相關(guān)評(píng)價(jià)指標(biāo)的計(jì)算結(jié)果如表4，5所示。

由表4，5可知：當(dāng)訓(xùn)練樣本為60d和90d時(shí)，由于網(wǎng)絡(luò)結(jié)構(gòu)較為相似，雖然L-DCGAN模型的評(píng)價(jià)指標(biāo)值中RMSE和MAE的值更小，R2更接近與1，卻并未拉開(kāi)大的差距，由于LSTM的引入，SSIM和PSNR兩項(xiàng)指標(biāo)遠(yuǎn)好過(guò)DCGAN模型，表明所生成數(shù)據(jù)更加接近原數(shù)據(jù)的分布趨勢(shì)；當(dāng)訓(xùn)練樣本進(jìn)一步加大到120d時(shí)，在電機(jī)溫度部分，由于數(shù)據(jù)量的增加，獨(dú)立同分布數(shù)據(jù)的占比相對(duì)有所提高，此時(shí)，DCGAN生成模型相關(guān)指標(biāo)的值要略優(yōu)于L-DCGAN，但是，結(jié)合60d和90d的結(jié)果綜合來(lái)看，想要達(dá)到較高指標(biāo)值，L-DCGAN只需更少的數(shù)據(jù)量。

表4 不同數(shù)據(jù)生成模型評(píng)價(jià)指標(biāo)對(duì)比結(jié)果一Table4 Comparison results of evaluation indicators of different data generation models result one

表5 不同數(shù)據(jù)生成模型評(píng)價(jià)指標(biāo)對(duì)比結(jié)果二Table5 Comparison results of evaluation indicators of different data generation models result two

綜上所述，在生成數(shù)據(jù)的真實(shí)性方面，兩個(gè)模型皆有較好的表現(xiàn)，L-DCGAN略勝一籌，但是在數(shù)據(jù)分布趨勢(shì)上，本文所提模型的精確度更高。

4 結(jié)論

針對(duì)傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)無(wú)法很好地生成隨時(shí)間演變具有時(shí)序相關(guān)特性數(shù)據(jù)的問(wèn)題，本文提出了融合LSTM網(wǎng)絡(luò)的新生成對(duì)抗網(wǎng)絡(luò)LDCGAN，通過(guò)LSTM學(xué)習(xí)得到時(shí)序數(shù)據(jù)的分布特征，從而生成時(shí)序數(shù)據(jù)。

①本文基于CNN結(jié)構(gòu)融入LSTM網(wǎng)絡(luò)，創(chuàng)建了基于CNN-LSTM-FC3層結(jié)構(gòu)的生成和判別網(wǎng)絡(luò)模型，通過(guò)LSTM對(duì)時(shí)序相關(guān)性的挖掘，以及FC的映射計(jì)算，保證了生成數(shù)據(jù)的準(zhǔn)確性。

②與DCGAN模型相比，本文所提模型在保證數(shù)據(jù)準(zhǔn)確性的前提下，進(jìn)一步擬合了數(shù)據(jù)的時(shí)序分布。