張典范，栗子豪，程淑紅

(1.燕山大學(xué) 車(chē)輛與能源學(xué)院，河北 秦皇島 066004；2.燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004)

1 引 言

近年來(lái)，汽車(chē)輕量化的發(fā)展帶動(dòng)了低壓鑄造行業(yè)，低壓鑄造工藝中鑄件液固成型溫度場(chǎng)控制和利用計(jì)算機(jī)軟件模擬分析模具關(guān)鍵部位的溫度曲線是其核心[1，2]。模具溫度在鑄件成型過(guò)程中起著關(guān)鍵作用，以鑄造生產(chǎn)中模具溫度建立模型[3]，精準(zhǔn)預(yù)測(cè)模溫，可優(yōu)化溫度控制系統(tǒng)，提高鑄件質(zhì)量[4]，并可為鑄造成型模溫自動(dòng)控制提供保障。

隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，傳統(tǒng)的大數(shù)據(jù)預(yù)測(cè)方法幾乎均采用了BP神經(jīng)網(wǎng)絡(luò)[5～7]，其對(duì)模具溫度預(yù)測(cè)模型的應(yīng)用也較為廣泛[8]，然而，BP模型更適合小規(guī)模的樣本數(shù)據(jù)，難以尋找大規(guī)模數(shù)據(jù)中變量的變化規(guī)律，從而導(dǎo)致大規(guī)模數(shù)據(jù)預(yù)測(cè)準(zhǔn)確度低。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long and short term memory network，LSTM)具有獨(dú)特的記憶性能特點(diǎn)[9]，該模型在語(yǔ)義分割[10，11]、目標(biāo)識(shí)別[12]、機(jī)器翻譯[13]等領(lǐng)域應(yīng)用前景廣泛。

模具溫度是低壓鑄造生產(chǎn)中影響鑄件質(zhì)量的一個(gè)重要指標(biāo)，針對(duì)BP神經(jīng)網(wǎng)絡(luò)對(duì)模具溫度預(yù)測(cè)準(zhǔn)確度低的問(wèn)題，本文結(jié)合鑄造工藝生產(chǎn)方式和灰度關(guān)聯(lián)分析方法(grey relation analysis，GRA)[14，15]，分析出影響模具溫度關(guān)聯(lián)度高的變量，建立了低壓鑄造模溫預(yù)測(cè)的影響因子變量集合，采用煙花算法(fireworks algorithm，F(xiàn)WA)[16]優(yōu)化LSTM模型的超參數(shù)，將建立的FWA-LSTM模型應(yīng)用于模具溫度預(yù)測(cè)建模中，并進(jìn)行了仿真實(shí)驗(yàn)。

2 模具溫度的影響因子變量選取

低壓鑄造中模具溫度主要取決于合金液液固成型和冷卻系統(tǒng)的冷卻狀況。在低壓鑄造鑄件成型過(guò)程中，合金液進(jìn)入模具型腔前，經(jīng)過(guò)在保溫爐中靜置，并在壓力的作用下，使合金液由下而上勻速壓入鑄件模具型腔中進(jìn)行澆注，澆注完成后，通過(guò)冷卻系統(tǒng)將模具中的熱量傳走，從而使合金液凝固形成鑄件。初步確定模具溫度的影響因子變量集合為：冷卻水流量、冷卻水溫度、冷卻時(shí)間、冷卻管道與模具之間距離、冷卻管道個(gè)數(shù)、合金液壓力、擠壓速度。采用GRA對(duì)影響模溫因素的數(shù)據(jù)進(jìn)行灰關(guān)聯(lián)計(jì)算，達(dá)到降維的目的；將獲得新的模溫影響因子數(shù)據(jù)集作為預(yù)測(cè)模型的輸入變量集合。

初始影響因子變量集合：

(1)

模具溫度集合：

Y={Yj|j=1,2,…,M}

(2)

式中：X是初始變量集合；Y是模具溫度集合；M是一組影響因素變量的數(shù)據(jù)量；N是初始變量的維度。

灰色關(guān)聯(lián)系數(shù)為：

(3)

式中：ρ為分辨系數(shù)，0<ρ<1，如果ρ越大，則相關(guān)系數(shù)之間的差越小，辨別能力越強(qiáng)，通常ρ取0.5。

對(duì)各個(gè)影響因素分別計(jì)算其關(guān)聯(lián)系數(shù)的均值，來(lái)反映各個(gè)影響因素與模具溫度的關(guān)聯(lián)關(guān)系，計(jì)算表達(dá)式為：

(4)

式中ξ代表灰色關(guān)聯(lián)系數(shù)。

低壓鑄造模溫的影響因子變量集合與模溫關(guān)聯(lián)度值見(jiàn)表1。

表1 低壓鑄造模溫相關(guān)影響因子變量灰關(guān)聯(lián)度

設(shè)定灰關(guān)聯(lián)閾值為0.85，根據(jù)表1可獲得模具溫度預(yù)測(cè)模型的輸入集合數(shù)據(jù)為：冷卻水溫度、冷卻時(shí)間、合金液壓力和擠壓速度。預(yù)測(cè)輸出變量為：模具溫度。

3 基于FWA-LSTM預(yù)測(cè)模型

由于遞歸神經(jīng)網(wǎng)絡(luò)可以在傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，增加隱藏層中神經(jīng)元之間的水平聯(lián)系，所以遞歸神經(jīng)網(wǎng)絡(luò)的最重要特征是下一個(gè)時(shí)間序列的神經(jīng)元可以獲取前一個(gè)時(shí)間序列的神經(jīng)元。因此，整個(gè)網(wǎng)絡(luò)具有記憶功能，遞歸神經(jīng)網(wǎng)絡(luò)可以在模溫影響因子數(shù)據(jù)集上學(xué)習(xí)時(shí)間序列的特征。然而，隨著模溫影響因子數(shù)據(jù)集的個(gè)數(shù)增加，遞歸神經(jīng)網(wǎng)絡(luò)易于發(fā)生梯度爆炸。針對(duì)這種現(xiàn)象采用LSTM模具溫度預(yù)測(cè)模型，利用其特有的輸入門(mén)、遺忘門(mén)、候選門(mén)和輸出門(mén)結(jié)構(gòu)的相互作用，提出FWA優(yōu)化LSTM的超參數(shù)，來(lái)提高預(yù)測(cè)精度。

3.1 LSTM結(jié)構(gòu)及算法

LSTM的內(nèi)部結(jié)構(gòu)中，重復(fù)的模塊比單一的神經(jīng)網(wǎng)絡(luò)層復(fù)雜的多。如圖1所示，每個(gè)神經(jīng)元(圖1中由3個(gè)神經(jīng)元組成)中內(nèi)部有4個(gè)以一種獨(dú)特的方式進(jìn)行連接，圖中箭頭的方向表示信息傳遞的方向，標(biāo)號(hào)A表示神經(jīng)元A，h(t-1)表示上一個(gè)神經(jīng)元的輸出，x(t)表示當(dāng)前神經(jīng)元的輸出。圖中正中間內(nèi)部結(jié)構(gòu)里的圓圈表示向量的邏輯門(mén)運(yùn)算，矩陣形狀表示學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)層(由雙曲正切函數(shù)tanh和σ表示函數(shù)Sigmoid組成)；LSTM關(guān)鍵在于神經(jīng)元之間的主信息交互，主信息交互(穿過(guò)神經(jīng)元的水平線)類(lèi)似于傳送帶，主信息在每個(gè)神經(jīng)元內(nèi)部通過(guò)邏輯門(mén)運(yùn)算進(jìn)行處理，如此重復(fù)形成了循環(huán)結(jié)構(gòu)。

圖1 LSTM的內(nèi)部結(jié)構(gòu)

信息在進(jìn)入每個(gè)LSTM神經(jīng)元內(nèi)部后，第一步是通過(guò)遺忘門(mén)來(lái)控制是否遺忘上一次神經(jīng)元的狀態(tài)，通過(guò)激活函數(shù)Sigmoid，得到輸出f(t)，計(jì)算表達(dá)式為：

f(t)=σ(Wf×h(t-1)+Uf×x(t)+bf)

(5)

式中：Wf，Uf，bf為線性關(guān)系的系數(shù)和偏倚；σ為Sigmoid激活函數(shù)。

第二步控制哪些信息通過(guò)輸入門(mén)。輸入門(mén)由兩部分組成，該層的第一部分Sigmiod層控制更新哪些信息；第二部分為雙曲正切函數(shù)tanh層候選更新生產(chǎn)的向量。見(jiàn)式(6)和式(7)：

i(t)=σ(Wi×h(t-1)+Ui×x(t)+bi)

(6)

a(t)=tanh(Wa×h(t-1)+Ua×x(t)+ba)

(7)

式中：Wi,Wa,Ui,Ua,bi,ba為線性關(guān)系的系數(shù)和偏倚。

結(jié)合遺忘門(mén)和輸入門(mén)所得結(jié)果作用到隱藏神經(jīng)元狀態(tài)C(t)，數(shù)學(xué)表達(dá)式為：

C(t)=C(t-1)⊙f(t)+i(t)⊙a(bǔ)(t)

(8)

式中⊙為Hadamard積。

第三步控制是否通過(guò)輸出門(mén)輸出隱藏狀態(tài)h(t)。該輸出門(mén)也由兩部分組成，第一部分是前一個(gè)序列的隱藏狀態(tài)h(t-1)以及本序列數(shù)據(jù)x(t)和激活函數(shù)Sigmoid；第二部分由隱藏狀態(tài)C(t)和雙曲正切函數(shù)tanh。見(jiàn)式(9)和式(10)：

o(t)=σ(Wo×h(t-1)+Uo×x(t)+bo)

(9)

H(t)=o(t)⊙tanhC(t)

(10)

式中：Wo，Uo，bo為線性關(guān)系的系數(shù)和偏倚。

通過(guò)上述步驟，LSTM進(jìn)行前向傳播算法，不斷迭代更新遺忘門(mén)輸出，輸入門(mén)輸出和輸出門(mén)輸出。

3.2 煙花算法建立

針對(duì)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)誤差梯度下降算法全局尋優(yōu)能力差，尋優(yōu)準(zhǔn)確度低等問(wèn)題，提出采用煙花算法(FWA)對(duì)LSTM的參數(shù)進(jìn)行優(yōu)化。采用煙花爆炸的搜索機(jī)理發(fā)現(xiàn)更優(yōu)解，提升算法的全局尋優(yōu)能力，增加了搜索的準(zhǔn)確度。在FWA算法中[17]，假設(shè)有n個(gè)參數(shù)組合，其中Xi=x1,x2,…,xd是解空間中的1個(gè)解，根據(jù)適應(yīng)度函數(shù)f(Xi)計(jì)算每個(gè)煙花的適應(yīng)度值，計(jì)算適應(yīng)度值獲得的火花個(gè)數(shù)Si為：

(11)

ymax=max(f(Xi))，i=1,2,…,n

(12)

式中：m是控制n個(gè)煙花產(chǎn)生火花總數(shù)的參數(shù)；ξ是接近0的小數(shù)；f(Xi)代表適應(yīng)度函數(shù)。

為了避免絢麗煙花的影響，定義參數(shù)組火花的數(shù)量Si，如式：

(13)

式中：a，b是常量。

與設(shè)計(jì)的火花數(shù)相比，良好的煙花爆炸產(chǎn)生的火花數(shù)也接近爆炸中心，良好的煙花爆炸能量低于不良的煙花爆炸能量。爆炸位移范圍定義幅度Ai：

(14)

ymin=min(f(Xi))，i=1,2,…,n

(15)

式中A是預(yù)設(shè)的最大振幅。

根據(jù)爆炸效果，在煙花算法中，應(yīng)使用更多的火花來(lái)搜索煙火周?chē)木植繀^(qū)域，并且爆炸效果不良的煙火的最佳位置可能遠(yuǎn)離煙火的位置，從而使搜索半徑變大；爆炸效果好的煙花比爆炸效果差的煙花產(chǎn)生更多的火花，爆炸幅度小。圖2為2種不同的煙花爆炸效果。

圖2 煙花算法爆炸效果

Xi被選擇進(jìn)行下一次迭代的概率為：

(16)

式中R(Xi)代表當(dāng)前個(gè)體到集合M的距離。

3.3 FWA優(yōu)化LSTM參數(shù)

LSTM的參數(shù)和結(jié)構(gòu)選取直接影響模型的預(yù)測(cè)精度，采用FWA優(yōu)化LSTM預(yù)測(cè)模型參數(shù)比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度快，并且避免模型參數(shù)選取的不科學(xué)性，對(duì)模型結(jié)構(gòu)參數(shù)的優(yōu)化能更好地提高預(yù)測(cè)精度。根據(jù)FWA優(yōu)化LSTM模型的3個(gè)參數(shù)，分別為時(shí)間窗口大小，批處理大小和隱藏層單元的個(gè)數(shù)。以模具溫度預(yù)測(cè)模型當(dāng)中訓(xùn)練數(shù)據(jù)集的平均絕對(duì)“%”誤差作為FWA中的適應(yīng)度函數(shù)，其表達(dá)式為：

(17)

原始數(shù)據(jù)經(jīng)過(guò)GRA處理后作為模溫訓(xùn)練模型的輸入數(shù)據(jù)進(jìn)行訓(xùn)練，圖3為FWA-LSTM和LSTM算法的模溫偏差值隨迭代次數(shù)變化的曲線，損失函數(shù)均選擇平法差損失函數(shù)。由圖中可以看出：LSTM收斂速度慢，模溫預(yù)測(cè)精度較低；采用FWA優(yōu)化LSTM算法收斂速度更快，模溫預(yù)測(cè)誤差較小。從而證明了FWA全局尋優(yōu)能力強(qiáng)。

FWA-LSTM模溫預(yù)測(cè)模型的流程為：

1)將低壓鑄造生產(chǎn)線上的數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)。

圖3 對(duì)比FWA-LSTM與LSTM迭代誤差圖

2)初始化FWA的參數(shù)，初始煙花數(shù)量n，煙花種群大小M,預(yù)設(shè)的最大振幅A，常量a，b。

3)將FWA-LSTM模型的3個(gè)參數(shù)，時(shí)間窗口大小范圍[1,15]，批處理大小范圍[1,50]和隱藏層單元的個(gè)數(shù)范圍[10,20]作為優(yōu)化對(duì)象。

4)通過(guò)爆炸算子生產(chǎn)火花，計(jì)算煙花的適應(yīng)度值，并進(jìn)行訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。

5)根據(jù)煙花適應(yīng)度值和煙花爆炸的效果，判斷煙花群體是否進(jìn)行迭代更新。

6)判斷滿(mǎn)足終止條件，若滿(mǎn)足終止條件則輸出最優(yōu)參數(shù)值，否則返回第3步。

7)利用最優(yōu)參數(shù)構(gòu)建FWA-LSTM模具溫度模型。

4 實(shí)驗(yàn)研究

從某低壓鑄造生產(chǎn)線數(shù)據(jù)采集存儲(chǔ)系統(tǒng)中獲取樣本數(shù)據(jù)600組，結(jié)合生成工藝，順序選取560組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，下一段時(shí)刻剩下的40組數(shù)據(jù)進(jìn)行預(yù)測(cè)數(shù)據(jù)。部分原始數(shù)據(jù)見(jiàn)表2。

表2 部分原始數(shù)據(jù)

為了充分驗(yàn)證原始數(shù)據(jù)經(jīng)過(guò)GRA處理是否會(huì)降低網(wǎng)絡(luò)的預(yù)測(cè)能力和FWA-LSTM模溫預(yù)測(cè)算法的有效性，分別將原始數(shù)據(jù)經(jīng)過(guò)GRA處理和未經(jīng)過(guò)GRA處理后的數(shù)據(jù)作為模溫預(yù)測(cè)模型的輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)。采用BP神經(jīng)算法、LSTM算法和FWA-LSTM算法進(jìn)行比較，煙花算法中，初始煙花數(shù)量n=5，煙花種群大小M=50，預(yù)設(shè)最大振幅A=40，常量a=0.04，b=0.8，最大迭代次數(shù)設(shè)為100。獲得的FWA-LSTM模溫預(yù)測(cè)模型的最優(yōu)超參數(shù)：時(shí)間窗口大小為10，批處理大小為50，隱藏層單元個(gè)數(shù)為12。經(jīng)過(guò)仿真實(shí)驗(yàn)測(cè)得以原始數(shù)據(jù)經(jīng)過(guò)GRA處理和未經(jīng)過(guò)GRA處理的3種方法的預(yù)測(cè)模具溫度結(jié)果見(jiàn)圖4所示。

圖4 3種方法預(yù)測(cè)結(jié)果圖

整個(gè)實(shí)驗(yàn)過(guò)程采用平均絕對(duì)百分比誤差MAPE和絕對(duì)誤差ε兩個(gè)指標(biāo)作為衡量模型預(yù)測(cè)精度的標(biāo)準(zhǔn)，結(jié)果見(jiàn)圖5和表3所示。

圖5 3種方法預(yù)測(cè)絕對(duì)誤差圖

其中，MAPE和ε的計(jì)算表達(dá)式分別為：

(18)

(19)

由圖4和圖5所示的模溫預(yù)測(cè)結(jié)果可得，原始數(shù)據(jù)經(jīng)過(guò)GRA篩選處理后的模型預(yù)測(cè)精度有所提升，并不會(huì)降低網(wǎng)絡(luò)的預(yù)測(cè)精度，當(dāng)原始數(shù)據(jù)經(jīng)過(guò)GRA處理后，相比于BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法、LSTM預(yù)測(cè)算法，采用FWA-LSTM預(yù)測(cè)算法得到的模溫預(yù)測(cè)值更加準(zhǔn)確，具有更好的實(shí)驗(yàn)效果。

表3 經(jīng)GRA處理后各方法泛化能力比較

由表3所示，BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)簡(jiǎn)單，因此運(yùn)算時(shí)間最短，但BP算法的預(yù)測(cè)效果相對(duì)較差；LSTM預(yù)測(cè)算法和FWA-LSTM預(yù)測(cè)算法計(jì)算時(shí)間相差很小，并且FWA-LSTM預(yù)測(cè)算法平均絕對(duì)誤差更低。從而，證明基于FWA-LSTM的低壓鑄造模溫預(yù)測(cè)模型預(yù)測(cè)絕對(duì)誤差小于2.4 ℃，平均絕對(duì)百分比誤差小于0.12，泛化能力更強(qiáng)。

5 結(jié) 論

本文提出了基于FWA-LSTM的模溫預(yù)測(cè)方法，通過(guò)低壓鑄造生產(chǎn)工藝和GRA的結(jié)合，得出模溫預(yù)測(cè)影響因素的集合，降低了預(yù)測(cè)模型的輸入維度，推導(dǎo)了FWA-LSTM建模算法，并根據(jù)實(shí)際數(shù)據(jù)進(jìn)行訓(xùn)練和驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，基于FWA-LSTM的模溫預(yù)測(cè)模型精度更高。準(zhǔn)確的預(yù)測(cè)鑄造模具溫度，不僅可以使操作人員根據(jù)模具溫度調(diào)節(jié)鑄造工藝生產(chǎn)參數(shù)，同時(shí)也為低壓鑄造自動(dòng)控制提供基礎(chǔ)，從而達(dá)到提高鑄造生產(chǎn)效率和降低生產(chǎn)能耗有重要的指導(dǎo)作用。