侯 婕,田學(xué)法,孔淑麒

(1.海軍研究院,北京 100161；2.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144)

鋁電解槽對于鋁冶煉工業(yè)來說是其最為重要的主體設(shè)備。在我們國家的鋁工業(yè)發(fā)展初始階段,使用過電流為4～8 kA小型預(yù)焙陽極電解槽[1]。對于現(xiàn)階段比較大型的電解槽它的電流很多已經(jīng)達(dá)到了300～500 kA,在大型預(yù)焙槽中電耗已經(jīng)減少到了13,500 kWh/t-Al。鋁電解槽的電流效率也有了很大的提高,提高到90%～95%。

鋁電解槽由槽體、陽極以及陰極構(gòu)成,熔鹽電解槽在高溫、強(qiáng)腐蝕性的環(huán)境中工作,在炭素體陽極發(fā)生氧化反應(yīng),陰極發(fā)生還原反應(yīng)產(chǎn)出鋁液。工作電壓、電解溫度、電解質(zhì)水平、鋁水平、分子比、爐底壓降等技術(shù)參數(shù)對電解槽高效、穩(wěn)定生產(chǎn)產(chǎn)生作用,它們之間既相互聯(lián)系又相互制約。獲取各項(xiàng)技術(shù)參數(shù)比直接探測槽狀態(tài)更容易,所以利用采集到的技術(shù)參數(shù)結(jié)合機(jī)器學(xué)習(xí)方法可以有效預(yù)測鋁電解槽的狀態(tài)。

本文選擇使用在時(shí)間序列預(yù)測任務(wù)中具有良好表現(xiàn)的LSTM網(wǎng)絡(luò)來對鋁電解槽況預(yù)測,這能夠使工藝人員提前了解槽況的變化,能夠提前避免槽況變壞帶來的損失,所以本文研究內(nèi)容在鋁電解工業(yè)上有很大潛在應(yīng)用價(jià)值。

1 研究現(xiàn)狀

鋁電解槽的生產(chǎn)數(shù)據(jù)是一種時(shí)間序列而且具有數(shù)據(jù)維度高的特點(diǎn)?，F(xiàn)有針對時(shí)間序列數(shù)據(jù)的預(yù)測算法有多種模型,比如人工神經(jīng)網(wǎng)絡(luò)、自回歸移動平均、小波神經(jīng)網(wǎng)絡(luò)等[2-3]。時(shí)間序列預(yù)測的研究始于一個(gè)回歸方程[4],它在數(shù)據(jù)分析中預(yù)測了一年中太陽黑子的數(shù)量。自回歸移動平均模型(ARMA)和自回歸綜合移動平均模型(ARIMA)[5]表明,基于回歸方法的時(shí)間序列預(yù)測模型正變得越來越流行。因此,這些模型也成為時(shí)間序列預(yù)測中最簡單,也是最重要的模型。但由于實(shí)際數(shù)據(jù)的復(fù)雜性、不規(guī)則性、隨機(jī)性和非線性,很難通過復(fù)雜模型實(shí)現(xiàn)高精度預(yù)測。采用機(jī)器學(xué)習(xí)方法,可以建立基于大量歷史數(shù)據(jù)的非線性預(yù)測模型。事實(shí)上,通過反復(fù)的訓(xùn)練迭代和學(xué)習(xí)近似,機(jī)器學(xué)習(xí)模型可以比傳統(tǒng)的基于統(tǒng)計(jì)的模型獲得更準(zhǔn)確的預(yù)測。典型的方法有支持向量回歸[6]或基于核的分類,人工神經(jīng)多階(ANN)[7]與強(qiáng)非線性函數(shù)逼近和基于樹的集成學(xué)習(xí)方法,如梯度增強(qiáng)回歸或決策樹(GBRT, GBDT)[8-9]。但是,由于上述方法缺乏對輸入變量之間序列依賴關(guān)系的有效處理,因此在時(shí)間序列預(yù)測任務(wù)[10]中效果有限。

伴隨不斷地深入研究深度學(xué)習(xí)算法,發(fā)現(xiàn)深度學(xué)習(xí)算法可以適用于預(yù)測時(shí)間序列數(shù)據(jù)的問題,該算法先逐步分析輸入的數(shù)據(jù)信息,然后對有效特征進(jìn)行提取,將隱含關(guān)系從數(shù)據(jù)序列中提取出來。為了讓RNN網(wǎng)絡(luò)能夠更有效的處理時(shí)間序列數(shù)據(jù),在RNN的神經(jīng)網(wǎng)絡(luò)架構(gòu)中引入時(shí)間序列概念。RNN的一種改進(jìn)算法是長短期記憶神經(jīng)網(wǎng)絡(luò),改進(jìn)了在RNN網(wǎng)絡(luò)結(jié)構(gòu)中存在的梯度爆炸、梯度消失、長時(shí)間序列數(shù)據(jù)的記憶等問題,對于長時(shí)間的序列信息能夠有效地處理[11]。LSTM模型應(yīng)用在了很多領(lǐng)域例如語音識別、股票價(jià)格預(yù)測、降雨量預(yù)測、交通流預(yù)測、圖像文字識別等,并且都取得了不錯(cuò)的應(yīng)用效果[12]。

就目前而言,雖然在鋁電解生產(chǎn)的研究與應(yīng)用中,數(shù)據(jù)挖掘等技術(shù)得到了廣泛的應(yīng)用,用于鋁電解槽的槽狀態(tài)判斷,但是對于鋁電解槽的槽狀態(tài)預(yù)測方面一直欠缺研究,本文在對鋁電解槽進(jìn)行聚類分析后,將時(shí)間序列的預(yù)測研究應(yīng)用到鋁電解槽的槽狀態(tài)預(yù)測中。

2 LSTM算法

長短時(shí)記憶(long short term memory,LSTM)網(wǎng)絡(luò)是一種結(jié)合梯度學(xué)習(xí)算法的網(wǎng)絡(luò)結(jié)構(gòu),是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)的改進(jìn)模型。LSTM所具有的兩個(gè)特殊的結(jié)構(gòu)記憶門和遺忘門使得該網(wǎng)絡(luò)能夠充分的利用數(shù)據(jù)中帶有的時(shí)間屬性。傳統(tǒng)的RNN網(wǎng)絡(luò)在訓(xùn)練網(wǎng)絡(luò)時(shí)會存在梯度消失的問題,梯度消失也叫做長期依賴問題,LSTM依靠改進(jìn)RNN加入的記憶單元,能夠有效規(guī)避梯度消失的問題,并在眾多領(lǐng)域取得了巨大的成功[13]。LSTM結(jié)構(gòu)圖如圖1所示。LSTM神經(jīng)元通過“門”結(jié)構(gòu)有選擇性地傳遞消息,從而達(dá)到控制信息的目的。與RNN相比兩者的共同點(diǎn)是LSTM在訓(xùn)練網(wǎng)絡(luò)時(shí)利用反向傳播算法。當(dāng)網(wǎng)絡(luò)反向傳播對參數(shù)進(jìn)行更新時(shí),LSTM誤差項(xiàng)的反向傳播包括兩個(gè)方向:一個(gè)是沿著時(shí)間方向反向傳播,即從當(dāng)前時(shí)刻開始,計(jì)算每個(gè)時(shí)刻的誤差項(xiàng);另一個(gè)是將誤差項(xiàng)向上一層傳播,根據(jù)相應(yīng)的誤差項(xiàng),計(jì)算每個(gè)權(quán)重的梯度。LSTM的改進(jìn)結(jié)構(gòu)增加了三個(gè)‘門’結(jié)構(gòu),分別是‘輸入門’‘輸出門’、‘遺忘門’[14]。輸入門是用來處理當(dāng)前時(shí)刻的輸入值和上一時(shí)刻的輸出值當(dāng)做總的輸入信息。輸出門是用來決定下一個(gè)時(shí)刻所要傳遞的信息。遺忘門則是用來判斷前面的記憶信息要丟棄的信息,通過sigmoid函數(shù)把數(shù)值壓縮在[0,1]之間,取值越接近1,表示當(dāng)前細(xì)胞狀態(tài)中要保留的信息越多,相反的,當(dāng)取值越接近0時(shí),則表示選擇遺忘的信息越多。

圖1 LSTM結(jié)構(gòu)圖

其中各個(gè)門控單元的計(jì)算過程如下所示:

ft=sigmoid(Wf·[ht-1,xt]+bf)

(1)

it=sigmoid(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=sigmoid(Wo[ht-1,xt]+bo)

(5)

ht=ot×tanh(Ct)

(6)

算法流程如表1所示:

表1 算法流程表

3 鋁電解槽槽況預(yù)測分析

3.1 數(shù)據(jù)采集

本數(shù)據(jù)來源于某鋁廠300 kA系列采集到的真實(shí)鋁電解槽生產(chǎn)數(shù)據(jù),其中每個(gè)電解槽每天包含F(xiàn)e含量、鋁水平、分子比、Si含量、氧化鋁濃度、電解質(zhì)水平、電解溫度等13個(gè)特征數(shù)據(jù),采集周期為一天。通過對上述數(shù)據(jù)的觀察,結(jié)合鋁電解生產(chǎn)的工業(yè)特點(diǎn),可以總結(jié)出電解鋁生產(chǎn)過程中的實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn):

(1)數(shù)據(jù)的維度非常高:采集到的鋁電解槽的生產(chǎn)數(shù)據(jù)中每天都存在多個(gè)互相關(guān)聯(lián)的生產(chǎn)數(shù)據(jù),所以數(shù)據(jù)的維度非常高;

(2)數(shù)據(jù)中的一些特征有空缺值:空缺值存在的原因是在采樣過程中,會因?yàn)榄h(huán)境、人為失誤、設(shè)備故障等造成一定的數(shù)據(jù)缺失;

(3)數(shù)據(jù)中存在噪聲數(shù)據(jù):在采集數(shù)據(jù)過程中因?yàn)榄h(huán)境和人為因素等會造成采集的數(shù)據(jù)存在噪聲;

(4)時(shí)間序列數(shù)據(jù):采集到的生產(chǎn)數(shù)據(jù)都是以時(shí)間為索引,例如:采集到的鋁電解槽的日報(bào)數(shù)據(jù)。隨著時(shí)間的改變,各個(gè)生產(chǎn)數(shù)據(jù)會出現(xiàn)波動變化。

3.2 數(shù)據(jù)預(yù)處理

(1)空缺值處理:

首先對于前期采集的數(shù)據(jù)中缺失值過多的特征刪除,按照缺失值超過數(shù)據(jù)總量一半的標(biāo)準(zhǔn)去除特征。如圖2所示,數(shù)值1表示數(shù)據(jù)全部缺失,數(shù)值0表示數(shù)據(jù)不缺失,介于0～1之間的部分缺失,其中氧化鋁濃度、效應(yīng)系數(shù)、出鋁量數(shù)據(jù)全部缺失所以去除,其余特征均可保留。

圖2 數(shù)據(jù)缺失情況

在將缺失率過多的特征去除后,剩余特征的缺失值采取了線性插值的方法補(bǔ)全。線性插值是一種對于一維時(shí)間序列數(shù)據(jù)補(bǔ)全的方法,利用缺失值前后的數(shù)據(jù)變化情況,根據(jù)到相鄰數(shù)據(jù)點(diǎn)的距離分配比重補(bǔ)全缺失值。通過這種方法,對每一維的數(shù)據(jù)進(jìn)行了補(bǔ)全。y值可通過式(7)求得:

(7)

(2)數(shù)據(jù)歸一化

因?yàn)椴杉降臄?shù)據(jù)維度較大,各維度量級都不相同且差異較大,這對于后續(xù)的數(shù)據(jù)分析非常不利,所以采用了min-max方法對數(shù)據(jù)進(jìn)行數(shù)據(jù)歸一化,將數(shù)據(jù)歸一化到[0,1]區(qū)間。轉(zhuǎn)換函數(shù)如式(8)所示:

(8)

式中:max——樣本數(shù)據(jù)的最大值;

min——樣本數(shù)據(jù)的最小值。

(3)標(biāo)記槽況

因?yàn)椴杉降臄?shù)據(jù)并沒有槽況標(biāo)記,所以要在預(yù)測槽況之前,對采集的數(shù)據(jù)進(jìn)行槽況分類,選擇了用具有軟聚類屬性的高斯混合模型聚類,聚類得出兩個(gè)類別:(0,1),劃分出不同的槽況,并且標(biāo)記槽況,用于槽況預(yù)測。標(biāo)記過槽況的數(shù)據(jù)格式如表2所示:

表2 數(shù)據(jù)格式表

3.3 槽況預(yù)測分析實(shí)驗(yàn)及結(jié)果

本實(shí)驗(yàn)使用Python語言編寫所有程序,并在CPU2.50GHz,內(nèi)存8GB,Windows7操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行了槽況預(yù)測實(shí)驗(yàn)。數(shù)據(jù)采用某鋁廠276臺電解槽五個(gè)月的全部歷史數(shù)據(jù),并且將原始數(shù)據(jù)進(jìn)行了空缺值處理、歸一化處理以及標(biāo)記槽況等同時(shí)剔除了有問題的數(shù)據(jù)。

鑒于采集到的鋁電解槽數(shù)據(jù)是真實(shí)鋁電解廠數(shù)據(jù),所以電解槽大部分都處于一個(gè)良好的工作狀態(tài),在聚類階段僅能將槽況分為兩類。實(shí)驗(yàn)用到的數(shù)據(jù)共十個(gè)屬性,將每天的十一個(gè)特征屬性數(shù)據(jù)值(通過聚類得到的類別也作為一個(gè)特征屬性)作為樣本數(shù)據(jù),輸入的樣本數(shù)據(jù)形式記為:Xt=〔Xt(1),Xt(2),Xt(3),…,Xt(10),yt〕,t表示時(shí)間,y表示聚類類別,X表示采集到的10個(gè)屬性。按照時(shí)間序列展開數(shù)據(jù)格式如式(9)所示:

(9)

在預(yù)測槽況時(shí),采用LSTM算法,該算法的步驟為:

(1)計(jì)算LSTM在神經(jīng)網(wǎng)絡(luò)前向傳播時(shí)的輸入、輸出以及各個(gè)隱藏層的各個(gè)神經(jīng)元的輸出值;

(2)通過交叉熵函數(shù)計(jì)算輸出誤差,誤差通過反向傳播算法反向傳播到各層神經(jīng)元;

(3)根據(jù)梯度下降算法和傳播的誤差,更新各層的神經(jīng)元參數(shù);

(4)根據(jù)設(shè)置的迭代次數(shù),重復(fù)(2)、(3)、(4),直到收斂,此時(shí)模型訓(xùn)練完成。

圖3 LSTM算法流程圖

利用LSTM算法,設(shè)定滑動窗口m,根據(jù)滑動窗口構(gòu)建訓(xùn)練集和測試集,訓(xùn)練模型,選擇交叉熵作為損失函數(shù),用來反映預(yù)測數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的偏差,最后用訓(xùn)練好的模型對鋁電解槽狀態(tài)進(jìn)行預(yù)測。利用LSTM算法對鋁電解槽況進(jìn)行預(yù)測的流程如下:

(1)對數(shù)據(jù)進(jìn)行歸一化處理;

(2)根據(jù)設(shè)定的滑動窗口大小m,構(gòu)建訓(xùn)練集和測試集;

(3)構(gòu)建改進(jìn)的LSTM模型,對模型的參數(shù)進(jìn)行初始化設(shè)置;

(4)用訓(xùn)練集對預(yù)測模型訓(xùn)練,采用梯度下降的方法更新參數(shù),迭代數(shù)次后直到達(dá)到精度要求;

(5)將測試集喂給訓(xùn)練好的模型中,利用歷史數(shù)據(jù)預(yù)測t+1時(shí)刻的預(yù)測值。

本實(shí)驗(yàn)按照8∶2的比例劃分了訓(xùn)練集和測試集,訓(xùn)練集用于訓(xùn)練構(gòu)建的LSTM模型,測試集用于驗(yàn)證訓(xùn)練出來的模型的算法準(zhǔn)確性。對于滑動窗口和神經(jīng)元個(gè)數(shù)的設(shè)定,通過實(shí)驗(yàn)找到了最佳的選擇,如圖4所示,橫坐標(biāo)為不同的神經(jīng)元個(gè)數(shù),分別為80、90、100、110、120,縱坐標(biāo)為損失函數(shù)值,四個(gè)不同花紋的柱狀體表示四個(gè)不同的滑動窗口大小,分別為30、40、50、60。從圖中可以看到在滑動窗口大小為50以及隱含層神經(jīng)元個(gè)數(shù)為100時(shí),交叉熵值最小。所以選擇50和100作為滑動窗口大小和神經(jīng)元個(gè)數(shù)。

構(gòu)建基于LSTM的鋁電解槽況預(yù)測模型,使用此前構(gòu)建的訓(xùn)練數(shù)據(jù)集對模型進(jìn)行迭代訓(xùn)練,得到網(wǎng)絡(luò)參數(shù)和最小的損失函數(shù),然后將測試數(shù)據(jù)集放入模型中驗(yàn)證模型效果,查看準(zhǔn)確率。在訓(xùn)練好的模型中,準(zhǔn)確率達(dá)到了91.6%?？梢钥闯隼迷撃Ｐ皖A(yù)測槽況時(shí),能夠較為準(zhǔn)確的預(yù)測出槽況的變化情況。

圖4 模型參數(shù)對比實(shí)驗(yàn)圖

將該算法應(yīng)用到鋁電解槽況分析系統(tǒng)中,從而實(shí)現(xiàn)鋁電解槽況的預(yù)測,利用訓(xùn)練好的模型,將結(jié)果展示在頁面中,方便專業(yè)人員查看槽況的變化情況。如圖5所示,可以看到在中間有槽況的突變;如圖6所示,鋁電解槽況突變時(shí),LSTM算法分析預(yù)測出的槽況與真實(shí)槽況的對比。這在實(shí)際的生產(chǎn)過程中,專業(yè)人員就可根據(jù)預(yù)測的槽況變化,調(diào)整工藝參數(shù)的添加,使槽況變好,從而減少企業(yè)損失。

圖5 系統(tǒng)預(yù)測結(jié)果圖

圖6 預(yù)測結(jié)果與真實(shí)槽況對比圖

4 結(jié) 論

本文首先介紹了關(guān)于鋁電解的相關(guān)研究,包括研究鋁電解槽的相關(guān)信息以及現(xiàn)階段對于鋁電解槽況預(yù)測方面的研究情況,然后介紹了LSTM算法的相關(guān)知識。其次是數(shù)據(jù)的采集工作,本文描述了數(shù)據(jù)所具有的特點(diǎn),并且對數(shù)據(jù)空缺值進(jìn)行了剔除和線性插值兩種操作,因?yàn)閿?shù)據(jù)量綱不一致問題,對數(shù)據(jù)歸一化處理,然后利用高斯混合模型對槽況標(biāo)記。最后是利用準(zhǔn)備好的數(shù)據(jù)對槽況變化利用LSTM模型進(jìn)行預(yù)測。模型根據(jù)設(shè)定的滑動窗口大小將訓(xùn)練集輸入模型訓(xùn)練,訓(xùn)練完成后利用測試集驗(yàn)證模型的準(zhǔn)確率,準(zhǔn)確率達(dá)到了91.6%,能夠較為準(zhǔn)確的預(yù)測出槽況的變化。并將該模型應(yīng)用到鋁電解槽況分析系統(tǒng)中,方便專業(yè)人員查看槽況變化,及時(shí)作出調(diào)整,減少企業(yè)損失,對于鋁電解工業(yè)上有一定的參考價(jià)值。