崔嵐?鄭懷宇

摘 要：在軋鋼生產(chǎn)環(huán)節(jié)中，加熱爐溫度測量尤為重要，它決定最終鋼材性能和質(zhì)量，并且溫度控制的實時性直接影響到整個系統(tǒng)的安全性能、單位產(chǎn)量、系統(tǒng)能耗量等關(guān)鍵問題。以鋼坯出口溫度的軟測量技術(shù)為研究背景，采用軟測量技術(shù)對現(xiàn)場生產(chǎn)數(shù)據(jù)和環(huán)境進(jìn)行分析，形成了一種有效的數(shù)據(jù)預(yù)處理方法。

關(guān)鍵詞：加熱爐；軟測量；預(yù)處理；DAE；神經(jīng)網(wǎng)絡(luò)

PRETREATMENT METHOD OF SOFT SENSOR FOR HEATING FURNACE TEMPERATURE BASED ON DAE

Cui Lan Zheng Huaiyu

（Benxi Iron and Steel （Group） Co.，Ltd. Benxi 117000， China）

Abstract：In the process of steel rolling production， the temperature measurement of heating furnace is very important. It determines the final steel performance and quality， and real-time temperature control affects the security of the whole system， unit output， system energy consumption and other key issues. Based on the research of soft-sensing technology of billet outlet temperature， this paper uses soft-sensing technology to analyze the field production data and environment， and forms an effective data preprocessing method.

Key words： heating furnace；soft sensing；pretreatment； DAE；neural network

1 軟測量技術(shù)

軟測量技術(shù)的基本思想就是函數(shù)擬合。選擇一組與待測變量密切相關(guān)、且容易測量的輔助變量，通過神經(jīng)網(wǎng)絡(luò)或SVM（Support Vector Machine）等方法建立模型，并最終實現(xiàn)對待測變量的預(yù)測。軟測量模型的結(jié)構(gòu)圖如圖1所示。

其中，y是待測變量，y*是預(yù)測過程中隨機(jī)采集的樣本數(shù)據(jù)，一般樣本數(shù)據(jù)采樣間隔比較大。 d1和d2分別是不可測擾動和可測擾動，u是控制輸入， x為輔助變量數(shù)據(jù)集。影響軟測量效果的因素主要有：輔助變量，數(shù)據(jù)預(yù)處理，軟測量模型的建立，軟測量模型的在線校正。軟測量模型的建立是核心，但數(shù)據(jù)預(yù)處理對模型的訓(xùn)練影響很大。

2 數(shù)據(jù)的歸一化處理

輔助變量的選擇是影響預(yù)測質(zhì)量的關(guān)鍵，且變量必須滿足獲取方便、與被測變量存在一定變化關(guān)系等關(guān)鍵條件[1，2]。通過對加熱爐生產(chǎn)過程工藝的分析，選擇了14個與鋼坯出口溫度相關(guān)的輔助變量，包括：8個溫度測量點、3個燃?xì)饬髁繙y量點、3個空氣流量測量點。14個變量的描述如表1所示。

由于上述各輔助變量之間存在量綱和數(shù)量級等因素的差異，而神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般只對-1到1之間的數(shù)據(jù)敏感。本文歸一化處理的方式是將所有變量歸一化到（0，1）之間，以方便神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理。歸一化是一種簡化計算的方式，即將有量綱的表達(dá)式經(jīng)過變換，簡化為無量綱的表達(dá)式，并最終成為標(biāo)量。公式（1）為本文選擇并使用的一種線性歸一化方法：

（ymax-ymin）×（x-xmin）

y= ——————————? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

（xmax-xmin）+ymin

其中，x是歸一化之前的數(shù)據(jù)，y是歸一化之后的數(shù)據(jù)。xmin、xmax分別對應(yīng)處理前數(shù)據(jù)的最大值和最小值，而ymin、ymax則分別對應(yīng)處理后數(shù)據(jù)的最大值和最小值，換言之兩者間接表示我們希望處理后得到的數(shù)據(jù)范圍。一般來講，我們設(shè)置ymin=0，ymax=1。

3 基于DAE的軟測量預(yù)處理

由于現(xiàn)場環(huán)境十分惡劣，同時各輔助變量的傳感器受環(huán)境影響或者長時間工作而老化、損壞等問題的存在，導(dǎo)致測量數(shù)據(jù)并不準(zhǔn)確，從而影響模型的預(yù)測效果。這些問題均可以理解為輔助變量中存在噪聲，使用降噪自編碼機(jī)（Denosing Autoencoder，DAE）對輔助變量做進(jìn)一步的預(yù)處理，可以起到數(shù)據(jù)降維的作用，并有效地增強(qiáng)模型的穩(wěn)定性，提高數(shù)據(jù)的利用率。

DAE是在魯棒性得到改進(jìn)的AE（Autoencoder），在逼近多變量非線性和復(fù)雜函數(shù)方面具有良好的性能。DAE可以學(xué)會消除噪聲，并可以在輸入數(shù)據(jù)增加一些噪聲后恢復(fù)原始輸入數(shù)據(jù)。DAE根據(jù)虛擬的標(biāo)準(zhǔn)添加噪聲，預(yù)期一個好的特征來表示將捕捉的穩(wěn)定結(jié)構(gòu)，以依賴性和規(guī)律性的形式呈現(xiàn)其觀察到的輸入分布特征，其結(jié)構(gòu)如圖2所示[3-6]。當(dāng)輸入數(shù)據(jù)存在高維度冗余，DAE通過腐敗過程迫使每個輸入的比例元素隨機(jī)置零來實現(xiàn)降維，而被置零的數(shù)據(jù)可以看成是傳感器失效導(dǎo)致數(shù)據(jù)無法測得結(jié)果。

DAE由輸入數(shù)據(jù)x、腐化數(shù)據(jù)x%、中間特征表示y和重構(gòu)數(shù)據(jù)z組成。DAE的結(jié)構(gòu)可以概括為編碼器fθ和解碼器gθ' 。DAE學(xué)習(xí)從輸入到表示的編碼器函數(shù)和從表示到輸入的解碼器函數(shù)。

DAE是一個典型的無監(jiān)督學(xué)習(xí)模型，具有d維輸入x∈[0，1]和 維特征表示y∈[0，1]。輸入通過確定性映射編碼函數(shù)映射到隱藏表示：

y=fθ（x%）=S（Wx%+b）? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，S是sigmoid函數(shù)，W是一個d'×d的權(quán)值矩陣，b是一個偏置向量。

然后將y映射回輸入空間，z∈[0，1]d是x的重建向量，其解碼函數(shù)如下：

z=gθ（y）=s（W'y+b'）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中，W'是一個d'×d的權(quán)值矩陣，b'是對應(yīng)的偏置向量，W'可以理解為矩陣W的轉(zhuǎn)置矩陣，即：

W'=WT? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

在訓(xùn)練過程中，每個輸入樣本x（i）被映射到一個中間表示y（i），然后映射到一個重構(gòu)的z（i） 。如果x是連續(xù)值向量，則重建的損失函數(shù)可以是傳統(tǒng)的平方誤差。

L（x，z）=||x-z||2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

參數(shù)的優(yōu)化是通過最小化平均重建誤差實現(xiàn)的，具體公式如下：

1

θ*，θ'*= arg min—ΣL（x（i），z（1））=

n

1

arg min—ΣL（x（i），gθ（fθ（x%（i））））

n

（6）

全部14個輔助變量作為DAE的輸入數(shù)據(jù)x，去噪之后得到一組新的輸入數(shù)據(jù)y。數(shù)據(jù)的腐化是隨機(jī)將部分輸入數(shù)據(jù)置零（刪除），而重構(gòu)函數(shù)L（x，z）保證了去噪之后的輔助變量y仍然保持原始數(shù)據(jù)的相關(guān)性，能夠滿足建立軟測量模型的要求，從而保證了預(yù)測模型的準(zhǔn)確性?；贒AE的軟測量預(yù)處理方法既考慮到了時間成本問題，對訓(xùn)練樣本進(jìn)行了降維，減少了運算負(fù)荷，也提高了輔助變量選擇時候得容錯率，其中軟測量模型的在線校正保證了后期運行的可靠性。

4 DAE的工程應(yīng)用

實際生產(chǎn)中，選擇的輔助變量都是可以通過廉價快捷的方式迅速采集到的，并且這些數(shù)據(jù)都與主導(dǎo)變量之間存在緊密的關(guān)系。一般來講，我們可以采集到大量的輔助變量，但是使用傳統(tǒng)的，如BP神經(jīng)網(wǎng)絡(luò)等監(jiān)督式模型，往往無法充分利用這些輔助變量。針對這一思想，本文提出了DAE-LSTM框架。

LSTM算法全稱為Long short-term memory，最早是由 Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，是一種特定形式的循環(huán)神經(jīng)網(wǎng)絡(luò)。由于DAE的輸入和輸出是相等的，因此利用這一特性可以建立一個三層堆疊式框架，實現(xiàn)無監(jiān)督訓(xùn)練。堆疊DAE網(wǎng)絡(luò)模型在無監(jiān)督訓(xùn)練階段得到的網(wǎng)絡(luò)參數(shù)將作為LSTM神經(jīng)網(wǎng)絡(luò)的參數(shù)。該神經(jīng)網(wǎng)絡(luò)框架的主要思想是利用DAE的無監(jiān)督模式自主的挖掘輔助變量之間存在的關(guān)系，然后將參數(shù)輸入到LSTM神經(jīng)網(wǎng)絡(luò)內(nèi)部，利用LSTM神經(jīng)網(wǎng)絡(luò)和標(biāo)簽數(shù)據(jù)對整個網(wǎng)絡(luò)框架進(jìn)行微調(diào)，最終得到完整的預(yù)測模型。其中，DAE的堆疊無監(jiān)督訓(xùn)練模型如圖3所示。

從上圖可以看出，輸入和重建結(jié)果在理論上是相等的。針對這一特性，該模型可以實現(xiàn)無監(jiān)督訓(xùn)練，其中訓(xùn)練完成的參數(shù)W1、W2、W3將以轉(zhuǎn)置的形式轉(zhuǎn)換到LSTM神經(jīng)網(wǎng)絡(luò)（圖中 表示隱含層）。

該軟測量模型的整體框架結(jié)構(gòu)如圖4所示。圖中，Xu表示無標(biāo)簽數(shù)據(jù)，（XL，Y）表示有標(biāo)簽數(shù)據(jù)，Y表示鋼坯出口溫度。在預(yù)訓(xùn)練階段，（XL，XL）將同時輸入到堆疊DAE框架中作為與訓(xùn)練數(shù)據(jù)。當(dāng)網(wǎng)絡(luò)訓(xùn)練完成，三層網(wǎng)絡(luò)的參數(shù) W1、W2、W3將以轉(zhuǎn)置的形式轉(zhuǎn)換到LSTM神經(jīng)網(wǎng)絡(luò)，在LSTM神經(jīng)網(wǎng)絡(luò)上利用帶標(biāo)簽數(shù)據(jù) 進(jìn)行微調(diào)。

5 試驗分析

本文將基于DAE-LSTM神經(jīng)網(wǎng)絡(luò)的軟測量模型與未使用DAE算法進(jìn)行預(yù)處理的LSTM神經(jīng)網(wǎng)絡(luò)軟測量模型的預(yù)測結(jié)果進(jìn)行對比。通過對比兩種方法，預(yù)測鋼坯出口溫度結(jié)果的均方根誤差（RMSE）、誤差平方和（SSE）、最大正誤差（MPE）以及最大負(fù)誤差（MNE），對比指標(biāo)公式如下表所示。為了驗證本文提出的基于去噪自編碼機(jī)的LSTM神經(jīng)網(wǎng)絡(luò)軟測量模型的先進(jìn)性，本文選擇了兩組數(shù)據(jù)進(jìn)行驗證，其中一組數(shù)據(jù)用于訓(xùn)練，另一組數(shù)據(jù)用于測試。

首先，使用這兩組數(shù)據(jù)集在原始LSTM神經(jīng)網(wǎng)絡(luò)建立的軟測量模型上進(jìn)行測試。具體細(xì)節(jié)如表2所示。

從以下兩張圖中可以看出，圖5是在訓(xùn)練數(shù)據(jù)集上對鋼坯出口溫度進(jìn)行預(yù)測得到的仿真圖，圖6是其對應(yīng)的誤差曲線。從圖5上的曲線可以看出，由于標(biāo)簽數(shù)據(jù)的存在，導(dǎo)致訓(xùn)練數(shù)據(jù)可以按照標(biāo)簽數(shù)據(jù)的指引擬合出原始數(shù)據(jù)曲線的形狀，但是這是一種過擬合的表現(xiàn)，這一現(xiàn)象從圖6后端曲線可以很明顯的看出來。

由于過擬合現(xiàn)象的存在，導(dǎo)致系統(tǒng)可以很好的擬合訓(xùn)練數(shù)據(jù)的標(biāo)簽數(shù)據(jù)。由于過分的擬合導(dǎo)致所建立的預(yù)測模型喪失了泛化能力，其主要表現(xiàn)是所建立的模型無法適應(yīng)訓(xùn)練數(shù)據(jù)以外的數(shù)據(jù)。從圖7和圖8可以看出，預(yù)測模型完全無法得到與測試數(shù)據(jù)相吻合的軌跡，即使其基本的走勢都無法擬合。從圖8還可以看出，使用原始LSTM神經(jīng)網(wǎng)絡(luò)建立的軟測量模型無法在測試數(shù)據(jù)集上起到效果，其預(yù)測得到的溫度數(shù)據(jù)完全是雜亂無章的。而出現(xiàn)這種現(xiàn)象的主要原因是在采集數(shù)據(jù)的時候存在一些噪聲干擾以及過擬合。

表3是使用原始LSTM神經(jīng)網(wǎng)絡(luò)建立的軟測量模型在訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集上的結(jié)果對比。很明顯在測試數(shù)據(jù)集上，由于過擬合和噪聲的存在，導(dǎo)致最大正誤差和最大負(fù)誤差都非常大，這些誤差的存在使系統(tǒng)無法滿足實際工程的需求。

圖9和圖10是使用基于去噪自編碼機(jī)的DAE-LSTM神經(jīng)網(wǎng)絡(luò)建立的軟測量模型在訓(xùn)練數(shù)據(jù)集上的結(jié)果。從圖9可以看出，DAE-LSTM神經(jīng)網(wǎng)絡(luò)模型并沒有嚴(yán)格按照標(biāo)簽數(shù)據(jù)的走勢進(jìn)行擬合，僅僅是針對其特別突出的特征點進(jìn)行擬合。由于DAE算法自行引入了噪聲，使得算法擁有一定的魯棒性，同時不會產(chǎn)生過擬合現(xiàn)象。更重要的一點是：由于DAE存在天然的降維特性，使得算法在運行時間效率上又得到了有效的提高。從表3和表4可以看出，模型訓(xùn)練的時間和預(yù)測數(shù)據(jù)的時間都明顯降低，這是因為在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的時候，DAE算法將部分?jǐn)?shù)據(jù)腐化置零，所以DAE算法直接起到了降維的效果。

從圖11和圖12可以看出，由于引入了DAE算法，使得所訓(xùn)練出來的模型魯棒性很強(qiáng)，同時沒有出現(xiàn)過擬合現(xiàn)象。從圖11可以看出，DAE-LSTM模型可以擬合原始標(biāo)簽數(shù)據(jù)中比較突出的特征點以及部分關(guān)鍵特征點，而且忽略了標(biāo)簽數(shù)據(jù)中的微小特征點，使得模型不至于出現(xiàn)過擬合，從而使模型具有很強(qiáng)的泛化能力。從圖12可以看出，在測試數(shù)據(jù)集上預(yù)測結(jié)果的誤差范圍在-10到10之間，這種精度完全滿足實際的工程需求，而且模型的運行速度也得到了明顯的提升。

為驗證DAE-LSTM較LSTM的優(yōu)越性，分別將兩種算法的程序嵌入加熱爐PLC控制系統(tǒng)，并最終通過WinCC顯示加熱爐鋼坯出口的預(yù)測溫度，實際溫度的預(yù)測結(jié)果基本與仿真一致。

6 總 結(jié)

為了說明改進(jìn)的LSTM網(wǎng)絡(luò)模型（DAE-LSTM）的優(yōu)勢，為了保證比較強(qiáng)的說服力，本文選擇了兩組數(shù)據(jù)，一組作為測試數(shù)據(jù)集，另一組作為訓(xùn)練數(shù)據(jù)集。本文將LSTM神經(jīng)網(wǎng)絡(luò)模型和DAE-LSTM神經(jīng)網(wǎng)絡(luò)模型分別在相同的訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練，同時在相同的測試數(shù)據(jù)集上進(jìn)行測試，仿真結(jié)果和實際工程應(yīng)用表明本文所提出的方法是有效的。此外，DAE-LSTM神經(jīng)網(wǎng)絡(luò)模型所需要的系統(tǒng)時間也遠(yuǎn)遠(yuǎn)小于LSTM神經(jīng)網(wǎng)絡(luò)模型。從而證明了該模型的可用性、及時性、準(zhǔn)確性。

參考文獻(xiàn)

[1] 柳小桐. BP神經(jīng)網(wǎng)絡(luò)輸入層數(shù)據(jù)歸一化研究[J]. 機(jī)械工程與自動化， 2010（3）：122-123.

[2] 吳云鼎， 解保生， 丁仲鵑. 實時定量PCR的數(shù)據(jù)歸一化方法[J]. 昆明醫(yī)科大學(xué)學(xué)報， 2013， 34（3）：160-164.

[3] 袁靜， 章毓晉. 融合梯度差信息的稀疏去噪自編碼網(wǎng)絡(luò)在異常行為檢測中的應(yīng)用[J]. 自動化學(xué)報， 2017， 43（4）：604-610.

[4] 孫文珺， 邵思羽， 嚴(yán)如強(qiáng). 基于稀疏自動編碼深度神經(jīng)網(wǎng)絡(luò)的感應(yīng)電動機(jī)故障診斷[J]. 機(jī)械工程學(xué)報， 2016， 52（9）：65-71.

[5] Su L， Shi J， Zhang P， et al. Detecting multiple changes from multi-temporal images by using stacked denosing autoencoder based change vector analysis[C]. International Joint Conference on Neural Networks. IEEE， 2016：1269-1276.

[6] Geras K J， Sutton C. Scheduled denoising autoencoders[J]. Eprint Arxiv， 2014.