袁小鋒，葛志強，宋執(zhí)環(huán)（浙江大學(xué)控制科學(xué)與工程學(xué)院，工業(yè)控制技術(shù)國家重點實驗室，浙江 杭州 310027）

?

基于時間差分和局部加權(quán)偏最小二乘算法的過程自適應(yīng)軟測量建模

袁小鋒，葛志強，宋執(zhí)環(huán)
（浙江大學(xué)控制科學(xué)與工程學(xué)院，工業(yè)控制技術(shù)國家重點實驗室，浙江 杭州 310027）

摘要：工業(yè)過程軟測量模型常常因為過程的變量漂移、非線性和時變等問題而使得預(yù)測性能下降。因此，時間差分已被應(yīng)用于解決過程變量漂移問題。但是，時間差分框架下的全局模型往往不能很好地描述過程非線性和時變等特性。為此，提出了一種融合時間差分模型和局部加權(quán)偏最小二乘算法的自適應(yīng)軟測量建模方法。時間差分模型可以大大減少過程變量漂移的影響，而局部加權(quán)偏最小二乘算法作為一種即時學(xué)習(xí)方法，可以有效解決過程非線性和時變問題。該方法的有效性在數(shù)值例子和工業(yè)過程實例中得到了有效驗證。

關(guān)鍵詞：時間差分模型；局部加權(quán)偏最小二乘算法；即時學(xué)習(xí)；軟測量建模；質(zhì)量預(yù)測

2015-12-21收到初稿，2015-12-27收到修改稿。

聯(lián)系人：宋執(zhí)環(huán)。第一作者：袁小鋒（1988—），男，博士研究生?；痦椖浚簢易匀豢茖W(xué)基金項目（61370029）。

引 言

在工業(yè)過程中，軟測量模型被廣泛地用于預(yù)測過程中因為惡劣測量環(huán)境、昂貴的測量儀器和大時間滯后等因素導(dǎo)致難以在線測量的關(guān)鍵過程變量[1-4]。目前為止，大量的軟測量方法，如主成分回歸(PCA)[5]、偏最小二乘回歸(PLS)[6]、人工神經(jīng)網(wǎng)絡(luò)(ANN)[7]和支持向量機(jī)(SVM)[8]等已經(jīng)成功地應(yīng)用于化學(xué)、生物、冶金和制藥過程等領(lǐng)域[9-11]。

但是，當(dāng)軟測量模型投入實際應(yīng)用后，其預(yù)測性能往往會隨著過程狀態(tài)變化、催化劑活性下降、原材料變化和儀表漂移等因素而慢慢降低[12]。因此，軟測量模型需要不斷地進(jìn)行更新。研究學(xué)者已經(jīng)提出一些不同的更新策略，比如遞歸模型(RM)[13]、滑動窗模型(MW)[14]和即時學(xué)習(xí)模型(JITL)[15]。依據(jù)其更新機(jī)制，這些模型可以被分為兩大類：時間自適應(yīng)和空間自適應(yīng)模型。其中，時間自適應(yīng)模型包括遞歸模型和滑動窗模型，因為這些方法將最新獲取的樣本數(shù)據(jù)用于更新模型。而即時學(xué)習(xí)模型，如局部加權(quán)偏最小二乘算法(LWPLS)[16]，隸屬于空間自適應(yīng)模型，因為其利用歷史數(shù)據(jù)中和查詢樣本空間最相關(guān)的樣本來更新模型。

盡管這些方法可以通過自適應(yīng)策略來解決過程時變等問題，但其仍然無法解決過程中的變量漂移等問題。若過程存在變量漂移，即時學(xué)習(xí)或者滑動窗模型的預(yù)測精度都會大大降低。因此，時間差分(TD)模型[17]已被提出用于解決此問題。相比于傳統(tǒng)軟測量方法直接在原始輸出和輸入之間建立回歸模型，時間差分模型將回歸模型建立在輸出和輸入的一階差分量之間。通過建立時間差分軟測量模型，過程變量漂移問題可以有效地解決。同時，文獻(xiàn)[18]也比較分析了滑動窗模型、即時學(xué)習(xí)模型和時間差分模型解決過程變量漂移的能力。結(jié)果表明，時間差分模型能取得比其他兩種方法更好的預(yù)測精度。

事實上，工業(yè)過程往往會同時存在非線性、時變和變量漂移等問題。同時，時間差分框架下的全局模型，不能有效地描述數(shù)據(jù)整體分布特征。為了更好地解決這些問題，本文提出了一種基于時間差分模型和偏最小二乘回歸算法的自適應(yīng)軟測量建模方法。首先，時間差分模型用于減少變量漂移的影響。然后，偏最小二乘算法用于精確建立局部差分量回歸模型。從而過程時變特性和非線性問題都可以有效解決。

1 算法介紹

1.1 時間差分模型（TD）

假設(shè)x(t)和y(t)是分別是過程輸入和輸出在時刻t的采樣值。傳統(tǒng)軟測量建模中，回歸算法直接建立在原始輸入輸出的采樣值上。而時間差分模型首先計算輸入和輸出在相鄰采樣點之間的一階差分量。即Δx(t)和Δ y(t)可以分別計算為[17]

然后，即可建立輸入輸出差分量之間的回歸模型

待上述回歸模型訓(xùn)練好之后，當(dāng)一個新的樣本x(tnew)到來，其輸入的時間差分量可以計算為

從而，其輸出的一階差分量可通過訓(xùn)練好的回歸模型預(yù)測為

最終，實際的預(yù)測輸出值為

1.2 局部加權(quán)偏最小二乘算法（LWPLS）

同時，局部加權(quán)偏最小二乘算法還需要依據(jù)相似度對各個訓(xùn)練樣本給予不同的權(quán)重值。因此，以下權(quán)重計算公式即可用于指定各樣本的權(quán)重

其中，θ為控制權(quán)重隨距離變化快慢的可調(diào)節(jié)參數(shù)。將各個訓(xùn)練樣本的權(quán)重表示為權(quán)重向量w=[w1,w2,…,wN]，而訓(xùn)練樣本權(quán)重矩陣記為Ω=diag(w)。最后，查詢樣本的預(yù)測輸出值可通過以下流程進(jìn)行估計。

（1）設(shè)定第一個隱變量序號k=1和隱變量個數(shù)為L。

（2）計算輸入和輸出的加權(quán)平均值，并對訓(xùn)練樣本輸入、訓(xùn)練樣本輸出和查詢樣本輸入進(jìn)行去平均化處理

其中，1N×1代表元素值全為1的列向量。

（4）分別計算訓(xùn)練集和查詢樣本的第k個主成分

其中，v(k)對應(yīng)于加權(quán)輸入輸出協(xié)方差矩陣X(k)TΩY(k)Y(k)TΩX(k)的最大特征值對應(yīng)的特征向量。

（5）計算X(k)的第k個負(fù)載向量和輸出的回歸系數(shù)

（6）利用第k個隱變量更新預(yù)測輸出值

（8）退化訓(xùn)練輸入矩陣、輸出矩陣和查詢樣本輸入

（9）設(shè)置k=k+1并返回步驟（4）。

2 TD-LWPLS自適應(yīng)軟測量框架

為了克服前文提及的問題，TD-LWPLS自適應(yīng)軟測量建?？蚣鼙惶岢鲇糜诜蔷€性時變和變量漂移過程的質(zhì)量預(yù)測。圖1給出了該自適應(yīng)建模框架的基本流程圖。

首先，時間差分模型被用于提取輸入和輸出的一階差分量，這些差分量被視為歷史差分?jǐn)?shù)據(jù)庫。當(dāng)一個新的查詢樣本到達(dá)，先計算其輸入的時間差分量。然后，在即時學(xué)習(xí)框架下，可以基于歐式距離準(zhǔn)則從歷史差分?jǐn)?shù)據(jù)庫中選擇一定數(shù)量與查詢樣本差分量最相關(guān)的時間差分量并計算各差分量權(quán)重用于局部建模。之后，通過局部加權(quán)偏最小二乘算法建立差分量之間的回歸模型。最終，計算預(yù)測查詢樣本輸出。其詳細(xì)算法如下。

圖1 TD-LWPLS自適應(yīng)軟測量框架流程圖Fig.1 Flowchart of TD-LWPLS soft sensor framework

（1）獲取歷史采樣輸入數(shù)據(jù)x(1),x(2),…,x(T+1)和輸出數(shù)據(jù)y(1),y(2),…,y(T+1)。

（2）計算輸入輸出的差分量Δx(1), Δx(2),…,Δx(T)和Δy(1),Δy(2),…,Δy(T)，并計算查詢樣本輸入的差分量Δx(tq)= x(tq)?x(tq?1)。

（3）通過歐式距離準(zhǔn)則計算Δx(tq)和Δx(1), Δx(2),…,Δx(T)中各個差分量距離以及權(quán)重值。并選擇N個最相關(guān)的差分量作為訓(xùn)練集ΔXN和ΔYN，同時獲得權(quán)重向量w。

（4）通過ΔXN,ΔYN,w和Δx(tq)建立LWPLS模型，預(yù)測查詢輸出的差分量

為驗證上述算法有效性，本文比較了一下3種算法的預(yù)測性能：

方法1：基于TD模型下的全局PLS模型。

方法2：未加TD模型的LWPLS模型。

方法3：基于TD模型下的LWPLS模型。

3 實驗結(jié)果與討論

3.1 數(shù)值例子

本數(shù)值例子來源于文獻(xiàn)[17]，其最初用于驗證時間差分模型預(yù)測性能。通過以下模型共產(chǎn)生201個數(shù)據(jù)點。首先，3個隱變量z1, z2和z3均獨立地產(chǎn)生于均勻分布[3, 6]。同時，6個正常情況下輸入變量由以下方程產(chǎn)生

其中，N(0,0,1)表示均值為0，方差為0.1的正態(tài)分布。而輸出變量定義為

為了模擬過程變量漂移和時變特性，分別將部分輸入或者輸出設(shè)置為以下4種情形之一。

情形1：只有輸入變量存在漂移，即情形2：輸入如公式23存在漂移，輸出漂移為

情形3：過程無變量漂移，但存在時變特性

情形4：過程不僅存在輸入漂移[式（23）]和輸出漂移，同時存在時變特性

為了建模和測試，數(shù)據(jù)被分成兩部分，前101個點作為歷史數(shù)據(jù)集，后100個數(shù)據(jù)作為測試集。模型參數(shù)選擇如下：局部建模樣本數(shù)N為30，隱變量個數(shù)為3，參數(shù)θ通過試驗法優(yōu)化。最終，均方誤差（RMSE）和預(yù)測相關(guān)系數(shù)（R2）用于比較預(yù)測精度，結(jié)果如表1所示。

由表1可知，在情形1和情形2中，方法1和方法3預(yù)測結(jié)果明顯優(yōu)于方法2。這是因為此時過程存在變量漂移，而時間差分模型可以有效降低變量漂移的影響，而方法2只用即時學(xué)習(xí)建模，不能解決變量漂移問題。并且，由于方法3采用了時間差分下的局部加權(quán)建模，其比方法1獲得了更好的預(yù)測精度。在情形3中，由于過程不存在變量漂移，只有特性變化，此時方法2的預(yù)測結(jié)果要優(yōu)于方法1和方法3。由此可以看出，即時學(xué)習(xí)可以有效解決過程時變特性問題。在情形4中，變量漂移和過程特性時變兩者同時發(fā)生，可以看出此時方法3能夠取得最佳的效果。

表1 3種方法在數(shù)值例子上的預(yù)測結(jié)果Table 1 Prediction results of the three methods on numerical example

3.2 高爐煉鐵過程

高爐是煉鐵過程的重要生產(chǎn)裝備[19]，其主要目的是將鐵礦石轉(zhuǎn)化為液態(tài)鐵，其中涉及復(fù)雜的物理變化和化學(xué)反應(yīng)。由于爐內(nèi)高溫高壓的環(huán)境，使得某些變量（如鐵水中硅含量）的直接測量變得非常困難。因此，通過軟測量方法對該過程的鐵水中硅含量進(jìn)行預(yù)測是一種行之有效的方法。本文將16個易測變量選擇作為軟測量的輸入，表2給出了各個輸入量的物理含義。

對某高爐平臺從2014年1月1日到2014年6 月3日的實際運行數(shù)據(jù)進(jìn)行采集，每日采集一個樣本。因此，一共采集了154個數(shù)據(jù)樣本。為了軟測量建模和性能測試，前101個樣本被作為歷史數(shù)據(jù)樣本，余下53個樣本作為測試集。同時。局部建模樣本數(shù)選擇為30，隱變量個數(shù)確定為6。

表2 用于軟測量模型輸入的高爐過程變量Table 2 Input variables selected for soft sensor on blast furnace ironmaking process

表3 3種方法在高爐煉鐵過程中的預(yù)測結(jié)果Table 3 Prediction results of the three methods on the blast furnace ironmaking process

通過建模和預(yù)測，3種方法的模型預(yù)測結(jié)果列在表3中。由表中可知，TD-LWPLS能夠獲得最佳的預(yù)測效果。因為該方法可以有效減少變量漂移的影響并能夠自適應(yīng)過程特性變化。而方法1由于只是采用了時間差分模型，其難以解決過程時變特性。方法2只利用LWPLS自適應(yīng)過程特性變化，模型預(yù)測性能會受到過程變量漂移的影響。

4 結(jié) 論

本文提出了一種TD-LWPLS的自適應(yīng)軟測量建模方法，用于對變量漂移和非線性時變過程的軟測量。時間差分模型被用于減少變量漂移對軟測量模型的影響。然后，局部加權(quán)偏最小二乘算法被用于建立時間差分輸入和輸出量之間的回歸模型，從而處理過程時變和非線性問題。為了驗證算法的有效性，預(yù)測性能在數(shù)值例子和工業(yè)過程實例中進(jìn)行了測試。實驗結(jié)果表明了所提方法的有效性。

References

[1] KADLEC P, GABRYS B, STRANDT S. Data-driven soft sensors in the process industry [J]. Computers & Chemical Engineering, 2009, 33(4): 795-814.

[2] KHATIBISEPEHR S, HUANG B, KHARE S. Design of inferential sensors in the process industry: a review of Bayesian methods [J]. Journal of Process Control, 2013, 23(10): 1575-1596.

[3] GE, Z Q, SONG Z H, GAO F R. Review of recent research on data-based process monitoring [J]. Industrial & Engineering Chemistry Research, 2013, 52(10): 3543-3562.

[4] KANO M, NAKAGAWA Y. Data-based process monitoring, process control, and quality improvement: recent developments and applications in steel industry [J]. Computers & Chemical Engineering, 2008, 32(1):12-24.

[5] YUAN X F, YE L J, BAO L, et al. Nonlinear feature extraction for soft sensor modeling based on weighted probabilistic PCA [J]. Chemometrics and Intelligent Laboratory Systems, 2015, 147: 167-175.

[6] ROSIPAL R, KRAMER N. Overview and Recent Advances in Partial Least Squares. In Subspace, Latent Structure and Feature Selection [M]. Berlin Heidelberg: Springer, 2006: 34-51.

[7] RANI A, SINGH V, GUPTA J R P. Development of soft sensor for neural network based control of distillation column [J]. ISA Transactions, 2013, 52(3): 438-449.

[8] YAN W W, SHAO H H, WANG X F. Soft sensing modeling based on support vector machine and Bayesian model selection [J]. Computers & Chemical Engineering, 2004, 28(8): 1489-1498.

[9] GE Z Q, CHEN T, SONG Z H. Quality prediction for polypropylene production process based on CLGPR model [J]. Control Engineering Practice, 2011, 19(5): 423-432.

[10] YUAN X F, GE Z Q, SONG Z H. Locally weighted kernel principal component regression model for soft sensing of nonlinear time-variant processes [J]. Industrial & Engineering Chemistry Research, 2014, 53(35): 13736-13749.

[11] BOSCA S, FISSORE D. Design and validation of an innovative soft-sensor for pharmaceuticals freeze-drying monitoring [J]. Chemical Engineering Science, 2011, 66(21): 5127-5136.

[12] KADLEC P, GRBIC R, GABRYS B. Review of adaptation mechanisms for data-driven soft sensors [J]. Computers & Chemical Engineering, 2011, 35(1): 1-24.

[13] DAYAL B S, MACGREGOR J F. Recursive exponentially weighted PLS and its applications to adaptive control and prediction [J]. Journal of Process Control, 1997, 7(3):169-179.

[14] LIU X Q, KRUGER U, LITTLER T, et al. Moving window kernel PCA for adaptive monitoring of nonlinear processes [J]. Chemometrics and Intelligent Laboratory Systems, 2009, 96(2): 132-143.

[15] CHENG C, CHIU M S. A new data-based methodology for nonlinear process modeling [J]. Chemical Engineering Science, 2004, 59(13): 2801-2810.

[16] NAKAGAWA H, TAJIMA T, KANO M, et al. Evaluation of infrared-reflection absorption spectroscopy measurement and locally weighted partial least-squares for rapid analysis of residual drug substances in cleaning processes [J]. Analytical Chemistry, 2012, 84(4): 3820-3826.

[17] KANEKO H, FUNATSU K. Maintenance-free soft sensor models with time difference of process variables [J]. Chemometrics and Intelligent Laboratory Systems, 2011, 107(2): 312-317.

[18] KANEKO H, FUNATSU K. Classification of the degradation of soft sensor models and discussion on adaptive models [J]. AIChE Journal, 2013, 59(7): 2339-2347.

[19] GAO C H, CHEN J M, ZENG J S, et al. A chaos-based iterated multistep predictor for blast furnace ironmaking process [J]. AIChE Journal, 2009, 55(4): 947-962.

研究論文

Received date: 2015-12-21.

Foundation item: supported by the National Natural Science Foundation of China (61370029).

Adaptive soft sensor based on time difference model and locally weighted partial least squares regression

YUAN Xiaofeng, GE Zhiqiang, SONG Zhihuan
(State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, Zhejiang, China)

Abstract：Industrial process plants are often characterized with problems of variable drifts，nonlinearity and time-variant. The time difference (TD) model was proposed by researchers to handle the drifting problems. However, the global model used under TD model cannot describe the data characteristic like the time-variant and high nonlinearity well. Moreover, the prediction accuracy will greatly decrease when change of process state occurs. In this paper, the time difference model and locally weighted partial least squares (LWPLS) are synthesized to enhance the adaptability of soft sensor models. In the TD-LWPLS based soft sensor framework, TD is used to reduce the effect of process drifts. Moreover, as a just-in-time (JITL) method, LWPLS is utilized to tackle nonlinearity and change of process state. A numerical example and an industrial application example have been carried out to test the effectiveness and feasibility of the proposed method. The results demonstrate that the TD technique with the LWPLS model can achieve the best prediction accuracy in both cases compared to two other methods.

Key words：time difference model (TD); locally weighted partial least squares (LWPLS); just-in-time learning (JITL); soft sensor modeling; quality prediction

DOI：10.11949/j.issn.0438-1157.20151931

中圖分類號：TQ 02

文獻(xiàn)標(biāo)志碼：A

文章編號：0438—1157（2016）03—0724—05

Corresponding author:Prof. SONG Zhihuan, songzhihuan@zju.edu.cn