摘 要 針對常規(guī)線性降維方法不能有效提取實際復(fù)雜非線性工業(yè)數(shù)據(jù)局部和全局結(jié)構(gòu)特征的問題，提出一種局部和全局保持堆棧自編碼器（LGRSAE）以及基于LGRSAE的過程故障檢測方法。在自編碼器（AE）的目標(biāo)函數(shù)中引入局部保持投影（LPP）算法和主成分分析（PCA）算法的目標(biāo)約束構(gòu)造局部和全局結(jié)構(gòu)保持自編碼器（LGRAE），以提取數(shù)據(jù)局部和全局結(jié)構(gòu)相關(guān)的特征。為了提取過程數(shù)據(jù)深層局部和全局結(jié)構(gòu)相關(guān)的特征，將LGRAE堆棧構(gòu)成LGRSAE。在田納西－伊斯曼（TE）過程數(shù)據(jù)集的故障檢測結(jié)果表明，LGRSAE的特征提取方法平均故障檢測率高于MRSAE、KPCA算法，且誤報率更低。

關(guān)鍵詞 故障檢測 堆棧自編碼器 特征提取 局部和全局結(jié)構(gòu)保持 數(shù)據(jù)降維

中圖分類號 TP277"" 文獻(xiàn)標(biāo)志碼 A"" 文章編號 1000 3932（2025）01 0111 08

工業(yè)過程故障檢測最主要的目的是能夠迅速地檢測出可能影響過程安全或者產(chǎn)品質(zhì)量的異常變化［1］。多元統(tǒng)計監(jiān)控方法的本質(zhì)是基于數(shù)據(jù)驅(qū)動的故障檢測方法，主要的基于數(shù)據(jù)驅(qū)動的方法有：主成分分析（Principal Component Analysis，PCA）［2］、偏最小二乘法（Partial Least Square，PLS）［3］和獨立成分分析（Independent Component Analysis，ICA）［4］。上述方法使用線性降維會丟失數(shù)據(jù)局部信息，而局部保留投影（Locality Preserving Projection，LPP）算法［5］雖能提取數(shù)據(jù)的局部特征，但對于復(fù)雜分布的非線性過程表現(xiàn)不佳。

非線性特征提取方法有：基于核函數(shù)的方法、基于機器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。最經(jīng)典的基于核函數(shù)的方法是核主元分析（Kernel Principal Component Analysis，KPCA）［6］。KPCA使用核函數(shù)將數(shù)據(jù)投影到高維空間，在高維空間進行特征提取。KPCA考慮了數(shù)據(jù)的非線性特征，對于非線性數(shù)據(jù)的故障檢測效果要優(yōu)于線性降維方法。機器學(xué)習(xí)特征提取方法有高斯混合模型（Gaussian Mixture Model，GMM）［7］、支持向量機（Sport Vector Machine，SVM）［8］及支持向量描述（Support Vector Data Description，SVDD）［9］等?；谏疃葘W(xué)習(xí)的非線性特征提取方法是近幾年的研究熱點?；谏疃葘W(xué)習(xí)的特征提取算法主要包括：卷積神經(jīng)網(wǎng)絡(luò)（Conventional Neural Network，CNN）［10］、深度置信網(wǎng)絡(luò)（Deep Brief Network，DBN）［11］、堆棧自編碼器（Stacked Auto Encoder，SAE）［12］及堆棧降噪自編碼器（Stacked Diagnosing Auto Encoder，SDAE）［13］等。

堆棧自編碼器（Stacked Auto Encoder，SAE）采用分層預(yù)訓(xùn)練和超參數(shù)微調(diào)的策略，在重構(gòu)數(shù)據(jù)時提取數(shù)據(jù)的深層特征。SAE算法若將激活函數(shù)選為線性激活函數(shù)，則可達(dá)到PCA算法的效果，若選擇非線性激活函數(shù)，則可用于非線性特征降維，類似于KPCA算法。常規(guī)SAE算法僅考慮了數(shù)據(jù)的全局結(jié)構(gòu)，未能同時考慮數(shù)據(jù)的局部和全局結(jié)構(gòu)信息，特征提取能力還有待進一步提高。在復(fù)雜的化工過程數(shù)據(jù)中，需要SAE在學(xué)習(xí)到的特征中保留數(shù)據(jù)的局部和全局結(jié)構(gòu)特征。為了解決這一問題，筆者提出了一種局部全局保持堆棧自編碼器（Local and Global Structure Preserving Regularized Stacked Auto Encoder，LGRSAE），以逐層保持原始輸入數(shù)據(jù)的局部和全局結(jié)構(gòu)。最后，通過田納西－伊斯曼（Tennessee Eastman，TE）過程驗證了LGRSAE算法的有效性。

1 局部全局結(jié)構(gòu)保持堆棧自編碼器

給定訓(xùn)練數(shù)據(jù)X=［x，x，…，x］，x∈R，n為采樣點個數(shù)，m為樣本個數(shù)，編碼器通過非線性變換f（·）將訓(xùn)練數(shù)據(jù)x投影到隱含層h，解碼器使用非線性變換f（·）將h重構(gòu)輸出為，數(shù)學(xué)表達(dá)式如下：

h=f（W（e）x+b（e））""""" （1）

=f（Wh+b） """""""" """ （2）

其中，f（·）和f（·）分別是編碼環(huán)節(jié)和解碼環(huán)節(jié)的激活函數(shù)，W和W分別是編碼環(huán)節(jié)和解碼環(huán)節(jié)的權(quán)重矩陣，b和b分別是編碼環(huán)節(jié)和解碼環(huán)節(jié)的偏差向量。

自編碼器AE通過訓(xùn)練找到使訓(xùn)練誤差最小的最優(yōu)參數(shù)集合θ=｛W，W，b，b｝：

J（θ）=‖-x‖""" （3）

其中，J（θ）為自編碼器的均方誤差訓(xùn)練目標(biāo)函數(shù)。

LPP是非線性拉普拉斯特征映射的線性近似，目的在于保持?jǐn)?shù)據(jù)的局部拓?fù)浣Y(jié)構(gòu)。如果兩數(shù)據(jù)點x和x在高維空間中相鄰，那么對應(yīng)的點h和h在投影空間中仍是相鄰的。LPP目標(biāo)函數(shù)為：

J=min‖h-h‖M""" （4）

其中，h=Lx，L為LPP的投影矩陣。M為數(shù)據(jù)點x和x的近鄰權(quán)重，可以用熱核函數(shù)表示：

M=e，x∈N（x）或x∈N（x）0"""" ，其他" （5）

其中，δ為可調(diào)參數(shù)，可控制權(quán)重隨距離增大而遞減；N（x）和N（x）分別為x和x的k近鄰數(shù)據(jù)點集合。

PCA以線性變換將高維數(shù)據(jù)x按最大化數(shù)據(jù)方差的方向投影到低維特征空間時，h保留了數(shù)據(jù)x最大全局結(jié)構(gòu)。PCA目標(biāo)函數(shù)為：

J=max‖h-h‖"""" （6）

其中，h=Px，P為PCA的投影矩陣。

為了在AE算法數(shù)據(jù)重構(gòu)的過程中保留數(shù)據(jù)的局部、全局結(jié)構(gòu)，從而提取數(shù)據(jù)局部、全局結(jié)構(gòu)相關(guān)的特征，將LPP算法和PCA算法的目標(biāo)函數(shù)引入AE算法，構(gòu)造局部全局結(jié)構(gòu)保持自編碼器（Local and Global Structure Preserving Regularized Auto Encoder，LGRAE）。為了提取數(shù)據(jù)的局部和全局結(jié)構(gòu)特征，若兩個數(shù)據(jù)距離足夠近，它們在LGRAE的重構(gòu)空間中也要足夠近。在LGRAE重構(gòu)空間最大化數(shù)據(jù)的方差，以提取數(shù)據(jù)的潛在全局結(jié)構(gòu)特征。LGRAE的目標(biāo)函數(shù)定義如下：

min J（θ）=min J+λ"" （7）

J（θ）=‖-‖M""" （8）

J（θ）=‖-x‖"""" （9）

其中，λ為非負(fù)常數(shù)；ε為非負(fù)微小常數(shù)；x為樣均值本；J為重構(gòu)損失；J（θ）為局部方差損失，可使數(shù)據(jù)點x和x的近鄰關(guān)系在LGRAE重構(gòu)空間和中得以保留；J（θ）為全局方差損失，可使重構(gòu)空間按照原始數(shù)據(jù)最大化方差的投影方向構(gòu)造，以在LGRAE的重構(gòu)過程中提取數(shù)據(jù)的全局結(jié)構(gòu)特征。LGRAE的結(jié)構(gòu)如圖1所示。

2 LGRSAE參數(shù)更新方式

以第i個數(shù)據(jù)x為例，LGRAE的隱含層為h，重構(gòu)數(shù)據(jù)為。LGRAE的參數(shù)θ通過反向傳播算法（BP）更新，直至達(dá)到設(shè)定迭代次數(shù)，或者最小設(shè)定誤差。更新迭代方式如下。

a. 計算LGRAE前向傳播的隱含層輸出h和重構(gòu)數(shù)據(jù)：

z=Wx+b""""" （10）

h=f（z）"""""" （11）

z=Wx+b""""" （12）

=f（z）"""""" （13）

其中，z為h的激活輸入，z為的激活輸入。

b. 根據(jù)式（3）、（8）、（9）計算LGRAE的重構(gòu)損失J、局部方差損失J和全局方差損失J，然后基于損失函數(shù)（7）計算偏導(dǎo)數(shù)：

=

=-（-x）？茚f ′（z）+λ（（-）M？茚（ε+‖-x‖）-

‖-‖M？茚（-x））？茚f ′（z）/（‖-x‖+ε）

（14）

其中，f ′為激活函數(shù)f的導(dǎo)數(shù)，？茚表示矩陣的逐元素乘積。

c. 計算J對隱含層h的輸入z的偏導(dǎo)數(shù)δ：

δ=

=（w（d））？茚f ′（z）"""" （15）

其中，f ′為激活函數(shù)f的導(dǎo)數(shù)。

d. LGRAE的參數(shù)可由反向傳播算法進行自動更新：

w=w-η=W-hTi

b=b-η=b-

w=w-η=W-xTi

b=b-η=b-""" （16）

其中，η為LGRAE的學(xué)習(xí)率。

LGRSAE（圖2）是由l個LGRAE構(gòu)成的。

AE——第i個預(yù)訓(xùn)練的AE；——第i個AE的重構(gòu)輸出；

h——第i個AE的潛隱變量（隱含層）

LGRSAE的訓(xùn)練包括兩個步驟：無監(jiān)督預(yù)訓(xùn)練和參數(shù)微調(diào)。無監(jiān)督預(yù)訓(xùn)練首先訓(xùn)練LGRAE，求得最優(yōu)參數(shù)集合W、W、b、b以及隱含層h，將h作為LGRAE輸入，訓(xùn)練LGRAE。依次訓(xùn)練LGRAE～LGRAE可以得到LGRSAE的參數(shù)集合｛W｝、｛W｝、｛b｝、｛b｝，將其作為LGRSAE參數(shù)微調(diào)階段的初始化參數(shù)。令第1個LGRAE的訓(xùn)練輸入x和重構(gòu)輸出分別為h和，第l個LGRAE的訓(xùn)練輸入h和重構(gòu)輸出之間的損失函數(shù)為：

J（θ）=‖-h‖+

λ""""" （17）

LGRSAE是將LGRAE1～LGRAEl中的節(jié)點按照［x，h，…，h，h，，…，，］的順序進行堆棧連接構(gòu)成的。在LGRSAE初始化參數(shù)的基礎(chǔ)上繼續(xù)訓(xùn)練可得到訓(xùn)練好的模型。

3 基于LGRSAE的過程檢測

以3個LGRAE構(gòu)成的LGRSAE為例，｛W｝和｛b｝分別為第i個LGRAE編碼環(huán)節(jié)的權(quán)值和偏差值，其特征空間計算步驟如下：對于第i個預(yù)處理的數(shù)據(jù)x，編碼環(huán)節(jié)通過非線性變換｛f（·）｝構(gòu)造特征空間：

h=f（Wf（Wf（Wx+b）+b）+b） （18）

其中，h為第i個數(shù)據(jù)的特征，h∈R為列向量。則第i個數(shù)據(jù)的T為：

T=（h-h）Φ（h-h）"""" （19）

其中，Φ為由d個特征構(gòu)成的特征空間的協(xié)方差矩陣，h為h的均值。

由于無法確切地知道統(tǒng)計量的分布信息，可使用核密度估計（Kernel Density Estimation，KDE）［14］確定統(tǒng)計量的控制限。對于給定的數(shù)據(jù)x∈X，假設(shè)x的概率密度函數(shù)為f（x），則x的分布（·）滿足如下積分條件：

（xlt;a）= f（x）dx"""" （20）

選取高斯核函數(shù)作為KDE的核函數(shù)，則：

f（x）=exp（-（））"" （21）

其中，cgt;0為帶寬系數(shù)。在置信度等級為α條件下，控制限閾值T的計算式如下：

1-α=（m）dm""""" （22）

基于LGRSAE的離線建模步驟如下：

a. 收集正常的過程數(shù)據(jù)集X作為LGRSAE的訓(xùn)練數(shù)據(jù)。

b. 對正常數(shù)據(jù)進行標(biāo)準(zhǔn)化處理，使數(shù)據(jù)的均值為0，方差為1。

c. 構(gòu)建LGRSAE模型——LGRSAE、LGRSAE、LGRSAE，并進行預(yù)訓(xùn)練。

d. 在完成LGRSAE的訓(xùn)練后，根據(jù)式（18）計算得到正常過程數(shù)據(jù)的特征空間。

e. 根據(jù)式（19）計算得到T統(tǒng)計量。

f. 使用KDE確定T統(tǒng)計量的控制限T。

基于LGRSAE的在線監(jiān)測步驟如下：

a. 收集含有故障的過程數(shù)據(jù)，將這些數(shù)據(jù)作為實驗過程的測試數(shù)據(jù)集X′。

b. 將測試數(shù)據(jù)集X′進行標(biāo)準(zhǔn)化，使用與離線建模過程相同的標(biāo)準(zhǔn)化方法得到X′。

c. 使用訓(xùn)練好的LGRSAE模型生成訓(xùn)練數(shù)據(jù)集的特征空間。

d. 根據(jù)式（18）和（19），計算得到T統(tǒng)計量。

e. 通過比較T統(tǒng)計量和T的大小，確定系統(tǒng)是否處于正常運行狀態(tài)。

基于LGRSAE的故障檢測流程如圖3所示。

4 TE過程

TE過程［15，16］是一個工業(yè)過程檢測的標(biāo)準(zhǔn)測試平臺，其流程如圖4所示。TE過程是一個由多個單元和控制回路組成的復(fù)雜多變量過程，包括反應(yīng)器、冷凝器、壓縮機、汽提塔和分離器5個主要單元，具有非線性、非高斯和高維度的特點。TE過程數(shù)據(jù)集模擬了53個過程變量，包含22個過程測量值、19個成分變量和12個控制變量。訓(xùn)練數(shù)據(jù)集包含500個正常采樣數(shù)據(jù)。在第161個采樣點，仿真了6類故障構(gòu)造了21個不同的故障數(shù)據(jù)集，其中每個故障數(shù)據(jù)集包含960個采樣數(shù)據(jù)。這6類故障分別為：階躍變化故障、隨機變化故障、緩慢漂移故障、粘滯故障、未知故障和恒定故障，故障類型描述可參考文獻(xiàn)［16］。

為了確定LGRSAE算法的有效性，將其與流形正則化堆棧自編碼器（Manifold Regularized Stacked Auto Encoders，MRSAE）［1］和KPCA［4］算法進行對比。根據(jù)PCA算法累計方差貢獻(xiàn)率85%，特征變量的個數(shù)選擇28個。在TE正常數(shù)據(jù)集上離線建模的LGRSAE、MRSAE的訓(xùn)練模型結(jié)構(gòu)為53 2048 1024 28 1024 2048 53。LGRSAE、MRSAE的特征提取結(jié)構(gòu)為53 2048 1024 28。KDE控制限的置信等級選取0.99。λ的取值為0.003，ε的取值為0.001。仿真環(huán)境為：CPU Inter（R） Core （TM） i7 9700H，操作系統(tǒng) Windows 10（64位），RAM 16 GB，軟件 Python 3.8.5、TensorFlow 2.5.0。

算法故障性能指標(biāo)為檢測率FDR和誤報率FAR。表1給出了3個算法的仿真結(jié)果，故障#3、#9、#15的檢測效果較差，將其排除在外［1］。LGRSAE的平均FAR為3.29%，較MRSAE和KPCA分別低0.18%和0.81%，LGRSAE平均FDR為94.7%，較MRSAE和KPCA分別高12.37%和18.68%，而MRSAE的FDR僅優(yōu)于KPCA算法6.31%。根據(jù)統(tǒng)計結(jié)果來看，LGRSAE在FAR和FDR上表現(xiàn)都最好，其次是MRSAE算法，KPCA算法表現(xiàn)最差。由于LGRSAE在目標(biāo)函數(shù)中引入數(shù)據(jù)局部和全局結(jié)構(gòu)保持的正則化，可學(xué)習(xí)數(shù)據(jù)間更有用的潛在流形結(jié)構(gòu)相關(guān)特征，因此故障檢測效果優(yōu)于MRSAE和KPCA。

LGRSAE在故障#5、#10、#16、#19、#20表現(xiàn)出較高的檢測率（分別為100%、93.62%、96.25%、93.12%、91.12%），而其他算法對于這5個故障的檢測率都不到80%。故障#5、故障#19的檢測結(jié)果如圖5、6所示，LGRSAE和MRSAE方法的FDR均顯著優(yōu)于KPCA。從圖5、6中可以看出，LGRSAE的T2統(tǒng)計量在故障出現(xiàn)后幾乎同時超過控制限，可以反映出LGRSAE對于故障的靈敏性。

5 結(jié)束語

LGRSAE結(jié)合了LPP和PCA算法的思想，并在重構(gòu)空間中保留了數(shù)據(jù)的局部和全局結(jié)構(gòu)，可以提取數(shù)據(jù)間的潛在局部和全局結(jié)構(gòu)相關(guān)特征。通過LGRSAE進行特征提取，構(gòu)造T2統(tǒng)計量進行故障檢測。在TE過程數(shù)據(jù)集中，LGRSAE的T2統(tǒng)計量能夠有效地捕捉到故障引起的過程變量異常，從而實現(xiàn)對故障的準(zhǔn)確檢測。LGRSAE的T2統(tǒng)計量在TE過程數(shù)據(jù)集上有94.7%的平均檢測率，LGRSAE在多個故障類型上要優(yōu)于對照算法。LGRSAE引入正則化能夠使模型提取非線性數(shù)據(jù)間流形結(jié)構(gòu)相關(guān)的特征，誤報率低于MRSAE和KPCA算法，具有更高的魯棒性。

參 考 文 獻(xiàn)

［1］ YU J B，ZHANG C Y.Manifold regularized stacked aut "oencoders based feature learning for fault detection in industrial processes［J］.Journal of Process Control，2020，92（1）：119-136.

［2］ 王海清，宋執(zhí)環(huán)，王慧.PCA過程監(jiān)測方法的故障檢測行為分析［J］.化工學(xué)報，2002，53（3）：297-301.

［3］ 常鵬，高學(xué)金，王普.基于多向核熵偏最小二乘的間歇過程監(jiān)測及質(zhì)量預(yù)測［J］.北京工業(yè)大學(xué)學(xué)報，2014，40（6）：851-856.

［4］ JIANG Q，YAN X，LV Z，et al.Independent component analysis based nonGaussian process monitoring with preselecting optimal components and support vector data description［J］.International Journal of Production Research，2014，52（11）：3273-3286.

［5］ 郭金玉，仲璐璐，李元.基于統(tǒng)計差分LPP的多模態(tài)間歇過程故障檢測［J］.計算機應(yīng)用研究，2019，36（1）：123-126.

［6］ LEE J M，YOO C K，CHOI S W，et al.Nonlinear process monitoring using kernel principal componentanalysis［J］.Chemical Engineering Science，2004，59（1）：223-234.

［7］ 譚帥，常玉清，王福利，等.基于GMM的多模態(tài)過程模態(tài)識別與過程監(jiān)測［J］.控制與決策，2015，30（1）：53-58.

［8］ 許潔，胡壽松.基于KPCA和MKL SVM的非線性過程監(jiān)控與故障診斷［J］.儀器儀表學(xué)報，2010，31（11）：2428-2433.

［9］ KIM Y，KIM S B.Optimal 1 alarm controlled support vector data description for multivariate process monitoring［J］.Journal of Process Control，2018，65（1）：1-14.

［10］ 李元，馮成成.基于一維卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的工業(yè)過程故障檢測［J］.測控技術(shù)，2019，38（9）：36-40；61.

［11］ SALAKHUTDINOV R，HINTON G.An Efficient Learn ing Procedure for Deep Boltzmann Machines［J］.Neural Computation，2012，24（8）：1967-2006.

［12］ LI Z C，TIAN L，JIANG Q C，et al.Distributed ensem ble stacked autoencoder model for non linear process monitoring［J］.Information Sciences，2020， 542（1）：302-316.

［13］ VINCENT P，LAROCHELLE H，LAJOIE I，et al.Stac "ked Denoising Autoencoders：Learning Useful Representations in a Deep Network with a Local Denoising Criterion［J］.Journal of Machine Learning Research，2010，11（12）：3371-3408.

［14］ 劉恒，劉振娟，李宏光.基于數(shù)據(jù)驅(qū)動的化工過程參數(shù)報警閾值優(yōu)化［J］.化工學(xué)報，2012，63（9）：2733-2738.

［15］ YAN S F，YAN X F.Design teacher and supervised du al stacked auto encoders for quality relevant fault detection in industrial process［J］.Applied Soft Computing，2019，81（1）：105526-105543.

［16］ BATHELT A，RICKER N L，JELALI M.Revision of the Tennessee Eastman Process Model［J］.IFAC Papers "OnLine，2015，48（8）：309-314.

（收稿日期：2024-06-20，修回日期：2024-12-30）

Fault Detection for the Chemical Process Based on LGRSAE Algorithm

YANG Jing chao

（CNOOC Petrochemical Engineering Co.，Ltd.）

Abstract"" Aiming at the conventional linear dimension reducing method’s incapability in extracting local and global structural features of the real complex nonlinear industrial data effectively， a local and global stack retaining auto encoder（LGRSAE）and a process fault detection method based on LGRSAE were developed. In addition， the objective constraints of the locality preserving projection（LPP） algorithm and the principal component analysis（PCA） algorithm were introduced into the objective function of the auto encoder（AE） to extract the features related to the local and global structure of the data， including having LGRAE stacks constructed to form LGRSAE to extract features related to deep local and global structure of the process data. The fault detection results on the TE （Tennessee Eastman） process data set show that， the average fault detection rate of the feature extraction method of LGRSAE is higher than those of the MRSAE and KPCA algorithms and the 1 alarm rate is lower.

Key words"" fault detection， stacked auto encoder， feature extraction， local and global structure preserving， data dimension reduction