周昊飛

(鄭州航空工業(yè)管理學(xué)院 管理工程學(xué)院，河南 鄭州 450046)

監(jiān)控過(guò)程波動(dòng)對(duì)于確保過(guò)程穩(wěn)定，提升產(chǎn)品質(zhì)量水平具有重要意義[1]?？刂茍D作為統(tǒng)計(jì)過(guò)程控制(statistical process control，SPC)中的有效工具，已被廣泛應(yīng)用于工業(yè)過(guò)程監(jiān)控與診斷[2-3]。然而，隨著物聯(lián)網(wǎng)、無(wú)線(xiàn)傳感等技術(shù)的迅猛發(fā)展，數(shù)據(jù)采集的速率越來(lái)越高，許多工業(yè)自動(dòng)化生產(chǎn)過(guò)程中的數(shù)據(jù)通常具有強(qiáng)相關(guān)性[4]。然而，這些強(qiáng)相關(guān)數(shù)據(jù)流通常并不符合數(shù)據(jù)獨(dú)立性的統(tǒng)計(jì)假設(shè)，直接應(yīng)用常規(guī)休哈特控制圖對(duì)其進(jìn)行監(jiān)控會(huì)產(chǎn)生較多的漏判和誤判，引起無(wú)效的停機(jī)排查等問(wèn)題，進(jìn)而增加生產(chǎn)成本[5]。因此，如何構(gòu)造合適的控制圖對(duì)自相關(guān)過(guò)程進(jìn)行監(jiān)控是當(dāng)前制造型企業(yè)亟待解決的現(xiàn)實(shí)問(wèn)題。

目前，有關(guān)自相關(guān)過(guò)程監(jiān)控的研究主要集中于基于時(shí)間序列模型的控制圖[6]、基于機(jī)器學(xué)習(xí)的過(guò)程監(jiān)控[7]等方面?；跁r(shí)間序列模型的控制圖主要是使用時(shí)間序列模型對(duì)觀測(cè)數(shù)據(jù)進(jìn)行擬合，而后運(yùn)用常規(guī)控制圖對(duì)形成的殘差數(shù)據(jù)序列進(jìn)行監(jiān)控。孫靜[8]使用一階自回歸AR (1)模型對(duì)實(shí)際觀測(cè)值進(jìn)行擬合，而后采用休哈特控制圖對(duì)形成的殘差進(jìn)行監(jiān)控，建立殘差控制圖來(lái)解決自相關(guān)過(guò)程的監(jiān)控問(wèn)題。Alshraideh等[9]采用時(shí)間序列模型中的隱馬爾可夫模型 (hidden Markov model，HMM)獲取監(jiān)控變量的殘差，而后采用殘差控制圖對(duì)自相關(guān)過(guò)程進(jìn)行監(jiān)控。Albarracin 等[10]采用廣義自回歸移動(dòng)平均 (generalized autoregressive integrated moving average，GARMA)模型構(gòu)建殘差累計(jì)和控制圖對(duì)計(jì)數(shù)時(shí)間序列數(shù)據(jù)進(jìn)行監(jiān)控。肖艷等[11]針對(duì)多階自相關(guān)的問(wèn)題，運(yùn)用蒙特卡洛仿真方法，研究不同自回歸階數(shù)的自回歸模型對(duì)殘差控制圖性能的影響。上述研究需要對(duì)過(guò)程變量數(shù)據(jù)序列選取出一個(gè)嚴(yán)格的時(shí)間序列模型，對(duì)過(guò)程數(shù)據(jù)擬合的限制性假設(shè)較多，要求質(zhì)量人員應(yīng)當(dāng)具備較強(qiáng)的數(shù)據(jù)分析專(zhuān)業(yè)能力?；跈C(jī)器學(xué)習(xí)的監(jiān)控方法直接從過(guò)程數(shù)據(jù)中學(xué)習(xí)得到某些特定的非線(xiàn)性關(guān)系，進(jìn)而對(duì)未知的過(guò)程數(shù)據(jù)進(jìn)行分類(lèi)或預(yù)測(cè)，解決上述方法中限制性假設(shè)多，應(yīng)用不靈活等問(wèn)題[12-13]。White等[14]利用支持向量回歸對(duì)自相關(guān)過(guò)程數(shù)據(jù)預(yù)測(cè)，而后應(yīng)用累計(jì)和控制圖對(duì)實(shí)測(cè)值與預(yù)測(cè)值的殘差進(jìn)行監(jiān)控，構(gòu)建了基于支持向量回歸的累計(jì)和控制圖。Issam等[15]在存在自相關(guān)的情況下，比較人工神經(jīng)網(wǎng)絡(luò)、自回歸綜合移動(dòng)平均ARIMA和支持向量回歸模型3種方法的預(yù)測(cè)性能。上述這些研究主要是應(yīng)用抗干擾能力強(qiáng)、預(yù)測(cè)精度高的機(jī)器學(xué)習(xí)算法來(lái)形成更具區(qū)分力的殘差數(shù)據(jù)序列，進(jìn)而提升自相關(guān)控制圖的監(jiān)控能力。因此，引入具有更強(qiáng)數(shù)據(jù)學(xué)習(xí)能力的機(jī)器學(xué)習(xí)方法是進(jìn)一步提升自相關(guān)控制圖監(jiān)控效率的關(guān)鍵問(wèn)題。

近年來(lái)，深度學(xué)習(xí)的相關(guān)算法在自相關(guān)過(guò)程監(jiān)控中得以應(yīng)用。Chen等[16]采用深度學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò) (recurrent neural network，RNN)對(duì)自相關(guān)過(guò)程數(shù)據(jù)進(jìn)行預(yù)測(cè)，構(gòu)建基于RNN的殘差控制圖，取得良好的監(jiān)控效果。RNN納入序列相關(guān)，在學(xué)習(xí)過(guò)程中包含先前時(shí)間序列的所有歷史信息，是一種處理時(shí)間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。但是，標(biāo)準(zhǔn)RNN結(jié)構(gòu)在訓(xùn)練過(guò)程中存在梯度消失或者爆炸等問(wèn)題，難以對(duì)序列長(zhǎng)期依賴(lài)關(guān)系進(jìn)行有效的學(xué)習(xí)[17]。然而，由長(zhǎng)短期記憶網(wǎng)絡(luò) (long short term memory, LSTM)簡(jiǎn)化而來(lái)的門(mén)控循環(huán)單元 (gated recurrent unit，GRU)神經(jīng)網(wǎng)絡(luò)，不僅解決了序列的長(zhǎng)期依賴(lài)問(wèn)題，且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、計(jì)算速度快，在機(jī)械故障診斷中表現(xiàn)出較好的預(yù)測(cè)能力[18]。因此，為了進(jìn)一步提升自相關(guān)過(guò)程監(jiān)控的效率，本文應(yīng)用GRU神經(jīng)網(wǎng)絡(luò)對(duì)自相關(guān)過(guò)程數(shù)據(jù)進(jìn)行預(yù)測(cè)，提出基于GRU神經(jīng)網(wǎng)絡(luò)的自相關(guān)殘差控制圖，并形成自相關(guān)過(guò)程的在線(xiàn)監(jiān)控方法。通過(guò)仿真實(shí)驗(yàn)與基于AR (1)模型殘差控制圖、基于BPN殘差控制圖、基于SVR殘差控制圖的平均運(yùn)行鏈長(zhǎng) (average run length，ARL)進(jìn)行對(duì)比分析，驗(yàn)證了所提方法對(duì)自相關(guān)過(guò)程均值階躍監(jiān)控的有效性。

1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是深度學(xué)習(xí)方法中的一種，其當(dāng)前狀態(tài)兼顧了整個(gè)時(shí)序數(shù)據(jù)的先前信息，適宜于對(duì)時(shí)序信號(hào)進(jìn)行分析預(yù)測(cè)。RNN最顯著的特點(diǎn)是隱層自連接，當(dāng)前t時(shí)刻隱層的狀態(tài)是由前t-1時(shí)刻隱層狀態(tài)更新而來(lái)的，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)Figure 1 Basic structure of recurrent neural network

對(duì)于長(zhǎng)度為T(mén)的時(shí)間序列，選取其交叉熵誤差作為RNN的損失函數(shù)，具體可表示為

2 門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM是RNN的一種變體，該網(wǎng)絡(luò)正是為了解決RNN出現(xiàn)梯度消失以及梯度爆炸問(wèn)題而提出的[19]。LSTM 采用記憶體替換RNN隱層中的神經(jīng)元，能夠?qū)r(shí)間序列的信息進(jìn)行保留和長(zhǎng)期記憶。單個(gè)時(shí)間步的LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 單個(gè)時(shí)間步的LSTM網(wǎng)絡(luò)結(jié)構(gòu)Figure 2 Network structure of LSTM with single time step

LSTM通過(guò)遺忘門(mén) (forget gate，F(xiàn)G)、輸入門(mén)(input gate，IG)和輸出門(mén) (output gate，OG)實(shí)現(xiàn)對(duì)數(shù)據(jù)序列的保留和長(zhǎng)期記憶。FG決定當(dāng)前時(shí)刻網(wǎng)絡(luò)的狀態(tài)有多少信息需要保存到內(nèi)部狀態(tài)中，而輸入門(mén)則決定過(guò)去的狀態(tài)信息有多少需要丟棄。最后，由輸出門(mén)決定當(dāng)前時(shí)刻的內(nèi)部狀態(tài)有多少信息需要輸出給外部狀態(tài)。

3 自相關(guān)過(guò)程的在線(xiàn)監(jiān)控

3.1 數(shù)據(jù)說(shuō)明

在訓(xùn)練階段，采用自相關(guān)過(guò)程受控狀態(tài)下的正常時(shí)序數(shù)據(jù)對(duì)GRU網(wǎng)絡(luò)進(jìn)行離線(xiàn)訓(xùn)練。在測(cè)試階段，采用自相關(guān)過(guò)程不同階躍幅值的時(shí)序數(shù)據(jù)測(cè)試基于GRU網(wǎng)絡(luò)的殘差控制圖的監(jiān)控性能。應(yīng)用蒙特卡羅仿真自相關(guān)過(guò)程受控狀態(tài)下的正常時(shí)序數(shù)據(jù)，可表示為

圖3 單個(gè)時(shí)間步的GRU網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 Network structure of GRU with single time step

3.2 基于GRU網(wǎng)絡(luò)的殘差控制圖

采用處于受控狀態(tài)的時(shí)序數(shù)據(jù)對(duì)GRU網(wǎng)絡(luò)進(jìn)行離線(xiàn)訓(xùn)練與測(cè)試，在不同時(shí)刻滑動(dòng)窗口的向量作為GRU網(wǎng)絡(luò)的輸入，當(dāng)前時(shí)刻的下一實(shí)測(cè)值為輸出目標(biāo)。對(duì)自相關(guān)過(guò)程時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)的GRU網(wǎng)絡(luò)循環(huán)計(jì)算過(guò)程如圖4所示。

圖4 時(shí)序預(yù)測(cè)GRU網(wǎng)絡(luò)的循環(huán)計(jì)算過(guò)程Figure 4 Cycle calculation process of GRU network for time series prediction

采用滑動(dòng)窗口方法獲取GRU網(wǎng)絡(luò)的訓(xùn)練和測(cè)試數(shù)據(jù)集。在訓(xùn)練階段，學(xué)習(xí)得到窗口向量與輸出向量間的映射關(guān)系，而后在測(cè)試階段預(yù)測(cè)出當(dāng)前時(shí)刻的下一個(gè)測(cè)量值。依據(jù)不同時(shí)刻的預(yù)測(cè)值，構(gòu)建基于GRU網(wǎng)絡(luò)的自相關(guān)殘差控制圖，具體的構(gòu)建步驟如下。

步驟1 收集自相關(guān)過(guò)程處于統(tǒng)計(jì)受控狀態(tài)下的時(shí)間序列數(shù)據(jù)；

步驟2 采用滑動(dòng)窗口方法形成GRU網(wǎng)絡(luò)的訓(xùn)練、測(cè)試樣本數(shù)據(jù)集；

步驟3 初始化GRU網(wǎng)絡(luò)的參數(shù)，利用訓(xùn)練樣本數(shù)據(jù)集對(duì)其進(jìn)行離線(xiàn)訓(xùn)練；

步驟4 當(dāng)預(yù)測(cè)誤差滿(mǎn)足預(yù)定要求時(shí)，形成訓(xùn)練良好的GRU；

步驟5 計(jì)算預(yù)測(cè)值與實(shí)際值間的預(yù)測(cè)誤差，選取該誤差作為殘差控制圖中的監(jiān)控變量；

步驟6 依據(jù)第1類(lèi)錯(cuò)誤為0.27%，即受控ARL為370的原則，確定殘差控制圖的控制限。

3.3 在線(xiàn)監(jiān)控流程

應(yīng)用基于GRU網(wǎng)絡(luò)的殘差控制圖對(duì)自相關(guān)過(guò)程進(jìn)行在線(xiàn)監(jiān)控，包括分析用殘差控制圖的離線(xiàn)構(gòu)建和控制用殘差控制圖的在線(xiàn)過(guò)程監(jiān)控兩個(gè)階段。具體的應(yīng)用流程如圖5所示。離線(xiàn)階段，訓(xùn)練GRU網(wǎng)絡(luò)對(duì)受控狀態(tài)下的時(shí)序數(shù)據(jù)進(jìn)行非線(xiàn)性擬合，通過(guò)預(yù)測(cè)誤差構(gòu)建出分析用殘差控制圖。在線(xiàn)監(jiān)控階段，測(cè)試數(shù)據(jù)被輸入到訓(xùn)練好的GRU網(wǎng)絡(luò)以預(yù)測(cè)過(guò)程波動(dòng)，然后采用控制用殘差控制圖判定當(dāng)前過(guò)程是否失控。

圖5 基于GRU網(wǎng)絡(luò)的殘差控制圖在線(xiàn)監(jiān)控Figure 5 Online monitoring of residual control chart based on GRU network

在圖5中，虛線(xiàn)上方為分析用殘差控制圖的構(gòu)建過(guò)程，其具體的實(shí)現(xiàn)步驟見(jiàn)3.2節(jié)中的步驟1 ～ 6。虛線(xiàn)下方為構(gòu)建控制用殘差控制圖的構(gòu)建過(guò)程，具體過(guò)程如下。

步驟1 采用滑動(dòng)窗口取值形成自相關(guān)過(guò)程的測(cè)試樣本數(shù)據(jù)集；

步驟2 針對(duì)測(cè)試樣本數(shù)據(jù)集采用離線(xiàn)訓(xùn)練好的GRU網(wǎng)絡(luò)對(duì)其進(jìn)行預(yù)測(cè)；

步驟3 將分析用殘差控制圖的控制限賦值于控制用殘差控制圖，并將預(yù)測(cè)誤差繪制到殘差控制圖中；

步驟4 若殘差超過(guò)控制限或在控制限內(nèi)排列非隨機(jī)，則進(jìn)行失控報(bào)警，否則執(zhí)行步驟1。

4 仿真實(shí)驗(yàn)及分析

4.1 數(shù)據(jù)的產(chǎn)生

采用式 (8)蒙特卡洛仿真公式仿真自相關(guān)過(guò)程受控狀態(tài)下的時(shí)序數(shù)列數(shù)據(jù)X(t)，并依據(jù)監(jiān)控窗口大小為25，采用式 (9)將時(shí)序數(shù)列數(shù)據(jù)整理為GRU網(wǎng)絡(luò)的訓(xùn)練樣本數(shù)據(jù)。其中，自相關(guān)系數(shù)Φ分別取值為0.25、0.45和 0.75。針對(duì)每種自相關(guān)系數(shù)分別產(chǎn)生500組滑動(dòng)窗口為25的訓(xùn)練樣本數(shù)據(jù)。采用式(10)仿真自相關(guān)過(guò)程階躍狀態(tài)下的時(shí)序數(shù)據(jù)。其中，階躍幅度δ取值為0.5、1.0、2.0和3.0。

4.2 性能分析

1) 受控過(guò)程的ARL分析。

根據(jù)監(jiān)控獨(dú)立觀測(cè)值的休哈特控制圖原理, 如果被監(jiān)控變量是相互獨(dú)立的, 受控過(guò)程的平均運(yùn)行鏈長(zhǎng)應(yīng)當(dāng)近似等于370。因此，為驗(yàn)證采用GRU網(wǎng)絡(luò)構(gòu)建殘差控制圖的有效性，分別采用一階自回歸模型AR (1)、BP神經(jīng)網(wǎng)絡(luò)以及支持向量回歸3種不同方法進(jìn)行預(yù)測(cè)，而后對(duì)預(yù)測(cè)誤差采用休哈特控制圖進(jìn)行監(jiān)控，連續(xù)運(yùn)行100次，取所有在受控狀態(tài)下鏈長(zhǎng)的總平均得到ARL，見(jiàn)表1。

表1 受控過(guò)程的ARL對(duì)比Table 1 ARL comparison of in-controlled process

由表1可知，休哈特控制圖監(jiān)控上述3種方法產(chǎn)生預(yù)測(cè)誤差的ARL都較接近于理論值370。其中，基于機(jī)器學(xué)習(xí)方法的受控狀態(tài)下ARL比基于AR (1)模式的受控狀態(tài)下ARL要大，說(shuō)明采用機(jī)器學(xué)習(xí)方法進(jìn)行預(yù)測(cè)，而后應(yīng)用殘差控制圖進(jìn)行監(jiān)控對(duì)自相關(guān)過(guò)程發(fā)生誤報(bào)的概率要小。有GRU網(wǎng)絡(luò)預(yù)測(cè)的受控狀態(tài)下ARL值可知，采用GRU網(wǎng)絡(luò)構(gòu)建殘差控制圖對(duì)自相關(guān)過(guò)程進(jìn)行監(jiān)控是有效的。

2) 失控過(guò)程的ARL分析。

為進(jìn)一步驗(yàn)證基于GRU網(wǎng)絡(luò)殘差控制圖的監(jiān)控能力，對(duì)不同均值階躍幅值的自相關(guān)過(guò)程對(duì)比基于不同機(jī)器學(xué)習(xí)方法和不同時(shí)間序列模型的殘差控制圖的失控ARL。其中，過(guò)程均值階躍的幅度值以被監(jiān)控誤差的標(biāo)準(zhǔn)差為基本單位?；诓煌瑱C(jī)器學(xué)習(xí)方法殘差控制圖，基于不同時(shí)間序列模型殘差控制圖的失控ARL，分別見(jiàn)表2和表3。

表2 不同機(jī)器學(xué)習(xí)方法的ARL對(duì)比Table 2 ARL comparison with different machine learning methods

表3 不同預(yù)測(cè)方法的ARL對(duì)比Table 3 ARL comparison with different prediction methods

由表2和表3可知，在均值階躍幅值超過(guò)1倍標(biāo)準(zhǔn)差的情況下，基于機(jī)器學(xué)習(xí)方法殘差控制圖的失控ARL值均小于基于時(shí)間序列模型殘差控制圖的失控ARL值。這說(shuō)明基于機(jī)器學(xué)習(xí)方法的殘差控制圖對(duì)自相關(guān)過(guò)程監(jiān)控時(shí)，對(duì)過(guò)程均值階躍較為靈敏。其中，在均值階躍幅值等于或大于2倍標(biāo)準(zhǔn)差的情況下，基于GRU網(wǎng)絡(luò)殘差控制圖的失控ARL值都比較接近于1。這充分驗(yàn)證了所提殘差控制圖對(duì)自相關(guān)過(guò)程監(jiān)控的有效性。

5 結(jié)論

為了進(jìn)一步提升自相關(guān)過(guò)程監(jiān)控的效率，應(yīng)用GRU神經(jīng)網(wǎng)絡(luò)對(duì)受控狀態(tài)下的自相關(guān)過(guò)程數(shù)據(jù)進(jìn)行預(yù)測(cè)，提出基于GRU神經(jīng)網(wǎng)絡(luò)的自相關(guān)殘差控制圖，并詳細(xì)說(shuō)明應(yīng)用所提殘差控制圖的在線(xiàn)監(jiān)控方法。利用深度門(mén)控循環(huán)單元神經(jīng)網(wǎng)絡(luò)，該方法能夠識(shí)別具有不同自相關(guān)系數(shù)的各種相關(guān)過(guò)程的均值漂移。通過(guò)與基于一階自回歸模型AR (1)、BP神經(jīng)網(wǎng)絡(luò)以及支持向量回歸3種不同方法殘差控制圖的ARL性能對(duì)比，所提的基于GRU神經(jīng)網(wǎng)絡(luò)的殘差控制圖對(duì)自相關(guān)過(guò)程均值偏移具有良好的監(jiān)控性能。本文的研究能有效應(yīng)用于多變量自相關(guān)過(guò)程運(yùn)行狀態(tài)的監(jiān)控中。另外，應(yīng)用深度學(xué)習(xí)方法對(duì)自相關(guān)過(guò)程進(jìn)行異常原因診斷仍需進(jìn)一步深入研究。