李 琦，李 婧，蔣增強(qiáng)，邊靖媛

(北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044)

0 引言

系統(tǒng)在完成本身預(yù)定功能的同時(shí)會(huì)受多種因素影響，這些影響造成了系統(tǒng)性能的緩慢退化。當(dāng)系統(tǒng)的性能指標(biāo)降低到一定閾值時(shí)，便無(wú)法保證其安全運(yùn)行，應(yīng)停止運(yùn)行并進(jìn)行系統(tǒng)(或部件)維修或替換。針對(duì)緩慢退化系統(tǒng)進(jìn)行維修策略?xún)?yōu)化有兩方面研究?jī)?nèi)容：①對(duì)系統(tǒng)的緩慢退化過(guò)程進(jìn)行建模，尋找其內(nèi)在規(guī)律；②根據(jù)退化規(guī)律進(jìn)行維修策略?xún)?yōu)化，包括確定維修時(shí)間、維修方式和替換方法等。

近些年，學(xué)者們對(duì)緩慢退化系統(tǒng)的維護(hù)和更換問(wèn)題進(jìn)行了廣泛研究。Love等[1]在半Markov決策過(guò)程(Semi-Markov Decision Process，SMDP)框架中分析了相關(guān)維修模型，考慮了可能發(fā)生故障的機(jī)器(系統(tǒng))的狀態(tài)特征，包括機(jī)器的真實(shí)役齡和已發(fā)生的故障數(shù)量；Castanier等[2]研究了可修復(fù)系統(tǒng)的連續(xù)監(jiān)測(cè)退化狀態(tài)維護(hù)策略，提出多閾值策略，利用維持系統(tǒng)狀態(tài)的半再生(或Markov更新)特性構(gòu)建了穩(wěn)態(tài)下維護(hù)系統(tǒng)的隨機(jī)模型；Leve等[3]研究了使用預(yù)防性維修策略和替換性維修策略來(lái)優(yōu)化隨機(jī)退化系統(tǒng)的維護(hù)問(wèn)題，提出并分析了Markov決策過(guò)程模型，其維修目標(biāo)是最大限度地減少預(yù)期折扣成本?？梢?jiàn)，Markov過(guò)程是進(jìn)行維護(hù)策略?xún)?yōu)化的重要技術(shù)框架。在計(jì)算方法方面，Moustafa等[4]采用了策略迭代算法，并對(duì)該算法和次優(yōu)控制限制方法進(jìn)行比較；Kim等[5]為了計(jì)算最優(yōu)策略，開(kāi)發(fā)了一種新的改進(jìn)策略迭代算法，該算法使用Leve等[3]提出的嵌入式技術(shù)，減少了狀態(tài)空間的計(jì)算量。

在Markov過(guò)程的框架內(nèi)，諸多學(xué)者也在研究采樣頻率、退化規(guī)律建模等內(nèi)容。Zhou等[6]采用基于蒙特卡洛密度投影方法將無(wú)限連續(xù)的狀態(tài)空間映射到有限的“信念”狀態(tài)空間中，然后在Markov決策過(guò)程中將其離散化，以確定最優(yōu)維護(hù)策略；Wang等[7]研究了基于Weibull隨機(jī)效應(yīng)斜率和獨(dú)立同分布誤差項(xiàng)的線(xiàn)性退化模型，得出最優(yōu)控制極限和監(jiān)測(cè)間隔時(shí)長(zhǎng)；Curcurù等[8]描述了具有漂移的一階自回歸模型的退化過(guò)程，并將其視為Markov退化過(guò)程；基于此，Tang等[9]提出利用具有時(shí)效性的自回歸模型描述系統(tǒng)的退化過(guò)程，然后使用SMDP框架計(jì)算最優(yōu)維護(hù)策略，并利用條件監(jiān)測(cè)信息推導(dǎo)出緩慢退化的軟故障系統(tǒng)的剩余壽命估算公式。由此可見(jiàn)，基于Markov決策過(guò)程(Markov Decision Process，MDP)及其分支理論SMDP的緩慢退化系統(tǒng)維修研究，正在向各個(gè)方向延伸完善，其中有關(guān)維修策略?xún)?yōu)化過(guò)程中遇到的采樣不完全、采樣成本高等問(wèn)題的研究越來(lái)越切合實(shí)際。一般而言，解決這類(lèi)問(wèn)題需要據(jù)統(tǒng)計(jì)學(xué)原理，采用復(fù)雜的數(shù)學(xué)模型，其中適用于緩慢退化系統(tǒng)的基于SMDP的最優(yōu)化維修策略模型是較為合適的方法之一，隨著機(jī)器學(xué)習(xí)和人工智能的發(fā)展，該方法的求解算法逐漸成熟。

本研究采用基于SMDP的方法作為針對(duì)緩慢退化系統(tǒng)的退化過(guò)程進(jìn)行最優(yōu)化維修策略建模的技術(shù)框架。但是與以往研究不同的是，本研究著重考慮退化過(guò)程中不同個(gè)體的異質(zhì)性，使用線(xiàn)性混合效應(yīng)模型(Linear Mixed-Effects Model，LMEM)擬合分析緩慢退化系統(tǒng)的狀態(tài)[10]，既考慮總體退化的一般性(固定效應(yīng))，也考慮個(gè)體退化的特殊性(隨機(jī)效應(yīng))。據(jù)此求解狀態(tài)轉(zhuǎn)化概率，找到維修或替換策略的合理極限值，制定最優(yōu)化維修策略，并最小化單位時(shí)間長(zhǎng)期預(yù)計(jì)平均成本，從而使得系統(tǒng)效益最大化，推動(dòng)系統(tǒng)向高可靠性方向發(fā)展。

1 半Markov決策過(guò)程基礎(chǔ)理論

緩慢退化系統(tǒng)的狀態(tài)維修是將連續(xù)的退化過(guò)程離散成有限的退化狀態(tài)，通過(guò)檢測(cè)判定系統(tǒng)所處的退化狀態(tài)，從而采取相應(yīng)的維修策略。描述離散狀態(tài)退化過(guò)程的經(jīng)典方法包括Markov決策過(guò)程、半Markov決策過(guò)程等。

1.1 Markov決策過(guò)程

設(shè)X(t)(t≥0)是取值在空間S={1,2,…,N}上的一個(gè)隨機(jī)過(guò)程，若對(duì)任意自然數(shù)n及任意n個(gè)時(shí)刻點(diǎn)0≤t1

P{X(tn)=zn|X(t1)=z1,…,X(tn-1)

=zn-1}=P{X(tn)=zn|X(tn-1)

=zn-1},z1,…,zn∈E

(1)

成立，則稱(chēng)X(t)(t≥0)是離散狀態(tài)空間S上的連續(xù)時(shí)間Markov過(guò)程。若給定Markov過(guò)程X(t)(t≥0)當(dāng)前所處的狀態(tài)，則未來(lái)狀態(tài)的轉(zhuǎn)移只與當(dāng)前狀態(tài)有關(guān)，而與歷史狀態(tài)無(wú)關(guān)，這一特性稱(chēng)為Markov過(guò)程的無(wú)記憶性。MDP是基于Markov過(guò)程理論的隨機(jī)動(dòng)態(tài)系統(tǒng)的最優(yōu)決策過(guò)程，決策者周期或連續(xù)地觀(guān)測(cè)隨機(jī)動(dòng)態(tài)系統(tǒng)的狀態(tài)，并依次做出決策。MDP主要包括狀態(tài)s、行動(dòng)a、狀態(tài)轉(zhuǎn)移概率P(s,a)、報(bào)酬R(s,s′,a)和目標(biāo)V[11]，因此可以用五元組{S,A(i),Pij(i,a),R(i,a),V}表示Markov決策過(guò)程。

1.2 半Markov決策過(guò)程

由1.1節(jié)的定義可知，MDP只考慮各個(gè)狀態(tài)之間的狀態(tài)轉(zhuǎn)移，忽略了系統(tǒng)在不同狀態(tài)內(nèi)的不同持續(xù)時(shí)間。然而，在實(shí)際系統(tǒng)運(yùn)行過(guò)程中，系統(tǒng)在某一狀態(tài)內(nèi)往往會(huì)持續(xù)一段(不同的)時(shí)間，由此產(chǎn)生了SMDP，其與MDP的主要區(qū)別是考慮了設(shè)備處在各個(gè)狀態(tài)的平均停留時(shí)間。

對(duì)平穩(wěn)狀態(tài)持續(xù)時(shí)間做如下定義：假設(shè)t1,t2,為半Markov隨機(jī)過(guò)程X(t)(t≥0)的狀態(tài)轉(zhuǎn)移時(shí)刻，且滿(mǎn)足0≤t1

圖中，在狀態(tài)S下，決策者可以選擇任意一個(gè)行動(dòng)a對(duì)系統(tǒng)做出決策；作為對(duì)行動(dòng)a的響應(yīng)，系統(tǒng)會(huì)根據(jù)一定的狀態(tài)轉(zhuǎn)移概率P(s,a)，并經(jīng)過(guò)一定的狀態(tài)轉(zhuǎn)移時(shí)間T(i,a)轉(zhuǎn)移到一個(gè)新的狀態(tài)S′，同時(shí)作為回報(bào)，系統(tǒng)會(huì)給決策者一個(gè)報(bào)酬R(s,s′,a)。在系統(tǒng)處于新?tīng)顟B(tài)S′的條件下，決策者會(huì)采取新的決策，并不斷重復(fù)執(zhí)行，直到系統(tǒng)在預(yù)設(shè)目標(biāo)V下達(dá)到最優(yōu)。

1.3 退化模型的選擇

構(gòu)建緩慢退化系統(tǒng)的SMDP模型時(shí)，系統(tǒng)狀態(tài)往往以時(shí)間維度的退化數(shù)據(jù)來(lái)展現(xiàn)[12-13]，目前常用的退化模型包括退化軌跡模型、退化量分布模型、Gamma過(guò)程模型、Wiener過(guò)程模型等[14]，綜合幾種退化模型的特征可以發(fā)現(xiàn)：①這些模型在模擬時(shí)通常假設(shè)誤差服從獨(dú)立同分布，然而實(shí)際的觀(guān)測(cè)數(shù)據(jù)很難滿(mǎn)足這種條件，這種假設(shè)對(duì)估計(jì)結(jié)果有很大影響；②過(guò)去大多數(shù)模型關(guān)心的是研究對(duì)象的確定性模型和平均行為，忽略了個(gè)體之間或者群體之間的序列相關(guān)性和差異性；③很多退化數(shù)據(jù)都是對(duì)固定區(qū)域的不同觀(guān)測(cè)對(duì)象在一定時(shí)間內(nèi)或者不同條件下進(jìn)行多次觀(guān)測(cè)得到，這些縱向以及重復(fù)性觀(guān)測(cè)數(shù)據(jù)普遍存在空間和時(shí)間上的序列相關(guān)性，以往的模型估計(jì)方法因未考慮這些相關(guān)性而影響了退化模型的準(zhǔn)確性。時(shí)間序列分析是根據(jù)系統(tǒng)觀(guān)測(cè)得到的時(shí)間序列數(shù)據(jù)，通過(guò)曲線(xiàn)擬合和參數(shù)估計(jì)來(lái)建立數(shù)學(xué)模型的理論和方法[13]，因此本文采用帶有時(shí)間序列的混合效應(yīng)模型描述退化過(guò)程?；旌闲?yīng)模型由固定效應(yīng)和隨機(jī)效應(yīng)兩部分組成，既可以反映總體的平均變化趨勢(shì)，又可以提供數(shù)據(jù)方差、協(xié)方差等多種信息來(lái)反映個(gè)體之間的差異，而且在處理連續(xù)觀(guān)測(cè)數(shù)據(jù)空間和時(shí)間上的序列相關(guān)性等問(wèn)題時(shí)具有其他模型無(wú)法比擬的優(yōu)勢(shì)。

在傳統(tǒng)回歸的基礎(chǔ)上添加隨機(jī)效應(yīng)，構(gòu)建如下完整的線(xiàn)性混合效應(yīng)模型[15-16]：

(2)

以本文采用的激光退化數(shù)據(jù)集為例，通過(guò)模型比較后發(fā)現(xiàn)，對(duì)基礎(chǔ)模型進(jìn)行異方差調(diào)節(jié)前后不存在統(tǒng)計(jì)學(xué)差異，而采用自相關(guān)調(diào)節(jié)可顯著改善模型，因此只在基礎(chǔ)模型的基礎(chǔ)上進(jìn)行自相關(guān)調(diào)節(jié)。最終確定的激光退化(運(yùn)行電流增長(zhǎng)量)和運(yùn)行時(shí)間之間的混合效應(yīng)模型如式(3)所示，其中：下標(biāo)m表示誤差的方差—協(xié)方差矩陣中含有的激光退化集的個(gè)數(shù)，n表示每個(gè)激光退化集觀(guān)測(cè)值的個(gè)數(shù)。

εi～N(0,Ri);

(3)

根據(jù)混合效應(yīng)模型的假設(shè)，退化過(guò)程中任意觀(guān)測(cè)點(diǎn)退化量的分布均滿(mǎn)足正態(tài)分布，因此系統(tǒng)從當(dāng)前退化狀態(tài)轉(zhuǎn)移到下一退化狀態(tài)的條件概率也滿(mǎn)足正態(tài)分布。已知現(xiàn)有系統(tǒng)狀態(tài)，對(duì)下次監(jiān)測(cè)時(shí)的退化量所服從的條件概率分布的均值和方差的推導(dǎo)過(guò)程如下：

假設(shè)從0時(shí)刻的初始狀態(tài)Y0=y0開(kāi)始檢測(cè)，通過(guò)定期檢查的方式進(jìn)行監(jiān)測(cè)取樣，檢查間隔為h，當(dāng)前退化量為

yn=antn+b+εn，

(4)

則下一時(shí)刻的退化量為

由此可得從當(dāng)前狀態(tài)轉(zhuǎn)移到下一狀態(tài)的條件概率均值和方差分別為：

E(yn+1|yn)=h·E(an)+yn;

Var(yn+1|yn)=h2·Var(an)+2σ2-2ρ·σ2。

(6)

即給定當(dāng)前狀態(tài)退化量yn，下一時(shí)刻退化量的條件概率分布滿(mǎn)足

yn+1|yn～N(h·E(an)+yn,h2·

Var(an)+2σ2-2ρ·σ2)，

(7)

該分布可用于后期構(gòu)建基于SMDP模型的狀態(tài)集并求解狀態(tài)轉(zhuǎn)移概率矩陣。

1.4 最優(yōu)維修策略求解方法

求解最優(yōu)維修策略的方法包括神經(jīng)網(wǎng)絡(luò)算法、策略迭代算法、值迭代算法和極限控制算法等，SMDP在求解過(guò)程中常采用值迭代法和策略迭代法[17]。策略迭代法考慮系統(tǒng)處在每個(gè)狀態(tài)所采取的維修決策的組合，與系統(tǒng)的運(yùn)行時(shí)間無(wú)關(guān)；策略迭代算法是求解SMDP的基本方法之一，主要包括“策略評(píng)價(jià)”和“策略改進(jìn)”兩部分，策略評(píng)價(jià)是通過(guò)線(xiàn)性方程組獲得某策略各個(gè)狀態(tài)相應(yīng)的準(zhǔn)則值及其單位期望成本，策略改進(jìn)是通過(guò)迭代不斷更新當(dāng)前策略來(lái)產(chǎn)生收斂的決策序列，從而找到最優(yōu)策略。策略迭代算法的具體實(shí)現(xiàn)過(guò)程是在初始策略的基礎(chǔ)上，根據(jù)最優(yōu)方程求解出每個(gè)狀態(tài)相應(yīng)的準(zhǔn)則值和單位期望成本，然后通過(guò)最小化準(zhǔn)則值改進(jìn)策略，并與改進(jìn)后的準(zhǔn)則值作比較，按照該流程反復(fù)迭代，直到兩次結(jié)果相同為止，此時(shí)的策略即為最優(yōu)維修策略。本文采用策略迭代法作為求解算法。

2 基于SMDP的維修策略模型研究

本章對(duì)SMDP的模型假設(shè)、模型構(gòu)建、算法實(shí)現(xiàn)進(jìn)行簡(jiǎn)要闡述，詳細(xì)論述和推導(dǎo)過(guò)程可參見(jiàn)文獻(xiàn)[9,17-19]。

2.1 SMDP模型基本假設(shè)

模型研究是對(duì)實(shí)際過(guò)程的抽象和簡(jiǎn)化，本文有如下假設(shè)：

(1)系統(tǒng)從新造狀態(tài)向最終失效狀態(tài)的緩慢退化過(guò)程不可逆，假設(shè)初始狀態(tài)為完好狀態(tài)，失效閾值ω之后為失效狀態(tài)，則二者之間為系統(tǒng)正常運(yùn)行狀態(tài)。

(2)因?yàn)橥嘶豢赡?不可修復(fù))，所以設(shè)置各狀態(tài)下有更換和不修不換(繼續(xù)運(yùn)行)兩種可選決策，在執(zhí)行更換后，系統(tǒng)恢復(fù)到新造狀態(tài)。

(3)隨著時(shí)間的推移，系統(tǒng)失效風(fēng)險(xiǎn)逐步增大，即運(yùn)行狀態(tài)的超限風(fēng)險(xiǎn)增大，系統(tǒng)故障的風(fēng)險(xiǎn)也增大，因此引入失效懲罰成本來(lái)表征這一特征。

2.2 SMDP模型構(gòu)建流程

SMDP模型的構(gòu)建過(guò)程，即為六元組中各元素的確定過(guò)程。

2.2.1 狀態(tài)集

狀態(tài)集指緩慢退化系統(tǒng)在自然退化過(guò)程狀態(tài)、實(shí)施過(guò)不同維修后的狀態(tài)和完全故障狀態(tài)等所有狀態(tài)的集合。假設(shè)激光器退化過(guò)程中電流的最大增長(zhǎng)量為4%，激光器發(fā)生失效的閾值ω=3.875%，初始狀態(tài)Y0=y0，以固定間隔Δ將連續(xù)狀態(tài)空間[y0,ω)劃分為等區(qū)間(將混合效應(yīng)模型描述的連續(xù)性退化過(guò)程離散成L個(gè)狀態(tài))，并設(shè)定[ω,4)為失效狀態(tài)，則退化過(guò)程的狀態(tài)數(shù)為

L+1=(ω-y0)/Δ+1。

(8)

定義k∈{1,2,…,L+1}為退化量y的離散化狀態(tài)，其中狀態(tài)1為新造狀態(tài)，狀態(tài)L+1為失效狀態(tài)，狀態(tài)2,…,L為系統(tǒng)退化過(guò)程狀態(tài)，因此狀態(tài)空間可以表示為S={1,2,…,L+1}。若yk表示狀態(tài)k下的退化量，則

(9)

當(dāng)監(jiān)測(cè)到系統(tǒng)處于失效狀態(tài)[ω,4)時(shí)，需要立即進(jìn)行更換。

2.2.2 行動(dòng)集

行動(dòng)集與最優(yōu)決策的選擇相關(guān)，當(dāng)系統(tǒng)狀態(tài)發(fā)生變化時(shí)，應(yīng)根據(jù)當(dāng)前時(shí)刻的狀態(tài)做出適當(dāng)?shù)木S修行為。定義A(k)為行動(dòng)集，a(k)為系統(tǒng)處于狀態(tài)k時(shí)所采取的維修行為，本研究設(shè)置更換和不修不換(正常運(yùn)行)兩種維修行為，則a(k)∈{1,2}，其中a(k)=1表示不修不換，a(k)=2表示更換。退化過(guò)程中每個(gè)系統(tǒng)狀態(tài)的可選行動(dòng)集不同，行動(dòng)集

(10)

2.2.3 逗留時(shí)間

逗留時(shí)間τ(k,a(k))表示系統(tǒng)處于狀態(tài)k時(shí)采取維修行為a(k)后轉(zhuǎn)移到下一個(gè)狀態(tài)的時(shí)間的數(shù)學(xué)期望。假設(shè)更換激光器的停機(jī)時(shí)間和更換時(shí)間可忽略不計(jì)，檢測(cè)周期為h，則狀態(tài)逗留時(shí)間為h，具體表示為

(11)

2.2.4 報(bào)酬函數(shù)

期望報(bào)酬函數(shù)c(k,a(k))表示系統(tǒng)采取維修行為a∈A時(shí)，狀態(tài)k轉(zhuǎn)移到下一個(gè)狀態(tài)的成本。因?yàn)橥嘶吭谙乱粋€(gè)檢測(cè)周期內(nèi)超過(guò)失效閾值會(huì)增加故障風(fēng)險(xiǎn)，從而導(dǎo)致較高的失效成本，所以本文采用懲罰成本刻畫(huà)退化過(guò)程中超過(guò)失效閾值對(duì)單位期望成本的影響。若當(dāng)前檢測(cè)點(diǎn)的激光退化量yk<ω，下一個(gè)檢測(cè)點(diǎn)的退化量yk+1有一定的概率超過(guò)失效閾值，則產(chǎn)生一定的懲罰成本，反之懲罰成本為0。文獻(xiàn)中用到的懲罰函數(shù)多為指數(shù)函數(shù)，且與失效概率函數(shù)有關(guān)[16]，因此期望懲罰成本函數(shù)可表示為

(12)

式中：c為懲罰系數(shù)，f(yt)為失效概率函數(shù)。本文的報(bào)酬函數(shù)包括檢測(cè)成本Ci、更換成本Cr和懲罰成本Cp，則系統(tǒng)在狀態(tài)k下選擇某一維修行為a(k)的成本為

(13)

2.2.5 狀態(tài)轉(zhuǎn)移概率

SMDP模型中退化轉(zhuǎn)移過(guò)程滿(mǎn)足Markov性，即無(wú)記憶性，在狀態(tài)空間S={1,2,…,L+1}時(shí)，正常運(yùn)行和更換狀態(tài)下的狀態(tài)轉(zhuǎn)移概率分別做如下定義：

(1)正常運(yùn)行的狀態(tài)轉(zhuǎn)移概率

(14)

(2)更換的狀態(tài)轉(zhuǎn)移概率

(15)

2.2.6 準(zhǔn)則函數(shù)

準(zhǔn)則函數(shù)Vk(Q)為策略Q下?tīng)顟B(tài)k的準(zhǔn)則值。在策略Q下，每個(gè)狀態(tài)的最優(yōu)方程為

τ(k,a(k))g(Q)+Vk(Q)=c(k,a(k))+

(16)

本文以單位期望成本最低為優(yōu)化目標(biāo)，利用式(16)的優(yōu)化方程進(jìn)行反復(fù)迭代，最終確定最優(yōu)維修策略。

2.3 SMDP模型求解算法的實(shí)現(xiàn)

本文采用策略迭代算法對(duì)SMDP模型進(jìn)行求解，策略迭代算法的思想為：任意選定一個(gè)初始策略，通過(guò)引入變量進(jìn)行下一個(gè)具有更低長(zhǎng)期預(yù)計(jì)成本的新策略，如果新策略的成本率比原方案低則繼續(xù)進(jìn)行迭代計(jì)算，如果新維修策略的成本率與原方案相同則停止迭代，此時(shí)的成本率即為最佳成本率，最后得到的策略即為要選擇的最佳維修策略。策略迭代算法的流程如圖2所示。

具體步驟描述如下：

步驟1設(shè)置初始策略R1。策略集R為各個(gè)退化狀態(tài)對(duì)應(yīng)的維修決策集合，Rq={a1,a2,…,aL+1}，ak∈A(k),1≤k≤L+1，其中q為迭代次數(shù)。

步驟3策略改進(jìn)。根據(jù)步驟2求得的準(zhǔn)則值，通過(guò)最小化每個(gè)狀態(tài)的準(zhǔn)則值Vk(Rq)選擇新的策略Rq+1，即用滿(mǎn)足式(17)的決策替換原來(lái)的決策，從而形成新的維修策略。

g(Rq)τ(k,a(k))]。

(17)

重復(fù)步驟2和步驟3并依次迭代，直到Rq+1=Rq時(shí)停止迭代，此時(shí)的策略R′即為最優(yōu)策略，同時(shí)得到該策略下的單位期望成本g(R′)和各退化狀態(tài)相應(yīng)的維修決策。

3 實(shí)例驗(yàn)證

本文采用Meeker和Escobar提出的GaAs激光緩慢退化系統(tǒng)作為案例[9]，以最小化單位時(shí)間期望成本為目標(biāo)，對(duì)提出的SMDP模型進(jìn)行驗(yàn)證和說(shuō)明。該激光退化數(shù)據(jù)集包括13個(gè)GaAs激光器退化歷史數(shù)據(jù)，數(shù)據(jù)如圖3所示。

在GaAs激光器的使用壽命期內(nèi)，工作電流的增加由激光器的系統(tǒng)退化引起，當(dāng)工作電流增加到一定閾值時(shí)認(rèn)為該激光器失效。在該數(shù)據(jù)組中，每隔20 h測(cè)量一次工作電流，直到4 000 h為止。文中使用的激光退化集需要先設(shè)定一個(gè)需要更換的維修極限值，以制定相對(duì)保守的維修策略，從而保證系統(tǒng)在達(dá)到故障狀態(tài)后不會(huì)發(fā)生安全問(wèn)題，因此假設(shè)激光器退化過(guò)程中電流的最大增長(zhǎng)量為4%[9]，失效閾值為3.875%。

3.1 模型參數(shù)設(shè)置

在退化建模階段，涉及的模型參數(shù)包括斜率的固定效應(yīng)和隨機(jī)效應(yīng)系數(shù)、截距的固定效應(yīng)系數(shù)、殘差方差以及時(shí)間序列自相關(guān)系數(shù)等，利用R語(yǔ)言可以對(duì)這些退化模型參數(shù)進(jìn)行參數(shù)估計(jì)，并將帶有一階自回歸(AR(1))調(diào)節(jié)的混合效應(yīng)模型與傳統(tǒng)線(xiàn)性回歸模型和基礎(chǔ)線(xiàn)性混合效應(yīng)模型進(jìn)行比較。

(1)比較傳統(tǒng)線(xiàn)性回歸模型和基礎(chǔ)混合效應(yīng)模型，繪制兩種模型的殘差箱線(xiàn)圖，如圖4a和圖4b所示。

從圖4可以看出，傳統(tǒng)線(xiàn)性回歸模型的殘差比較分散，且在0值兩側(cè)波動(dòng)范圍較大，而基礎(chǔ)混合效應(yīng)模型的殘差集中分布在0值左右，且波動(dòng)范圍較小，說(shuō)明后者在一定程度上減小了個(gè)體層面估計(jì)的誤差，證明了在存在個(gè)體異質(zhì)性的情況下，混合效應(yīng)模型優(yōu)于傳統(tǒng)線(xiàn)性回歸模型。

(2)在上述比較基礎(chǔ)上對(duì)帶有一階自回歸的混合效應(yīng)模型與基礎(chǔ)線(xiàn)性混合效應(yīng)模型進(jìn)行比較，似然比檢驗(yàn)指標(biāo)如表1所示。

選擇赤池信息準(zhǔn)則(Akaike Information Criterion，AIC)、貝葉斯信息準(zhǔn)則(Bayesian Information Criterion，BIC)最小且對(duì)數(shù)似然函數(shù)(Loglik)值最大的模型作為最優(yōu)模型[16]，從表1可以看出本文采用帶有一階自回歸調(diào)節(jié)的線(xiàn)性混合效應(yīng)模型的AIC和BIC值較小，且其Loglik值較大，似然比檢驗(yàn)中P<0.000 1，通過(guò)了顯著性檢驗(yàn)，說(shuō)明采用帶有一階自回歸調(diào)節(jié)的混合效應(yīng)模型擬合效果更好。因此，本文采用退化模型的參數(shù)估計(jì)值更加精確，將其帶入式(6)，求得已知當(dāng)前狀態(tài)時(shí)下一狀態(tài)的條件概率均值和方差，進(jìn)一步可根據(jù)式(14)求解狀態(tài)轉(zhuǎn)移概率。

本文大部分參數(shù)設(shè)置與Tang等[9]模型中的參數(shù)保持一致，即更換成本為$1 000，檢測(cè)成本為$1，檢查周期為20 h，假設(shè)更換時(shí)間和停機(jī)時(shí)間均可忽略。不同的是，懲罰成本通過(guò)懲罰函數(shù)表示，并設(shè)置期望懲罰成本的系數(shù)為1.72。固定間隔長(zhǎng)度為0.061 5，則最終劃分的狀態(tài)數(shù)為64個(gè)。另外，從狀態(tài)轉(zhuǎn)移概率矩陣可以看出，對(duì)于每個(gè)激光器而言，前59次檢查過(guò)程中失效的概率不超過(guò)0.1，因此在決策過(guò)程中設(shè)置前59次不進(jìn)行檢測(cè)，即首次檢查時(shí)間為1 180 h。

根據(jù)上述分析，維修策略的各參數(shù)設(shè)置如表2所示。

表1 退化模型比較結(jié)果

表2 模型輸入?yún)?shù)表

3.2 維修策略?xún)?yōu)化

設(shè)置初始迭代條件，策略迭代次數(shù)q=1，初始策略為

將表2中各參數(shù)帶入第2.3節(jié)的策略迭代算法中，在MATLAB軟件下，對(duì)基于SMDP的策略迭代算法進(jìn)行求解，可得激光器的預(yù)防性更換控制界限，并得到維修優(yōu)化模型的求解結(jié)果，如圖5所示。

從圖5可見(jiàn)單位期望成本的變化過(guò)程，迭代到第4次時(shí)得到維修優(yōu)化策略，最低單位期望成本為$0.622 94，根據(jù)式(9)可得激光器的預(yù)防性更換閾值為3.751 5%，即在激光退化過(guò)程中，當(dāng)運(yùn)行電流增長(zhǎng)量達(dá)到原始值的3.751 5%時(shí)進(jìn)行更換。

3.3 模型比較

本節(jié)將所提基于SMDP的系統(tǒng)維修策略與文獻(xiàn)[9]基于役齡的系統(tǒng)維修策略和周期檢查模型進(jìn)行比較分析。傳統(tǒng)的基于役齡的維修策略模型采用失效時(shí)間的特定分布來(lái)計(jì)算預(yù)先設(shè)定執(zhí)行替換的時(shí)間，在退化的全過(guò)程中只執(zhí)行一次檢查，并在檢查時(shí)確定進(jìn)行預(yù)防性維護(hù)(Preventive Maintenance，PM)還是糾正維護(hù)(Corrective Maintenance，CM)。而周期檢查模型是按固定的時(shí)間間隔對(duì)退化過(guò)程進(jìn)行檢測(cè)，并設(shè)定合理的預(yù)防性替換維修閾值，在每次檢測(cè)后作出適當(dāng)?shù)木S修決策。將3種維修策略應(yīng)用于激光退化案例(使用相同的激光退化模型參數(shù))，比較結(jié)果如表3所示。

表3 模型對(duì)比結(jié)果

續(xù)表3

通過(guò)表3可以發(fā)現(xiàn)，相比于固定周期檢查模型，本文所提模型具有相同的檢查時(shí)間間隔，但是總檢查數(shù)減少了797次，大大節(jié)省了檢測(cè)成本，而且減少了檢測(cè)過(guò)程對(duì)激光器帶來(lái)的損傷。相比于基于役齡的模型，本文模型具有相同的首次檢查時(shí)間，但是總體運(yùn)行時(shí)間延長(zhǎng)了4 240 h，總成本也有所降低。綜上所述，本文基于SMDP的維修決策模型具有一定的成本優(yōu)勢(shì)，并且具有較強(qiáng)的可擴(kuò)展性，更貼近實(shí)際的退化過(guò)程。

4 結(jié)束語(yǔ)

本文考慮退化過(guò)程中不同個(gè)體的異質(zhì)性以及重復(fù)測(cè)量在時(shí)間上的相關(guān)性等問(wèn)題，應(yīng)用線(xiàn)性混合效應(yīng)模型對(duì)緩慢退化系統(tǒng)的退化過(guò)程進(jìn)行建模，在此基礎(chǔ)上分析了系統(tǒng)進(jìn)入各種狀態(tài)下的狀態(tài)轉(zhuǎn)換概率，求解了狀態(tài)轉(zhuǎn)換概率矩陣；針對(duì)緩慢退化系統(tǒng)構(gòu)造了狀態(tài)空間、行動(dòng)空間、期望成本和平均逗留時(shí)間，設(shè)計(jì)了基于半Markov決策過(guò)程的動(dòng)態(tài)規(guī)劃模型并進(jìn)行求解。實(shí)例研究結(jié)果表明，本文方法可以降低成本率，延長(zhǎng)系統(tǒng)使用時(shí)間，具有較低的單位時(shí)間成本，有助于確定系統(tǒng)更換的極限值，盡早對(duì)系統(tǒng)故障做出反應(yīng)，從而提高系統(tǒng)的安全性和可靠性，降低系統(tǒng)的維修和等待成本。

鑒于本文還存在諸多不足，目前正在進(jìn)行拓展研究。一方面，研究針對(duì)個(gè)體的退化規(guī)律，將現(xiàn)有的混合效應(yīng)模型與貝葉斯更新的方法相結(jié)合；另一方面，研究針對(duì)個(gè)體的維修策略?xún)?yōu)化，考慮建立包括退化時(shí)間與退化量的高維Markov決策過(guò)程，以適應(yīng)多維數(shù)據(jù)特征和個(gè)體退化過(guò)程，提高預(yù)測(cè)精度和決策的可靠性。