范霖 蘇懷 彭世亮 張麗 張勁軍

摘要：輸氣管道設備設施的維護管理是保障管道系統(tǒng)可靠供氣的基礎。建立管道系統(tǒng)單元狀態(tài)轉移與設備退化過程的描述模型，構建各單元失效場景下管道系統(tǒng)最大供氣能力計算方法，建立以系統(tǒng)供氣可靠性最高和維護成本最低為目標的管道系統(tǒng)維護策略優(yōu)化模型，形成基于深度強化學習的管道系統(tǒng)預防性維護優(yōu)化方法。結果表明：與傳統(tǒng)的計劃性維護相比，所提出的管段與壓縮機單元預防性維護方案可提高天然氣管道系統(tǒng)供氣可靠度，同時降低管道系統(tǒng)維護成本；優(yōu)化后系統(tǒng)平均供氣可靠性由99.41%提高至99.54%，維護成本降低9.38%。

關鍵詞：天然氣管道； 供氣可靠性； 預防性維護； 深度強化學習

中圖分類號：TE 832 文獻標志碼：A

引用格式：范霖，蘇懷，彭世亮，等.基于供氣可靠性的天然氣管道系統(tǒng)預防性維護方案智能優(yōu)化方法［J］.中國石油大學學報（自然科學版），2023，47（1）：134-140.

FAN Lin， SU Huai， PENG Shiliang， et al. Supply-reliability based method of intellectual optimization on preventive maintenance strategy for natural gas pipeline system［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2023，47（1）：134-140.

Supply-reliability based method of intellectual optimization on

preventive maintenance strategy for natural gas pipeline system

FAN Lin^1，2， SU Huai^1，2， PENG Shiliang^1，2， ZHANG Li^1，2， ZHANG Jinjun^1，2

（1.National Engineering Laboratory for Pipeline Safety in China University of Petroleum （Beijing）， Beijing 102249， China;

2.Key Laboratory of Beijing City for Urban Oil and Gas Transmission and Distribution Technology in China University of Petroleum （Beijing）， Beijing 102249， China）

Abstract： Maintenance management of devices is fundamental to ensure the supply reliability of natural gas pipeline system. A descriptive model integrating the state transition with the degeneration process of units was established. Then a method for calculating the maximum gas supply capacity of the pipeline system under scenarios of unit failure was developed. The maintenance strategy optimization model with a high supply reliability and a low maintenance cost was established， and a deep reinforcement learning-based method of maintenance optimization for the pipeline system was presented. The results show that compared with the scheduled maintenance， the proposed preventive maintenance strategy can improve the supply reliability and reduce the system maintenance costs. The average supply reliability increases from 99.41% to 99.54%， and the maintenance cost is reduced by 9.38%.

Keywords： natural gas pipeline; gas supply reliability; preventive maintenance; deep reinforcement learning

站場關鍵設備設施狀態(tài)監(jiān)控和維護管理水平對于天然氣管道系統(tǒng)安全極其重要。近年來油氣管道系統(tǒng)的維護策略已經從以往的事后維修，發(fā)展到計劃性維護^［1］為主。事后維修指在設備發(fā)生故障后進行修理或更換。這種以修代養(yǎng)的策略嚴重影響管道可靠性^［2］。計劃性維護根據(jù)設備運行時間或剩余壽命對設備進行維修，可有效降低設備意外失效。然而計劃性維修周期主要依賴廠家推薦的數(shù)據(jù)或人工經驗^［3］，可能導致 “維修不足”或“過度維修”。針對這一問題國內管道界借鑒電力、航天、機械等領域的經驗，發(fā)展了視情維修、狀態(tài)維修（CBM）和可靠性為中心的維修（RCM）^［4-5］。例如西氣東輸分公司引入視情維護技術，開發(fā)了燃驅壓縮機組在線故障分析診斷及視情維修系統(tǒng)^［6］；華南分公司基于某成品油管道內檢測數(shù)據(jù)，分析了管道的剩余使用壽命，并確定了管道缺陷的維修計劃^［7］；金陵石化公司運用RCM理念，確定了某煉化裝置離心泵的平均無故障時間與最佳維修周期^［8］。這些研究主要著眼于保障單體設備運行可靠與功能完整。但是單元可靠未必系統(tǒng)可靠，設備維護不僅要著眼于其自身性能，還要考慮系統(tǒng)功能^［9-10］。解決上述問題的關鍵是如何基于天然氣管道的系統(tǒng)特性，度量維護策略的投入與產出之間的關系，即建立維護成本與系統(tǒng)供氣可靠性間的映射模型^［11］。黃維和^［12］提出了大型天然氣管網系統(tǒng)可靠性的基本內涵，包括需求側管理、管道可靠性管理、管網可靠性管理和可靠性方案實施4部分。范慕煒等^［13-15］進一步探究了設備可靠性、機組運行方案、供需不確定性、儲氣調峰能力等因素對管道系統(tǒng)可靠性的影響。然而目前的供氣可靠性評價模型大多基于蒙特卡洛隨機模擬進行求解，計算量巨大，計算效率難以滿足維護策略優(yōu)化要求。筆者基于馬爾可夫模型與壽命分布模型，借助貝葉斯網絡方法形成系統(tǒng)供氣可靠性快速評價方法，利用深度強化學習對道系統(tǒng)維護優(yōu)化問題求解；對比預防性維護與計劃性維護管理下系統(tǒng)供氣可靠性和維護成本。

1 天然氣管道系統(tǒng)可靠性評價

1.1 天然氣管道模型

分析天然氣管道系統(tǒng)可靠性的前提是明確系統(tǒng)內關鍵單元的運行狀態(tài)以及單元狀態(tài)演化規(guī)律。為了描述單元運行狀態(tài)的隨機演化過程，引入離散馬爾可夫模型，使用正常狀態(tài)、退化狀態(tài)、失效狀態(tài)表示單元在運行過程中的狀態(tài)變化。單元狀態(tài)的轉移過程見圖1。管段與壓氣站的狀態(tài)變化是由不同原因造成的，兩者相互獨立，狀態(tài)退化共同導致管道的運行壓力降低，管道輸氣能力下降^［16］。

根據(jù)馬爾科夫過程的基本假設，單元下一時刻狀態(tài)僅取決于當前狀態(tài)。以某一單元為例，單元在s時刻處于狀態(tài)i（即X（s）=i），在經歷t時間間隔后，單元在s+t時刻到達狀態(tài)j（即X（s+t）=j）?？芍獑卧趕+t時刻處于狀態(tài)j的概率，僅取決于單元s時刻的狀態(tài)，與其在s時刻之前所處的狀態(tài)無關。狀態(tài)轉移過程可表示為

當狀態(tài)轉移概率取決于初始狀態(tài)與最終狀態(tài)以及時間間隔t時，該過程轉化為齊次馬爾可夫模型：

式中， P_i，j（t）為單元在經歷t時刻后由狀態(tài)i變化為狀態(tài)j的概率。

顯然有P_i，j（t）≥0。單元在任意時刻處于各個狀態(tài)的概率之和為1，可記作∑j∈sP_i，j（t）=1。圖1表示的系統(tǒng)單元狀態(tài)轉移矩陣可表示為

式中，a_ij為單元由狀態(tài)i變化到狀態(tài)j的概率。

通過求解式（1）～（4），可得到單元在任意時刻處于不同狀態(tài)的概率。

1.2 系統(tǒng)輸氣能力模型

借助圖論表征系統(tǒng)拓撲結構與邏輯關系是分析不同工況下系統(tǒng)供氣能力的有效手段。容量網絡中G（V， E）（其中V表示容量網絡中邊的集合）對應天然氣系統(tǒng)中管段。在容量網絡中各條邊的值代表管段的最大輸氣量，其隨管道狀態(tài)變化；E表示網絡中節(jié)點的集合，氣源、用戶、壓氣站以及管段的連接處在網絡中以節(jié)點表示。

當天然氣管道設備狀態(tài)發(fā)生改變，需要重新調整管道中流量的分配，最大程度地滿足下游用戶用氣需求。因此引入最大流算法計算不同運行工況下天然氣管道系統(tǒng)的最大供氣量^［17］。最大流算法將天然氣管道流量分配問題轉化為計算傳輸網絡中兩點的最大輸送能力，其中將氣源與用戶分別作為源點和匯點。

1.3 供氣可靠性評價模型

天然氣管道系統(tǒng)內壓縮機、管段關鍵單元的隨機失效會導致下游用戶缺氣，使用貝葉斯網絡可以描述變量間的因果關系：

式中，X代表失效事件；Y表示管道下游用戶缺氣事件。

利用貝葉斯網絡分析管道系統(tǒng)供氣可靠性包括4個關鍵步驟：①結合專家經驗與管道運行數(shù)據(jù)確定貝葉斯網絡變量節(jié)點以及網絡結構；②結合單元壽命分布模型計算單元瞬時失效概率，作為貝葉斯網絡節(jié)點邊緣分布輸入；③結合最大流算法與蒙特卡洛法模擬不同單元失效下用戶缺氣狀態(tài)，采用參數(shù)學習確定貝葉斯網絡節(jié)點條件分布；④利用貝葉斯法推斷計算用戶節(jié)點概率分布，建立系統(tǒng)供氣可靠性評價指標。

1.3.1 邊緣概率分布

通過1.1節(jié)計算得到管道或壓縮機處于不同狀態(tài)的概率，并作為貝葉斯網絡邊緣概率。圖2為利用貝葉斯網絡描述事件間關系。根節(jié)點B和C表示管段和壓氣站狀態(tài)，葉節(jié)點CU（無子節(jié)點）表示用戶用氣狀態(tài)。圖2（a）表示管段1～管段4的狀態(tài)，會直接影響用戶1處于不同用氣狀態(tài)的概率；由圖2（b）可知，當壓氣站C狀態(tài)發(fā)生變化時，其相鄰管段B1與B₂的輸氣能力會受到影響。

1.3.2 條件概率分布

利用貝葉斯網絡查詢變量分布的基礎是獲得節(jié)點的條件概率分布，使用貝葉斯估計^［18］計算模型參數(shù)：

式中，P（y_i）為事件發(fā)生的邊緣概率；P（x|y_i）為從歷史數(shù)據(jù)中得到的條件概率分布；P（y_i|x）為后驗概率；x為管道發(fā)生失效事件；y_i為用戶i缺氣事件。

式（6）表示通過貝葉斯估計可以得到管道失效導致用戶i缺氣發(fā)生的概率。

1.3.3 供氣可靠性評價指標

在計算貝葉斯網絡的邊緣概率分布和條件概率分布后，可以利用貝葉斯推理，根據(jù)設備實時失效概率計算用戶缺氣狀態(tài)。此處采用近似推理信念傳播算法計算用戶的缺氣概率。供氣可靠性指標為

式中，Rci為用戶i在0～T時間內用戶的平均供氣可靠性；Rst為系統(tǒng)在t時刻系統(tǒng)的供氣可靠性；Rsys為系統(tǒng)在0～T時間內用戶的平均供氣可靠性；Pi，t為用戶i在時刻t處于缺氣狀態(tài)的概率；N為用戶總數(shù)；T為維護管理的總時長。

2 維修優(yōu)化模型

2.1 維護問題建模

以天然氣管道系統(tǒng)作為環(huán)境，算法作為智能體，智能體通過與環(huán)境交互制定策略。智能體與環(huán)境的交互過程如下：首先智能體在t時刻觀察到環(huán)境狀態(tài)s_t，智能體根據(jù)策略函數(shù)pπ（a|s）選擇執(zhí)行動作a_t；然后在受到動作影響后環(huán)境狀態(tài)遵循轉移規(guī)則T（s_t，a_t，s_t+1）更新， t+1時刻系統(tǒng)狀態(tài)記作s_t+1；最后計算在狀態(tài)s_t執(zhí)行動作a_t的獎勵值，更新策略函數(shù)。

管道系統(tǒng)維護優(yōu)化的目標是在管理周期內最大化系統(tǒng)收益或最小化系統(tǒng)損失。系統(tǒng)損失包括兩部分，即系統(tǒng)維護成本與系統(tǒng)缺氣損失。

式中，an，t為在t時刻對設備n的維護行為；cn 為設備n的單次維護成本；Ct為在t時刻系統(tǒng)的供氣損失，當系統(tǒng)可靠性Rst小于系統(tǒng)目標可靠度時， Ct>0表示系統(tǒng)缺氣產生的額外損失；當系統(tǒng)可靠性大于系統(tǒng)目標可靠度時，Ct=Rst。

當對設備采取維護行為時，an，t=1；當不采取維護時an，t=0。實際中，設備的維修成本與設備的故障類型、維修形式相關，此處cn取值10萬元/次。

2.2 維護問題優(yōu)化求解

求解天然氣管道的維護優(yōu)化問題，可以看作智能體與環(huán)境的動態(tài)交互尋求最優(yōu)策略的過程^［19-20］。在某一時刻智能體通過觀察系統(tǒng)狀態(tài)制定相應維護管理方案；在對管道系統(tǒng)執(zhí)行維護方案后計算系統(tǒng)當前狀態(tài)下的維護成本與缺氣損失，將維護帶來的收益返還給智能體，指導智能體更新決策依據(jù)。圖3為基于強化學習的天然氣管道系統(tǒng)維護管理框架。

Q學習算法是應用最廣泛的基于值迭代的強化學習算法，傳統(tǒng)的Q學習方法在高維空間中利用表格存儲動作與狀態(tài)空間。表格的每一行對應系統(tǒng)的一個狀態(tài)，每一列對應系統(tǒng)可采取的動作，表中的元素為狀態(tài)價值函數(shù)，表示此狀態(tài)采取該動作可獲得的收益。狀態(tài)-動作價值函數(shù)的更新方式^［21］為

式中，α為學習率，控制著算法的收斂速度；γ為折扣率，表示潛在收益對當前決策的重要程度。

為提高計算效率采用基于神經網絡的深度強化學習優(yōu)化天然氣管道系統(tǒng)的維護策略。為減少不同時間數(shù)據(jù)的相關性導致訓練不穩(wěn)定，建立兩個相同結構不同參數(shù)的神經網絡。其中一個根據(jù)策略不斷與環(huán)境交互并動態(tài)更新參數(shù)（θ），另一個用來生成目標價值，其參數(shù)（

θ^-）每隔一定周期進行更新。在神經網絡更新參數(shù)時隨機梯度下降的目標函數(shù)為

式中，θ和θ^-分別為評估網絡和目標網絡參數(shù)；E為取平均符號。

3 案 例

以某天然氣管道為例。其拓撲結構如圖4所示，管道系統(tǒng)包括1個氣源、4座壓氣站和6個分輸用戶，管道年輸氣量為380×10⁸m³。管段的平均失效率為3.5×10^-4/（km·a），壓縮機站的平均失效率為0.01 /h。系統(tǒng)的檢測周期為1個月，評價周期為24個月。結合企業(yè)生產運行計劃，要求管道系統(tǒng)在管理周期內總輸氣量不低于任務輸量的98%，系統(tǒng)供氣可靠性不低于0.98。

為驗證所提出的可靠性評價方法的可靠性，將計算結果與傳統(tǒng)的蒙特卡洛評價方法進行對比，將蒙特卡洛法的計算結果作為真實值。管道系統(tǒng)可靠性的對比結果如圖5所示?？芍c蒙特卡洛法比較，所提出方法的平均誤差為1.1%，最大誤差不超過2.4%。采用蒙特卡洛法計算管道系統(tǒng)可靠性耗時約5 min，貝葉斯網絡計算耗時約3 s。在保證計算精度前提下基于貝葉斯網絡的管道系統(tǒng)供氣可靠性評價方法能夠提高計算效率。

各用戶的缺氣概率隨系統(tǒng)運行時間變化如圖6所示?？梢姽艿老到y(tǒng)的缺氣概率隨系統(tǒng)運行時間不斷增大，而當維修人員對系統(tǒng)內單元進行維護后，設備的失效概率下降，管道系統(tǒng)缺氣概率下降；在對設備無維護時，管道系統(tǒng)因設備失效導致用戶缺氣的概率隨系統(tǒng)運行時間變大。另一方面，由于用戶6距離氣源距離最遠，在管道輸配中處于較低優(yōu)先級，用戶6在所有用戶中缺氣概率最高。

所有用戶在評價周期內的供氣可靠性分布如表1所示?？梢娫陬A防性維護策略下用戶供氣可靠性在［0.99， 1］區(qū)間內有1247個樣本，占比為88.47%；對計劃性維護，在［0.99， 1］區(qū)間樣本數(shù)為1177，占比為81.74%。通過分析可以發(fā)現(xiàn)，預防性維護與計劃性維護在評價周期內，用戶供氣可靠性始終大于0.98，這兩種策略能夠保障用戶供氣可靠性。

各用戶在計算周期內的供氣可靠性水平對比結果如圖7所示?？梢娫谒刑烊粴庥脩糁?，用戶1在所有用戶中有最高的供氣可靠性和最低的可靠性方差，用戶1在評價周期可靠性高且方差最小，系統(tǒng)供氣最穩(wěn)定且波動最小。而由于輸送成本較高，用戶6的供氣量受多因素影響，導致用戶6的供氣可靠性較低且波動較大。

另一方面，管道系統(tǒng)全局的供氣能力更能反映出管理策略的宏觀調控能力，是判斷管道系統(tǒng)運行狀態(tài)的重要指標。不同維護策略下管道系統(tǒng)的供氣可靠性對比結果見圖8?？芍A防維護策略下系統(tǒng)的可靠性均值為0.9954，方差為0.0038；計劃性維護策略下系統(tǒng)可靠性均值為0.9941，方差為0.0046。此結果說明所提出的預防維護策略可使系統(tǒng)可靠性更高，且更為穩(wěn)定。

圖9為兩種維護策略下系統(tǒng)的供氣可靠性與系統(tǒng)維護成本對比。計劃性維護下系統(tǒng)平均供氣可靠性指標為99.41%，維護成本約為160萬元；預防性維護下系統(tǒng)平均供氣可靠性指標為99.54%，維護成本約為145萬元。可見基于預防性維護的管道系統(tǒng)管理方法可提高管道系統(tǒng)的供氣可靠性，保障管道可靠供氣與用戶平穩(wěn)用氣。同時從管道系統(tǒng)目標供氣可靠度出發(fā)，對設備可靠度提出要求并制定相應維護方案，通過優(yōu)化設備的維護周期，降低管道系統(tǒng)維護成本9.38%。

4 結 論

（1）貝葉斯網絡可描述管道系統(tǒng)單元失效與下游用戶缺氣間映射關系，能夠克服基于蒙特卡洛評價系統(tǒng)供氣可靠性計算成本高的問題，快速地計算不同單元失效場景下管道系統(tǒng)的供氣可靠性。

（2）天然氣管道系統(tǒng)內單元的維護優(yōu)化問題，可被轉化為馬爾可夫決策過程;深度強化學習可通過與管道系統(tǒng)交互，對時序決策問題動態(tài)求解、優(yōu)化；并以系統(tǒng)可靠性最高和維護成本最低為目標，為系統(tǒng)內單元制定維護方案。

（3）相較于傳統(tǒng)的計劃性維護，本方法能夠在減少系統(tǒng)維護成本的同時，降低下游用戶缺氣風險；優(yōu)化后系統(tǒng)平均供氣可靠性由99.41%提高至99.54%，維護成本降低9.38%。

參考文獻：

［1］黃恩濤.長輸管道站場機械設備維修策略優(yōu)化及實踐［J］.油氣儲運，2018，37（4）：475-480.

HUANG Entao. Optimization and application of maintenance strategies for mechanical equipment at the stations of long-distance pipelines［J］. Oil & Gas Storage and Transportation， 2018，37（4）：475-480.

［2］裴峻峰，鄭慶元，姜海一，等.離心式壓縮機定期維修周期及可靠性研究［J］.中國石油大學學報（自然科學版），2014，38（6）：127-133.

PEI Junfeng， ZHENG Qingyuan， JIANG Haiyi， et al. Research on regular maintenance cycle and reliability for centrifugal compressors ［J］. Journal of China University of Petroleum（Edition of Natural Science） ， 2014，38（6）：127-133.

［3］劉志剛，王禹欽，王學力.油氣管道運行維護安全技術研究新進展［J］.天然氣與石油，2018，36（4）：112-118.

LIU Zhigang， WANG Yuqin， WANG Xueli. New progress in research on safety technology of oil & gas pipeline operation and maintenance［J］. Natural Gas and Oil， 2018，36（4）：112-118.

［4］裴峻峰，張嗣偉，齊明俠，等.基于可靠性分析與狀態(tài)監(jiān)測的鉆井泵剩余工作壽命預測［J］.中國石油大學學報（自然科學版），2010，34（5）：121-125.

PEI Junfeng， ZHANG Siwei， QI Mingxia， et al. Drilling pump remaining working life prediction based on reliability analysis and condition monitoring ［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2010，34（5）：121-125.

［5］李方坡，王勇，王建軍，等.基于可靠性的S135鉆桿疲勞裂紋萌生壽命預測［J］.中國石油大學學報（自然科學版），2018，42（2）：142-146.

LI Fangpo， WANG Yong， WANG Jianjun， et al. Life prediction of S135 drilling pipe due to fatigue crack initiation based on reliability theory［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2018，42（2）：142-146.

［6］高順華，侯大立.燃氣輪機在線分析診斷及視情維修系統(tǒng)在長輸管道上的開發(fā)及應用［J］.燃氣輪機技術，2014，27（4）：54-59.

GAO Shunhua， HOU Dali. Development and application of gas turbine compressor equipment health management on long-distance pipelines［J］. Gas Tubine Technology， 2014，27（4）：54-59.

［7］李明，楊文，牛徹，等.成品油管道基于內檢測的適用性評價與維修決策［J］.裝備環(huán)境工程，2021，18（4）：43-49.

LI Ming， YANG Wen， NIU Che， et al. Thefitness-for-service assessment and maintenance decision-making of a refined oil pipeline［J］. Equipment Environmental Engineering， 2021，18（4）：43-49.

［8］裴峻峰，葛慧中，任名晨，等.煉化裝置離心泵的維修周期及可靠性研究［J］.機械設計與制造，2019（增1）：57-60.

PEI Junfeng， GE Huizhong， REN Mingchen， et al. Research on the maintenance cycle and the reliability of centrifugal pump for refining and chemical equipment［J］. Machinery Design & Manufacture， 2019（sup1）：57-60.

［9］KIM K O， ZUO M J. Optimal allocation of reliability improvement target based on the failure risk and improvement cost［J］. Reliability Engineering and System Safety， 2018，180（7）：104-110.

［10］張增剛，李繼志.基于概率論的油氣管道腐蝕安全評估與維修優(yōu)化［J］.天然氣工業(yè)，2010，30（4）：91-95.

ZHANG Zenggang， LI Jizhi. Corrosion safety assessment and maintenance optimization of oil and gas pipelines based on probability theory［J］. Natural Gas Industry， 2010，30（4）：91-95.

［11］蘇懷，張勁軍.天然氣管網大數(shù)據(jù)分析方法及發(fā)展建議［J］.油氣儲運，2020，39（10）：1081-1095.

SU Huai， ZHANG Jinjun. Approach of big data analysis and suggestions on development of natural gas pipeline network［J］. Oil & Gas Storage and Transportation， 2020，39（10）：1081-1095.

［12］黃維和.大型天然氣管網系統(tǒng)可靠性［J］.石油學報，2013，34（2）：401-404.

HUANG Weihe. Reliability of large-scale natural gas pipeline network［J］. Acta Petrolei Sinica， 2013，34（2）：401-404.

［13］范慕煒，宮敬，伍陽，等.基于簡化拓撲結構的陜京天然氣管網供氣可靠性分析［J］.天然氣工業(yè)，2017，37（4）：123-129.

FAN Muwei， GONG Jing， WU Yang， et al. Gas supply reliability analysis of the Shaanxi-Beijing gas pipeline network based on the simplified topological structure［J］. Natural Gas Industry， 2017，37（4）：123-129.

［14］SU H， ZHANG J， ZIO E， et al. An integrated systemic method for supply reliability assessment of natural gas pipeline networks［J］. Applied Energy， 2018，209：489-501.

［15］張勁軍，蘇懷，高鵬.天然氣管網韌性保供問題及其研究展望［J］.石油學報，2020，41（12）：1665-1678.

ZHANG Jinjun， SU Huai， GAO Peng. Resilience-based supply assurance of natural gas pipeline networks and its research prospects［J］. Acta Petrolei Sinica， 2020，41（12）：1665-1678.

［16］范慕煒，宮敬，伍陽，等.陜京天然氣管網系統(tǒng)供氣可靠度的敏感性［J］.油氣儲運，2018，37（4）：378-384.

FAN Muwei， GONG Jing， WU Yang， et al. Sensitivity analysis on the gas supply reliability of Shaanxi-Beijing natural gas pipeline network system［J］. Oil & Gas Storage and Transportation， 2018，37（4）：378-384.

［17］BULUT M， ZCAN E. Optimization of electricity transmission by Ford-Fulkerson algorithm［J］. Sustainable Energy， Grids and Networks， 2021，28：100544.

［18］CAI B， KONG X， LIU Y， et al. Application of Bayesian networks in reliability evaluation［J］. IEEE Transactions on Industrial Informatics， 2019，15：2146-2157.

［19］DONG P， CHEN Z M， LIAO X W， et al. A deep reinforcement learning （DRL） based approach for well-testing interpretation to evaluate reservoir parameters［J］. Petroleum Science， 2022，19：264-278.

［20］FILIPE J， BESSA R J， REIS M， et al. Data-driven predictive energy optimization in a wastewater pumping station［J］. Applied Energy， 2019，252：113423.

［21］DOLCETTA I C， ISHII H. Approximate solutions of the Bellman equation of deterministic control theory［J］. Applied Mathematics and Optimization， 1984，11：161-181.

（編輯 沈玉英）