張浩 焦仕立 崔常府 高偉 張勇 王榮 伍玉輝

中海石油（中國）有限公司湛江分公司潿洲作業(yè)公司

羅克韋爾公司的ICS AADvance 系統(tǒng)作為較早取得SIL3 認(rèn)證的控制系統(tǒng)，在海上采油平臺的SIS系統(tǒng)（包括ESD緊急停車系統(tǒng)和FGS火氣系統(tǒng)）上有著廣泛應(yīng)用。某海上油田群油氣水中心處理平臺擁有多套ICS系統(tǒng)，處理原油達(dá)數(shù)百萬立方米，平臺一旦發(fā)生關(guān)停，將會導(dǎo)致整個(gè)油田群關(guān)停。2019年6月14日、7月3日、8月27日，平臺連續(xù)發(fā)生3次ESD 系統(tǒng)主備CPU（處理器模塊）同時(shí)故障停機(jī)，導(dǎo)致油田群生產(chǎn)關(guān)停，對油田的平穩(wěn)運(yùn)行造成極大的影響。通過與廠家技術(shù)人員探討，發(fā)現(xiàn)可能存在以下幾個(gè)問題影響系統(tǒng)的穩(wěn)定性，導(dǎo)致了系統(tǒng)停機(jī)[1]：偶發(fā)性兩個(gè)CPU 同時(shí)停機(jī)導(dǎo)致平臺關(guān)停；CPU掃描周期偏長，掃描周期不穩(wěn)定；單CPU機(jī)架滿載48塊卡后背板電流偏高。

1 系統(tǒng)基本情況

1.1 現(xiàn)場ESD系統(tǒng)架構(gòu)

AADvance 是一種工業(yè)控制器，是一個(gè)靈活、擴(kuò)展性強(qiáng)的系統(tǒng)，其組件可被配置為單重化、雙重化或三重化[2]，可以為其配置單重化或容錯(cuò)的控制和安全應(yīng)用程序。其單一處理器模塊（CPU）組合成的系統(tǒng)符合SIL2要求，冗余處理器模塊（2個(gè)或2 個(gè)以上）組合的系統(tǒng)滿足SIL3 的要求[3]。海上采油平臺為了實(shí)現(xiàn)容錯(cuò)功能滿足SIL3 的要求，通常采用雙重冗余的方式組成SIS 系統(tǒng)中的ESD 系統(tǒng)和FGS系統(tǒng)（圖1）。

圖1 現(xiàn)場ESD系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Schematic diagram of ESD system structure on site

發(fā)生關(guān)停平臺現(xiàn)場擁有兩套ESD 系統(tǒng)和三套FGS 系統(tǒng)，其中ESD1 系統(tǒng)帶載CPU 卡件（處理模塊T9110）2 塊、DI 卡件（數(shù)字量輸入卡T9402）6塊、AI卡件（模擬量輸入卡T9432）8塊、DO卡件（數(shù)字量輸出卡T9451）34 塊；ESD2 系統(tǒng)帶載CPU卡件2 塊、DI 卡件2 塊、AI 卡件10 塊、DO 卡件36塊，F(xiàn)GS1、FGS2系統(tǒng)也都滿載了48塊卡件。其中T9110、T9402、T9432 額定功率4W，電壓范圍直流18～32V；T9451 額定功率3W，電壓范圍直流18～32V。

1.2 事故經(jīng)過及初步分析

2019 年6 月14 日16:40，平臺ESD 系統(tǒng)突然停機(jī)，上位機(jī)大部分設(shè)備無數(shù)據(jù)顯示，現(xiàn)場部分電泵、SDV閥失控導(dǎo)致平臺全部關(guān)停，同時(shí)造成上游平臺隨之關(guān)停。初步檢查原因?yàn)镋SD 系統(tǒng)ESD1 的兩塊CPU 同時(shí)故障，安全網(wǎng)交換機(jī)存在故障報(bào)警，F(xiàn)GS系統(tǒng)正常，PCS系統(tǒng)正?！，F(xiàn)場更換安全網(wǎng)交換機(jī)后，斷電復(fù)位ESD系統(tǒng)，系統(tǒng)硬件運(yùn)行正常，ESD系統(tǒng)程序運(yùn)行正常。

2019年7月3日00:22，平臺ESD系統(tǒng)再次突然停機(jī)，導(dǎo)致平臺全部關(guān)停，造成上游平臺隨之關(guān)停。初步檢查原因也是ESD 系統(tǒng)ESD1 的兩塊CPU同時(shí)故障，此次關(guān)停時(shí)安全網(wǎng)交換機(jī)運(yùn)行正常，F(xiàn)GS系統(tǒng)正常，PCS系統(tǒng)正常，可以排除交換機(jī)故障引起關(guān)停。斷電復(fù)位ESD 系統(tǒng)，更換ESD1 系統(tǒng)的兩塊CPU 卡件及背板，重新下載程序，系統(tǒng)硬件運(yùn)行正常，ESD系統(tǒng)程序運(yùn)行正常。

2019 年8 月27 日12:37，平臺中控ESD 系統(tǒng)又突然停機(jī)，導(dǎo)致本平臺和上游平臺第三次全部關(guān)停。檢查原因?yàn)镋SD 系統(tǒng)ESD1 兩塊CPU 同時(shí)故障，造成ESD系統(tǒng)崩潰，導(dǎo)致整個(gè)生產(chǎn)關(guān)?！，F(xiàn)場FGS 系統(tǒng)正常，PCS 系統(tǒng)正常，可以初步認(rèn)為ESD系統(tǒng)崩潰與CPU卡件硬件故障關(guān)聯(lián)不大。

2 實(shí)驗(yàn)測試系統(tǒng)

對以下幾方面進(jìn)行了現(xiàn)場研究和考察：系統(tǒng)供電及帶載能力分析；建立現(xiàn)場系統(tǒng)功率評估模型，評估系統(tǒng)功率；系統(tǒng)主備CPU 同時(shí)故障的概率與掃描周期的關(guān)系；研究一種油田ESD 系統(tǒng)不停產(chǎn)升級方法。通過搭建實(shí)驗(yàn)測試系統(tǒng)，評估系統(tǒng)功率、調(diào)整程序掃描方式和控制帶載量對系統(tǒng)進(jìn)行優(yōu)化，并實(shí)際應(yīng)用到現(xiàn)有系統(tǒng)，改善了系統(tǒng)的穩(wěn)定性能，避免了故障的再次發(fā)生?，F(xiàn)場實(shí)驗(yàn)系統(tǒng)搭建由2 塊CPU 卡件、10 塊AI 卡件、8 塊DI 卡件、12 塊DO卡件組成。

2.1 系統(tǒng)供電及帶載能力分析

AADvance 系統(tǒng)所有卡件的工作電壓范圍均為18～32 V，常用電壓為24 V，而系統(tǒng)的最大IO數(shù)量與其使用的環(huán)境溫度存在一定的對應(yīng)關(guān)系，如圖2中的黃色曲線。

圖2 系統(tǒng)在25 ℃環(huán)境溫度下帶載量與電壓關(guān)系示意圖Fig.2 Schematic diagram of the relationship between load capacity and voltage of the system at an ambient temperature of 25 ℃

平臺中控室常年溫度在25 ℃左右，圖中藍(lán)色區(qū)域?yàn)槿繋лd4 W 的DI/AI 卡件的危險(xiǎn)區(qū)分界，黃色區(qū)域?yàn)閹лd50%DI/AI 卡，50%DO 卡（平均功率3.5 W的分界）的危險(xiǎn)區(qū)分界，紅色區(qū)域?yàn)槿繋лdDO卡件的危險(xiǎn)區(qū)分界，通過簡單的顏色差別即可直觀判斷系統(tǒng)卡件配置是否安全。與廠家確認(rèn)后，目前已經(jīng)逐步把平臺AADvance 系統(tǒng)背板電壓從24 V 提升到28 V，把系統(tǒng)工作區(qū)域從黃色區(qū)移位到安全區(qū)，提升系統(tǒng)的穩(wěn)定性。實(shí)驗(yàn)測得在不同供電電壓下電壓與功率情況如表1所示，電壓與電流的對應(yīng)關(guān)系如圖3所示，電壓與功率的對應(yīng)關(guān)系如圖4所示。

表1 不同供電電壓下電壓和功率統(tǒng)計(jì)Tab.1 Voltageandpowerstatisticsunderdifferentsupply voltages

圖3 系統(tǒng)電壓與電流對應(yīng)關(guān)系示意圖Fig.3 Schematic diagram of the corresponding relationship between system voltage and current

圖4 系統(tǒng)電壓與功率對應(yīng)關(guān)系示意圖Fig.4 Schematic diagram of the corresponding relationship between system voltage and power

從此次實(shí)驗(yàn)可以看出，通過調(diào)整供電電壓從24 V提升到30 V，系統(tǒng)供電電壓提升25%，供電電流降低17%，功率只上升了2.6%，系統(tǒng)帶載能力提升了17%。實(shí)驗(yàn)證明了通過提高系統(tǒng)電壓、降低工作電流來提高系統(tǒng)負(fù)載能力的可行性。經(jīng)現(xiàn)場實(shí)際應(yīng)用，把目前的ESD 系統(tǒng)背板電壓從24 V 穩(wěn)步提升到28 V，背板電流降低了13%。

2.2 建立系統(tǒng)功率模型評估系統(tǒng)功率

ESD 系統(tǒng)的功率作為系統(tǒng)穩(wěn)定性的重要指標(biāo)，可以通過實(shí)驗(yàn)和模型計(jì)算出其實(shí)際功耗和最大功耗。實(shí)驗(yàn)在28 V 的穩(wěn)定電源供電情況下（在用系統(tǒng)實(shí)際供電28 V），ESD 系統(tǒng)穩(wěn)定在Run 工作模式時(shí)，首先去掉備I/O卡，再去掉主備I/O卡，測量并計(jì)算出每種類型的卡件工作狀態(tài)下的平均功耗。其中AI 卡或DI 卡的A/D 轉(zhuǎn)換功耗不受外接變送器等電流、電壓影響，DO 卡件對外供電由外部電源引入，不增加背板負(fù)載。實(shí)驗(yàn)?zāi)Ｐ椭蠨O卡件通道均未帶載設(shè)備，DO 卡的單個(gè)通道晶閘管的功耗按照陽極與門極100 倍放大倍數(shù)計(jì)算，由DO 卡件直接輸出的情況下，單通道最大驅(qū)動電流2A，單通道功耗24 V×2 A/100=0.48 W。通道外接繼電器時(shí)，單通道最小驅(qū)動電流30 mA，正常驅(qū)動電流40 mA。單通道驅(qū)動正常功耗24 V×0.04 A/100=0.009 6 W，8通道全部輸出為0.08 W。實(shí)驗(yàn)數(shù)據(jù)見表2，DO卡件輸出結(jié)構(gòu)如圖5所示。

表2 卡件功耗試驗(yàn)記錄Tab.2 Power consumption test record of the card

圖5 DO卡件輸出示意圖Fig.5 Schematic diagram of DO card output

平均功耗計(jì)算:

式中：I1為去掉卡件前電流，A；I2為去掉備用卡件后電流，A；I3為主備卡件全去掉后電流，A；P1為單個(gè)備用卡平均功率，W；P2為主備用卡件平均功率，W；P3為卡件平均功率，W；V為供電電壓，V；N1為備用卡數(shù)量；N2為卡件數(shù)量。

通過表2可得出系統(tǒng)功率評估模型：

式中：X為CPU卡件數(shù)（T9110型）；Y為AI卡件數(shù)（T9432型）；Z為DI卡件數(shù)（T9402型）；U為DO 卡件數(shù)（T9451 型）；W為全部有輸出的通道數(shù)；P4為功率模型估算功率，W；P5為系統(tǒng)卡件額定功率，W。

根據(jù)現(xiàn)場實(shí)際安裝卡件類型及數(shù)量（DO 卡件輸出全部為繼電器輸出），假設(shè)DO 通道全部投用，ESD1 系統(tǒng)評估功率為109.21 瓦特，額定功率為174 瓦特；ESD2 系統(tǒng)評估功率為110.14 瓦特，額定功率為172 瓦特?，F(xiàn)場實(shí)際測量ESD1 系統(tǒng)電流3.79 A，電源輸出28 V；ESD2 系統(tǒng)電流3.76 A，電流輸出28 V。具體測量參數(shù)見表3。

表3 功率模型評估與實(shí)測功率Tab.3 Power model evaluation and measured power

通過對實(shí)驗(yàn)系統(tǒng)的主備卡件進(jìn)行插拔，測量在不同情況下的電流值，測算推導(dǎo)系統(tǒng)的功率評估模型。經(jīng)過對現(xiàn)場系統(tǒng)測量，證明該模型評估功率與實(shí)際測量功率較為接近，此模型評估有效。系統(tǒng)評估功率仍有近40%的安全余量，由此可說明系統(tǒng)故障停機(jī)與系統(tǒng)是否超過額定功率無關(guān)。此功率評估模型可為其他油田AADvance 系統(tǒng)功率評估提供參考。

2.3 主備CPU同時(shí)死機(jī)的概率與掃描周期的關(guān)系

根據(jù)現(xiàn)場設(shè)備實(shí)際應(yīng)用情況，重點(diǎn)研究ESD系統(tǒng)在Trigger cycle 模式下，主備CPU 同時(shí)故障停機(jī)的概率與持續(xù)超過CPU 的掃描周期設(shè)定值之間的關(guān)系[4]。通過在實(shí)驗(yàn)系統(tǒng)上復(fù)現(xiàn)停機(jī)故障，統(tǒng)計(jì)停機(jī)概率來評估該模式導(dǎo)致CPU 同時(shí)停機(jī)的可能性。系統(tǒng)掃描模式如圖6所示。

圖6 系統(tǒng)掃描模式示意圖Fig.6 Schematic diagram of system scanning mode

本次實(shí)驗(yàn)將ESD 系統(tǒng)置于Trigger cycle 模式，通過調(diào)整程序大小使CPU 實(shí)際掃描周期穩(wěn)定150 ms，在Trigger cycle 模式中分別把周期設(shè)置為100 ms、160 ms、200 ms的情況下，對CPU超時(shí)次數(shù)、Healthy報(bào)警和死機(jī)情況進(jìn)行記錄。經(jīng)過2周運(yùn)轉(zhuǎn)，發(fā)生超時(shí)次數(shù)1 021次，在超過200次后，CPU卡件的狀態(tài)燈Healthy 燈亮紅燈；但是2 周內(nèi)并未發(fā)生主備CPU 同時(shí)故障停機(jī)，運(yùn)行1 個(gè)月后發(fā)現(xiàn)1次單CPU 故障的情況，說明在該模式下系統(tǒng)存在CPU故障停機(jī)風(fēng)險(xiǎn)。

經(jīng)過不斷調(diào)整Trigger Cycle 模式的設(shè)定周期，確定在使用該模式時(shí)，必須使Trigger Cycle 的設(shè)定時(shí)間是實(shí)際掃描周期的2 倍以上時(shí)，也就是負(fù)荷（CPU掃描周期/設(shè)置的掃描周期）低于50%的情況下，才能確保不發(fā)生掃描超時(shí)問題。目前ESD1 的CPU 掃描時(shí)間為180～470 ms，最長時(shí)達(dá)到750 ms，比出廠時(shí)要求的200 ms 偏高。同時(shí)對ESD2，F(xiàn)GS1及FGS2 控制器日志進(jìn)行了分析檢查，實(shí)際掃描時(shí)間分別為141 ms、152 ms、153 ms，不存在超時(shí)現(xiàn)象。

AADvance 系統(tǒng)廠家開發(fā)了不少標(biāo)準(zhǔn)化模塊，但是在使用過程中發(fā)現(xiàn)，為了實(shí)現(xiàn)標(biāo)準(zhǔn)化，模塊里面70%以上的功能是油田的ESD系統(tǒng)不需要的，這些多余的功能占據(jù)了CPU大量的工作時(shí)間。ESD系統(tǒng)在建造招標(biāo)時(shí)，一般的掃描周期要求為300 ms以內(nèi)，系統(tǒng)負(fù)荷不超過50%。但是該要求未考慮到中心平臺普遍存在的后期新加卡件問題，未預(yù)留足夠冗余量。目前平臺的5 套AADvance 系統(tǒng)CPU 都是400M 主頻，掃描周期普遍在120～160 ms 之間，其主要原因就是程序優(yōu)化程度不夠，未達(dá)到ESD系統(tǒng)快速穩(wěn)定邏輯判斷的要求。

在本次實(shí)驗(yàn)中，通過不斷調(diào)整Trigger cycle 模式下的掃描周期設(shè)定值，證明了CPU 的掃描周期在持續(xù)超過設(shè)定值時(shí)，系統(tǒng)將存在CPU 故障停機(jī)風(fēng)險(xiǎn)。通過對程序的DO、DI 模塊進(jìn)行優(yōu)化，盡量減少子程序的數(shù)量，精簡模塊的處理功能，用更簡單和巧妙的方法實(shí)現(xiàn)邏輯的自鎖等操作。最終實(shí)驗(yàn)結(jié)果可以把實(shí)驗(yàn)CPU 的掃描周期從150 ms 減少到120 ms以下，減少20%的CPU負(fù)荷。

2.4 ESD系統(tǒng)不停產(chǎn)升級方法

ESD 系統(tǒng)作為油田安全生產(chǎn)的重要安全屏障，一般設(shè)置為故障安全型，即CPU 停機(jī)或者離線下載程序，都會導(dǎo)致整個(gè)油田所有設(shè)備關(guān)停。但是在油氣生產(chǎn)過程中，ESD系統(tǒng)不可避免地要進(jìn)行增加卡件、調(diào)整程序結(jié)構(gòu)等操作，大多數(shù)情況下這些操作都要求CPU停機(jī)才能進(jìn)行。

在油田不停產(chǎn)進(jìn)行相關(guān)操作時(shí)，需要對現(xiàn)場設(shè)備ESD關(guān)停信號進(jìn)行旁通處理，包括對關(guān)斷閥手動強(qiáng)制打開，配電柜跳電信號硬線旁通、上下游油田的連鎖信號進(jìn)行旁通處理等，這些都需要大量的準(zhǔn)備工作，而且在功能強(qiáng)制到功能恢復(fù)的時(shí)間內(nèi)，存在SIS 系統(tǒng)長時(shí)間失效的風(fēng)險(xiǎn)。本次實(shí)驗(yàn)對這個(gè)問題進(jìn)行了相關(guān)總結(jié)，提出了2個(gè)減少停產(chǎn)損失、提高維修效率的關(guān)鍵方法。

2.4.1 DO卡設(shè)置為故障保持

把AADvance 系統(tǒng)DO 卡件通道設(shè)置為故障保持即DO卡件通道的Hold Last State狀態(tài)，這樣可以在CPU 故障停機(jī)或DO 卡件故障的過程中，保證DO 卡件輸出不變，為后續(xù)應(yīng)急處理爭取時(shí)間。而在系統(tǒng)正常工作時(shí)，不影響程序運(yùn)行產(chǎn)生的邏輯關(guān)停，DO 卡件通道可以正常輸出[5]?，F(xiàn)場中控為24小時(shí)有人值守，在中控組態(tài)畫面對卡件進(jìn)行狀態(tài)監(jiān)控，如有DO卡件發(fā)生故障報(bào)警可及時(shí)通知維修人員處理。如果發(fā)生緊急情況，可以采用立即對ESD機(jī)架電源斷電的方法，實(shí)現(xiàn)平臺的一級關(guān)停，也可對部分卡件的斷電實(shí)現(xiàn)分級關(guān)停。但是該方法在AAdvance的CPU故障重啟或停機(jī)重啟后DO卡上電過程中存在閃跳問題，需要配合方法2使用。

2.4.2 DO卡件的輸出繼電器選型為可強(qiáng)制型

將ESD 系統(tǒng)所有輸出到現(xiàn)場的DO 點(diǎn)都增加可強(qiáng)制繼電器，在需要離線程序下載前把繼電器打到強(qiáng)制狀態(tài)進(jìn)行旁通，即可短時(shí)間內(nèi)完成ESD信號的旁通和恢復(fù)[6]。CPU 故障停機(jī)后對保持住的DO 點(diǎn)進(jìn)行繼電器強(qiáng)制，系統(tǒng)正常啟動后再對繼電器強(qiáng)制功能進(jìn)行釋放，這樣即可實(shí)現(xiàn)不停產(chǎn)離線下載。建議在招標(biāo)階段要求ESD系統(tǒng)輸出使用可強(qiáng)制型繼電器，在油田現(xiàn)場使用信號旁通體系對該繼電器的旁通加強(qiáng)管理。

在本次實(shí)驗(yàn)中，通過對DO 卡件的故障保持狀態(tài)的設(shè)置與輸出繼電器的功能強(qiáng)制，實(shí)現(xiàn)了實(shí)驗(yàn)系統(tǒng)在不停產(chǎn)情況下離線下載程序。在現(xiàn)場實(shí)際作業(yè)過程中，通過加強(qiáng)現(xiàn)場監(jiān)管與安全風(fēng)險(xiǎn)分析等人為控制方式，與本方法配合成功實(shí)現(xiàn)了SIS 系統(tǒng)的不停產(chǎn)升級。

3 結(jié)論

針對ESD 系統(tǒng)主備CPU 同時(shí)故障問題，提出搭建實(shí)驗(yàn)測試系統(tǒng)的方法，通過評估系統(tǒng)功率、調(diào)整程序掃描方式和評估帶載量等手段對系統(tǒng)進(jìn)行優(yōu)化。實(shí)驗(yàn)系統(tǒng)進(jìn)行測試后運(yùn)用到現(xiàn)場的系統(tǒng)，提升了ESD系統(tǒng)工作的穩(wěn)定性，成功避免了ESD系統(tǒng)主備CPU 同時(shí)故障停機(jī)造成的生產(chǎn)關(guān)停，保障了現(xiàn)場的安全生產(chǎn)，也節(jié)約了對SIS 系統(tǒng)更換的時(shí)間成本和資金成本。平臺ESD系統(tǒng)穩(wěn)定性提升后，2020年初至今未再次發(fā)生主備CPU 同時(shí)故障停機(jī)問題。相比2019年，直接提升生產(chǎn)時(shí)效3 h，減少停產(chǎn)原油產(chǎn)量損失1 500 m3，降低直接經(jīng)濟(jì)損失300 萬元。此次問題的解決也為國內(nèi)其他油田控制系統(tǒng)類似問題的解決提供了一種新的思路。

本文所使用的實(shí)驗(yàn)方法在解決ESD 系統(tǒng)主備CPU同時(shí)故障停機(jī)問題上取得了良好的效果，但控制系統(tǒng)穩(wěn)定性還存在提高的空間。下一步需要研究何進(jìn)一步優(yōu)化程序縮短掃描時(shí)間、減少系統(tǒng)故障率，從而達(dá)到安全、穩(wěn)定生產(chǎn)的目的。