韓光?韓夢(mèng)蝶?蘭明菊

摘要：風(fēng)城油田作業(yè)區(qū)物聯(lián)網(wǎng)建設(shè)發(fā)展快速，已形成一套成熟生產(chǎn)監(jiān)控體系設(shè)計(jì)與管理流程，為了更加充分發(fā)揮物聯(lián)網(wǎng)數(shù)據(jù)價(jià)值，需要建立以“專業(yè)分析模型+實(shí)時(shí)數(shù)據(jù)”為驅(qū)動(dòng)的智能化深化應(yīng)用模式。而在基于物聯(lián)網(wǎng)數(shù)據(jù)智能化分析時(shí)，遇到數(shù)據(jù)獲取不及時(shí)、質(zhì)量不可控等難題，通過(guò)構(gòu)建風(fēng)城油田作業(yè)區(qū)實(shí)時(shí)數(shù)據(jù)中心，直接對(duì)接RTU、PLC和DCS進(jìn)行采集與存儲(chǔ)，為第三方系統(tǒng)提供高速數(shù)據(jù)調(diào)用接口，促進(jìn)稠油油田智能化管理技術(shù)手段的快速升級(jí)。

關(guān)鍵詞：實(shí)時(shí)數(shù)據(jù)；云平臺(tái)；分布式采集；預(yù)警報(bào)警

一、前言

A11建設(shè)初期，風(fēng)城油田作業(yè)區(qū)實(shí)時(shí)數(shù)據(jù)庫(kù)采用iFIX的IH，且當(dāng)前已接入15萬(wàn)以上采集點(diǎn)規(guī)模，該數(shù)據(jù)庫(kù)主要用于滿足iFIX的SCADA系統(tǒng)使用。在第三方應(yīng)用系統(tǒng)需要從IH中獲取實(shí)時(shí)數(shù)據(jù)時(shí)，若調(diào)用頻次高或一次性調(diào)用數(shù)據(jù)量大，容易導(dǎo)致IH數(shù)據(jù)庫(kù)的不穩(wěn)定運(yùn)行，最終引起SCADA系統(tǒng)的運(yùn)行異常。另外，部分?jǐn)?shù)據(jù)采集依賴于第三方軟件，數(shù)據(jù)采集的可控性、穩(wěn)定性、時(shí)效性無(wú)法保證，例如功圖數(shù)據(jù)采集依賴于第三方軟件（功圖小鍵盤(pán)），PLC數(shù)據(jù)采集依賴于IGS、KEPWARE等。通過(guò)剖析傳統(tǒng)實(shí)時(shí)庫(kù)產(chǎn)品在實(shí)際應(yīng)用中遇到的不足，研究分布式實(shí)時(shí)數(shù)據(jù)平臺(tái)，徹底解決數(shù)據(jù)采集規(guī)模與頻次受限、數(shù)據(jù)共享能力不足等問(wèn)題，專門(mén)為實(shí)時(shí)數(shù)據(jù)深化應(yīng)用提供數(shù)據(jù)服務(wù)，打造雙實(shí)時(shí)數(shù)據(jù)庫(kù)建設(shè)應(yīng)用模式，保障生產(chǎn)運(yùn)行監(jiān)控與智能化應(yīng)用分析正常穩(wěn)定開(kāi)展。

二、重點(diǎn)解決問(wèn)題

實(shí)時(shí)數(shù)據(jù)云平臺(tái)主要解決實(shí)時(shí)數(shù)據(jù)采集性能差、存儲(chǔ)分散、數(shù)據(jù)共享能力不足三類問(wèn)題[1]：

（一）實(shí)時(shí)數(shù)據(jù)采集對(duì)第三方軟件依賴程度大，中間件的存在導(dǎo)致了數(shù)據(jù)采集流程復(fù)雜、可維護(hù)性差、數(shù)據(jù)穩(wěn)定性不足、采集時(shí)效性差等問(wèn)題。實(shí)時(shí)數(shù)據(jù)云平臺(tái)通過(guò)自主開(kāi)發(fā)各類驅(qū)動(dòng)程序?qū)崿F(xiàn)了RTU、PLC的直接對(duì)接，不依賴于第三方中間件，同時(shí)采用分布式并發(fā)采集機(jī)制確保采集性能大幅提升。

（二）常見(jiàn)實(shí)時(shí)數(shù)據(jù)庫(kù)可部署在不同的服務(wù)器節(jié)點(diǎn)，但各服務(wù)器節(jié)點(diǎn)間數(shù)據(jù)同步實(shí)時(shí)性與穩(wěn)定性差，無(wú)法實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理與應(yīng)用。實(shí)時(shí)數(shù)據(jù)平臺(tái)可將百萬(wàn)級(jí)數(shù)據(jù)點(diǎn)同時(shí)存儲(chǔ)到一個(gè)平臺(tái)，且能夠確保數(shù)據(jù)應(yīng)用的高實(shí)時(shí)性能；可把全油田的數(shù)據(jù)存儲(chǔ)在一個(gè)平臺(tái)中，實(shí)現(xiàn)數(shù)據(jù)集中管理與大數(shù)據(jù)分析；可通過(guò)多節(jié)點(diǎn)間實(shí)時(shí)數(shù)據(jù)主動(dòng)備份，規(guī)避數(shù)據(jù)丟失問(wèn)題。

（三）傳統(tǒng)方案中，實(shí)時(shí)數(shù)據(jù)量存儲(chǔ)達(dá)到一定程度后，數(shù)據(jù)讀取需要幾分鐘，甚至?xí)?dǎo)致系統(tǒng)宕機(jī)，無(wú)法保障大數(shù)據(jù)分析應(yīng)用業(yè)務(wù)的正常開(kāi)展。實(shí)時(shí)數(shù)據(jù)云平臺(tái)在實(shí)時(shí)數(shù)據(jù)積累到千億量級(jí)時(shí)，數(shù)據(jù)讀取速度仍可保證可用性。

三、實(shí)時(shí)數(shù)據(jù)云平臺(tái)設(shè)計(jì)

以分布式思想為基礎(chǔ)，建立涵蓋數(shù)據(jù)采集、處理、存儲(chǔ)的三層架構(gòu)，有效確保實(shí)時(shí)數(shù)據(jù)采集與存儲(chǔ)的高效、穩(wěn)定，為數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用提供可靠的保障。

數(shù)據(jù)采集層：支持從RTU、PLC、DCS油田現(xiàn)場(chǎng)自動(dòng)化數(shù)據(jù)采集設(shè)備，按照不同協(xié)議類型進(jìn)行數(shù)據(jù)解析；支持高并發(fā)數(shù)據(jù)采集，提高數(shù)據(jù)采集時(shí)效性與穩(wěn)定性。

數(shù)據(jù)處理層：內(nèi)置多種常用函數(shù)，支持復(fù)雜數(shù)據(jù)運(yùn)算與關(guān)系換算，滿足不同應(yīng)用場(chǎng)景下的數(shù)據(jù)處理需求。

數(shù)據(jù)存儲(chǔ)層：支持多節(jié)點(diǎn)數(shù)據(jù)存儲(chǔ)、無(wú)損壓縮，提供高穩(wěn)定性API數(shù)據(jù)訪問(wèn)接口。

基于分布式架構(gòu)，共設(shè)計(jì)五大類功能，如圖1所示，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)的高效分布式采集與存儲(chǔ)，并為第三方應(yīng)用系統(tǒng)提供了靈活的數(shù)據(jù)調(diào)用接口[2-4]。

（一）分布式實(shí)時(shí)數(shù)據(jù)采集

基于Erlang語(yǔ)言的高并發(fā)處理能力，針對(duì)每一個(gè)采集任務(wù)建立單獨(dú)的采集服務(wù)，每個(gè)采集服務(wù)之間相互獨(dú)立，一旦某一個(gè)服務(wù)出現(xiàn)運(yùn)行異常，不會(huì)影響其他服務(wù)。基于該策略，可最大頻次地提升數(shù)據(jù)采集的頻率及數(shù)據(jù)采集穩(wěn)定性。系統(tǒng)支持RTU、PLC、DCS等各類現(xiàn)場(chǎng)設(shè)備的直接數(shù)據(jù)采集，支持?jǐn)?shù)值、數(shù)組、文本等數(shù)據(jù)類型，兼容不同類型通訊方式并進(jìn)行采集穩(wěn)定性優(yōu)化，完美滿足了油田多樣化的數(shù)據(jù)采集要求。

（二）分布式數(shù)據(jù)存儲(chǔ)

支持多節(jié)點(diǎn)分布式存儲(chǔ)方式，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)集群管理，任何一個(gè)節(jié)點(diǎn)發(fā)生問(wèn)題均不影響數(shù)據(jù)的存儲(chǔ)及異常恢復(fù)后數(shù)據(jù)的同步處置。在數(shù)據(jù)寫(xiě)入庫(kù)時(shí)，采用分段、分塊方式在數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)存儲(chǔ)。當(dāng)數(shù)據(jù)流進(jìn)庫(kù)后，數(shù)據(jù)庫(kù)自動(dòng)以“段號(hào)+塊號(hào)+時(shí)間戳+數(shù)據(jù)+加密”的方式為每個(gè)數(shù)據(jù)包生成唯一的數(shù)據(jù)ID，方便數(shù)據(jù)查詢，如圖2所示。同時(shí)，采用緩存技術(shù)利用服務(wù)器的系統(tǒng)資源在內(nèi)存中緩存部分最近數(shù)據(jù)，也可最大化地提升數(shù)據(jù)查詢效率。在數(shù)據(jù)采集一段時(shí)間后，數(shù)據(jù)庫(kù)自動(dòng)對(duì)歷史數(shù)據(jù)進(jìn)行壓縮，節(jié)省磁盤(pán)空間，提高處理速度。

（三）實(shí)時(shí)數(shù)據(jù)管理

1.數(shù)據(jù)一鍵查詢

如圖1所示，可按照采集單元、生產(chǎn)對(duì)象，對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行在線實(shí)時(shí)查詢，有效幫助實(shí)時(shí)數(shù)據(jù)管理人員評(píng)價(jià)數(shù)據(jù)接入質(zhì)量。

2.歷史數(shù)據(jù)查詢

按對(duì)象、采集點(diǎn)、時(shí)間段查詢一段時(shí)間的實(shí)時(shí)數(shù)據(jù)，有助于分析實(shí)時(shí)數(shù)據(jù)接入的穩(wěn)定性和準(zhǔn)確性。

3.點(diǎn)表管理

提供Web頁(yè)面，用于管理RTU、PLC、DCS等不同采集終端采集點(diǎn)表的增刪改查操作，可按設(shè)備名稱、IP等條件進(jìn)行查詢過(guò)濾，如圖4所示。

RTU點(diǎn)表配置時(shí)，可對(duì)采集數(shù)據(jù)進(jìn)行預(yù)處理，從而確保采集轉(zhuǎn)換后的數(shù)據(jù)具有物理含義，系統(tǒng)提供的采集器功能開(kāi)發(fā)了預(yù)處理表達(dá)式解析模塊，支持常規(guī)四則運(yùn)算法則及按需精度處置，方便實(shí)施人員進(jìn)行配置操作。

（四）實(shí)時(shí)數(shù)據(jù)訪問(wèn)接口

按照風(fēng)城作業(yè)區(qū)應(yīng)用系統(tǒng)數(shù)據(jù)接入需求，提供API接口，由第三方系統(tǒng)主動(dòng)調(diào)用API接口獲取所需數(shù)據(jù)。

1.接口類型

提供支持實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)調(diào)用的API接口：多對(duì)象、多參數(shù)、時(shí)間點(diǎn)、時(shí)間段等。只需調(diào)用接口時(shí)輸入相關(guān)關(guān)鍵字即可實(shí)現(xiàn)數(shù)據(jù)的調(diào)用。

2.接口性能特點(diǎn)

系統(tǒng)提供的API接口與iFIX提供的OPC接口性能對(duì)比結(jié)果如表1所示。

四、實(shí)時(shí)數(shù)據(jù)云平臺(tái)部署

系統(tǒng)部署于風(fēng)城作業(yè)區(qū)機(jī)房，采用多臺(tái)服務(wù)器進(jìn)行集群模式搭建。在數(shù)據(jù)采集端，直接對(duì)接RTU、PLC、DCS等硬件設(shè)備，實(shí)現(xiàn)了所有實(shí)時(shí)數(shù)據(jù)的接入、存儲(chǔ)。在客戶端，通過(guò)B/S版實(shí)時(shí)數(shù)據(jù)管理平臺(tái)實(shí)現(xiàn)已采集數(shù)據(jù)、采集對(duì)象基礎(chǔ)信息、采集點(diǎn)配置等相關(guān)數(shù)據(jù)與信息的管理。同時(shí)，該平臺(tái)為第三方應(yīng)用系統(tǒng)提供了標(biāo)準(zhǔn)的API調(diào)用接口，并實(shí)施了DMS、稠油生產(chǎn)監(jiān)控報(bào)警輔助等應(yīng)用系統(tǒng)的數(shù)據(jù)對(duì)接。

五、實(shí)時(shí)數(shù)據(jù)云平臺(tái)運(yùn)行效果

（一）實(shí)時(shí)數(shù)據(jù)接入運(yùn)行狀況

接入數(shù)據(jù)規(guī)模與iFIX一致，超過(guò)15萬(wàn)點(diǎn)，數(shù)據(jù)采集穩(wěn)定（除網(wǎng)絡(luò)不穩(wěn)定影響外），設(shè)定的采集周期與實(shí)際采集周期一致。

服務(wù)器長(zhǎng)時(shí)間運(yùn)行，平均CPU占用不高于15%，內(nèi)存占用不高于12%，系統(tǒng)資源占用穩(wěn)定，無(wú)明顯的資源消耗波動(dòng)。

在當(dāng)前采集數(shù)據(jù)量及采集周期下，一天大約能產(chǎn)生1G的數(shù)據(jù)，預(yù)計(jì)一年所需的硬盤(pán)空間為370G左右。

（二）實(shí)時(shí)數(shù)據(jù)調(diào)用效果

以稠油生產(chǎn)監(jiān)控報(bào)警輔助系統(tǒng)為例，對(duì)接實(shí)時(shí)數(shù)據(jù)平臺(tái)之后，采集周期可以從60+s提高到5s，而且數(shù)據(jù)獲取穩(wěn)定，時(shí)間符合實(shí)際要求。具體對(duì)接前后性能變化如表2所示。

六、實(shí)時(shí)數(shù)據(jù)云平臺(tái)優(yōu)勢(shì)

實(shí)時(shí)數(shù)據(jù)云平臺(tái)擴(kuò)容后，其特征為“三個(gè)突出，一個(gè)穩(wěn)定”，徹底打通了實(shí)時(shí)數(shù)據(jù)從感知、采集、存儲(chǔ)到應(yīng)用的數(shù)據(jù)流程的關(guān)鍵瓶頸（數(shù)據(jù)時(shí)效性、穩(wěn)定性、共享性不足）。

1.數(shù)據(jù)采集性能突出：RTU、PLC實(shí)時(shí)數(shù)據(jù)采集頻率可達(dá)1秒；功圖數(shù)據(jù)采集頻率可達(dá)秒級(jí)；DCS通過(guò)OPC方式數(shù)據(jù)采集頻率可達(dá)秒級(jí)；

2.數(shù)據(jù)調(diào)用接口數(shù)據(jù)共享能力突出：支持十萬(wàn)級(jí)數(shù)據(jù)量的秒級(jí)調(diào)用，保證第三方系統(tǒng)對(duì)于實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)應(yīng)用的按需調(diào)用；

3.第三方軟件對(duì)接效果突出：稠油系統(tǒng)數(shù)據(jù)頻率由1分鐘提升至5秒；DMS實(shí)時(shí)數(shù)據(jù)調(diào)用方式簡(jiǎn)單、易維護(hù)，能夠快速實(shí)現(xiàn)按需調(diào)用。

4.服務(wù)器集群運(yùn)行穩(wěn)定：資源占用率低且穩(wěn)定，數(shù)據(jù)采集、存儲(chǔ)服務(wù)運(yùn)行穩(wěn)定。

七、實(shí)時(shí)數(shù)據(jù)云平臺(tái)發(fā)展?jié)摿?/p>

可建立面向百萬(wàn)級(jí)采集點(diǎn)的數(shù)據(jù)采集與存儲(chǔ)中心，實(shí)現(xiàn)油田（或油公司）全生產(chǎn)過(guò)程數(shù)據(jù)的高效采集與存儲(chǔ)，成為油田唯一的實(shí)時(shí)數(shù)據(jù)來(lái)源，為所有第三方應(yīng)用系統(tǒng)提供高效、標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)，避免實(shí)時(shí)數(shù)據(jù)庫(kù)的重復(fù)搭建。

建立基于數(shù)據(jù)整合模型的實(shí)時(shí)數(shù)據(jù)到生產(chǎn)數(shù)據(jù)、管理數(shù)據(jù)、計(jì)算分析指標(biāo)的自動(dòng)計(jì)算，實(shí)現(xiàn)生產(chǎn)與分析指標(biāo)的統(tǒng)一算法標(biāo)準(zhǔn)，避免重復(fù)計(jì)算與重復(fù)開(kāi)發(fā)造成的資源浪費(fèi)。

建立基于實(shí)時(shí)數(shù)據(jù)平臺(tái)的智能生產(chǎn)運(yùn)行管理平臺(tái)，實(shí)現(xiàn)深度實(shí)時(shí)監(jiān)控分析、設(shè)備全生命周期管理、深度能耗分級(jí)管控等方向的系統(tǒng)擴(kuò)展；同時(shí)將數(shù)據(jù)挖掘技術(shù)、專業(yè)分析模型、專家經(jīng)驗(yàn)等相互融合，構(gòu)建符合油田實(shí)際業(yè)務(wù)需求的專業(yè)分析模型，并借助先進(jìn)的IT技術(shù)不斷提升技術(shù)研究成果的可靠性[5-6]。

八、結(jié)語(yǔ)

應(yīng)用服務(wù)器集群，構(gòu)建了風(fēng)城油田作業(yè)區(qū)實(shí)時(shí)數(shù)據(jù)平臺(tái)。一方面，通過(guò)實(shí)時(shí)數(shù)據(jù)高性能數(shù)據(jù)采集架構(gòu)的設(shè)計(jì)與開(kāi)發(fā)，極大地提升了油氣物聯(lián)網(wǎng)管理中數(shù)據(jù)采集與設(shè)備運(yùn)維工作效率的提升，減少人員負(fù)擔(dān)、改善工作條件、提升工作能力與工作熱情；另一方面，多節(jié)點(diǎn)實(shí)時(shí)數(shù)據(jù)采集方案能夠?qū)崿F(xiàn)數(shù)據(jù)的高性能永久存儲(chǔ)及數(shù)據(jù)共享，在數(shù)據(jù)應(yīng)用時(shí)可實(shí)時(shí)進(jìn)行調(diào)用，滿足油氣生產(chǎn)運(yùn)行監(jiān)控及實(shí)時(shí)數(shù)據(jù)深化應(yīng)用分析需要，及時(shí)發(fā)現(xiàn)油氣生產(chǎn)工況異常，提前預(yù)警，提前處置，有效降低生產(chǎn)運(yùn)行事故發(fā)生概率，提供生產(chǎn)安全能力，進(jìn)一步為油田HSE安全管理保駕護(hù)航，為打造油田生態(tài)系統(tǒng)奠定了良好基礎(chǔ)。

1.數(shù)據(jù)采集、存儲(chǔ)、調(diào)用等相關(guān)服務(wù)均采用Erlang技術(shù)，確保了高并發(fā)數(shù)據(jù)采集、存儲(chǔ)、應(yīng)用能力，高性能的數(shù)據(jù)處理技術(shù)最大限度地保障了海量實(shí)時(shí)數(shù)據(jù)采集的時(shí)效性、穩(wěn)定性。

2.本次搭建的實(shí)時(shí)數(shù)據(jù)云平臺(tái)前端采用B/S開(kāi)發(fā)架構(gòu)，便于系統(tǒng)的部署、應(yīng)用、維護(hù)、升級(jí)，大幅提升數(shù)據(jù)運(yùn)維工程師的工作效率。

3.提供的標(biāo)準(zhǔn)API接口與數(shù)據(jù)訂閱機(jī)制，實(shí)現(xiàn)了基于第三方數(shù)據(jù)庫(kù)或應(yīng)用接口的數(shù)據(jù)對(duì)接機(jī)制，滿足了現(xiàn)場(chǎng)不同類型應(yīng)用軟件系統(tǒng)的數(shù)據(jù)對(duì)接需求，滿足了各種第三方應(yīng)用系統(tǒng)或數(shù)據(jù)庫(kù)對(duì)實(shí)時(shí)數(shù)據(jù)提取調(diào)用的要求。

參考文獻(xiàn)

[1]韓菲，謝光華，蔣能記，等.風(fēng)城稠油處理站物聯(lián)網(wǎng)系統(tǒng)建設(shè)及應(yīng)用[J].儀器儀表用戶，2016，23（1）：62-64+67.

[2]陸興，蔣能記，韓菲，等.采油廠物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)平臺(tái)的設(shè)計(jì)及應(yīng)用[J].信息系統(tǒng)工程，2019，309（9）：47-48.

[3]湯姆，趙金龍，楊帆.天行實(shí)時(shí)數(shù)據(jù)云平臺(tái)在油田生產(chǎn)狀況報(bào)警中的應(yīng)用——以石西油田生產(chǎn)監(jiān)控系統(tǒng)分析為例[J].信息系統(tǒng)工程，2020，318（6）：107-109.

[4]梁佩.實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)[D].成都：西南交通大學(xué)，2015.

[5]周?chē)?guó)亮，朱永利，王桂蘭，等.實(shí)時(shí)大數(shù)據(jù)處理技術(shù)在狀態(tài)監(jiān)測(cè)領(lǐng)域中的應(yīng)用[J].電工技術(shù)學(xué)報(bào)，2014，29（S1）：432-437.

[6]黃恒君，漆威.海量半結(jié)構(gòu)化數(shù)據(jù)采集、存儲(chǔ)及分析——基于實(shí)時(shí)空氣質(zhì)量數(shù)據(jù)處理的實(shí)踐[J].統(tǒng)計(jì)研究，2014，31（5）：10-16.

作者單位：韓光、韓夢(mèng)蝶，中國(guó)石油新疆油田分公司數(shù)據(jù)公司；蘭明菊，中國(guó)石油新疆油田分公司風(fēng)城油田作業(yè)區(qū)