吳 巍

(中海油能源發(fā)展裝備技術(shù)有限公司，天津 300452)

0 引言

近年來，大數(shù)據(jù)技術(shù)快速發(fā)展，企業(yè)越來越重視數(shù)據(jù)價值，數(shù)據(jù)的發(fā)掘與應(yīng)用對企業(yè)發(fā)展起到正向引導(dǎo)作用。當前企業(yè)數(shù)字化轉(zhuǎn)型，以基于大數(shù)據(jù)平臺建設(shè)的業(yè)務(wù)融合為主要形式，以數(shù)據(jù)指導(dǎo)業(yè)務(wù)為主要模式。用數(shù)據(jù)串聯(lián)企業(yè)多個業(yè)務(wù)板塊，發(fā)掘數(shù)據(jù)價值，提升營銷成功率，提高運營效率，改善管理決策成為新一輪企業(yè)數(shù)字化轉(zhuǎn)型的主要導(dǎo)向[1]。如何以整體市場需求布局，將零碎化產(chǎn)業(yè)板塊串聯(lián)形成產(chǎn)業(yè)鏈，綜合挖掘各業(yè)務(wù)板塊的數(shù)據(jù)價值，提高已有信息系統(tǒng)之間的關(guān)聯(lián)性，提升管理及工作效率，指導(dǎo)營銷、生產(chǎn)、經(jīng)營相關(guān)決策，實現(xiàn)數(shù)據(jù)互聯(lián)互通、管理融合共享，提升企業(yè)競爭力及業(yè)務(wù)附加值，是石油化工服務(wù)類企業(yè)由信息化向數(shù)字化乃至智慧化轉(zhuǎn)型的建設(shè)痛點[2]。

大數(shù)據(jù)技術(shù)的發(fā)展戳中了石油化工服務(wù)類企業(yè)的痛點，如何應(yīng)用大數(shù)據(jù)手段整合各業(yè)務(wù)板塊、發(fā)掘數(shù)據(jù)價值、提升運營效率、改善管理決策，是石油化工服務(wù)類企業(yè)的數(shù)字化工作重點。文獻[1]雖然利用了大數(shù)據(jù)技術(shù)，但是僅僅是針對某些問題的解決，但是未提交到石油全壽命周期管理時平臺建構(gòu)和數(shù)據(jù)挖掘，技術(shù)方案略顯抽閑。文獻[2]雖然也通過數(shù)據(jù)挖掘技術(shù)來解決一些技術(shù)問題，但是技術(shù)公開地比較籠統(tǒng)，沒有針對性地介紹。針對上述技術(shù)問題的不足，本研究結(jié)合我國大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀提出了“基于大數(shù)據(jù)技術(shù)的石油化工服務(wù)類企業(yè)石油數(shù)字化工作平臺建設(shè)”理念。下面將詳細描述。

1 基于大數(shù)據(jù)的石油數(shù)字化工作平臺設(shè)計

在本研究設(shè)計中，設(shè)計解決的關(guān)鍵技術(shù)是石油數(shù)字化工作平臺工作效率的問題，采用的方法是：充分結(jié)合實際情況，融合石油化工服務(wù)類企業(yè)產(chǎn)業(yè)一體化、管控流程一體化、數(shù)據(jù)一體化為目標，提高和石油數(shù)字化工作平臺為研究目標，滿足企業(yè)整個數(shù)字化轉(zhuǎn)型為根據(jù)要點，采用數(shù)字化平臺為技術(shù)手段，實現(xiàn)石油全壽命經(jīng)營管理和生產(chǎn)管理，將各產(chǎn)業(yè)板塊有機串連，形成一體化服務(wù)模式[3]。其整體架構(gòu)如圖1所示。

圖1 大數(shù)據(jù)的石油數(shù)字化工作平臺

本研究的石油數(shù)字化工作平臺在功能設(shè)計上滿足了石油化工服務(wù)類企業(yè)的數(shù)字化轉(zhuǎn)型戰(zhàn)略要求，能夠按照系統(tǒng)性、可擴展性、成熟性、可靠性、開放性、先進性、安全性、兼容性的原則進行建設(shè)，結(jié)合實際管理需求，充分利用現(xiàn)有信息系統(tǒng)，以數(shù)字化頂層設(shè)計為先導(dǎo)，統(tǒng)籌規(guī)劃基礎(chǔ)設(shè)施建設(shè)，搭建統(tǒng)一的石油數(shù)字化工作平臺。平臺建設(shè)完成后，能夠?qū)崿F(xiàn)"數(shù)據(jù)互聯(lián)互通，業(yè)務(wù)協(xié)同貫通，管理融合共享"，實現(xiàn)石油化工服務(wù)類企業(yè)的管維、分析和決策數(shù)字化轉(zhuǎn)型[4]。在本研究設(shè)計中，從邏輯架構(gòu)上可以將本研究的石油數(shù)字化工作平臺劃分為大數(shù)據(jù)平臺層和大數(shù)據(jù)平臺管理等，下面進行詳細說明。

在數(shù)據(jù)源層中，該層包括各種RDBMS、No-SQL數(shù)據(jù)庫，Hyper Text Transfer Protocol或Remote Procedure Call Protocol等接口的數(shù)據(jù)源[5]。

在大數(shù)據(jù)平臺層中，該層包括數(shù)據(jù)采集層、存儲層、管理層和查詢層。其中微服務(wù)層包括各種業(yè)務(wù)系統(tǒng)的基于Web API的微服務(wù)。門戶層包括企業(yè)在信息化階段建成的已有業(yè)務(wù)系統(tǒng)的單點登錄、交互式商業(yè)智能報表工具及相關(guān)數(shù)據(jù)的多樣化展示功能[6]。

在硬件結(jié)構(gòu)上，其設(shè)置了集群管理服務(wù)器、群可視化服務(wù)器、Zookeeper集群、資源調(diào)度服務(wù)器、數(shù)據(jù)存儲計算集群、分布式緩存及流處理集群和Web服務(wù)器，其中集群管理服務(wù)器包括Ambari-Server，HiveServer2，Hue，Oozie-Server，Maria DB，Kibana，Apache Ranger等產(chǎn)品或組件，為集群提供管理、部署等服務(wù)。集群可視化服務(wù)器包括Superset交互式商業(yè)智能報表工具，數(shù)據(jù)資產(chǎn)管理系統(tǒng)，以及石油數(shù)字化工作平臺的數(shù)據(jù)門戶[7]。Zookeeper集群主要為整個集群的組件提供高可用服務(wù)(HA)。資源調(diào)度服務(wù)器包括NameNode，ResourceManager，HBaseMaster等多種角色，主要用于集群的資源調(diào)度，實現(xiàn)服務(wù)器熱切換。數(shù)據(jù)存儲計算集群包括用于集群數(shù)據(jù)存儲、分析與計算的DataNode，JournalNode，NodeManager，RegionServer，WorkerNode等角色。分布式緩存及流處理集群包括實時數(shù)據(jù)量處理及數(shù)據(jù)采集的Kafka，F(xiàn)link，Redis，Logstash等組件，能夠?qū)崿F(xiàn)海量數(shù)據(jù)的緩存。Web服務(wù)器由Nginx組件提供網(wǎng)絡(luò)代理功能，用于高并發(fā)網(wǎng)絡(luò)的負載均衡，可對其進行橫向擴展[8]。

其中大數(shù)據(jù)技術(shù)的石油數(shù)字化工作平臺物理架構(gòu)如圖2所示。

圖2 石油數(shù)字化工作平臺物理架構(gòu)示意圖

在本研究中的大數(shù)據(jù)技術(shù)設(shè)計中，目前的石化行業(yè)大石油全生命周期大數(shù)據(jù)分析應(yīng)用多分布于供應(yīng)鏈優(yōu)化、庫存管理、資金統(tǒng)一管理和生產(chǎn)監(jiān)管優(yōu)化、營銷決策輔助幾個模塊?；诖髷?shù)據(jù)技術(shù)的石油化工服務(wù)類企業(yè)石油數(shù)字化工作平臺建設(shè)完成后，可圍繞生產(chǎn)管理、經(jīng)營管理、裝備制造、油田建設(shè)等主題構(gòu)建多業(yè)務(wù)板塊一體化協(xié)同應(yīng)用場景石油化工服務(wù)類企業(yè)原有信息化系統(tǒng)中的大量數(shù)據(jù)經(jīng)過ETL數(shù)據(jù)抽取清洗轉(zhuǎn)換接入石油數(shù)字化工作平臺后，按照財務(wù)、人力、采辦、營銷、生產(chǎn)、運維、施工、物料等大類進行數(shù)據(jù)存儲[9]；經(jīng)工業(yè)大石油全生命周期大數(shù)據(jù)分析過程形成生產(chǎn)管理、經(jīng)營管理、裝備制造、油田建設(shè)等主題；結(jié)合用戶可視化與數(shù)據(jù)應(yīng)用需求，按照經(jīng)營狀態(tài)、運維能力、庫存成本等業(yè)務(wù)大類形成可視化指標；在數(shù)據(jù)流轉(zhuǎn)的全生命周期內(nèi)串聯(lián)各業(yè)務(wù)板塊，實現(xiàn)監(jiān)管、預(yù)警、追蹤、分析、管理改善、決策輔助各層面的數(shù)據(jù)展現(xiàn)，最終滿足企業(yè)整體的生產(chǎn)經(jīng)營目標[10]。

2 大數(shù)據(jù)算法

2.1 大數(shù)據(jù)特征信息采取

(1)

在上述關(guān)系中，α表示正常數(shù)據(jù)與故障數(shù)據(jù)之間的關(guān)系系數(shù)，WT表示正常大數(shù)據(jù)的特征矩陣，wi表示正常大數(shù)據(jù)的特征。石油全生命周期故障大數(shù)據(jù)特征用字母y表示，則在提取石油全生命周期故障大數(shù)據(jù)特征時，可通過以下公式實現(xiàn)：

(2)

為了提高石油全生命周期故障大數(shù)據(jù)計算的精度，通過以下公式對大數(shù)據(jù)的特征實施加權(quán)計算處理：

(3)

對石油數(shù)字化工作平臺[13]中的大數(shù)據(jù)特征進行提取后的誤差可以用以下公式表示：

(4)

(5)

式(5)中，φ為石油數(shù)字化工作平臺大數(shù)據(jù)特征提取結(jié)果。

在石油數(shù)字化工作平臺中，確定了正常石油數(shù)字化工作平臺大數(shù)據(jù)與故障數(shù)據(jù)之間的關(guān)系，通過對石油數(shù)字化工作平臺大數(shù)據(jù)石油全生命周期故障特征進行加權(quán)處理[15]，直到數(shù)據(jù)特征提取誤差最小為止，就實現(xiàn)了石油數(shù)字化工作平臺大數(shù)據(jù)特征提取。下面采用一種形式的大石油全生命周期故障大數(shù)據(jù)計算方法進行計算。

2.2 DBN大數(shù)據(jù)學(xué)習(xí)算法模型

在進行石油全生命周期故障特征計算時，本研究應(yīng)用了DBN大數(shù)據(jù)學(xué)習(xí)算法模型實現(xiàn)石油全生命周期故障信息的識別和處理，DBN大數(shù)據(jù)學(xué)習(xí)算法模型構(gòu)建了雙層RBM結(jié)構(gòu)，將石油數(shù)字化工作平臺內(nèi)包含的不易為用戶識別的高緯度數(shù)轉(zhuǎn)換為低緯度數(shù)據(jù)，在該技術(shù)能力的基礎(chǔ)上[16]，再次應(yīng)用BP神經(jīng)網(wǎng)絡(luò)算法模型進行反向微調(diào)結(jié)構(gòu)參數(shù)，使得輸入的復(fù)雜石油全壽命周期內(nèi)的數(shù)據(jù)簡易化處理，本研究借助于DBN逐層貪婪訓(xùn)練算法，將模型從上至下地分為輸入層、處理層和輸出層[17]，其模型算法如圖3所示。

圖3 DBN大數(shù)據(jù)學(xué)習(xí)算法模型構(gòu)建

計算過程通過多層數(shù)據(jù)的訓(xùn)練共同完成，其中在訓(xùn)練第一層數(shù)據(jù)信息時，可以采用CD-1算法，使得第一層RBM中的數(shù)據(jù)信息按照財務(wù)、人力、采辦、營銷、生產(chǎn)、運維、施工、物料等不同的類別進行訓(xùn)練，將石油全生命周期不同類別大數(shù)據(jù)特征向量進行分類，將多個石油全生命周期大數(shù)據(jù)特征信息進行保存[13]。在計算過程中，如果輸入石油全生命周期大數(shù)據(jù)樣本為x，將第一層中的RBM可視層通過字母X來表示，則在DBN大數(shù)據(jù)學(xué)習(xí)算法模型中的第一個隱層h1中，這些參數(shù)信息可以記作為{W1；α1}。通過上述方式進行數(shù)據(jù)訓(xùn)練，能夠?qū)⑸弦徊街蠨BN大數(shù)據(jù)學(xué)習(xí)算法模型內(nèi)第一層RBM內(nèi)設(shè)置的權(quán)重和偏移量作為參考量穩(wěn)定下來，完整上述步驟后，將第二層RBM的向量數(shù)據(jù)輸入上文提到的DBN大數(shù)據(jù)學(xué)習(xí)算法模型。在該步驟過程中，也要考慮到用戶設(shè)置隱性神經(jīng)元的數(shù)量和狀態(tài)情況[18]。上述步驟完成后，然后進行下一層的RBM訓(xùn)練，這需要在第一層RBM的基礎(chǔ)上進行疊加。以此類推，將不同層的RBM呈階梯狀排布，直到應(yīng)用到最后一RBM層，然后應(yīng)用以下邏輯函數(shù)進行數(shù)據(jù)計算：

(6)

通過上述公式，構(gòu)成新的層次數(shù)據(jù)向量tl={tl1,tl2,tl3,…,tlj}T。構(gòu)成的新的上一層hl+1作為下一層的特征向量，此時開，存在數(shù)據(jù)集合l∈{1,2,…,c-1}。

在經(jīng)過上次的迭代計算后，在DBN大數(shù)據(jù)學(xué)習(xí)算法模型的最后一層設(shè)置BP神經(jīng)網(wǎng)絡(luò)模型，以實現(xiàn)石油行業(yè)中財務(wù)、人力、采辦、營銷、生產(chǎn)、運維、施工、物料等大類進行數(shù)據(jù)等全壽命周期內(nèi)的故障數(shù)據(jù)診斷[19]，用戶根據(jù)DBN大數(shù)據(jù)學(xué)習(xí)算法模型不同層內(nèi)設(shè)置的權(quán)值對故障信息進行診斷，如果需要將最后的結(jié)果達到最優(yōu)，需要反復(fù)迭代計算[20]，使得各層的權(quán)值能夠達到最優(yōu)。

3 試運行結(jié)果與分析

本研究技術(shù)方案在中海油能源發(fā)展裝備技術(shù)有限公司內(nèi)進行試運行，大石油全生命周期大數(shù)據(jù)分析應(yīng)用多分布于供應(yīng)鏈優(yōu)化、庫存管理、資金統(tǒng)一管理和生產(chǎn)監(jiān)管優(yōu)化、營銷決策輔助幾個模塊[21]。應(yīng)用到計算機硬件環(huán)境為：P430G CPU，8 GB RAM，軟件環(huán)境采用的Windows 7，并在該系統(tǒng)上裝上 Matlab 2015，在必要時，進行數(shù)據(jù)模擬仿真。

本研究中的基于大數(shù)據(jù)技術(shù)的石油化工服務(wù)類企業(yè)石油數(shù)字化工作平臺登錄界面如圖4所示。

圖4 應(yīng)用界面示意圖

通過圖4的界面，可以將石油化工服務(wù)類企業(yè)原有信息化系統(tǒng)中的大量數(shù)據(jù)經(jīng)過ETL數(shù)據(jù)抽取清洗轉(zhuǎn)換接入石油數(shù)字化工作平臺后，按照財務(wù)、人力、采辦、營銷、生產(chǎn)、運維、施工、物料等大類進行數(shù)據(jù)存儲[22]；經(jīng)工業(yè)大石油全生命周期大數(shù)據(jù)分析過程形成生產(chǎn)管理、經(jīng)營管理、裝備制造、油田建設(shè)；結(jié)合用戶可視化與數(shù)據(jù)應(yīng)用需求，按照經(jīng)營狀態(tài)、運維能力、庫存成本等業(yè)務(wù)大類形成可視化指標；在數(shù)據(jù)流轉(zhuǎn)的全生命周期內(nèi)串聯(lián)各業(yè)務(wù)板塊，實現(xiàn)監(jiān)管、預(yù)警、追蹤、分析、管理改善、決策輔助各層面的數(shù)據(jù)展現(xiàn)，最終滿足企業(yè)整體的生產(chǎn)經(jīng)營目標[23]。

在驗證時，DBN大數(shù)據(jù)學(xué)習(xí)算法模型中各項參數(shù)信息如表1所示。

表1 參數(shù)設(shè)置示意圖

在上述參數(shù)模型中，DBN大數(shù)據(jù)學(xué)習(xí)算法模型的學(xué)習(xí)效率為0.13，將運行模型進行189次迭代，下面通過單一的BP神經(jīng)網(wǎng)絡(luò)算法(下文稱為方案1)、 K-means聚類算法(下文稱為方案2)進行對比分析，輸出的試驗樣本數(shù)據(jù)如表2所示。

表2 試驗樣本示意圖

在上述試驗過程中，在石油全生命周期大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)庫中選擇了4組石油全壽命數(shù)據(jù)樣本，1～3組的數(shù)據(jù)庫樣本數(shù)量分別為50萬、80萬、120萬和180萬個。通過對比分析，發(fā)現(xiàn)本研究方案效率高。

下面通過繪制誤差曲線圖進行描述，如圖5所示。

圖5 準確率對比曲線圖

通過圖5看出，在相同的時間內(nèi)，3種方案的準確度都呈上升趨勢，采用本研究的DBN大數(shù)據(jù)學(xué)習(xí)算法模型準確率最高。下面再從數(shù)據(jù)的速度上進行分析。輸出的曲線對比如圖6所示。

圖6 數(shù)據(jù)處理效率對比曲線圖

在圖6中的對比曲線中，假設(shè)選擇不同的數(shù)據(jù)庫，數(shù)據(jù)庫量分別從100～1 000 GB不等，本研究的方法在2分鐘左右能夠處理上百GB的數(shù)據(jù)信息，而采用方案1時，當處理100 GB的數(shù)據(jù)信息就需要遠遠多于本研究的技術(shù)方案的時間處理量。隨著石油大數(shù)據(jù)量的增多，方案1和方案2需要采用更多的時間，而本研究方案在不到3分鐘的時間內(nèi)能夠處理上百億GB的數(shù)據(jù)信息。數(shù)據(jù)處理大，用時少。

4 結(jié)束語

以大數(shù)據(jù)技術(shù)為代表的新一代信息技術(shù)在智慧油田、智能工廠、智能管道、智慧加油站等石化行業(yè)雖然已經(jīng)廣泛應(yīng)用。但是仍舊存在一些技術(shù)弊端。本研究從石油化工服務(wù)類企業(yè)數(shù)字化轉(zhuǎn)型的角度考慮，面對復(fù)雜多樣的業(yè)務(wù)需求，基于大數(shù)據(jù)技術(shù)的石油數(shù)字化工作平臺研究出一種數(shù)據(jù)存儲、管理、分析、共享和服務(wù)的有效載體，本研究集合數(shù)據(jù)可視化分析與數(shù)據(jù)挖掘功能為一體，提高了各類型數(shù)據(jù)組織和處理能力，能夠與現(xiàn)有業(yè)務(wù)系統(tǒng)無縫融合，進一步改進數(shù)據(jù)操作服務(wù)性能，研發(fā)出操作簡單的石油全生命周期大數(shù)據(jù)分析平臺，提升整體石油化工服務(wù)類企業(yè)數(shù)字化水平和價值創(chuàng)造能力。

本研究的方案雖然具有一定程度的技術(shù)進步性，仍舊存在一些不足，這需要進一步的研究。