任友誼（中國石油寧夏石化公司， 寧夏 銀川 750026）

大數(shù)據(jù)技術(shù)在石油石化行業(yè)的應(yīng)用

任友誼（中國石油寧夏石化公司， 寧夏 銀川 750026）

隨著科學(xué)技術(shù)和石油石化行業(yè)的迅速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)是石油石化行業(yè)必不可少的發(fā)展重點，這項技術(shù)應(yīng)用成果在我們的日常生活中已經(jīng)隨處可見。現(xiàn)在的當(dāng)務(wù)之急是要合理有效的運用這項技術(shù)，在石油石化信息化建設(shè)的優(yōu)化當(dāng)中，建立企業(yè)自己的數(shù)據(jù)標(biāo)準(zhǔn)及資源池，隨后才可根據(jù)業(yè)務(wù)的實際需求進(jìn)行數(shù)據(jù)的抽取和展示，徹底杜絕信息孤島的存在。本文主要根據(jù)筆者在石化公司信息部門的所見所聞及其工作的相關(guān)經(jīng)驗對這個問題進(jìn)行探討。

大數(shù)據(jù)；石油石化行業(yè)；應(yīng)用

企業(yè)平常運作時產(chǎn)生的飛速增長的數(shù)據(jù)中，雖然有超過80%的數(shù)據(jù)是沒有什么作用的，但是這些數(shù)據(jù)卻非常的真實。如果能分類整理并加以合理利用，對企業(yè)的生產(chǎn)經(jīng)營可以起到至關(guān)重要的支持作用。隨著大數(shù)據(jù)時代的到來，各個行業(yè)都對其帶來的成果十分重視。但是這個時代卻給人類對于數(shù)據(jù)的操控能力發(fā)出了全新的挑戰(zhàn)，當(dāng)然也為人們的潛力發(fā)掘開拓了新的空間。

1 信息化的現(xiàn)狀

隨著我國經(jīng)濟(jì)實力的不斷增強(qiáng)，石油石化行業(yè)也得到了迅速的發(fā)展，各企業(yè)也逐漸認(rèn)識到信息化建設(shè)對企業(yè)持續(xù)發(fā)展的重要性，在過去近十年的信息化建設(shè)過程中主要以建設(shè)各業(yè)務(wù)的獨立信息系統(tǒng)為主，即使有數(shù)據(jù)交互也是在各個獨立的數(shù)據(jù)庫之間進(jìn)行，基本實現(xiàn)了業(yè)務(wù)信息的電子化，但是沒有實現(xiàn)真正意義上的系統(tǒng)整合。對于企業(yè)在運作時產(chǎn)生的龐大數(shù)據(jù)，怎樣將這些數(shù)據(jù)整合并合理的利用，成了各個企業(yè)信息化發(fā)展的瓶頸。

2 大數(shù)據(jù)技術(shù)的發(fā)展

從大數(shù)據(jù)技術(shù)出現(xiàn)以來，隨著技術(shù)的不斷成熟，部分企業(yè)也開始將這項技術(shù)應(yīng)用到石油石化的生產(chǎn)中，以便讓企業(yè)獲得更多的經(jīng)濟(jì)收益。當(dāng)然，大數(shù)據(jù)技術(shù)在石油石化行業(yè)的發(fā)展、主要體現(xiàn)在了管理數(shù)據(jù)上面，當(dāng)前很多石油石化行業(yè)的數(shù)據(jù)已經(jīng)轉(zhuǎn)變成了超大規(guī)模的電腦管理模式，儲存的空間提高了千TB。這項技術(shù)的挖掘也解決了在石油石化開采中出現(xiàn)的大規(guī)模數(shù)據(jù)結(jié)構(gòu)非常復(fù)雜的問題，將這個技術(shù)運用到實踐中，既能夠描述生產(chǎn)的過程記錄，又能在出現(xiàn)問題的時候及時發(fā)現(xiàn)，起到預(yù)測的功效，還可以時刻觀察設(shè)備的磨損并進(jìn)行及時的修理，可以減少失誤率，降低不必要的維修成本。

3 大數(shù)據(jù)技術(shù)的應(yīng)用

近年來，石化企業(yè)的信息化發(fā)展策略的重點是數(shù)據(jù)的采集，數(shù)據(jù)分析追求高質(zhì)量和高效率，在建設(shè)智能化工廠時，需要合理的利用信息感知、“云計算”、大數(shù)據(jù)處理等技術(shù)。

①NoSQL數(shù)據(jù)庫技術(shù)。NoSQL（Not only SQL）數(shù)據(jù)庫，是指不同于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的非關(guān)系型數(shù)據(jù)庫。它的數(shù)據(jù)類型是非結(jié)構(gòu)化的，數(shù)據(jù)庫結(jié)構(gòu)不需要事先定義就可以靈活改變。相較于傳統(tǒng)關(guān)系型數(shù)據(jù)庫以行模式進(jìn)行數(shù)據(jù)存儲，NoSQL數(shù)據(jù)庫則是以列模式存儲，數(shù)據(jù)只要保持結(jié)果的匹配，不需要保持嚴(yán)密的一致性即可。它可以在數(shù)臺服務(wù)器上采用部分協(xié)作的方式來進(jìn)行工作，支持多種非SQL語言，它處理數(shù)據(jù)的能力要比RDBMS大得多。對于那些廣泛使用Oracle數(shù)據(jù)庫的石化企業(yè)來說，Oracle NoSQL Database11g商用數(shù)據(jù)庫使得在今后使用NoSQL數(shù)據(jù)庫來處理工作中產(chǎn)生的大量非結(jié)構(gòu)化數(shù)據(jù)的成本大大降低。像信息平臺采集到的MES系統(tǒng)、ERP系統(tǒng)以及指紋門禁等各類與生產(chǎn)管理相關(guān)的數(shù)據(jù)都可以利用NoSQL數(shù)據(jù)庫來處理。

②大數(shù)據(jù)中的MapReduce技術(shù)。MapReduce是一種編程模型，它主要用于大規(guī)模數(shù)據(jù)集的并行運算。它的主要思想是可以將需要執(zhí)行的問題，如查詢、分析任務(wù)等進(jìn)行自動分割，并拆解成映射（map）和化簡（reduce）的方式，然后再通過Map函數(shù)程序?qū)?shù)據(jù)映射成不同的區(qū)塊，并將它們分配給機(jī)群中的不同處理節(jié)點來解決，從而達(dá)到分布式計算的目的，最后再通過Reduce函數(shù)程序?qū)⒔Y(jié)果匯整之后得出最終結(jié)果。MapReduce技術(shù)可以通過大量廉價的服務(wù)器來實現(xiàn)大數(shù)據(jù)的并行處理，以提高運算速度。石化企業(yè)在以往傳統(tǒng)的信息化建設(shè)中，擁有大量的廉價服務(wù)器，采用該技術(shù)后，可以大大降低進(jìn)行數(shù)據(jù)處理的成本。

③大數(shù)據(jù)的ETL預(yù)處理技術(shù)。為了提高大數(shù)據(jù)的處理速度，要將采集到的數(shù)據(jù)進(jìn)行填補、合并、規(guī)范化等預(yù)處理，而分散在各個應(yīng)用系統(tǒng)里的不同數(shù)據(jù)庫中的數(shù)據(jù)，也要進(jìn)行提取、轉(zhuǎn)換、加載等多維度預(yù)處理。ETL預(yù)處理技術(shù)，可以把多個數(shù)據(jù)庫包含的結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)提取到臨時中間層，然后進(jìn)行清理、轉(zhuǎn)換、集成，最終加載到目標(biāo)數(shù)據(jù)庫或者文件存儲系統(tǒng)中，以便運用到日后的數(shù)據(jù)挖掘中去。

4 結(jié)語

大數(shù)據(jù)技術(shù)讓數(shù)據(jù)的統(tǒng)一性和信息的利用率達(dá)到了一個更高的領(lǐng)域，伴隨著這個新時代的到來，曾經(jīng)的石油石化行業(yè)中的不同企業(yè)已經(jīng)深深地明白了這個時代將帶來非常大的機(jī)會和挑戰(zhàn)，將來的石油石化行業(yè)馬上就會進(jìn)入一個全新的管理模式，所以，在以后的石油石化行業(yè)中，大數(shù)據(jù)技術(shù)是必不可少的，也是一個企業(yè)想要更好發(fā)展的唯一道路，筆者通過對于大數(shù)據(jù)技術(shù)引領(lǐng)時代的介紹，分析了目前的狀況及相應(yīng)的特點，全面的講述了這項技術(shù)之后在石油石化行業(yè)中的運用，所以，在這個新的時代，我們這些石油石化行業(yè)的信息工作人員，一定要熟悉大數(shù)據(jù)的相關(guān)技術(shù)，并探索這項技術(shù)的運用對于以后的石油石化行業(yè)的發(fā)展走向，把最新、最先進(jìn)的技術(shù)應(yīng)用于現(xiàn)在的石油石化行業(yè)中去，使其產(chǎn)生更好的經(jīng)濟(jì)效益。

［1］厲彥柏.石油石化行業(yè)工業(yè)生產(chǎn)企業(yè)事故統(tǒng)計分析工作中的幾個問題［J］.安全與健康（上半月版），2011，（9）:41-43.

［2］陸治榮.石化行業(yè):迎接大數(shù)據(jù)時代［J］.自動化博覽，2015，（2）:32-33.

［3］郭江波，許云鳳，張冰，等.石化行業(yè)圖紙明細(xì)欄的數(shù)據(jù)VC#.NET提取研究［J］.內(nèi)蒙古石油化工，2013，39（16）:15-17.