王學軍+許乃天+王政龍+杜江

[摘 要] 藍光存儲具有高容量、低能耗、隨機存取速度較高、保存時間長等突出優(yōu)勢，是一種很有發(fā)展前景的存儲方式。首先分析了石油勘探開發(fā)數(shù)據(jù)管理在容量、性能、能耗等方面的需求，提出了一套適合國內(nèi)實際數(shù)據(jù)情況的、基于藍光存儲的勘探開發(fā)數(shù)據(jù)管理解決方案，采用該方案在中國石油勘探與生產(chǎn)技術(shù)數(shù)據(jù)管理系統(tǒng)做了實際測試，確保了石油勘探開發(fā)領(lǐng)域相關(guān)各類數(shù)據(jù)的準確性、完整性，也預(yù)示著普遍采用光存儲方式來管理海量數(shù)據(jù)可能會成為一種新的發(fā)展趨勢。

[關(guān)鍵詞] 光存儲；石油勘探開發(fā)；存儲分級；大塊數(shù)據(jù)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 03. 086

[中圖分類號] TQ597.92 [文獻標識碼] A [文章編號] 1673 - 0194（2017）03- 0158- 03

1 引 言

隨著技術(shù)進步，油氣勘探開發(fā)數(shù)據(jù)量量級已經(jīng)上升到到TB、PB級，地震勘探采集分辨率、日工作效率大幅提高，物聯(lián)網(wǎng)等相關(guān)數(shù)據(jù)快速增長，真正進入了“大”數(shù)據(jù)時代。如何應(yīng)對上述海量數(shù)據(jù)的管理需求，如何科學存儲和有效調(diào)度日益增長的數(shù)據(jù)，滿足石油行業(yè)的業(yè)務(wù)需求，已成為石油行業(yè)信息化工作中需要重點關(guān)注的問題。

容量滿足海量數(shù)據(jù)的存儲需求、根據(jù)數(shù)據(jù)類型和使用頻率進行科學的存儲和精細化管理、有效調(diào)度，尋找用戶滿意的速度和合理成本的最佳結(jié)合點、保證數(shù)據(jù)的安全可靠，是未來石油行業(yè)數(shù)據(jù)管理的重點工作。

本文總結(jié)了目前石油行業(yè)海量專業(yè)數(shù)據(jù)的存儲現(xiàn)狀，完整闡述了當前存儲架構(gòu)的工作方式和面對的挑戰(zhàn)，分析了海量數(shù)據(jù)存儲的發(fā)展趨勢，針對現(xiàn)狀、挑戰(zhàn)和趨勢，提出了以光存儲為基礎(chǔ)的分級精細化數(shù)據(jù)管理解決方案，并在大型信息系統(tǒng)做了實際測試，具有良好的應(yīng)用價值。

2 需求分析

首先分析勘探開發(fā)數(shù)據(jù)存儲現(xiàn)狀和分類，細化存儲需求；然后剖析了主流的勘探開技術(shù)數(shù)據(jù)管理系統(tǒng)的功能架構(gòu)，針對性提出技術(shù)方案。

2.1 當前石油海量數(shù)據(jù)存儲及數(shù)據(jù)管理現(xiàn)狀

當前石油數(shù)據(jù)類型主要可以劃分為大塊數(shù)據(jù)、各類專業(yè)數(shù)據(jù)、文檔數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫文件）和備份數(shù)據(jù)等，除此之外，在不同的信息管理系統(tǒng)中，存在各類特有的應(yīng)用軟件的專有數(shù)據(jù)類型；而當前主要的數(shù)據(jù)存儲架構(gòu)為磁盤陣列和磁帶庫相結(jié)合，以應(yīng)用系統(tǒng)為單位，搭建SAN網(wǎng)絡(luò)進行存儲，部分數(shù)據(jù)管理系統(tǒng)采用全磁盤陣列的形式，其中磁帶庫主要用于大塊數(shù)據(jù)的歸檔和備份數(shù)據(jù)的管理；檔案館與應(yīng)用系統(tǒng)、專業(yè)人員的數(shù)據(jù)交互方式也主要是磁盤和磁帶，其中磁帶數(shù)據(jù)還需要經(jīng)過轉(zhuǎn)錄等操作后才能使用或歸檔。

2.2 面臨的問題和挑戰(zhàn)

當前石油行業(yè)數(shù)據(jù)管理現(xiàn)狀面臨著以下幾個主要問題。

（1）存儲容量不足：數(shù)據(jù)作為油田單位最重要的資產(chǎn)之一，必須永久妥善保存，但是隨著數(shù)據(jù)量的快速增長，現(xiàn)有的可用存儲空間正面臨著巨大的壓力，部分應(yīng)用和數(shù)據(jù)管理系統(tǒng)已經(jīng)出現(xiàn)了存儲空間無法支撐后續(xù)生產(chǎn)的嚴重問題。

（2）存儲成本不斷增長：存儲成本的問題應(yīng)該從綜合保有、長期保存的角度來思考看待，按照當前的存儲架構(gòu)，磁盤陣列和磁帶庫的購買、維護和數(shù)據(jù)遷移成本過高，其中，帶庫的使用專業(yè)性更強、維護難度更大，這些都造成了存儲成本可能會在長期的發(fā)展過程中不斷增加。

（3）存儲介質(zhì)的兼容性：兼容性問題在磁帶介質(zhì)的使用中尤為突出，因為磁帶介質(zhì)本身的特點導致某一磁帶型號必須使用特定類型的磁帶機才能進行讀寫，當前已經(jīng)出現(xiàn)了大量因磁帶機損壞，且新型號磁帶機無法讀取導致磁帶數(shù)據(jù)無法正常使用的現(xiàn)象。

（4）數(shù)據(jù)結(jié)構(gòu)劃分不夠精細，存儲資源利用不夠合理：部分數(shù)據(jù)管理系統(tǒng)為了追求響應(yīng)時間，將大塊數(shù)據(jù)全部存儲在磁盤介質(zhì)上，這樣做雖然能實現(xiàn)最快的I/O速度，但在實際生產(chǎn)過程中，絕大部分大塊數(shù)據(jù)并不會長期被頻繁的調(diào)用，而是集中在某一階段密集使用，這就導致了大量已經(jīng)冷卻的數(shù)據(jù)占用了過多的快速存儲I/O資源，增加了存儲壓力和成本，這種壓力是不斷持續(xù)的，這個問題隨著云化的不斷深入已經(jīng)越發(fā)突出。

2.3、 未來石油專業(yè)數(shù)據(jù)管理發(fā)展趨勢

（1）高容量、低能耗：在增加存儲容量的同時，必須注重能耗的降低，節(jié)省運營成本，降低資源消耗，這是企業(yè)發(fā)展的需求，同時也是企業(yè)的社會責任體現(xiàn)。

（2）冷、熱、溫數(shù)據(jù)精細管理：重點在于冷、熱、溫數(shù)據(jù)的科學劃分和靈活轉(zhuǎn)換兩個部分，通過科學的數(shù)據(jù)類型劃分，使得不同特點、類型的數(shù)據(jù)保存在最適合的介質(zhì)上，同時，靈活的轉(zhuǎn)換保證了當數(shù)據(jù)需求產(chǎn)生變化的時候，數(shù)據(jù)類型能夠隨之快速響應(yīng)，真正實現(xiàn)以應(yīng)用為核心的精細管理。

（3）向后、向下全面兼容：作為長期保存的專業(yè)數(shù)據(jù)，應(yīng)保證在未來較長的時間段內(nèi)，數(shù)據(jù)依舊可讀、可用且可靠，不受硬件條件和存儲結(jié)構(gòu)變化的影響。

2.4 當前主流石油專業(yè)數(shù)據(jù)管理系統(tǒng)架構(gòu)

當前國內(nèi)外主流的石油數(shù)據(jù)管理系統(tǒng)在功能架構(gòu)上大致可以分為三層：①數(shù)據(jù)源層；②數(shù)據(jù)管理層；③數(shù)據(jù)應(yīng)用層，見圖1。

其中數(shù)據(jù)管理層作為數(shù)據(jù)的組織者，響應(yīng)數(shù)據(jù)請求，為上層應(yīng)用提供有力的數(shù)據(jù)支撐，是整個管理系統(tǒng)的核心環(huán)節(jié)，數(shù)據(jù)的準確性、完整性、可用性和安全性，都是系統(tǒng)關(guān)注的重點。

本方案主要解決以下幾方面的具體技術(shù)問題：

（1）確定不同的應(yīng)用場景下藍光光盤庫的部署方式。

（2）研究藍光存儲介質(zhì)存儲石油專業(yè)類型數(shù)據(jù)的安全性、可靠性和可用性。

（3）實現(xiàn)光存儲介質(zhì)在不同系統(tǒng)架構(gòu)和應(yīng)用場景中的部署實施，確保數(shù)據(jù)流向正常，速度滿足日常生產(chǎn)需求。

3 方案設(shè)計

3.1 設(shè)計思路

針對石油勘探開發(fā)海量數(shù)據(jù)管理的特點，結(jié)合系統(tǒng)當前的數(shù)據(jù)和存儲結(jié)構(gòu)，最終確定方案的設(shè)計思路是：在當前的SAN網(wǎng)絡(luò)環(huán)境中部署藍光光盤庫產(chǎn)品，即加入光存儲介質(zhì)，使系統(tǒng)形成在線、近線、離線三層存儲結(jié)構(gòu)，利用光盤庫作為近線存儲，用于保存使用頻率較低的數(shù)據(jù)類型，發(fā)揮其高容量、低能耗的特點，降低存儲成本；利用磁盤陣列作為在線存儲，保存數(shù)據(jù)庫等熱數(shù)據(jù)，保證系統(tǒng)的運行速度；磁帶介質(zhì)和光盤介質(zhì)作為離線存儲介質(zhì)，保存?zhèn)浞莺蜌w檔數(shù)據(jù)；最后，利用藍光光盤庫產(chǎn)品自身的管理功能，實現(xiàn)數(shù)據(jù)根據(jù)應(yīng)用需求，靈活的轉(zhuǎn)換存儲方式。設(shè)計方案如圖2所示。

3.2 藍光光盤庫技術(shù)特點和部署方式

（1）存儲容量大、密度高：單張光盤100 GB，整個機柜容量超過600 TB，目前最新技術(shù)單張光盤容量已經(jīng)達到300 GB。

（2）保存時間長：光盤數(shù)據(jù)保存壽命達到50年。

（3）安全性高：支持光盤RAID技術(shù)，防止人為篡改數(shù)據(jù)，可靠的工業(yè)級光驅(qū)和藍光光盤。

（4）擴展靈活：只需通過增加光盤匣靈活的擴展存儲空間。

（5）兼容性強：光盤介質(zhì)和光驅(qū)設(shè)備的升級不影響舊盤數(shù)據(jù)讀取。

（6）節(jié)能降耗：能耗低，無數(shù)據(jù)讀寫時的待機功耗僅為7 W，設(shè)備本身無需空調(diào)即可穩(wěn)定運行。

光盤庫連接方式：部署藍光光盤庫首先需要一臺X86架構(gòu)的物理服務(wù)器，接入系統(tǒng)所在局域網(wǎng)絡(luò)，這臺服務(wù)器作為光盤庫管理控制服務(wù)器，統(tǒng)一調(diào)度與其鏈接的光盤庫，光盤庫產(chǎn)品與物理服務(wù)器直連，用戶可以將整個系統(tǒng)看作一個網(wǎng)絡(luò)驅(qū)動器（NAS），向其中寫入文件，見圖3。

3.3 系統(tǒng)架構(gòu)

3.3.1 圖系統(tǒng)架構(gòu)設(shè)計（見圖4）

本方案針對數(shù)據(jù)管理系統(tǒng)在系統(tǒng)架構(gòu)上的差異和不同的部署方式，結(jié)合藍光存儲特點，提供3種數(shù)據(jù)存儲光存儲解決方案，并且提供規(guī)范標準的應(yīng)用開發(fā)接口，便于各系統(tǒng)用戶根據(jù)自身需求進行二次開發(fā)。

（1）NAS應(yīng)用方式：藍光光盤庫系統(tǒng)以NAS的方式接入業(yè)務(wù)系統(tǒng)，主要用于大塊數(shù)據(jù)等的本地在線存儲和離線歸檔，此種方案部署簡便、靈活，無需額外配置，只需將光盤庫存儲空間掛載到操作系統(tǒng)指定位置即可使用。

（2）VTL應(yīng)用：系統(tǒng)通過“備份軟件+VTL”的方式將數(shù)據(jù)集中備份到存儲服務(wù)器，再根據(jù)用戶指定的策略將所需要的數(shù)據(jù)歸檔到藍光光盤庫中，此方案光盤庫的使用方式與磁盤VTL相同，將藍光光盤模擬成帶庫供系統(tǒng)使用。

（3）API應(yīng)用方式：采用藍光光盤作為存儲介質(zhì)，通過光盤庫管理軟件（DAM）所提供的Web-API接口，對現(xiàn)有的各行業(yè)內(nèi)部業(yè)務(wù)與管理系統(tǒng)進行開發(fā)，實現(xiàn)互連互通，從而對藍光存儲產(chǎn)品進行統(tǒng)一監(jiān)管、控制和管理的綜合管控平臺。

3.3.2 不同的應(yīng)用方案具備各自特點

（1）NAS方案。適應(yīng)數(shù)據(jù)管理生命周期的動態(tài)變化。針對石油專業(yè)數(shù)據(jù)的NAS方式的光盤庫存儲，其特有的硬盤+光盤的存儲模式尤其適合石油專業(yè)數(shù)據(jù)的使用和存儲特點，當數(shù)據(jù)剛剛錄入系統(tǒng)后的一段時間內(nèi)，數(shù)據(jù)被調(diào)取處理的頻率較高，可以劃分為熱數(shù)據(jù)或溫數(shù)據(jù)，此時將數(shù)據(jù)保存在系統(tǒng)緩沖區(qū)中，存放在硬盤介質(zhì)上，隨著數(shù)據(jù)使用頻率的降低，數(shù)據(jù)將會變?yōu)槔鋽?shù)據(jù)，此時，數(shù)據(jù)將被遷移至光盤介質(zhì)上長期保存，在某一時間段，如果數(shù)據(jù)被從光盤中讀取使用，將會暫時保存在磁盤緩存，作為溫數(shù)據(jù)或熱數(shù)據(jù)。這種方式既保證了數(shù)據(jù)的讀取速度，又可以安全的、低成本的保存數(shù)據(jù)。

（2）VTL方案。光盤庫備份采用VTL方式，底層存儲介質(zhì)使用藍光光盤庫，使用方式與磁盤形式的VTL完全相同；這樣的架構(gòu)最大的優(yōu)勢是無需在系統(tǒng)層面改變原有的架構(gòu)和部署方式，只需將光盤庫以VTL的方式與系統(tǒng)進行連接，在備份管理軟件中作為虛擬磁帶庫進行管理和使用。

3.3.3 數(shù)據(jù)流

數(shù)據(jù)由客戶端提交后進入數(shù)據(jù)管理系統(tǒng)，系統(tǒng)將數(shù)據(jù)轉(zhuǎn)發(fā)給DAM， DAM通過文件服務(wù)器收到此文件并將其存儲在緩存中，當數(shù)據(jù)量達到設(shè)定值后，由后臺自動寫入光盤庫。

4 應(yīng)用測試

根據(jù)設(shè)計方案，使用專業(yè)的大型勘探開發(fā)數(shù)據(jù)管理系統(tǒng)進行實際測試，測試內(nèi)容主要有：

（1）勘探開發(fā)專業(yè)數(shù)據(jù)的上傳、加載、下載流程。

（2）勘探開發(fā)專業(yè)數(shù)據(jù)通過光盤介質(zhì)保存下載后的正確性、完整性。

（3）常規(guī)數(shù)據(jù)的上傳下載性能。

（4）備份功能。

其中，重點關(guān)注勘探開發(fā)專業(yè)數(shù)據(jù)通過光盤介質(zhì)是否能夠正確保存數(shù)據(jù)文件及下載后文件的完整性；

本次測試的數(shù)據(jù)有：地震數(shù)據(jù)、測井數(shù)據(jù)、解釋成果數(shù)據(jù)、文檔數(shù)據(jù)等。

測試通過中國石油勘探開發(fā)數(shù)據(jù)管理系統(tǒng)執(zhí)行上傳下載工作，通過專業(yè)的地震、測井數(shù)據(jù)質(zhì)量控制軟件進行數(shù)據(jù)體的檢查和對比。測試系統(tǒng)圖見圖5。

測試對比結(jié)果如圖6所示。

通過測試，得出了以下結(jié)論：

（1）通過石油數(shù)據(jù)管理系統(tǒng)，通過近線和離線的方式，均可從藍光光盤庫中上傳、下載專業(yè)數(shù)據(jù)。

（2）下載后的專業(yè)數(shù)據(jù)文件大小、格式、內(nèi)容與原始數(shù)據(jù)完全一致，符合完整性要求，數(shù)據(jù)可以正常使用。

（3）光盤刻錄速度因不同文件結(jié)構(gòu)存在些許差異，均滿足系統(tǒng)應(yīng)用需求。

（4）備份管理軟件使用NAS和VTL架構(gòu)的備份功能均正常實現(xiàn)。

5 結(jié) 論

前景廣闊，具備自動管理功能的藍光光盤庫的部署，在石油石化行業(yè)海量數(shù)據(jù)管理與存儲領(lǐng)域是一次新的變革，優(yōu)化了勘探開發(fā)數(shù)據(jù)存儲方式，細化了存儲分級結(jié)構(gòu)，在未來有著巨大的應(yīng)用空間：

（1）形成針對石油專業(yè)數(shù)據(jù)的完整的在線、近線、離線存儲結(jié)構(gòu)，實現(xiàn)針對數(shù)據(jù)特點的分類存儲，細化數(shù)據(jù)的分類，將不同類別的數(shù)據(jù)劃分到最合適的存儲層級上，這樣，在保證應(yīng)用系統(tǒng)性能和數(shù)據(jù)安全的前提下，最大限度的利用存儲空間和存儲的性能。

（2）發(fā)揮兼容性優(yōu)勢，在長期的系統(tǒng)升級過程中實現(xiàn)數(shù)據(jù)的整體遷移，簡化遷移流程，縮短遷移時間，減少遷移成本，同時，這種不依賴設(shè)備的兼容性也保證了數(shù)據(jù)的長期可用，即當讀寫設(shè)備損壞、變更時，仍可保證數(shù)據(jù)可讀。

（3）在部分應(yīng)用場景中取代傳統(tǒng)的磁帶介質(zhì)，主要依靠光盤庫的速度優(yōu)勢、兼容性優(yōu)勢，和在部署架構(gòu)上的高靈活性，在數(shù)據(jù)歸檔等相關(guān)場景中，逐步取代傳統(tǒng)磁帶介質(zhì)，獲得更高的性價比與安全性。

致謝：在本文編寫過程中，得到東方地球物理公司馬濤先生等專家指導和相關(guān)同事支持，在此一并致謝。

主要參考文獻

[1]馬濤，王學軍，王鐵成，等. A1輔助軟件系統(tǒng)[J]. 石油科技論壇，2011（1）：52-54.