夏艷波,王 權
(大慶油田有限責任公司,黑龍江 大慶 163002)
經過多年的信息化建設,社會各個領域已經建成十分龐大的數據體系和應用體系,然而由于建設初期往往缺乏長遠的數據規(guī)劃和應用規(guī)劃,數據和應用的“孤島問題”日趨嚴重。近些年來,經過規(guī)劃和再次建設,問題有所緩解,孤島數目可能減少了一些,但是回頭我們看一下,我們又造成了更大的孤島。
當今,業(yè)界人士尤其是奮戰(zhàn)在一線的電子政務和企業(yè)信息化建設人士普遍認為,已經來臨的“智能”時代的主題和重點,將不再是信息系統建設本身,而是“數據”的全面整合升級,是數據應用質量和效率的大幅提升。數據整合升級的重點就是解決數據的共享問題,難點就是整合邏輯上歸屬于已建各個應用系統的數據。
目前普遍在系統集成中遇到的現象就和最初航運遇到的問題一樣。系統之間相互訪問,其間的關系復雜密集成網。通過適配器等模式的點到點互訪使整個巨系統變得越來越復雜,耦合程度越來越緊,系統負載越來越重。
在長期的信息系統應用建設和開發(fā)中發(fā)現,大部分數據供應用系統內部使用,只有一部分數據涉及與外部應用系統進行交互,就像貿易流通只涉及一部分商品一樣。這些用于交互的數據才是關鍵。那么,我們通過建立一種機制解決這些數據的順暢交互問題,也就解決了整個信息巨系統中的孤島問題。
早期由于貨物運輸的包裝形狀、大小各異,一大部分時間用于裝卸和擺放,空間利用效率和運輸效率十分低下。
美國貨車司機馬爾科姆·麥克萊恩,在1946年研制發(fā)明集裝箱運輸貨物獲得成功,后被廣泛應用于汽車、鐵路、輪船和飛機運輸。此發(fā)明減少了貨物在港口的滯留時間,將國際貨物的運輸效率提升了4~5倍,使得遠洋貿易極大發(fā)展并產生了巨大的變革。集裝箱的成功和廣泛應用得益于它的標準化功能。
最早期的貨物運輸大多采用點到點的運輸方式,運輸線路紛繁復雜,效率和成本一度成為國際貿易的瓶頸。港口的出現,尤其是集裝港口,縮短了各種貿易的運輸時間和運輸的路程,極大地提高了貿易往來的效率。現代化港口作為“物流中心”,其強大的集散功能帶動了整個世界經濟貿易的發(fā)展。
通過類比,我們找到了信息世界的集裝箱及其內裝貨物,即“自標準數據”?!白詷藴蕯祿笔谴髴c油田早在1998年提出的,現已被業(yè)界廣泛認可并處于深入研究發(fā)展之中。從其定義與體系運行原則來看,“自標準”的概念與貨物運輸業(yè)中廣泛使用的集裝箱極其類似。
自標準數據(Self-Standard Data,SSD)即自帶標準或格式說明的數據體。
自標準是一套信息資源整合(IRI)的技術標準體系框架。包括數據自治域 (Data Autonomous Domain)的數據標準(Data Standards)、自治域之間數據交換標準(Data Exchange Standards)以及數據交換服務協議(Data Exchange Service Protocol)。其中,數據交換服務協議規(guī)定了自標準數據元數據獲取方式和數據獲取方式,為得到數據后按元數據(標準)識別、使用數據提供了依據。
自標準數據體系運行原則:開放、自治、簡單和集中管理。
包括標準開放、平臺開放和技術開放等。具有開放性的思想和理論才具備可傳播性、可操作性和廣泛應用性。開放的系統能夠容納更大的業(yè)務和技術復雜度,易于傳播和集成。
自標準數據在一定的自治域內有效。數據自治域有別于特定的某一信息系統,是某一應用實體,如一個基層單位、一個部門、一個分公司甚至一個集團。只有這樣,才能有效避免數據在語義上產生歧義而造成數據混亂。
在復雜的應用場景中被廣泛使用的規(guī)則必須具備簡單性,太復雜的規(guī)則即使具有開放性也難以被廣泛應用。簡單規(guī)則可以讓規(guī)則本身僅關注核心的部分。TCP/IP協議族最終戰(zhàn)勝其他多種復雜協議成為當今互聯網的基本協議,就是因為它本身并不復雜又能夠恰到好處地解決網絡的核心問題。
雖然數據是分散、自治的,但要有數據集中統一管理機制。集中管理能夠讓分散的數據運作高效而統一。集中管理能夠為分散的數據提供統一的資源尋址、目錄檢索、數據推送以及垃圾回收等服務。
類比研究現實世界中的港口及其運行機制,提出 “數據港口”的概念。
“數據港口”(Data Harbor)是獨立于現有信息系統之外,以“自標準數據”為交互單元,在數據提供者和數據交換者之間,提供數據集裝、存儲、解析和配送應用的一整套數據服務機制。多個數據港口之間具有互信和調度機制,并行完成整個數據體系的交互過程。
與港口交換數據的應用程序,根據交互方向不同,稱之為數據提供者(Supplier)和數據消費者(Consumer)。
數據提供者將自標準數據提交到數據港口,數據消費者到數據港口按照數據的自標準解讀并使用數據。
一個應用程序既可以是數據提供者,也可以是數據消費者,當然也可同時擔當兩種角色。
數據港口,數據供應者和數據消費者避免了直接交換數據,互相之間可以不必了解細節(jié),只需按照港口的規(guī)則提交數據和獲取數據即可。
圖1 數據港口運行機制圖
數據供應者和數據消費者通過港口提供的自標準SDK與數據港口進行交流。數據供應者將數據通過自標準SDK轉變?yōu)樽詷藴式Y構提交到港內,此過程為入港;數據消費者根據自標準結構解析出自己所需數據進行應用,此過程為出港。
港內實現對各類數據資源、標準資源和服務資源的統一管理,包括數據解析、標準適配、安全認證等服務,完成港口調度、泊位管理和權限分配。
港口另外提供自標準數據目錄索引和搜索引擎,以協助用戶(程序)快速檢索到所需數據資源。
港內的數據碼頭根據數據的類型和匹配的自標準對數據完成封裝、存儲以及相關的管理任務。
各類不同的自標準數據根據需要將存放在不同的數據碼頭當中。
一個應用實體(單位、公司、集團或政府部門)內可以存在多個數據港口。第一個創(chuàng)建的數據港口自動成為母港口,由母港口可以創(chuàng)建生成多個子港口。各港口與數據的自治域無關,數據的自治由各港口內部提供的機制完成。
母港口具有航道管理功能,負責管理多個子港口以及其他應用實體外部港口的港間互信連接以及數據交互協調工作。
2013年底,“大慶油田生產經營管理輔助決策系統(DQMDS)”立項并開始研發(fā)。目標就是通過系統開發(fā)和集成,打破各應用系統界限,突破信息孤島問題,建立統一生產經營管理辦公平臺,為大慶油田各級管理層和決策層提供管理依據和決策參考。
DQMDS系統功能涉及生產管理、經營管理和決策支持的各個領域,幾乎涵蓋了各級機關和管理人員的所有業(yè)務,通過工作門戶、流程中心、數據中心和交流中心為用戶(微機、平板電腦、手機終端)提供服務,目標用戶總量達到5萬余人,系統十分龐雜。DQMDS系統的底層數據大多來自已建系統,共涉及中石油統建系統59個、大慶油田自建系統85個。各個系統建設于不同時期,地理位置各自不同,采用的技術五花八門,數據庫類型紛繁多樣。項目組系統研發(fā)人員通過學習,將“自標準數據”思想和“數據港口”架構作為指導理論,圓滿地解決了整個巨系統的數據交換與集成問題?,F已完成系統前期設計,正在全力研發(fā)當中。
“數據港口”服務架構,作為眾多信息系統間的數據交換中心,將自標準作為其間的“集裝箱”使用,使整個系統關聯變成了松耦合,系統之間關系和狀態(tài)清晰可見,信息孤島將無障礙聯通,信息應用效率將大幅提升,信息化建設成本也將大幅下降。“自標準數據”和“數據港口”技術對于有效地解決企業(yè)內外多專業(yè)、多學科間復雜的數據交換、集成和共享問題具有深遠意義,特別是對大數據交換也具有很好的應用價值。
本文針對解決“信息孤島”問題所提出的“數據港口”概念及其運行機制,只是給出了基本架構思路,僅僅是初步的設想,可能還存在很多缺陷,還需要在實踐中檢驗和不斷完善,希望能夠對從事這方面研究的專家、學者,以及從事企業(yè)和政務信息化實踐的管理人員和技術人員有所啟發(fā)。本文闡述的基本觀點和內容是在大慶油田有限責任公司信息中心王權主任的啟發(fā)和指導下形成的,在此深表謝意。