陳清
(1.中煤科工集團(tuán)重慶研究院有限公司,重慶 400039;2.瓦斯災(zāi)害應(yīng)急信息技術(shù)國家重點實驗室,重慶 400039)
隨著計算機信息化快速發(fā)展,信息安全成為國家安全的重要組成部分[1],近年來國際競爭形勢發(fā)生了新的變化,掌握核心科技的自主可控意識在我國正被前所未有地喚醒。煤炭作為我國的主體能源,一直在能源生產(chǎn)和消費結(jié)構(gòu)中占據(jù)主導(dǎo)地位[2],煤炭行業(yè)信息安全直接關(guān)系到國家信息安全自主可控的戰(zhàn)略目標(biāo)?,F(xiàn)有的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺主要基于IBM、英特爾、EMC、微軟、甲骨文等外國公司基礎(chǔ)軟硬件設(shè)備設(shè)施構(gòu)建,信息安全不可控,隨時面臨斷供的重大風(fēng)險。因此,對煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺進(jìn)行國產(chǎn)適配具有重大意義。
(1)國家信息安全自主可控戰(zhàn)略目標(biāo)需要。在過去,我國IT底層標(biāo)準(zhǔn)、架構(gòu)、產(chǎn)品、生態(tài)大多數(shù)都由美國IT企業(yè)來制定,存在諸多安全風(fēng)險。為應(yīng)對信息安全威脅,近年來我國已加強信息化基礎(chǔ)設(shè)施的自主可控研究和推廣應(yīng)用[3-4]。芯片、操作系統(tǒng)、數(shù)據(jù)庫、中間件等基礎(chǔ)軟硬件的發(fā)展已較為成熟,信息化具備國產(chǎn)化實施基礎(chǔ)。國家計劃2020—2022年在黨政和涉及國計民生的重要行業(yè)從基礎(chǔ)硬件-基礎(chǔ)軟件-行業(yè)應(yīng)用軟件實現(xiàn)全面國產(chǎn)化。因此,煤監(jiān)信息化領(lǐng)域國產(chǎn)適配完全響應(yīng)了國家信息安全自主可控戰(zhàn)略目標(biāo)的號召。
(2)符合煤炭行業(yè)信息化發(fā)展趨勢。國家已啟動煤監(jiān)信息化領(lǐng)域國產(chǎn)化替代試點工作,國家應(yīng)急管理部要求各級監(jiān)管監(jiān)察機構(gòu)已建、在建與后續(xù)規(guī)劃的各類信息化項目必須完全適配國產(chǎn)基礎(chǔ)軟硬件平臺。國家計劃投入4.2億元專項資金對已建煤礦監(jiān)管監(jiān)察信息化平臺進(jìn)行國產(chǎn)化改造。后續(xù),國有煤炭集團(tuán)、煤礦企業(yè)信息化項目也將啟動國產(chǎn)化適配改造工作。因此,煤監(jiān)信息化領(lǐng)域國產(chǎn)適配將是未來幾年煤監(jiān)信息化的主要建設(shè)方向,煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺的國產(chǎn)化建設(shè)迫在眉睫。
(3)填補煤監(jiān)信息化領(lǐng)域國產(chǎn)化空白。目前煤監(jiān)信息化領(lǐng)域國產(chǎn)適配工作處于空白,無成熟方案可借鑒。① 國產(chǎn)軟硬件基礎(chǔ)設(shè)施起步較晚,性能相對較差,穩(wěn)定性與可靠性有待提升,生態(tài)圈建設(shè)滯后。② 目前雖然在電力、工商、稅務(wù)等行業(yè)已開展國產(chǎn)化常規(guī)性應(yīng)用的試點工作[5],但是這些行業(yè)與煤炭行業(yè)的業(yè)務(wù)差異大,且屬于保密項目,可借鑒的案例少。③ 煤監(jiān)信息化領(lǐng)域國產(chǎn)適配工作處于空白,大部分廠家的產(chǎn)品仍處于探索階段。
鑒此,本文提出了一套基于國產(chǎn)基礎(chǔ)軟硬件環(huán)境的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)解決方案,設(shè)計了基于國產(chǎn)芯片、國產(chǎn)操作系統(tǒng)、國產(chǎn)數(shù)據(jù)庫和國產(chǎn)中間件的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺,填補了煤監(jiān)信息化領(lǐng)域國產(chǎn)適配空白。
基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺[6-7]主要包括煤礦端和上級監(jiān)管端2個部分。從數(shù)據(jù)流轉(zhuǎn)角度來看,整個平臺架構(gòu)分為數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)解析、數(shù)據(jù)存儲和數(shù)據(jù)應(yīng)用5個環(huán)節(jié),如圖1所示。首先通過在煤礦端數(shù)據(jù)采集服務(wù)器上部署數(shù)據(jù)采集系統(tǒng),將采集到的數(shù)據(jù)通過消息隊列的數(shù)據(jù)管道傳輸?shù)缴霞壉O(jiān)管端。然后利用部署在數(shù)據(jù)分析服務(wù)器上的數(shù)據(jù)解析系統(tǒng)進(jìn)行數(shù)據(jù)逆向解析,將解析后的數(shù)據(jù)分類存儲。最后通過數(shù)據(jù)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)可視化展現(xiàn)。
圖1 基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺業(yè)務(wù)流轉(zhuǎn)
整個平臺架構(gòu)涉及到的軟硬件均適配國產(chǎn)化軟硬件環(huán)境,同時搭配少量Java生態(tài)圈的開源框架,如圖2所示。按照選取市場主流設(shè)備的原則,服務(wù)器和終端機CPU均采用飛騰處理器,打印機采用立思辰打印機;服務(wù)器操作系統(tǒng)采用銀河麒麟,終端機操作系統(tǒng)采用統(tǒng)信;數(shù)據(jù)庫采用開源內(nèi)存數(shù)據(jù)庫Redis、國產(chǎn)關(guān)系數(shù)據(jù)庫達(dá)夢和開源列式存儲數(shù)據(jù)庫HBase;中間件采用東方通的TongLINK/Q和TongWeb;辦公套件采用金山WPS,瀏覽器采用Firefox。
圖2 基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺技術(shù)架構(gòu)
數(shù)據(jù)采集系統(tǒng)主要基于生產(chǎn)者與消費者模式。針對數(shù)據(jù)源類型、數(shù)據(jù)產(chǎn)生周期、數(shù)據(jù)結(jié)構(gòu)特征、數(shù)據(jù)大小、數(shù)據(jù)時效性等要求,采用組件模式,選用Java語言進(jìn)行開發(fā),能夠適配數(shù)據(jù)庫、文本文件、消息隊列、Web Service數(shù)據(jù)接口等不同類型的數(shù)據(jù)源。
數(shù)據(jù)傳輸通道采用東方通消息中間件TongLINK/Q,TongLINK/Q支持Unix、Linux平臺和Windows等操作系統(tǒng),同時提供C和Java等主流語言以及消息傳輸加密等安全機制。采用TongLINK/Q發(fā)布/訂閱的消息傳輸模式來進(jìn)行數(shù)據(jù)實時傳輸,數(shù)據(jù)采集系統(tǒng)作為發(fā)布者將采集到的數(shù)據(jù)發(fā)布到數(shù)據(jù)傳輸通道。
數(shù)據(jù)解析系統(tǒng)基于Java分布式服務(wù)框架進(jìn)行構(gòu)建,作為TongLINK/Q的訂閱者,對數(shù)據(jù)傳輸通道內(nèi)的各類數(shù)據(jù)按照優(yōu)先級進(jìn)行數(shù)據(jù)逆向解析,并按照數(shù)據(jù)入庫規(guī)則進(jìn)行數(shù)據(jù)分類入庫,實現(xiàn)聯(lián)網(wǎng)數(shù)據(jù)的實時解析入庫。數(shù)據(jù)解析的優(yōu)先級為設(shè)備定義信息>報警記錄>實時數(shù)據(jù)>分鐘統(tǒng)計數(shù)據(jù)>運行記錄。
如果聯(lián)網(wǎng)平臺的數(shù)據(jù)存儲系統(tǒng)采用單一關(guān)系數(shù)據(jù)庫,利用分表和分庫等方式對設(shè)備運行記錄進(jìn)行存儲,這樣的存儲方案有以下缺點:① 程序頻繁對實時數(shù)據(jù)表進(jìn)行讀寫操作,容易引起死鎖。② 數(shù)據(jù)分表分庫存儲增加了數(shù)據(jù)查詢難度。③ 歷史采樣數(shù)據(jù)的數(shù)據(jù)量非常大,不利于數(shù)據(jù)庫管理維護(hù)。
鑒于上述問題,基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺的數(shù)據(jù)存儲系統(tǒng)由內(nèi)存數(shù)據(jù)庫Redis、關(guān)系數(shù)據(jù)庫達(dá)夢和列式存儲數(shù)據(jù)庫HBase進(jìn)行數(shù)據(jù)分類存儲。針對煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺的實時數(shù)據(jù)、中短期數(shù)據(jù)和歷史采樣數(shù)據(jù)等數(shù)據(jù)的時效性,實時對數(shù)據(jù)進(jìn)行冷熱分區(qū)。利用內(nèi)存數(shù)據(jù)庫Redis建立實時數(shù)據(jù)緩存區(qū),實現(xiàn)熱點數(shù)據(jù)高效訪問[8-9];基于達(dá)夢數(shù)據(jù)庫性能指標(biāo),通過數(shù)據(jù)庫表分區(qū)等模式進(jìn)行存儲結(jié)構(gòu)設(shè)計[10];基于列式存儲數(shù)據(jù)庫Hbase設(shè)計歷史數(shù)據(jù)存儲系統(tǒng),實現(xiàn)歷史數(shù)據(jù)回溯性分析[11]。
數(shù)據(jù)存儲系統(tǒng)中國產(chǎn)關(guān)系數(shù)據(jù)庫的表結(jié)構(gòu)設(shè)計與SQL Server等傳統(tǒng)的關(guān)系數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計類似,Redis內(nèi)存數(shù)據(jù)庫主要采用鍵值對的形式存儲實時數(shù)據(jù),由于關(guān)系數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫的設(shè)計都較為簡單,在此不做過多闡述。HBase數(shù)據(jù)庫的表結(jié)構(gòu)設(shè)計直接關(guān)系到整個平臺的數(shù)據(jù)查詢效率和存儲性能,將重點介紹其表結(jié)構(gòu)設(shè)計。
HBase是一個面向列的、版本化的、可伸縮的分布式數(shù)據(jù)庫系統(tǒng),HBase中的表由多個行組成,行由1個行鍵(Row Key)和1個或多個列組成。列由列族和列限定符組成,每個列都?xì)w屬于某個列族,每一行的列數(shù)量可以不同。由行鍵、列族、列限定符唯一定位的單元格里面存放1個值和1個版本號,單元格的內(nèi)容沒有特定的數(shù)據(jù)類型,以二進(jìn)制字節(jié)存儲[12]。
1.2.1 列族設(shè)計
在該聯(lián)網(wǎng)平臺中,HBase主要用于存儲歷史采樣數(shù)據(jù),根據(jù)HBase特點及煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)數(shù)據(jù)實際存儲需要,歷史采樣數(shù)據(jù)表的每一行具有相同的列,見表1。為了盡可能提高查詢效率,表1只設(shè)置1個列族。
表1 歷史采樣數(shù)據(jù)表結(jié)構(gòu)
1.2.2 行鍵設(shè)計
HBase存儲設(shè)計的關(guān)鍵在于數(shù)據(jù)庫表行鍵的設(shè)計,它將直接影響數(shù)據(jù)查詢效率。歷史采樣數(shù)據(jù)表的作用主要有2個:① 用于對單個測點的歷史數(shù)據(jù)進(jìn)行回溯,時間維度可以回溯到秒級;② 用于對礦井所有測點按任意時間刻度進(jìn)行查詢,以此展現(xiàn)任意歷史時刻的全礦井整體環(huán)境狀況,實現(xiàn)礦井歷史數(shù)據(jù)全景回放。
根據(jù)歷史采樣數(shù)據(jù)表的用途,設(shè)計出該表的行鍵,如圖3所示。行鍵由32位字符串組成。其中,小時采用24小時制,長度為2位;年月日為YYYYMMDD的形式,長度為8位;煤礦編碼為8位整數(shù),高位不足補0;設(shè)備編碼為10位整數(shù),高位不足補0;分和秒為2位整數(shù)。另外,根據(jù)該行鍵特點,將負(fù)責(zé)數(shù)據(jù)存儲的HBase數(shù)據(jù)節(jié)點存儲區(qū)預(yù)先劃分為24個分區(qū),分別對應(yīng)24個小時[13]。
圖3 歷史采樣數(shù)據(jù)表的行鍵結(jié)構(gòu)
該行鍵最大的特點是將小時放在行鍵最前面,這樣做的原因是所有聯(lián)網(wǎng)煤礦的歷史采樣數(shù)據(jù)在每個小時內(nèi)基本分布均衡,能夠確保數(shù)據(jù)均衡分布在不同的HBase分區(qū)中,提高了數(shù)據(jù)寫入和查詢效率。
數(shù)據(jù)應(yīng)用系統(tǒng)采用B/S架構(gòu),部署在Web應(yīng)用服務(wù)器上,Web應(yīng)用服務(wù)器采用東方通TongWeb為系統(tǒng)提供可靠、穩(wěn)定的基礎(chǔ)支撐環(huán)境。TongWeb能夠兼容匹配常見應(yīng)用環(huán)境,支持主流國產(chǎn)數(shù)據(jù)庫和主流國產(chǎn)操作系統(tǒng),并兼容多種開源框架。
煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺需具備導(dǎo)出報表及打印報表等功能,因此,需要辦公套件和打印設(shè)備,辦公套件采用金山WPS,打印機采用立思辰打印機。
數(shù)據(jù)應(yīng)用系統(tǒng)利用面向服務(wù)的架構(gòu)思想,采用分層架構(gòu),整個架構(gòu)分為4層,包括數(shù)據(jù)接入層、服務(wù)層、控制層和視圖層。采用Java編碼語言,使用Spring + Spring MVC + MyBatis + Html 5技術(shù)框架,開發(fā)具備實時數(shù)據(jù)展示、報警記錄查詢、運行記錄查詢、分鐘統(tǒng)計數(shù)據(jù)查詢、設(shè)備定義信息查詢、曲線/柱圖、歷史數(shù)據(jù)回溯等功能為一體的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用系統(tǒng)。
安徽煤礦安全監(jiān)察局事故風(fēng)險分析平臺已實現(xiàn)12座煤礦的安全監(jiān)控系統(tǒng)聯(lián)網(wǎng),目前正在進(jìn)行國產(chǎn)化遷移適配?;趪a(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺已部署到了安徽煤礦安全監(jiān)察局事故風(fēng)險分析平臺中,實際應(yīng)用效果表明,該平臺的性能能夠滿足煤礦監(jiān)管監(jiān)察需求。
(1)數(shù)據(jù)傳輸環(huán)節(jié):基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺的整個數(shù)據(jù)傳輸過程耗時小于10 s,能夠滿足上級監(jiān)管部門對煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)的數(shù)據(jù)傳輸延時要求。
(2)數(shù)據(jù)應(yīng)用方面:基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺實現(xiàn)了全礦井環(huán)境監(jiān)測歷史采樣數(shù)據(jù)任意時刻數(shù)據(jù)秒級回放功能,界面如圖4所示。
圖4 歷史采樣數(shù)據(jù)回放功能界面
(3)數(shù)據(jù)查詢效率方面:基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺實時數(shù)據(jù)查詢耗時基本穩(wěn)定在240~300 ms,特別是在實時數(shù)據(jù)資源競爭激烈的情況下,數(shù)據(jù)查詢效率幾乎保持不變。
從實際應(yīng)用效果來看,基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺無論是在數(shù)據(jù)傳輸、數(shù)據(jù)應(yīng)用方面,還是在實時數(shù)據(jù)查詢方面都能夠滿足上級監(jiān)管部門對煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)的功能和性能要求。該平臺的聯(lián)網(wǎng)架構(gòu)具有可復(fù)制性,同樣適用于煤礦人員定位系統(tǒng)和煤礦大型機電設(shè)備聯(lián)網(wǎng)平臺的國產(chǎn)化適配[12-15]。
(1)在國產(chǎn)芯片、國產(chǎn)操作系統(tǒng)、國產(chǎn)數(shù)據(jù)庫和國產(chǎn)中間件等國產(chǎn)軟硬件環(huán)境支撐下,構(gòu)建了集數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)解析、數(shù)據(jù)存儲、數(shù)據(jù)應(yīng)用為一體的基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺,實現(xiàn)了煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng),填補了煤監(jiān)信息化領(lǐng)域國產(chǎn)適配空白,既響應(yīng)了國家信息安全自主可控的戰(zhàn)略目標(biāo)的號召,也符合行業(yè)發(fā)展趨勢。該平臺具有以下優(yōu)點:① 整個架構(gòu)基于國產(chǎn)軟硬件基礎(chǔ)支撐環(huán)境搭建,實現(xiàn)了煤礦監(jiān)管監(jiān)察信息化自主可控的目標(biāo)。② 利用Redis、達(dá)夢數(shù)據(jù)庫、Hbase進(jìn)行數(shù)據(jù)分類存儲,實現(xiàn)了數(shù)據(jù)指標(biāo)多維度秒級回溯與鉆取分析。
(2)相較于傳統(tǒng)的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺,基于國產(chǎn)化的煤礦安全監(jiān)控系統(tǒng)聯(lián)網(wǎng)平臺還存在一定的不足:與普通商用基礎(chǔ)軟硬件相比,該平臺所依賴的國產(chǎn)軟硬件的市場占比低、性能差距較大,且應(yīng)用生態(tài)不完善,例如國產(chǎn)服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫與中間件等產(chǎn)品的市場占有率不足1%,并且同價位軟硬件產(chǎn)品技術(shù)代差在10~15 a。相信隨著我國科研水平和工藝水平的不斷提高,國產(chǎn)基礎(chǔ)軟硬件與普通商用基礎(chǔ)軟硬件的性能差距會逐漸縮小。