萊諾斯科技(北京)有限公司 張 力
通過近年來國家持續(xù)投入,航天人的不斷努力,中國航天事業(yè)取得了長足進步。而在新的時代,航天也面臨著一些新的轉變,首先是由科研向應用轉變,其次,由單產向批量轉變。這些轉變意味著航天任務將附加更多的職能,產品研制的壓力持續(xù)增加,如何通過信息科技手段來解決這些問題,也成為航天界迫切需要解決的課題。而如何管好、利用好航天器的工程數據,則是這些問題中的重中之重。萊諾斯科技公司依托多年的航天行業(yè)經驗,自主研發(fā)了大數據平臺,并成功地應用于航天領域,為中國航天事業(yè)的高速發(fā)展提供助力。
現在航天設備的研制一方面面臨著批量化的挑戰(zhàn),另一方面,面臨著企業(yè)化運營的壓力,這意味著航天企業(yè)需要花更少的時間,更少的資源去完成更多的航天器的研制任務,為了達到這個目標,航天企業(yè)面臨著管理精細化及生產現代化的變革。同樣,現在的航天設備由原有的試驗性質向商用轉變,其搭載的有效載荷應用也越來越多,功能越來越強,這些都意味著海量的數據將在企業(yè)日常生產與運營過程中產生和應用,這些使航天企業(yè)對海量數據管理提出了需求:
隨著航天企業(yè)的管理越來越精細,對質量控制越來越嚴格,對外協作越來越密切,使得航天企業(yè)內部系統(tǒng)自身產生的信息如:文檔、報表、圖像、測試數據、在軌數據等增長的越來越快。據統(tǒng)計,一個單機產品結束時,往往能產生上GB(109)的文檔及上TB(1012)的測試數據。而在軌數據將隨著航天設備的運行更為龐大,這些數據日常就分散在各個研發(fā)人員和技術負責人電腦的硬盤里。一方面,平時查找非常不方便,設計人員大量的時間浪費在資料收集上;另一方面,一旦相關人員出現變動或設備出現故障,這些數據就會丟失,給企業(yè)帶來損失。因此,如何能把這些數據集中存儲、統(tǒng)一管理起來,一直是航天企業(yè)數據管理迫切需要解決的問題。
很久以前,航天系統(tǒng)就有過建設仿真、比對分析、故障診斷及專家系統(tǒng)的想法,也嘗試過建設過一些類似的系統(tǒng),但這些信息系統(tǒng)的應用一直沒有大規(guī)模推廣,且應用并不是很理想。從技術上講,大部分瓶頸在于這些系統(tǒng)沒有足夠的計算能力,處理海量數據困難,因此,要把這些龐大的工程數據利用起來,為分析仿真系統(tǒng)提供高性能并行計算是必要的基礎能力。
航天設備在研制過程中,產生的工程數據具有數據量大、數據類型復雜多樣及關聯性強的特點,如何在這些數據之間建立連接,為用戶提供一個便捷的數據瀏覽界面是航天數據管理成敗的關鍵。利用對全部歷史數據的自由追溯查詢能力,質量過程控制的力度可大幅度提升,同型號自初樣起各單件數據、不同型號不同階段間所有數據內容均可橫縱比對,成為追溯數據以提升型號質量的利器。
在當前情況下,一方面,由于計算能力不足,很難對大數據量及復雜的算法進行處理分析,另一方面,各設計師每一次分析過程都是一次思考的過程,而這個思考過程沒有任何記錄,一旦下一名設計師遇到同樣的問題,還需要從頭進行嘗試,極大地浪費了設計師的精力,因此,迫切需要建設一個高效統(tǒng)一的數據分析平臺,以提升企業(yè)的知識積累,加速企業(yè)的知識傳播。
航天設備的數據非常重要,如何讓這些數據安全也是航天數據管理的一個難題,一方面,大量數據如何安全的存儲,如何實現遠程的備份與容災,以保證其物理安全,另一方面,如何控制數據的密級,防止數據泄密,以保證數據傳播安全,是工程數據管理的難題之一。
從技術架構上來看,萊諾斯科技的大數據平臺由三大部分組成,即一個綜合,兩個基礎。兩個基礎是數據存儲中心和并行計算平臺,一個綜合是工程數據管理平臺。數據存儲中心主要解決海量數據的存儲的問題;并行計算主要解決大數據量的復雜計算問題;工程數據管理平臺主要解決數據的轉移、瀏覽、查詢、分析等數據管理及可視化的問題。如圖1所示,數據存儲中心與并行計算平臺是工程數據管理平臺的基礎,只有具備這兩個基礎能力,工程數據管理平臺才能為客戶提供多樣的數據管理方式,提供高性能的分析手段。
圖1 大數據平臺架構圖
整個平臺由數據存儲設備及功能性設備組成,功能設備主要完成數據管理的相關職能如監(jiān)控設備、查詢設備及分析設備,存儲設備用于線性擴展系統(tǒng)的存儲容量,見圖2。
圖2 大數據平臺功能設備
(1)基礎能力
對于傳統(tǒng)的存儲技術,SAN(SAN網絡存儲是一種高速網絡或子網絡,SAN存儲系統(tǒng)提供在計算機與存儲系統(tǒng)之間的數據傳輸。)架構因擴展性有限、跨平臺數據共享困難、管理復雜等問題,不能很好的滿足非結構化數據的存儲需求。傳統(tǒng)NAS(NAS是一種采用直接與網絡介質相連的特殊設備實現數據存儲的機制。)架構和設備由于協議開銷大、帶寬小、延遲高、可擴展性差等原因,不利于海量數據的并發(fā)訪問。因此,萊諾斯科技的大數據平臺采用并行數據存儲系統(tǒng),這些并行存儲系統(tǒng)具有高性能、高擴展性,高可用性等特點,使得建立一個集中統(tǒng)一存儲的數據中心具備可能。
(2)實時數據查詢、分析、診斷
對于傳統(tǒng)的航天設備地面試驗,一般情況,每一個測試終端均是一臺單獨的計算機,對實時數據進行顯示與分析,這樣,由于內存及CPU的限制,能處理的數據量相當有限,遠遠不能滿足設計人員的需要;而且實時數據查詢也會被限制在一個很短的時間范圍內,要做大數據量的查詢、分析診斷的話,終端機器與服務器的資源會明顯不足。萊諾斯科技的大數據平臺提供并行計算平臺,能高效地對大數據量的試驗數據進行處理。同時,每一次的分析過程也可以統(tǒng)一存儲在數據平臺中。
(3)歷史數據的追溯
萊諾斯科技的大數據平臺是一個統(tǒng)一的數據中心,通過型號、設備、任務等將研制過程當中的工程數據組織到了一起。用戶可以對歷史任務的工程數據進行查詢?yōu)g覽回放,甚至,對于歷史的分析過程都可以進行回放,以避免不同設計人員針對相同問題進行重復分析,節(jié)約系統(tǒng)資源與設計人員的精力。
(4)故障診斷、系統(tǒng)仿真與健康預測
航天器的故障診斷、系統(tǒng)仿真與健康預測是一個復雜的過程,牽涉到大量的試驗數據、在軌數據與復雜的計算模型,通過萊諾斯科技的大數據平臺,為實現這些工作提供了基礎能力。
大數據平臺的主要任務是將航天器在空間和地面的測試數據進行統(tǒng)一管理,同時也可將航天器的在軌數據進行集中管理和監(jiān)控。數據中心由數據中心機房及監(jiān)控室構成:機房安裝存儲服務器、數據分析服務器、配套網絡路由交換設備、空調防火防靜電環(huán)境;監(jiān)控室提供監(jiān)控工作站及投影大屏。數據中心機房配備50TB的初始容量的存儲服務機柜、配套的數據服務器,并預留足夠未來擴充數據管理能力的機柜空間。數據中心的基礎環(huán)境構成見圖3。
圖3 數據中心的基礎環(huán)境構成圖
圖4 大數據平臺
所有航天器的測試數據將統(tǒng)一存儲在大數據平臺中,通過數據查詢設備與統(tǒng)計分析設備對數據進行查詢統(tǒng)計。用戶通過客戶端,可以選擇任意航天設備,任意任務,對數據進行展示,同時也可以選擇多個設備的多個任務的數據進行比對分析,見圖4、圖5。
圖5 數據展示
除了對數據進行分析,也可以對任務的過程信息進行統(tǒng)計,如圖6就是一個各階段任務分布的統(tǒng)計。
圖6 任務分布統(tǒng)計圖
航天行業(yè)是一個技術密集型企業(yè),在生產過程當中形成了大量的過程數據,這些數據的規(guī)模是海量的,以前很難處理,現在借助大數據的存儲、分析、挖掘及并行計算技術,我們完全可以做到很多前人無法做到的事情。
萊諾斯科技(北京)有限公司是一家從事分布式工業(yè)自動化測試和智能監(jiān)控技術研發(fā)與應用、依托中國航空航天事業(yè)迅速發(fā)展起來的高新技術企業(yè)。公司在西安建有自己的研發(fā)中心,研發(fā)的分布式自動化測試和智能監(jiān)控系統(tǒng)已涵蓋了衛(wèi)星、船舶、軍工、大學、科研院所等各種測試領域。