魏雁飛，薛永奎，楊 濤

(中國洛陽電子裝備試驗中心，河南 洛陽 471003)

·試驗與評估·

電子裝備試驗大數(shù)據(jù)分析服務平臺架構設計

魏雁飛，薛永奎，楊 濤

(中國洛陽電子裝備試驗中心，河南 洛陽 471003)

結合大數(shù)據(jù)技術和電子裝備試驗特點，提出電子裝備試驗大數(shù)據(jù)基本概念，在數(shù)據(jù)、用戶、能力等需求分析的基礎上，設計靈活、可擴展的電子裝備試驗大數(shù)據(jù)分析服務平臺架構，并探討電子裝備試驗大數(shù)據(jù)分析服務平臺在試驗機構內外的應用模式。提出的平臺架構可以為相關領域數(shù)據(jù)中心建設提供支持，為試驗數(shù)據(jù)增值增效提供支持。

電子裝備；試驗大數(shù)據(jù)；平臺架構

0 引言

隨著信息技術的快速發(fā)展，各行各業(yè)產生的數(shù)據(jù)規(guī)?？焖僭鲩L?！按髷?shù)據(jù)”時代已經悄然來臨。大數(shù)據(jù)是以體量大、速度快、模態(tài)多、難辨識和價值大、密度低為主要特征的數(shù)據(jù)集合[1]，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進行采集、存儲和關聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術和服務業(yè)態(tài)[2]。大數(shù)據(jù)的特征決定了其分析處理需要有高性能、分布式的分析服務平臺作為支撐。

電子裝備試驗數(shù)據(jù)不僅有效支撐了試驗任務開展，而且對裝備發(fā)展具有重要意義。隨著試驗鑒定體系創(chuàng)新發(fā)展和電子裝備技術的快速發(fā)展，電子裝備試驗產生的數(shù)據(jù)量急劇增加，來自于試驗過程中產生的數(shù)據(jù)海量、非結構化特征明顯，電子裝備試驗數(shù)據(jù)的大數(shù)據(jù)特征初步顯現(xiàn)。

在大數(shù)據(jù)時代，試驗機構擁有試驗數(shù)據(jù)的規(guī)模和運用數(shù)據(jù)的能力將成為試驗機構綜合能力的重要體現(xiàn)。如何根據(jù)電子裝備試驗任務需求，科學合理地獲取適度的數(shù)據(jù)資源，并建設分析服務手段是試驗機構所關心的重要問題。本文從電子裝備試驗大數(shù)據(jù)的概念和數(shù)據(jù)來源出發(fā)，重點對電子裝備試驗大數(shù)據(jù)分析服務平臺構建需求、平臺架構、應用模式等進行探討。

1 電子裝備試驗大數(shù)據(jù)的形成及概念

電子裝備試驗[3]包括預警探測、情報偵察、電子對抗、指揮控制、通信導航、網(wǎng)絡攻防等領域在內各類試驗任務。

電子裝備試驗數(shù)據(jù)是指電子裝備在試驗中使用和產生的數(shù)據(jù)總稱，泛指與電子裝備試驗活動密切相關的被試裝備、配試裝備、部隊、人員、環(huán)境、態(tài)勢、指揮、保障等信息。其表現(xiàn)形式可分為文書、語音、視頻、圖形、圖像、數(shù)據(jù)庫和多媒體等，是裝備數(shù)據(jù)的重要組成部分。

其中，電子裝備試驗中使用的數(shù)據(jù)主要包括裝備論證單位、研制單位等在裝備論證、設計、研制等過程產生的數(shù)據(jù)，以及試驗機構在試驗技術研究中產生的數(shù)據(jù)，具有來源渠道廣、數(shù)據(jù)類型復雜、跨越周期長等特點。電子裝備試驗產生的數(shù)據(jù)主要包括試驗任務中產生的試驗任務基本信息、試驗任務文件和試驗任務過程數(shù)據(jù)，具有存儲容量大、數(shù)據(jù)類型多、時效要求高、潛在價值大等特點。

電子裝備試驗大數(shù)據(jù)是指隨著電子裝備的迅猛發(fā)展，試驗機構試驗條件和信息化水平的提升，以及試驗網(wǎng)、指控中心、數(shù)據(jù)處理中心等數(shù)據(jù)應用的推進，導致電子裝備試驗任務的組織指揮、測試測量、環(huán)境構設、分析評估、基礎保障、仿真建模等過程中產生數(shù)據(jù)的內容和范圍不斷拓展，逐步形成的復雜、多源、規(guī)模龐大的數(shù)據(jù)集合。

2 電子裝備試驗大數(shù)據(jù)分析服務平臺需求分析

電子裝備試驗大數(shù)據(jù)分析服務平臺的構建，依賴于電子裝備試驗數(shù)據(jù)及數(shù)據(jù)應用手段。本文結合電子裝備試驗數(shù)據(jù)及其應用，分析用戶需求、數(shù)據(jù)需求以及能力需求。

2.1 用戶需求分析

由于電子裝備試驗是一個復雜動態(tài)、多方協(xié)作的系統(tǒng)工程，試驗數(shù)據(jù)需要在部門之間、專業(yè)之間、系統(tǒng)之間有序流動。數(shù)據(jù)服務對象包括試驗機構內部人員和試驗機構以外單位人員。

其中，在試驗機構內部：需要圍繞試驗數(shù)據(jù)的需求、規(guī)劃、描述、采集、加工、校驗、存儲、管理、分析、挖掘與應用全生命周期，構建統(tǒng)一、分布式的電子裝備大數(shù)據(jù)分析服務平臺，為試驗設計人員、試驗指揮人員、試驗數(shù)據(jù)評估人員、仿真建模人員、數(shù)據(jù)采集人員、數(shù)據(jù)處理人員、數(shù)據(jù)管理人員等不同類型人員提供不同的數(shù)據(jù)應用手段，以支持試驗數(shù)據(jù)的共建共享與深度應用。在試驗機構外部：需要對各類試驗數(shù)據(jù)資源根據(jù)需求進行集成加工，為裝備論證單位、裝備研制單位、裝備使用單位等提供數(shù)據(jù)產品。

2.2 數(shù)據(jù)需求分析

電子裝備試驗大數(shù)據(jù)分析服務平臺數(shù)據(jù)需求主要體現(xiàn)在試驗數(shù)據(jù)的獲取與應用等方面。從數(shù)據(jù)工程角度看，可以分為內容需求、形式需求、效用需求3個方面[4-5]。

2.2.1內容需求

電子裝備試驗大數(shù)據(jù)內容需求主要是指對試驗數(shù)據(jù)的內容要求方面。電子裝備試驗大數(shù)據(jù)的數(shù)據(jù)內容按照關聯(lián)關系可以分為三部分內容：基礎數(shù)據(jù)、任務數(shù)據(jù)、譜系數(shù)據(jù)。

其中，基礎數(shù)據(jù)是指與試驗任務相對獨立的數(shù)據(jù)資源，主要由外軍裝備、己方裝備庫、試驗機構裝備、模型、地理信息、標準規(guī)范以及其他相對靜態(tài)的數(shù)據(jù)組成。

任務數(shù)據(jù)主要由預警探測裝備試驗數(shù)據(jù)、情報偵察裝備試驗數(shù)據(jù)、電子對抗裝備試驗數(shù)據(jù)、指揮控制試驗數(shù)據(jù)、通信導航裝備試驗、網(wǎng)絡攻防裝備試驗數(shù)據(jù)等組成，每一類試驗數(shù)據(jù)可以分為試驗任務基本信息、試驗文書、試驗任務過程數(shù)據(jù)等。

譜系數(shù)據(jù)包括數(shù)據(jù)元、元數(shù)據(jù)、數(shù)據(jù)目錄、數(shù)據(jù)字典、數(shù)據(jù)資源分布描述、獲取渠道、訪問權限與方式、關聯(lián)關系、迭代關系等內容，是數(shù)據(jù)資源使用提供了“路線圖”，而不是“原始數(shù)據(jù)”。

2.2.2形式需求

電子裝備試驗大數(shù)據(jù)形式需求主要是指對試驗數(shù)據(jù)的格式、語義與語法規(guī)則等方面的需求，體現(xiàn)了對試驗數(shù)據(jù)標準化需求。電子裝備試驗大數(shù)據(jù)的數(shù)據(jù)形式需求主要通過建立包括電子裝備試驗領域元數(shù)據(jù)、電子裝備試驗領域數(shù)據(jù)元、電子信息裝備數(shù)據(jù)名錄和應用字典等在內的標準規(guī)范體系并采用軟件化管理來實現(xiàn)。

2.2.3效用需求

電子裝備試驗大數(shù)據(jù)效用需求主要是指通過一定的管理機制和技術手段，保障試驗數(shù)據(jù)在安全保密范圍內可訪問性、可理解性、權威準確性。電子裝備試驗大數(shù)據(jù)的效用需求主要通過建立數(shù)據(jù)共享、安全防護等方面的制度機制和技術手段實現(xiàn)。

2.3 能力需求分析

由于電子裝備試驗大數(shù)據(jù)分析服務平臺所面臨的人員類型眾多和數(shù)據(jù)種類復雜，要發(fā)揮試驗大數(shù)據(jù)分析服務平臺的作用需要具備多種能力。

2.3.1全域全維數(shù)據(jù)匯聚管理能力

針對海量異構的試驗數(shù)據(jù)資源，電子裝備試驗大數(shù)據(jù)分析服務平臺要能夠對不同領域(預警探測、情報偵察、電子對抗、指揮控制、通信導航、網(wǎng)絡攻防)、不同來源(論證部門、研制部門、試驗機構、作戰(zhàn)部隊等)、不同層次(效能層、功能層、要素層)[6]、不同維度(時間、頻率、空間、能量、極化、信息、認知、行動)[7]等試驗數(shù)據(jù)資源，進行抽取轉換、去偽存真、去粗取精、信息關聯(lián)等數(shù)據(jù)處理，確保試驗數(shù)據(jù)權威可控。

2.3.2海量異構試驗分析挖掘能力

針對電子裝備試驗設計、試驗預測、效能評估、仿真建模、作戰(zhàn)運用等方面的多樣化試驗數(shù)據(jù)分析服務需求，平臺要能夠從人員、裝備、環(huán)境、戰(zhàn)情、流程、試驗結果、指標體系、運用規(guī)則等多個角度對試驗數(shù)據(jù)進行分類、聚類、關聯(lián)分析、時間序列分析、回歸分析等，以便于由表及里、由此及彼地發(fā)現(xiàn)試驗數(shù)據(jù)潛在的應用價值，揭示內在的試驗數(shù)據(jù)模式和規(guī)律，為試驗方法創(chuàng)新、裝備論證和作戰(zhàn)使用提供權威數(shù)據(jù)產品。

2.3.3試驗數(shù)據(jù)質量管理與安全管控能力

電子裝備試驗大數(shù)據(jù)除具有一般數(shù)據(jù)所具有的客觀性、資源性、價值對用戶時間環(huán)境的依賴性等特點以外，還具備數(shù)據(jù)保密要求高、數(shù)據(jù)質量要求高、數(shù)據(jù)共享應用范圍高度可控等特點。電子裝備試驗大數(shù)據(jù)分析服務平臺必須具有完善的數(shù)據(jù)質量管理與安全管控手段，保障試驗數(shù)據(jù)的可信性、完備性、權威性和安全可控性。

3 電子裝備試驗大數(shù)據(jù)分析服務平臺架構分析與設計

面對試驗數(shù)據(jù)的復雜多變性和數(shù)據(jù)應用的多樣性，設計開放兼容和靈活可擴展的電子裝備試驗大數(shù)據(jù)分析服務平臺尤為重要。電子裝備試驗大數(shù)據(jù)分析服務平臺采用企業(yè)級彈性架構，構建試驗數(shù)據(jù)資源匯集、處理、存儲、分析、安全防護和綜合管理等一體化軟硬件體系，以滿足不同領域、不同層次的應用需求。

3.1 技術體系結構

電子裝備試驗大數(shù)據(jù)分析服務平臺運用大數(shù)據(jù)、云計算等技術理念，采用層次化設計方法設計了包括“四橫四縱”在內的技術體系結構，如圖1所示。其中：“四橫”即基礎支撐層、數(shù)據(jù)處理層、分析服務層和平臺應用層，“四縱”即標準規(guī)范、質量管控、安全保障和運維管理。

基礎支撐層：主要包括通用大數(shù)據(jù)分析處理框架、基礎軟件、共用軟件、地理信息平臺等，為系統(tǒng)提供軟硬件基礎支持。

數(shù)據(jù)處理層：主要提供裝備信息、地理信息、電磁環(huán)境等基礎數(shù)據(jù)，以及預警探測、情報偵察、電子對抗、指揮控制等試驗任務數(shù)據(jù)，并基于大數(shù)據(jù)分析處理平臺，為系統(tǒng)應用提供所需的計算框架、服務引擎和融合處理的結果數(shù)據(jù)。

分析服務層：主要基于裝備模型、電磁傳播模型、電磁環(huán)境模型、電磁環(huán)境效應模型、試驗評估模型等模型，以及聚類分類、時間序列、協(xié)同推薦、深度學習、試驗預測等算法，提供預警探測、情報偵察、電子對抗、指揮控制等專業(yè)相關的檢索查詢、試驗百度、挖掘分析、故障預測、數(shù)據(jù)回溯、云服務等服務。

平臺應用層：主要為試驗機構內外用戶提供統(tǒng)一訪問門戶。平臺可以為試驗機構內部用戶提供試驗任務、仿真建模、基礎研究等輔助支持服務，為試驗機構以外用戶提供數(shù)據(jù)安全共享服務。

標準規(guī)范層：主要包括國家標準、國家軍用標準、電子裝備領域標準和試驗機構標準等。標準范圍覆蓋元數(shù)據(jù)、數(shù)據(jù)元、數(shù)據(jù)采集整編、存儲管理、數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)共享、數(shù)據(jù)服務等。

質量控制層：主要包括電子裝備試驗數(shù)據(jù)內容、形式、效用質量等在內的質量規(guī)則以規(guī)則引擎，主要用于試驗數(shù)據(jù)以及數(shù)據(jù)產品的質量管控。

安全保障層：采取接入控制、證書服務、安全管理監(jiān)察、主機安全監(jiān)控、防火墻、密碼服務等技術手段，確保電子裝備試驗大數(shù)據(jù)分析服務平臺滿足安全保密要求。

運維管理層：主要包括接口管理、總線管理、用戶權限管理、日志管理、軟硬件管理等。

3.2 組成體系架構

在技術架構設計的基礎上，對電子裝備試驗大數(shù)據(jù)分析服務平臺各組成部分進行優(yōu)化設計，形成如圖2所示的組成體系架構。主要包括基礎支撐分系統(tǒng)、業(yè)務支撐分系統(tǒng)、綜合管理分系統(tǒng)。

3.2.1基礎支撐分系統(tǒng)

基礎支撐分系統(tǒng)主要提供通用性、公共性、基礎性強的計算、存儲、網(wǎng)絡等軟硬件資源，主要包括基礎設施、計算、存儲、網(wǎng)絡、容災備份等子系統(tǒng)。

3.2.2業(yè)務支撐分系統(tǒng)

業(yè)務支撐分系統(tǒng)作為平臺核心部分，主要包括數(shù)據(jù)接引與融合、數(shù)據(jù)組織管理、大數(shù)據(jù)分析挖掘、數(shù)據(jù)資源服務等子系統(tǒng)。其中：

數(shù)據(jù)引接與融合子系統(tǒng)通過服務總線/數(shù)據(jù)總線從試驗裝備、被試裝備等數(shù)據(jù)源獲取試驗數(shù)據(jù)，并基于標準體系和質量管控規(guī)則對多源異構數(shù)據(jù)資源進行融合。主要由數(shù)據(jù)總線/服務總線、ETL工具集、接口適配工具等模塊組成。

數(shù)據(jù)存儲管理子系統(tǒng)主要通過數(shù)據(jù)庫等實現(xiàn)各類數(shù)據(jù)的組織、管理與維護。主要由分布式文件數(shù)據(jù)庫、分布式列數(shù)據(jù)庫、分布式數(shù)據(jù)倉庫、一體化存儲管理軟件等模塊組成。

大數(shù)據(jù)分析挖掘子系統(tǒng)依據(jù)用戶需求，可從不同維度、不同粒度對試驗數(shù)據(jù)進行分析挖掘與可視化展示。主要由分布式計算框架、分析服務引擎、分析服務算法庫、分析服務模型庫等模塊組成。

數(shù)據(jù)資源服務子系統(tǒng)主要通過統(tǒng)一的門戶為試驗任務、仿真建模、基礎研究等提供多樣化數(shù)據(jù)產品服務。主要提供檢索查詢、目錄服務、定制分發(fā)、上報申領、數(shù)據(jù)展現(xiàn)等數(shù)據(jù)基礎服務，數(shù)據(jù)分析挖掘，數(shù)據(jù)回溯反演、基于試驗大數(shù)據(jù)的仿真建模等數(shù)據(jù)加工服務以及計算、存儲、網(wǎng)絡等資源服務。

3.2.3綜合管理分系統(tǒng)

綜合管理分系統(tǒng)立足于實現(xiàn)標準規(guī)范、數(shù)據(jù)質量、安全保障、運維管理等需求，提供一體化綜合管理手段。主要包括標準規(guī)范、數(shù)據(jù)質量管控、安全防護、運維管理等子系統(tǒng)。

3.3 運行體系架構

從數(shù)據(jù)分析處理流程角度來看，電子裝備試驗大數(shù)據(jù)分析服務平臺都是在接收各類電子信息裝備試驗數(shù)據(jù)，通過數(shù)據(jù)引接、數(shù)據(jù)融合、大數(shù)據(jù)分析和數(shù)據(jù)服務四部分處理后，通過統(tǒng)一的訪問門戶向數(shù)據(jù)中心、指控中心、仿真試驗系統(tǒng)等外部應用提供數(shù)據(jù)服務。

4 應用模式

4.1 試驗機構內部應用模式

按照“典型試點、逐步推廣”的方法，選擇某一專業(yè)方向作為試點，逐步擴展電子裝備試驗大數(shù)據(jù)分析服務平臺應用范圍。具體應用模式包括且不限于：

4.1.1基于大數(shù)據(jù)的試驗任務輔助支持方面

從人員、裝備、環(huán)境、戰(zhàn)情、流程、試驗結果等多個維度對試驗數(shù)據(jù)進行融合、關聯(lián)分析、聚類挖掘，以支持試驗方案設計、試驗指揮、試驗評估等。例如，對同類型裝備試驗中出現(xiàn)的問題進行聚類，提取裝備類型的問題特征信息，為試驗設計提供參考。

4.1.2基于大數(shù)據(jù)的仿真建模輔助支持方面

采用多粒度的試驗數(shù)據(jù)對模型進行校驗，逐步形成準確權威的模型譜系，服務于試驗任務開展與裝備建設等。當獲取到足夠量的試驗數(shù)據(jù)時，采用全量數(shù)據(jù)代替抽樣數(shù)據(jù)，以鏡像建模、平行仿真的方式替代原有模式，為仿真建模方法創(chuàng)新提供參考。

4.1.3基于大數(shù)據(jù)的基礎研究支持方面

在對試驗數(shù)據(jù)進行整編加工形成權威的初步數(shù)據(jù)產品的基礎上，采用試驗百度、層次關聯(lián)、可視分析等手段為理論創(chuàng)新提供支持，為多層次、標準化、可擴展的環(huán)境構設理論、方法、操作規(guī)程等提供數(shù)據(jù)支持，以指導試驗環(huán)境構設和逼真對手模擬。

4.2 試驗機構外部應用模式

采用“權威發(fā)布、單點共享”的模式，即試驗機構數(shù)據(jù)管理人員對匯聚的試驗數(shù)據(jù)及其分析處理結果進行編目，并在上級試驗數(shù)據(jù)管理平臺中注冊；其它單位了解數(shù)據(jù)目錄后，根據(jù)任務提出具體的數(shù)據(jù)需求并提交審核申請；待有關部門批準后，試驗機構數(shù)據(jù)管理人員按審核范圍從平臺中抽取相應的數(shù)據(jù)提供給數(shù)據(jù)需求方。數(shù)據(jù)需求方無權對數(shù)據(jù)進行發(fā)布和傳播，使用后由數(shù)據(jù)使用方負責銷毀并將銷毀證明提交試驗機構數(shù)據(jù)管理人員。

5 結束語

本文基于大數(shù)據(jù)技術發(fā)展趨勢和電子裝備試驗特點，提出了電子裝備試驗大數(shù)據(jù)的概念，結合試驗數(shù)據(jù)的全維、全域、全生命周期等特點從用戶、數(shù)據(jù)、能力三個方面分析了電子裝備試驗大數(shù)據(jù)分析服務平臺建設需求，提出了平臺架構，并探討平臺在試驗機構內外的應用模式。研究成果可以為試驗機構數(shù)據(jù)中心及數(shù)據(jù)處理中心建設提供參考。

雖然大數(shù)據(jù)技術已經在互聯(lián)網(wǎng)[8]、公共服務[9]、軍事情報處理[10]等領域廣泛應用并取得良好成效，但是將大數(shù)據(jù)技術應用于電子裝備試驗數(shù)據(jù)的分析與服務還處在規(guī)劃設想階段。因此，需要結合電子裝備試驗領域特點，加強大數(shù)據(jù)技術方法和理論研究，并與電子裝備試驗傳統(tǒng)方法相結合，以便于促進大數(shù)據(jù)技術在電子裝備試驗領域的廣泛應用以滿足海量異構試驗數(shù)據(jù)分析需求?！?/p>

[1] 程學旗,靳小龍,王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術綜述[J].軟件學報,2014,25(9):1889-1908.

[2] 國務院.國務院關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知[R].2015，8.

[3] 柯宏發(fā),杜紅梅，趙繼廣，等.電子裝備復雜電磁環(huán)境適應性試驗與評估[M].北京：國防工業(yè)出版社,2005.

[4] 張宏軍,郝文寧,陳剛，等.作戰(zhàn)仿真數(shù)據(jù)工程[M].北京：國防工業(yè)出版社.2004.

[5] 蔡莉,朱揚勇.大數(shù)據(jù)質量[M].上海:上?？茖W技術出版社，2017.

[6] 聶嗥,汪連棟,曾永虎，等.電子信息系統(tǒng)復雜電磁環(huán)境效應[M]. 北京：國防工業(yè)出版社,2013.

[7] 徐忠富,王國玉,張玉竹，等.TENA現(xiàn)狀與展望[J].系統(tǒng)仿真學報,2008,20(23):6325.

[8] Wang YZ, Jin XL, Cheng XQ. Network big data: Present and future[J]. Chinese Journal of Computers, 2013,36(6):1125-1138.

[9] Mayer-Sch?nberger V, Cukier K. Big data: A revolution that will transform how we live, work and think [M]. Houghton Mifflin Harcourt, 2013.

[10] 耿衛(wèi),楊偉超,尤江東,等.美軍大數(shù)據(jù)技術應用研究[J]. 創(chuàng)新科技，2013，11:34-35.

Architecturedesignofbigdateanalysisserviceplatformforelectronicequipmenttest

Wei Yanfei, Xue Yongkui, Yang Tao

(Luoyang Electronic Equipment Test Center of China,Luoyang 471003,Henan,China)

Combing the characteristics of big date technology and electronic equipment test, the basic concept of big date for electronic equipment test is proposed. Based on the needs analysis of date, users, capabilities and so on, big date analysis service platform for flexible and scalable electronic equipment test is designed, and the application model of big date analysis service platform of electronic equipment test inside and outside test institutions is discussed. The proposed platform architecture can provide support for the construction of date centers in related fields, and also can provide support for test date to add value and synergy.

electronic equipment;test date;platform architecture

2017-06-20；2017-08-12修回。

魏雁飛(1972-)，男，高工，主要從事信息資源建設與研究。

TN97

A