馬佳楠，張利萍，董 浩，雷永剛

(1.北京跟蹤與通信技術研究所，北京 100094;2.中國西南電子技術研究所，成都 610036)

0 引 言

航天測控網(wǎng)是航天工程和空間基礎設施的重要組成部分，主要由測控中心、測控站網(wǎng)構成，能夠為各類航天器發(fā)射、運行和回收等提供測控通信支持服務，是天地聯(lián)系的關鍵通道、信息交換的中樞以及應用處理分析的基礎[1-3]。近年來，國內(nèi)外航天事業(yè)蓬勃發(fā)展，衛(wèi)星發(fā)射頻率及在軌衛(wèi)星數(shù)量急劇增加，運行壽命延長，星座化趨勢明顯，測控數(shù)傳需求日益增多，測控設備數(shù)量也因此急劇增加[4-6]。測控中心作為航天測控網(wǎng)的調(diào)度管理中心，面臨著資源調(diào)度難以求解、設備運維管控繁重等難題。

指標體系的構建是進行系統(tǒng)效能評估的重要工作和基礎前提[7-8]。通過構建科學合理的評估指標體系，獲取任務滿足、資源使用、用戶用網(wǎng)等方面指標，對航天測控網(wǎng)進行全方位多維度的效能評估，是提升站網(wǎng)資源使用效率、優(yōu)化用戶用網(wǎng)服務的關鍵環(huán)節(jié)。基于效能評估分析結果，能夠發(fā)現(xiàn)航天測控站網(wǎng)運行的薄弱環(huán)節(jié)，對系統(tǒng)優(yōu)化改進提供技術支撐，進而提升航天測控網(wǎng)的綜合效能和用戶用網(wǎng)服務質量。

目前，國內(nèi)外結合不同領域具體應用需求，開展了大量效能評估仿真評估的研究與開發(fā)工作，形成了諸如EADSIM、FLAMES、WESS、COSIM等通用或專用型效能評估系統(tǒng)。但通用型效能評估系統(tǒng)難以適應具體領域業(yè)務場景，應用開發(fā)工作量大、操作繁瑣復雜，而專用型效能評估系統(tǒng)僅局限在領域特殊應用場景，靈活擴展性不足[8-10]。另外，目前提出的評估方法受限于當時工作需要和條件限制，具有一定的主觀成分和局限性[11]。航天測控站網(wǎng)是一項系統(tǒng)性工程，功能組成與業(yè)務邏輯極其復雜，文獻[6,12-14]分別從多星測控調(diào)度、測控設備保障、測控容災等不同側面進行了指標體系構建和評估算法研究，并通過仿真方法進行驗證。目前國內(nèi)還未建立起切實易用的航天測控網(wǎng)效能評估系統(tǒng)平臺，同時，結合航天測控網(wǎng)業(yè)務邏輯特點，需要在日、周、月、年等不同周期、任務完成或設備故障等具體事件發(fā)生時、用戶手動操作配置等條件下，啟動效能評估過程，以滿足航天測控站網(wǎng)多模式、全方位、多維度評估需求。

針對上述問題和航天測控站網(wǎng)實際評估需求，本文設計并實現(xiàn)了一套基于云原生架構的多模式效能評估系統(tǒng)，支持周期自動、事件觸發(fā)、手動啟動等多種評估模式，以滿足航天測控站網(wǎng)不同維度不同方式評估需求，在提供評估方案、指標體系、評估算法、報表模板等多維度模型管理功能的基礎上，根據(jù)評估任務配置信息，在效能評估計算引擎的統(tǒng)一調(diào)度下，完成評估數(shù)據(jù)獲取、評估指標計算、效能聚合計算、評估報表自動生成等全流程處理。最后，通過具體應用案例對系統(tǒng)進行了驗證。

1 功能特點

航天測控網(wǎng)多模式效能評估系統(tǒng)兼顧領域專用性和平臺擴展性，具備多維度評估模型管理、多樣數(shù)據(jù)接入、多模式評估模式支持、多評估環(huán)節(jié)定制可變等特點，既能滿足航天測控網(wǎng)多樣效能評估需求，也能適應未來站網(wǎng)設備增加、新型測控技術應用等變化。

(1)多維度評估模型管理

將評估任務、評估方案、指標體系、評估算法、指標算子、評估報表(含報表模板)等抽象為模型，在數(shù)據(jù)庫中通過模型標識進行關聯(lián)組織和統(tǒng)一存儲管理，是全部評估信息與配置的承載容器，也是效能評估計算處理的執(zhí)行依據(jù)。

(2)多樣數(shù)據(jù)接入

支持MySQL、Oracle等主流數(shù)據(jù)庫以及csv、xls、txt等多種方式接入，采用統(tǒng)一標準進行抽取、轉換和加載，并進行異常值檢測、野值剔除、數(shù)據(jù)過濾等預處理功能，為效能評估計算處理提供數(shù)據(jù)基礎。

(3)多模式評估模式支持

以周期自動、事件觸發(fā)、手動啟動等多種評估模式，啟動效能評估計算處理過程，以適應航天測控網(wǎng)在日、周、月、年等不同周期、任務完成或設備故障等具體事件發(fā)生時、用戶手動操作配置等各類評估場景。通過將不同領域評估場景進行抽象總結為三種標準評估模式，可以適應其他不同領域不同場景的具體評估需求。

(4)多評估環(huán)節(jié)定制可變

在多維度評估模型管理的基礎上，能夠針對不同評估對象特點，實現(xiàn)指標體系可定制、評估算法可調(diào)整、報表模板可編輯、顯示樣式可配置等多環(huán)節(jié)靈活可變。

2 系統(tǒng)架構設計

2.1 系統(tǒng)架構

多模式效能評估系統(tǒng)在航天測控網(wǎng)中心系統(tǒng)統(tǒng)一云原生架構下開發(fā)，位于SAAS層，采用B/S多層體系架構，自上而下依次由應用層、服務層、數(shù)據(jù)層等組成，為操作員提供全流程效能評估服務。多模式效能評估系統(tǒng)架構如圖1所示。

圖1 系統(tǒng)架構設計

(1)應用層

面向操作員提供效能評估全過程的交互操作和配置管理功能，主要分為多維度模型管理和效能分析兩部分功能。其中，多維度評估模型管理包括評估方案管理、評估算法管理、指標體系管理、報表模板設計管理等，效能分析功能包括評估過程監(jiān)控、評估任務配置管理、評估報表管理、評估結果顯示及評估結果管理等功能。

(2)服務層

分為兩類：一是具體的業(yè)務服務，由多模式效能評估系統(tǒng)實現(xiàn)，包括針對評估方案、指標體系、評估算法、報表模板等提供的獲取、編輯、查詢、導出、保存、刪除等通用服務，以及評估過程執(zhí)行時后臺運行服務，包括指標數(shù)據(jù)匯總、指標計算分析、指標規(guī)范化處理、效能評估計算、評估報表生成(評估報表管理)等服務；二是由中心系統(tǒng)統(tǒng)一提供的服務接口、配置接口、消息隊列等通用共性服務，是業(yè)務運行的底層支撐。

(3)數(shù)據(jù)層

提供多模式效能評估系統(tǒng)運行的公共數(shù)據(jù)環(huán)境，包括評估方案數(shù)據(jù)庫、指標體系數(shù)據(jù)庫、報表模板數(shù)據(jù)庫、算法模型數(shù)據(jù)庫、評估報表數(shù)據(jù)庫及評估結果數(shù)據(jù)庫等。數(shù)據(jù)層完成各類評估數(shù)據(jù)的管理，并建立統(tǒng)一的數(shù)據(jù)規(guī)范，為上層應用提供統(tǒng)一的數(shù)據(jù)模型、統(tǒng)一的數(shù)據(jù)編目機制及統(tǒng)一的數(shù)據(jù)存檔與數(shù)據(jù)存儲服務。

2.2 工作流程

根據(jù)實際評估需求和評估對象特點，分為模型管理、任務配置、評估執(zhí)行、評估應用等四個階段，完成多模式效能評估計算處理全流程生命活動的配置管理和執(zhí)行，如圖2所示。

圖2 系統(tǒng)工作流程

(1)模型管理階段

根據(jù)實際評估任務需求，建立評估方案，構建評估指標體系，完成底層可測量指標的定義、可視化顯示設計及評估報告內(nèi)容配置等。

(2)任務配置階段

建立評估任務，確定評估模式并完成相應參數(shù)配置，進而綁定一個或多個評估方案，根據(jù)具體任務需求，完成根節(jié)點指標和中間層能力指標評估算法的選擇和參數(shù)配置、底層可測量指標輸入與數(shù)據(jù)源中具體字段的關聯(lián)配置，任務配置完成后，發(fā)起評估啟動。

(3)評估執(zhí)行階段

完成評估任務配置解析后，識別周期自動、事件觸發(fā)自動、手動發(fā)起等評估任務模式，建立周期計時器或事件監(jiān)聽器，在滿足周期時間或事件觸發(fā)條件時自動啟動或立即啟動評估執(zhí)行過程，依次完成評估數(shù)據(jù)匯總處理、指標計算分析、系統(tǒng)效能聚合及評估報告生成等處理過程。

3 關鍵技術實現(xiàn)

3.1 評估模型組織管理

多模式效能評估系統(tǒng)通過評估任務、評估方案、指標體系、報表模板、評估報表等對評估計算處理過程中的全部數(shù)據(jù)結構和結果進行組織管理，作為效能評估執(zhí)行的依據(jù)。各評估模型數(shù)據(jù)的組織關系如圖3所示。

圖3 評估模型數(shù)據(jù)組織管理

下面進一步說明各評估模型的作用和組織關系。

(1)評估任務

評估任務聚合一個或多個評估方案進行統(tǒng)一管理，記錄了評估模式與參數(shù)配置、評估方案綁定關系、評估算法參數(shù)配置、指標與輸入數(shù)據(jù)的關聯(lián)配置等全部評估信息，是效能評估啟動執(zhí)行的總體依據(jù)。

(2)評估方案

評估方案表征單個評估對象的評估信息，同樣是效能評估執(zhí)行的依據(jù)。一個評估方案中僅包含一個評估對象的評估指標體系及相應報表模板，并允許綁定到多個評估任務中。在基本信息配置、指標體系綁定和報表模板綁定完成后，根據(jù)指標體系結構和定義，依次完成評估結果顯示設計和報表文檔內(nèi)容配置。

(3)指標體系

指標體系與具體評估方案進行綁定，是各類不同性質指標組成的有機整體，是綜合測量評估對象的尺度集合。本文設計實現(xiàn)的多模式效能評估系統(tǒng)中，按照“系統(tǒng)根節(jié)點指標-中間能力層指標-底層可測量指標”的層次化結構進行各層級指標模型的組織管理。其中，系統(tǒng)根節(jié)點指標是評估對象系統(tǒng)效能的綜合體現(xiàn)；中間層能力指標是評估對象某一方面能力的表征，允許出現(xiàn)多個層次的中間層能力指標，但最終要與底層各測量指標進行關聯(lián)；底層可測量指標不可再分，直接與輸入數(shù)據(jù)關聯(lián)，由輸入數(shù)據(jù)直接或間接處理計算后得到，能直觀反映評估對象最基本能力。每個節(jié)點指標都通過指標名稱、指標類型、指標標識、父指標等屬性進行表征和層次關聯(lián)，對于底層可測量指標，通過指標算子拓撲圖定義輸入輸出并表征計算方式等信息。指標體系層級結構如圖4所示。

圖4 指標體系層級結構

(4)報表模板

報表模板與具體評估方案進行綁定，按照指標體系標準結構，預定義評估結果顯示內(nèi)容和風格樣式，同時確定報表文檔輸出內(nèi)容、目錄結構、顯示方法、文檔格式等信息，是后續(xù)評估方案配置時面向具體指標體系進行可視化顯示設計和報表文檔內(nèi)容設計的基礎模板。

3.2 多模式評估設計

3.2.1 周期自動評估

周期自動評估模式主要面向按日、周、月、季度、年等固定時間間隔對航天測控網(wǎng)服務支持能力進行周期評估的應用場景。采用開源作業(yè)調(diào)度框架Quartz對周期自動評估任務進行統(tǒng)一調(diào)度管理，每一個周期自動評估任務由定時任務接口Job定義表征，周期啟動時間條件通過CronTrigger配合CRON表達式完成復雜靈活的時間規(guī)則配置，調(diào)度器Scheduler根據(jù)CronTrigger的時間規(guī)則調(diào)度控制評估任務Job的執(zhí)行。

本文中提供了日、周、月、季度、年等周期啟動默認時間規(guī)則，并允許用戶自定義啟動周期，具體如表1所示。在滿足時間規(guī)則條件后，調(diào)度器Scheduler自動調(diào)度執(zhí)行相應評估任務。

表1 周期啟動默認時間規(guī)則

3.2.2 事件觸發(fā)評估

事件觸發(fā)評估模式主要面向某項測控任務完成、設備退網(wǎng)、周期調(diào)度或應急調(diào)度完成后需要分析評估的場景，當上述事件發(fā)生時發(fā)送評估啟動通知消息作為觸發(fā)條件啟動評估過程。多模式效能評估系統(tǒng)通過Kafka消息隊列對外提供評估啟動通知、評估執(zhí)行反饋等異步業(yè)務服務接口，同時通過RESTful API對外提供評估結果查詢接口。事件觸發(fā)評估交互過程具體如圖5所示。

圖5 事件觸發(fā)評估交互過程

任何滿足接口定義的其他外部系統(tǒng)根據(jù)實際需求，完成約定格式的消息接口內(nèi)容參數(shù)填充，均可向多模式效能評估系統(tǒng)發(fā)送評估啟動通知消息，作為評估觸發(fā)條件，啟動評估執(zhí)行過程，并向消息請求方返回執(zhí)行狀態(tài)及評估結果數(shù)據(jù)。事件觸發(fā)評估交互過程中傳遞的具體消息格式如表2和表3所示。

表2 評估啟動通知消息格式

表3 評估執(zhí)行結果反饋消息格式

表3(續(xù))

3.2.3 手動啟動評估

對于手動啟動評估任務，在完成評估任務及指標數(shù)據(jù)關聯(lián)配置后啟動，立即執(zhí)行評估過程，并允許用戶對評估過程隨時進行操作控制。

4 應用實例

下面以航天測運控網(wǎng)綜合支持服務效能評估為例進一步介紹本文中多模式效能評估系統(tǒng)的應用情況。

4.1 指標體系構建

指標體系構建是效能評估的關鍵基礎。本文結合航天測控站網(wǎng)業(yè)務特點及相關技術文獻，通過本系統(tǒng)構建了包含3層結構、4種能力、57個底層可測量指標的站網(wǎng)綜合支持服務評估指標體系，并以此對每個指標進行定義。指標體系構建結果具體如圖6所示。表4為綜合支持服務效能評估指標體系組成。

圖6 指標體系構建

表4 綜合支持服務效能評估指標體系組成

圖7 指標算子拓撲圖

4.2 評估方案配置

在完成指標體系構建后，新建評估方案，并建立與站網(wǎng)綜合支持服務能力評估指標體系間的綁定關系，并依次完成各個指標文字內(nèi)容、顯示方式的編輯和配置。如圖8所示，對于根節(jié)點“站網(wǎng)綜合支持服務能力”，通過雷達圖顯示下屬4個中間層能力指標的效能值，在評估結果生成后，能夠直觀地表現(xiàn)出航天測運控站網(wǎng)資源薄弱能力環(huán)節(jié)。

圖8 評估方案配置

4.3 評估任務配置

指標體系構建、評估方案配置屬于多維度評估模型管理功能，為效能分析評估提供支撐。指標體系與評估方案、評估方案與評估任務之間能夠實現(xiàn)“多對多”綁定關系，可以最大限度地實現(xiàn)指標體系、評估方案的靈活復用。

在評估任務配置階段，新建“站網(wǎng)綜合支持服務能力周期評估任務”，評估模式為“周期自動評估”，評估周期為“周”，定時啟動時間為每周一中午12時。評估任務基本信息配置完成后，綁定“站網(wǎng)綜合支持服務能力評估方案”，并依次完成各個底層指標輸入與數(shù)據(jù)庫具體字段之間的關聯(lián)關系。各個底層指標輸入數(shù)據(jù)主要由資源調(diào)度、資源管控等業(yè)務分系統(tǒng)產(chǎn)生，在指標數(shù)據(jù)關聯(lián)配置階段，通過直接拖動方式將業(yè)務數(shù)據(jù)庫中的具體字段與底層指標算子拓撲圖輸入進行綁定，建立指標輸入與數(shù)據(jù)庫具體字段之間的關聯(lián)關系，是后續(xù)底層指標計算時獲取輸入數(shù)據(jù)的依據(jù)。指標數(shù)據(jù)關聯(lián)配置操作過程如圖9所示。

圖9 指標數(shù)據(jù)關聯(lián)配置

“站網(wǎng)綜合支持服務能力周期評估任務”配置完成后發(fā)起評估，在滿足周期評估時間條件，即每周一中午12時，啟動評估過程，生成評估結果和評估報表。

4.4 評估結果展示

周期自動評估任務會生成多條評估結果，以列表形式進行組織管理，選中具體評估結果后，根據(jù)評估方案可視化顯示配置，以圖形、列表、文字等方式，顯示詳細評估結果，如圖10所示。

圖10 評估結果顯示

5 結束語

面對愈加密集的航天發(fā)射活動和日益繁重的航天器運行管控業(yè)務，開展航天測控網(wǎng)多維度、全方位的效能評估對發(fā)現(xiàn)系統(tǒng)運行薄弱環(huán)節(jié)、不斷提升站網(wǎng)資源使用效率、持續(xù)優(yōu)化用戶用網(wǎng)服務具有重要意義。在此背景下，本文設計并實現(xiàn)了一套多模式效能評估系統(tǒng)，支持周期自動、事件觸發(fā)、手動啟動等多種評估模式，并具備多維度評估模型管理、多樣數(shù)據(jù)接入、多評估環(huán)節(jié)定制可變等特點；通過具體應用實例，對系統(tǒng)特點、使用方法及評估效果進行了充分說明，該系統(tǒng)既能滿足航天測控網(wǎng)多樣效能評估需求，也能適應未來站網(wǎng)設備增加、新型測控技術應用等變化。在未來工作中，將依托本文中多模式效能評估系統(tǒng)，繼續(xù)探索和構建科學合理的航天測控網(wǎng)多維評估指標體系并開展多模式評估，進一步提升航天測控網(wǎng)使用效能和太空空間利用能力。