鄧蕊 王龍濤 李亞偉

（1.北京賽迪軟件測評工程技術(shù)中心有限公司 北京市 100048）（2.北京計算機技術(shù)及應(yīng)用研究所 北京市 100854 3.中國軟件評測中心 北京市 100048）

隨著國家“自主可控”規(guī)劃的推進(jìn)，國產(chǎn)操作系統(tǒng)作為關(guān)鍵基礎(chǔ)平臺，在軍工行業(yè)的應(yīng)用得到了快速發(fā)展[1]。而國產(chǎn)服務(wù)器操作系統(tǒng)作為裝備信息系統(tǒng)的核心和自控可控的重點，其技術(shù)狀態(tài)將直接影響裝備信息系統(tǒng)效能。當(dāng)前，國產(chǎn)服務(wù)器操作系統(tǒng)發(fā)展時間短，系統(tǒng)版本迭代快，測試標(biāo)準(zhǔn)的更新相對滯后，因此，為保證裝備信息系統(tǒng)的適用性和可用性，軍工行業(yè)逐步開展了國產(chǎn)服務(wù)器操作系統(tǒng)軟件單品驗證工作。本文基于國產(chǎn)服務(wù)器操作系統(tǒng)應(yīng)用特點，結(jié)合裝備信息系統(tǒng)應(yīng)用要求，識別了國產(chǎn)服務(wù)器操作系統(tǒng)軟件單品測試需求，結(jié)合相關(guān)測試標(biāo)準(zhǔn)和調(diào)研結(jié)果，構(gòu)建了有針對性的測試指標(biāo)，分析并給出了測試內(nèi)容和測試方法，為后續(xù)國產(chǎn)服務(wù)器操作系統(tǒng)測試工作提供數(shù)據(jù)參考。

1 測試需求分析與測試指標(biāo)體系構(gòu)建

1.1 測試需求分析

本文結(jié)合國產(chǎn)服務(wù)器操作系統(tǒng)應(yīng)用特點，主要通過對操作系統(tǒng)產(chǎn)品研制單位、裝備系統(tǒng)研制單位、使用單位進(jìn)行調(diào)研，以及向相關(guān)領(lǐng)域?qū)＜疫M(jìn)行技術(shù)咨詢的方式，分析并識別了國產(chǎn)服務(wù)器操作系統(tǒng)的測試需求。

國產(chǎn)服務(wù)器操作系統(tǒng)作為應(yīng)用系統(tǒng)的基礎(chǔ)架構(gòu)平臺，除了需具備中文化的操作系統(tǒng)環(huán)境和常用圖形管理工具外，還需具備服務(wù)器端專用的配置管理工具、完善的網(wǎng)絡(luò)服務(wù)等功能，具有高可靠、易管理、高性能等要求。一般情況下，選用服務(wù)器操作系統(tǒng)，用戶優(yōu)先考慮其安全性和資源消耗情況，以滿足用戶業(yè)務(wù)對計算、存儲、網(wǎng)絡(luò)及I/O 能力的要求。因此，國產(chǎn)服務(wù)器操作系統(tǒng)測試重點主要體現(xiàn)在功能、適配兼容性、性能、安全性和可靠性等幾個層面，圍繞上述幾個層面開展測試需求分析工作，具體情況如下：

1.1.1 針對功能層面的測試需求

服務(wù)器通常以命令行方式進(jìn)行配置和運行，因此服務(wù)器操作系統(tǒng)的圖形用戶界面相對不重要。服務(wù)器操作系統(tǒng)作為計算機的關(guān)鍵軟件，其可擴展能力、高可用支撐能力以及可定制能力均需要得到有效的提高，才能滿足裝備信息系統(tǒng)發(fā)展的需求。因此，需要重點從上述三個方面驗證操作系統(tǒng)的能力：可擴展性方面主要測試系統(tǒng)的虛擬機能力以及集群能力；高可用支撐能力方面主要測試系統(tǒng)在集群環(huán)境下的高可用能力，如負(fù)載均衡、高可用工作模式、節(jié)點高可用支持能力等；可定制能力方面主要測試系統(tǒng)服務(wù)的管理能力、模塊和網(wǎng)絡(luò)支持去除能力等。

1.1.2 針對適配兼容層面的測試需求

目前，由于國產(chǎn)基礎(chǔ)軟硬件產(chǎn)品（CPU、操作系統(tǒng)、數(shù)據(jù)庫、中間件等）整體缺乏應(yīng)用牽引和頂層設(shè)計，整個自主化產(chǎn)業(yè)鏈不夠完善，導(dǎo)致國產(chǎn)軟硬件產(chǎn)品之間兼容適配的集成度不高[2]。通過對相關(guān)領(lǐng)域裝備信息系統(tǒng)研制單位、使用單位進(jìn)行調(diào)研，發(fā)現(xiàn)國產(chǎn)操作系統(tǒng)在應(yīng)用過程中存在大量適配兼容方面的問題，適配兼容問題不僅會影響用戶的使用體驗，更嚴(yán)重的會影響裝備信息系統(tǒng)的作戰(zhàn)能力、質(zhì)量安全。因此，軟硬件適配列入測試需求，本文主要從國產(chǎn)CPU 適配、總線協(xié)議適配、常用外設(shè)適配、常用的開發(fā)集成環(huán)境支持以及主流的編程語言環(huán)境支持等方面開展適配兼容測試。

1.1.3 針對性能層面的測試需求

裝備信息系統(tǒng)要完成與其他各系統(tǒng)的數(shù)據(jù)通信任務(wù)，必須保證專用的數(shù)據(jù)通道和足夠的寬帶，保證數(shù)據(jù)傳輸?shù)目煽啃?。因此，性能測試要考慮信息文件性能、網(wǎng)絡(luò)連接數(shù)、進(jìn)程/線程通信延時、寬帶，網(wǎng)絡(luò)傳輸速率等方面。

1.1.4 針對安全性層面的測試需求

國產(chǎn)服務(wù)器操作系統(tǒng)將廣泛應(yīng)用到軍工裝備中，作為應(yīng)用系統(tǒng)的核心基礎(chǔ)軟件，必須保證數(shù)據(jù)的安全性和可靠性。因此，為提高數(shù)據(jù)傳輸和存儲的安全性，需重點考察數(shù)據(jù)安全機制，如網(wǎng)絡(luò)傳輸加密、數(shù)據(jù)存儲加密等。

1.1.5 針對可靠性層面的測試需求

完全自主可控是裝備發(fā)展的方向，自主的操作系統(tǒng)作為裝備應(yīng)用系統(tǒng)運行環(huán)境的基礎(chǔ)，它的穩(wěn)定可靠關(guān)系裝備應(yīng)用系統(tǒng)性能優(yōu)劣的重要因素，其潛在的故障可能導(dǎo)致系統(tǒng)的癱瘓。因此，結(jié)合裝備的效能因素，需對國產(chǎn)服務(wù)器操作系統(tǒng)展開可靠性測試，包括服務(wù)器操作系統(tǒng)的長時間不間斷運行能力以及系統(tǒng)在高負(fù)載條件下的抗壓能力等。

1.2 測試指標(biāo)體系構(gòu)建

本文基于國產(chǎn)服務(wù)器操作系統(tǒng)的測試需求（詳見1.1 章節(jié)），結(jié)合GJB 7696-2012、GJB 7717-2012、GJB 7699-2012、GJB 7721-2012 等相關(guān)國家軍用標(biāo)準(zhǔn)，從功能、適配性、性能、接口、安全性、可靠性、安裝性、文檔審查等八個方面，構(gòu)建了國產(chǎn)服務(wù)器操作系統(tǒng)軟件單品測試指標(biāo)體系（見圖1），并通過了外部專家評審。

圖1：國產(chǎn)服務(wù)器操作系統(tǒng)測試指標(biāo)體系

2 測試內(nèi)容與測試方法研究

國產(chǎn)服務(wù)器操作系統(tǒng)的測試順序，先進(jìn)行文檔審查和安裝性測試，再進(jìn)行功能測試、性能測試和適配性測試等類型的測試。擬選取的測試內(nèi)容和測試方法具體如下。

2.1 功能測試

功能測試主要采用功能分解、等價類劃分、邊界值分析、錯誤推測和隨機測試等黑盒測試技術(shù)，對操作系統(tǒng)的各個功能項進(jìn)行測試，驗證在正常狀態(tài)、邊界狀態(tài)、異常狀態(tài)或在人為設(shè)定的狀態(tài)下系統(tǒng)的功能情況。測試方法如下：

（1）基本功能：通過人工操作，或編寫測試腳本，結(jié)合LTP、Netperf 等測試工具，或系統(tǒng)提供的相關(guān)命令等多種方法，驗證系統(tǒng)的基本功能，內(nèi)容包括任務(wù)管理、內(nèi)存管理、文件系統(tǒng)管理、網(wǎng)絡(luò)管理、字符集支持、中文支持、命令測試等測試項。

（2）安全功能：通過系統(tǒng)提供的相關(guān)命令或人工操作的方法，驗證安全功能項，內(nèi)容包括自主訪問控制策略、身份鑒別、安全審計等。

（3）圖形化操作：通過人工操作的方法，驗證系統(tǒng)的圖形化操作功能項，內(nèi)容包括桌面、開始菜單、系統(tǒng)面板、啟動與登錄、快速啟動欄、工作區(qū)和任務(wù)欄等。

（4）系統(tǒng)與服務(wù)管理：通過人工操作的方法，驗證系統(tǒng)與服務(wù)管理功能項，內(nèi)容包括控制面板、網(wǎng)絡(luò)管理、文件瀏覽器、系統(tǒng)與資源管理等。

（5）可擴展能力：通過系統(tǒng)提供的虛擬機管理工具驗證虛擬機的管理能力，如虛擬機創(chuàng)建、容器添加等；采用Lmbench、LTP 等綜合性能測試工具，測試虛擬機中的性能損耗，驗證虛擬機的性能是否受其他虛擬機的負(fù)載影響；通過對節(jié)點進(jìn)行安裝部署和安裝配置MPICH，測試系統(tǒng)的集群能力，包括節(jié)點的啟動安裝方式、并行計算模式和安裝鏡像的定制。

（6）可定制能力：通過系統(tǒng)提供的相關(guān)命令或配置工具，驗證可定制能力，內(nèi)容包括內(nèi)核軟件包大小、模塊支持去除、網(wǎng)絡(luò)支持去除、指定硬件平臺專用設(shè)備模塊、系統(tǒng)服務(wù)管理、圖形操作環(huán)境可定制項等。

（7）高可用支撐能力：測試系統(tǒng)單機環(huán)境下的高可用能力和集群環(huán)境下的高可用能力。單機環(huán)境下的高可用能力覆蓋硬件故障處理、靜態(tài)數(shù)據(jù)備份和實時數(shù)據(jù)同步、檢查點與恢復(fù)機制、基于日志文件的高可用文件系統(tǒng)；集群環(huán)境下的高可用能力，覆蓋負(fù)載均衡、雙機熱備、多機熱備等高可用工作模式、節(jié)點或應(yīng)用高可用支持能力。

2.2 適配性測試

對系統(tǒng)的硬件適配、軟件適配、文件格式適配進(jìn)行測試，測試方法如下：

（1）硬件適配性主要驗證系統(tǒng)與國產(chǎn)CPU（飛騰、龍芯等）、固件、總線等硬件平臺的兼容情況，與鍵盤、鼠標(biāo)、打印機、存儲設(shè)備、以太網(wǎng)卡、HSA 網(wǎng)卡、顯卡、USB 卡等外設(shè)的兼容情況。

（2）軟件適配性主要驗證系統(tǒng)與集成開發(fā)環(huán)境（QtCreator、Eclipse 等）、主流的編程語言環(huán)境（C/C++、Java等）、國產(chǎn)數(shù)據(jù)庫（金倉數(shù)據(jù)庫、達(dá)夢數(shù)據(jù)庫等）、國產(chǎn)中間件（TongWeb、TongLink/Q 等）、國產(chǎn)辦公軟件（WPS、Liberwriter 等）的兼容情況。

（3）文件格式適配性主要驗證系統(tǒng)中媒體文件（BMP、JPG/JPEG、PNG、MP4、MPEG、MOV 等）和版式文件（PDF、DOC、DOCX、ODF、TXT、RTF 等）的顯示情況，驗證壓縮文件（RAR、GZIP、BZIP、7-ZIP、ZIP、ZR 等）的解壓情況。

2.3 性能測試

對系統(tǒng)的性能逐項進(jìn)行測試，驗證其性能是否滿足要求，測試方法如下：

（1）與硬件無關(guān)的性能測試：通過lscpu、free、lsblk、df 命令，分別查看CPU 信息文件、內(nèi)存信息文件、交換分區(qū)信息文件、文件系統(tǒng)信息文件，驗證信息文件中的各項指標(biāo)是否滿足要求；采用Netperf 測試工具測試網(wǎng)絡(luò)連接數(shù)；通過編寫用戶創(chuàng)建腳本，分別持續(xù)創(chuàng)建用戶，持續(xù)加長用戶名，通過命令查看用戶數(shù)和用戶名長度是否要求；編寫測試程序連續(xù)申請內(nèi)存空間，直至空閑內(nèi)存空間為50MB，查看系統(tǒng)是否保持正常運行；編寫測試程序向外存空間連續(xù)寫入數(shù)據(jù)，直至空閑外存空間為全部外出空間的5%，查看系統(tǒng)是否保持正常運行。

（2）操作系統(tǒng)的整機性能測試：采用Netperf 測試工具測試網(wǎng)絡(luò)傳輸速率；采用Unixbench、Lmbench 等測試工具測試空進(jìn)程打開時間、空進(jìn)程上下文切換時間、進(jìn)程/線程通信延時、帶寬、內(nèi)存連續(xù)讀寫延時；使用X11perf 測試工具繪制2D 圖形，查看顯示速率是否滿足要求；使用光盤進(jìn)行快速無人值守方式安裝操作系統(tǒng)，測試安裝的總時間是否不超過2 小時；從關(guān)機狀態(tài)啟動操作系統(tǒng)，記錄開始內(nèi)核加載至出現(xiàn)登錄界面的時間作為系統(tǒng)啟動時間，驗證啟動時間是否不超過2 分鐘。

2.4 接口測試

對系統(tǒng)的編程接口進(jìn)行測試，使用LTP 測試工具或編寫接口函數(shù)調(diào)用的驅(qū)動程序和樁程序，驗證系統(tǒng)編程接口函數(shù)的調(diào)用情況，范圍覆蓋函數(shù)參數(shù)的正常、異常和邊界情況，內(nèi)容包括任務(wù)管理接口、資源管理接口、通信管理接口、設(shè)備驅(qū)動接口等各類編程接口。

2.5 安全性測試

對系統(tǒng)提供的安全保密性、措施有效性、防止非法進(jìn)入系統(tǒng)并保護(hù)軟件的數(shù)據(jù)完整性等安全能力進(jìn)行測試。結(jié)合功能測試方法，利用系統(tǒng)提供的相關(guān)命令，采用OpenSSL、Nmap、Wireshark、SignTool 等相關(guān)測試工具，驗證系統(tǒng)向應(yīng)用提供的安全保護(hù)能力，內(nèi)容包括用戶密碼保護(hù)、用戶安裝控制、應(yīng)用執(zhí)行控制、網(wǎng)絡(luò)傳輸加密、網(wǎng)絡(luò)端口保護(hù)、數(shù)據(jù)存儲加密、數(shù)據(jù)完整性等。

2.6 可靠性測試

對系統(tǒng)的長時間不間斷運行能力和開關(guān)機穩(wěn)定性能力進(jìn)行測試，測試內(nèi)容和方法如下：

（1）使用LTP 測試工具執(zhí)行高負(fù)載作業(yè)（如進(jìn)程創(chuàng)建、進(jìn)程間通信、上下文切換等多種進(jìn)程調(diào)度操作），使CPU、內(nèi)存、外存占用率不低于95%，連續(xù)運行168小時，驗證系統(tǒng)是否能夠保持穩(wěn)定運行狀態(tài)。

（2）驗證系統(tǒng)在空載條件下，無硬件故障及人為故障時，非正常關(guān)機導(dǎo)致的外存不一致故障修復(fù)時間；人工編寫無故障啟動腳本，通過腳本啟動無故障的連續(xù)開關(guān)機（啟動至顯示登錄界面即關(guān)機）不少于100 次，驗證系統(tǒng)是否能夠正常運行。

2.7 安裝性測試

對系統(tǒng)的安裝、升級和維護(hù)功能進(jìn)行測試，測試方法如下：

（1）系統(tǒng)安裝：正常安裝系統(tǒng)，驗證系統(tǒng)是否支持光盤、網(wǎng)絡(luò)、硬盤、U 盤等不同安裝方式，安裝過程中是否可以切換安裝形態(tài)（圖形安裝、字符安裝），是否可以選擇典型安裝或自定義安裝類型，是否提供安裝配置功能；安裝后，查看系統(tǒng)是否能夠正常運行，查看/var/log/anaconda 文件下是否生成安裝日志信息；安裝多操作系統(tǒng)，查看系統(tǒng)是否具有系統(tǒng)引導(dǎo)機制；引導(dǎo)安裝模式下，進(jìn)入救援模式，查看系統(tǒng)安裝是否能夠修復(fù)成功；在系統(tǒng)安裝過程中，選擇退出安裝，查看系統(tǒng)是否具有完善的退出安裝機制；在系統(tǒng)安裝過程中，查看是否有詳細(xì)的安裝說明和提示信息，是否有圖形化的提示信息。

（2）系統(tǒng)升級：系統(tǒng)安裝完成后，通過安裝系統(tǒng)補丁進(jìn)行新功能部署或漏洞修補，驗證系統(tǒng)補丁安裝是否不影響現(xiàn)有系統(tǒng)應(yīng)用功能；通過升級包升級系統(tǒng)，驗證系統(tǒng)在不損害原系統(tǒng)功能的前提下，是否支持版本升級。

（3）系統(tǒng)維護(hù)：基于安裝媒介啟動系統(tǒng)，進(jìn)行分區(qū)和文件系統(tǒng)操作，驗證系統(tǒng)的脫機維護(hù)功能是否正確，系統(tǒng)是否提供安裝后的即時系統(tǒng)備份功能。

2.8 文檔審查

根據(jù)文檔檢查單，通過人工的方式對操作系統(tǒng)的技術(shù)文檔（如軟件產(chǎn)品規(guī)格說明、軟件用戶手冊、聯(lián)機幫助等）逐一檢查，驗證技術(shù)文檔是否滿足相關(guān)標(biāo)準(zhǔn)的規(guī)范要求，重點審查技術(shù)文檔的完整性、一致性和準(zhǔn)確性。

3 總結(jié)

本文針對國產(chǎn)服務(wù)器操作系統(tǒng)，識別了軟件測試需求，構(gòu)建了測試指標(biāo)體系，分析并總結(jié)了測試內(nèi)容和測試方法，為國產(chǎn)服務(wù)器操作系統(tǒng)的測試工作提供了參考指南。