鄭培強

(福建省計量科學研究院， 福建 福州 350012)

0 引言

標準符合性測試是依據(jù)標準的描述對標準的某個實現(xiàn)進行測試， 判別標準的實現(xiàn)與所對應的標準描述是否相一致[1]， 測試的依據(jù)是標準或規(guī)范， 測試的目的是評價被測系統(tǒng)與相關標準的符合程度[2]. 在當今大數(shù)據(jù)時代， 信息化業(yè)務協(xié)同標準符合性測試的價值體現(xiàn)在為大數(shù)據(jù)互聯(lián)互通和信息化業(yè)務協(xié)同提供測試技術(shù)支撐， 達到以測促建、 以測促改、 以測促用的目的， 實現(xiàn)數(shù)據(jù)的有效共享和信息的協(xié)同應用.

目前， 我國各個行業(yè)的標準符合性測試正在不斷完善. 文獻[3]開展了軟件標準符合性測試的研究. 文獻[4-5]就電子健康檔案標準符合性測試的基本思路、 測試要點和測試方法進行研究. 文獻[6-7]對于在軍事條件下的信息交換類的標準符合性測試方法進行研究， 為信息系統(tǒng)信息交換標準執(zhí)行情況提供有效的驗證手段. 在信息交換方面， 文獻[8-9]針對不同編解碼工具進行了研究； 文獻[10-11]針對不同領域的信息交換標準提出了對應的符合性測試； 而文獻[2]則針對一般信息交換類標準符合性測試提出一套可量化的評估指標體系.

但信息化標準符合性測試目前只能依靠人工進行比對， 缺乏可量化的評估指標體系， 無法通過自動化的方式進行測試， 工作效率低、 測試質(zhì)量得不到保證. 由于沒有成體系的評價指標， 以及對于測試的流程、 標準沒有統(tǒng)一管理， 當以人工為主進行符合性測試的時候， 測試的結(jié)果往往主觀性較強， 無法做到公正客觀的測試結(jié)果評價. 因此建立合理可行、 具有普適性的評價指標體系是當前進行信息化業(yè)務協(xié)同標準符合性測試首要且迫切需要解決的問題之一. 通過信息化業(yè)務協(xié)同標準符合性測試指標體系， 檢驗建設的信息系統(tǒng)是否按照規(guī)定的標準規(guī)范進行開發(fā)、 接口對接是否實現(xiàn)、 數(shù)據(jù)是否暢通穩(wěn)定， 以確保被測平臺的質(zhì)量， 同時可以發(fā)揮標準的導向作用， 促進各信息系統(tǒng)間實現(xiàn)跨機構(gòu)、 跨地域的互聯(lián)互通、 信息共享和業(yè)務協(xié)同的目標.

1 評價因子

信息化業(yè)務協(xié)同標準符合性測試專門針對信息化業(yè)務協(xié)同以及大數(shù)據(jù)互聯(lián)互通領域進行， 其測試思路是通過綜合運用理論分析、 數(shù)據(jù)抓包等手段進行嚴格的測試， 并根據(jù)測試結(jié)果來評估信息系統(tǒng)業(yè)務協(xié)同和互聯(lián)互通是否符合標準規(guī)范中的各項規(guī)定. 根據(jù)業(yè)務協(xié)同和互聯(lián)互通的特點， 并參考現(xiàn)有標準的評價因子[12-16]， 信息化業(yè)務協(xié)同標準符合性測試指標體系應具有以下五大類評價因子： ① 網(wǎng)絡通評價因子， 二級指標包括網(wǎng)絡連通性、 網(wǎng)絡延遲性和網(wǎng)絡丟包率； ② 業(yè)務通評價因子， 二級指標包括業(yè)務協(xié)同成功率、 業(yè)務協(xié)同充分率、 業(yè)務協(xié)同正確性和業(yè)務協(xié)同實時性； ③ 數(shù)據(jù)通評價因子， 二級指標包括數(shù)據(jù)元標識符符合性、 數(shù)據(jù)類型符合性、 值域符合性、 數(shù)據(jù)重復率、 數(shù)據(jù)缺失率、 數(shù)據(jù)可理解率和數(shù)據(jù)可用率； ④ 接口性能評價因子， 二級指標包括平均響應時間、 CPU占用率和內(nèi)存占用率； ⑤ 接口安全評價因子， 二級指標包括接口調(diào)用可核查性、 數(shù)據(jù)過濾安全性和接口訪問頻率.

1.1 網(wǎng)絡通

網(wǎng)絡通是指被測評對象應該在基礎設施可用的情況下， 能夠正常通信， 并且具備一定的帶寬條件. 其測試內(nèi)容為網(wǎng)絡的傳輸連通性及傳輸質(zhì)量. 網(wǎng)絡通包含3個二級指標， 分別為網(wǎng)絡連通性(N1)， 網(wǎng)絡延遲性(N2)和網(wǎng)絡丟包性(N3). 網(wǎng)絡連通性測試是指通過ping等工具測試被測對象到業(yè)務協(xié)同對象之間的網(wǎng)絡是否可連通. 若網(wǎng)絡可連通， 則N1=100， 否則N1=0. 網(wǎng)絡延遲性測試是指通過測試工具測試被測對象的網(wǎng)絡延遲抖動. 在70%流量512 B·s-1下， 測試兩點間的時延、 抖動， 測試時長為120 s. 當QoS等級為0級時， 要求時延≤60 ms， 抖動≤30 ms； 當QoS等級為1級時， 要求時延≤150 ms， 抖動≤50 ms； 當QoS等級>1時， 不做測試. 符合要求則N2=100， 不符合要求則N2=0. 當QoS等級>1時，N2=100. 網(wǎng)絡丟包率測試是指通過測試工具測試被測對象的網(wǎng)絡丟包率. 要求在70%流量512 B·s-1下的端到端丟包率應小于0.1%， 若網(wǎng)絡符合要求則N3=100， 不符合要求則N3=0.網(wǎng)絡通指標(W)的計算公式如下式所示

W=WN1×N1+WN2×N2+WN3×N3

(1)

其中: WN1、 WN2和WN3分別為網(wǎng)絡連通性、 網(wǎng)絡延遲性和網(wǎng)絡丟包性的指標權(quán)重.

1.2 業(yè)務通

業(yè)務通是指被測評對象在業(yè)務協(xié)同過程中跨系統(tǒng)業(yè)務流程的協(xié)調(diào)一致性性. 其測試內(nèi)容包括被測對象調(diào)用業(yè)務協(xié)同對象接口的充分性、 被測對象調(diào)用業(yè)務協(xié)同對象接口的成功率、 被測對象是否滿足業(yè)務協(xié)同對象的業(yè)務流程一致性和業(yè)務流程完整性以及業(yè)務狀態(tài)的實時性. 業(yè)務通包含4個二級指標， 分別為業(yè)務協(xié)同充分率(B1)、 業(yè)務協(xié)同成功率(B2)、 業(yè)務協(xié)同正確性(B3)和業(yè)務協(xié)同實時性(B4). 業(yè)務協(xié)同充分率和業(yè)務協(xié)同成功率的計算公式如下式所示

(2)

其中:A1和A2分別表示依據(jù)相關文檔(例如接口對應關系表、 需求文檔等)的要求， 已調(diào)用業(yè)務協(xié)同對象接口的接口數(shù)量和成功調(diào)用業(yè)務協(xié)同對象接口的次數(shù);N1和N2分別表示應調(diào)用的業(yè)務協(xié)同對象接口的數(shù)量和總的業(yè)務協(xié)同對象次數(shù).

業(yè)務協(xié)同正確性測試是根據(jù)業(yè)務協(xié)同對象的接口規(guī)范， 測試被測對象的業(yè)務協(xié)同過程是否正確的滿足業(yè)務協(xié)同對象的要求.若符合要求則B3=100， 否則B3=0. 業(yè)務協(xié)同實時性測試是在調(diào)用業(yè)務協(xié)同對象接口后， 測試被測對象的業(yè)務狀態(tài)是否實時更新, 響應時間與請求時間相差的最大值在1 s內(nèi)為符合要求. 若符合要求則B4=100， 否則B4=0.業(yè)務通指標(B)的計算公式如下式所示

B=WB1×B1+WB2×B2+WB3×B3+WB4×B4

(3)

其中: WB1、 WB2、 WB3和WB4分別表示業(yè)務協(xié)同充分率、 業(yè)務協(xié)同成功率、 業(yè)務協(xié)同正確性和業(yè)務協(xié)同實時性的指標權(quán)重.

1.3 數(shù)據(jù)通

數(shù)據(jù)通是指被測評對象在業(yè)務協(xié)同過程中數(shù)據(jù)交換和共享的符合程度. 其測試內(nèi)容包括被測對象的數(shù)據(jù)類型、 數(shù)據(jù)元標識符、 值域是否符合業(yè)務協(xié)同對象數(shù)據(jù)類型規(guī)范以及被測對象的上傳數(shù)據(jù)是否存在重復、 缺失、 亂碼、 亂序和可被業(yè)務協(xié)同對象利用的程度等. 數(shù)據(jù)通包含7個二級指標， 分別為數(shù)據(jù)元標識符符合性(D1)、 數(shù)據(jù)類型符合性(D2)、 值域符合性(D3)、 數(shù)據(jù)重復率(D4)、 數(shù)據(jù)缺失率(D5)、 數(shù)據(jù)可理解率(D6)和數(shù)據(jù)可用率(D7)， 其計算公式如式(4)所示.

(4)

其中:A5、A6、A7、A8、A9、A10和A11分別表示符合數(shù)據(jù)元標識規(guī)范的數(shù)據(jù)元數(shù)、 符合數(shù)據(jù)類型規(guī)范的數(shù)據(jù)元數(shù)、 符合數(shù)據(jù)元值域規(guī)范的值域數(shù)、 被測對象上傳數(shù)據(jù)重復的數(shù)據(jù)記錄數(shù)、 被測對象上傳數(shù)據(jù)缺失的數(shù)據(jù)記錄數(shù)、 被測對象上傳數(shù)據(jù)可理解的數(shù)據(jù)記錄數(shù)和被測對象上傳數(shù)據(jù)可被業(yè)務協(xié)同對象利用的數(shù)據(jù)紀錄數(shù);N5、N6、N7和N8分別表示應符合數(shù)據(jù)元標識規(guī)范的數(shù)據(jù)元數(shù)、 應符合數(shù)據(jù)類型規(guī)范的數(shù)據(jù)元數(shù)、 應符合數(shù)據(jù)元值域規(guī)范的值域數(shù)和總的測試數(shù)據(jù)記錄數(shù).數(shù)據(jù)通指標(D)的計算公式如下式所示

(5)

其中: WDi(i∈{1, 2, 3, 4, 5, 6, 7})分別表示數(shù)據(jù)通所包含的7個二級指標各自的指標權(quán)重.

1.4 接口性能

接口性能是指被測評對象應該可以在滿足指定并發(fā)數(shù)的前提下， 保證接口請求的事務成功率. 其測試內(nèi)容包括接口平均響應時間、 內(nèi)存占用率、 CPU占用率等. 接口性能包含3個二級指標， 分別為平均響應時間(I1)， CPU占用率(I2)和內(nèi)存占用率(I3). 平均響應時間根據(jù)接口測試結(jié)果所處區(qū)間得分： ① 測試結(jié)果≤3 s,I1=100; ② 測試結(jié)果≤5 s,I1=80； ③ 測試結(jié)果≤8 s,I1=60； ④ 測試結(jié)果>8 s,I1=0. CPU占用率根據(jù)測試結(jié)果所處區(qū)間得分： ① 測試結(jié)果≤70%,I2=100； ② 70%<測試結(jié)果≤85%,I2=60； ③ 測試結(jié)果>85%,I2=0. 內(nèi)存占用率根據(jù)測試結(jié)果所處區(qū)間得分： ① 測試結(jié)果≤70%,I3=100； ② 70%<測試結(jié)果≤85%,I3=60, ③ 測試結(jié)果>85%，I3=0.接口性能指標(I)的計算公式如下式所示

I=WI1×I1+WI2×I2+WI3×I3

(6)

其中： WI1、 WI2和WI3分別表示平均響應時間、 CPU占用率和內(nèi)存占用率的指標權(quán)重.

1.5 接口安全

接口安全是指被測評對象應確保信息的安全， 確保接口調(diào)用過程的安全防護、 身份識別和管理. 其測試內(nèi)容包括被測對象日志是否記錄業(yè)務協(xié)同的用戶名、 時間、 源IP地址、 目標IP地址、 接口名稱、 請求的參數(shù)和執(zhí)行結(jié)果等內(nèi)容、 被測對象是否對請求參數(shù)進行過濾以及被測對象是否滿足業(yè)務協(xié)同對象對單個用戶訪問頻率的要求.

接口安全包含3個二級指標， 分別為接口調(diào)用可復查性(S1)、 數(shù)據(jù)過濾有效性(S2)和接口訪問頻率(S3). 接口調(diào)用可復查性測試是查看接口的人工測試日志是否記錄業(yè)務協(xié)同的用戶名、 時間、 源IP地址、 目標IP地址、 接口名稱、 請求的參數(shù)和執(zhí)行結(jié)果等內(nèi)容， 若符合要求， 則S1=100， 否則S1=0. 數(shù)據(jù)過濾有效性測試是指測試是否對常見攻擊請求代碼進行了過濾， 如SQL注入、 命令注入、 遠程代碼執(zhí)行等， 若符合要求， 則S2=100， 否則S2=0. 接口訪問頻率測試是指滿足業(yè)務協(xié)同對象對單個用戶訪問頻率的要求， 若符合要求， 則S3=100， 否則S3=0.接口安全指標(S)的計算公式如下式所示

S=WS1×S1+WS2×S2+WS3×S3

(7)

其中: WS1、 WS2和WS3分別表示可復查性、 數(shù)據(jù)過濾有效性和接口訪問頻率的指標權(quán)重.

1.6 指標綜合評分及測試結(jié)果判定

信息化業(yè)務協(xié)同標準符合性測試的綜合評分計算公式如下式所示

Q=WN×N+WB×B+WD×D+WI×I+WS×S

(8)

其中: WN、 WB、 WD、 WI和WS分別表示網(wǎng)絡通、 業(yè)務通、 數(shù)據(jù)通、 接口性能、 接口安全的權(quán)重.

在計算得出信息化業(yè)務協(xié)同標準符合性測試的綜合評分后， 通過綜合評分的取值來判斷信息化業(yè)務協(xié)同標準符合性測試是否合格. a) 合格. 信息化業(yè)務協(xié)同標準符合性測試的綜合評分Q≥85； b) 基本合格. 信息化業(yè)務協(xié)同標準符合性測試的綜合評分60≤Q<85； c) 不合格. 信息化業(yè)務協(xié)同標準符合性測試的綜合評分Q<60.

2 指標權(quán)重

2.1 指標權(quán)重計算方法

基于信息化業(yè)務協(xié)同標準符合性測試各指標的重要性不同， 需對各指標分別賦予不同的權(quán)重， 本研究采用主觀賦權(quán)法[17]來確定指標權(quán)重. 主觀賦權(quán)法是根據(jù)決策者(專家)主觀上對各屬性的重視程度來確定屬性權(quán)重的方法， 其原始數(shù)據(jù)由專家根據(jù)經(jīng)驗主觀判斷而得到. 主觀賦權(quán)方法的優(yōu)點是專家可以根據(jù)實際問題， 較為合理地確定各指標之間的排序， 也就是說盡管主觀賦權(quán)法不能準確地確定各指標的權(quán)系數(shù)， 但在通常情況下， 主觀賦權(quán)法可以在一定程度上有效地確定各指標按重要程度和給定的權(quán)系數(shù)的先后順序. 由于信息化業(yè)務協(xié)同標準符合性測試指標尚無案例可借鑒， 因此前期用主觀賦權(quán)法比較合適.

常用的主觀賦權(quán)法有專家調(diào)查法(Delphi法)、 層次分析法(AHP)、 二項系數(shù)法、 環(huán)比評分法、 最小平方法等. 本文選用的方法是利用人的經(jīng)驗知識的二元比較量化原理與方法(二元對比模型)來確定權(quán)重. 二元比較量化的算法模型如下.

2.2 參考權(quán)重

根據(jù)以上價值權(quán)重計算方法， 擬定信息化業(yè)務協(xié)同標準符合性測試權(quán)值， 檢測機構(gòu)可根據(jù)指標的重要程度或者項目的實際情況來調(diào)整和制定權(quán)重. 指標權(quán)值見表1.

表1 指標權(quán)值

續(xù)表1

3 測試案例

3.1 概述

“閩政通”平臺接到用戶反饋， 其核酸信息在“閩政通”上無法顯示或者延時顯示， 為此進行福建省核酸檢測信息采集系統(tǒng)與“閩政通”的標準符合性測試. 經(jīng)過調(diào)研， 初步了解到原因為兩個系統(tǒng)之間的接口對接機制和數(shù)據(jù)互通機制沒有做好， 沒有考慮到實時性的需求， 主要體現(xiàn)在：

1) “閩政通”數(shù)據(jù)交換系統(tǒng)每20 min發(fā)一次請求， 每次請求500條數(shù)據(jù). 福建省核酸檢測信息采集系統(tǒng)在接到請求后進行數(shù)據(jù)查詢， 如果查詢時間超過50 s, 則數(shù)據(jù)被標識為已傳送， 造成“閩政通”沒有接收到相關數(shù)據(jù).

2) “閩政通”通過數(shù)據(jù)交換系統(tǒng)調(diào)用福建省核酸檢測信息采集系統(tǒng)的接口取數(shù)據(jù)， 福建省核酸檢測信息采集系統(tǒng)在接收到請求后查詢數(shù)據(jù)庫， 獲取數(shù)據(jù)后即返回調(diào)用成功的狀態(tài)碼. “閩政通”數(shù)據(jù)調(diào)用平臺設置30 s的超時時間， 如果在30 s內(nèi)未接收到請求數(shù)據(jù)則判定為超時.

3.2 測試方案

針對以上問題， 對福建省核酸檢測信息采集系統(tǒng)和“閩政通”對接系統(tǒng)進行信息化業(yè)務協(xié)同標準符合性測試， 主要內(nèi)容為對對接方案進行評估確認， 對對接效果進行符合性測試. 本次測試對網(wǎng)絡通和接口性能的測試無需求， 故本次測試的具體內(nèi)容如下.

1) 對核酸平臺的上傳數(shù)據(jù)進行數(shù)據(jù)元符合性、 值域符合性、 數(shù)據(jù)類型符合性、 重復率、 缺失率、 可理解率、 可用率等數(shù)據(jù)通符合性測試.

2) 對核酸平臺與“閩政通”進行業(yè)務協(xié)同充分率、 成功率、 正確性、 實時性業(yè)務通符合性測試.

3) 對核酸平臺進行數(shù)據(jù)調(diào)用可核查性、 數(shù)據(jù)過濾有效性、 接口訪問頻率等接口安全符合性測試.

3.3 測試結(jié)果

福建省核酸檢測信息采集系統(tǒng)每30 s發(fā)送一次請求， 每次請求10條數(shù)據(jù)， 請求603次， 共6 030條數(shù)據(jù). 通過對抓取的數(shù)據(jù)包進行分析測試， 測試結(jié)果表明：

1) 福建省核酸檢測信息采集系統(tǒng)每次發(fā)起請求的響應時間為3 s， 業(yè)務協(xié)同的時間過高， 業(yè)務協(xié)同實時性指標不符合要求.

2) 在603次請求中存在6次重復數(shù)據(jù)推送； 在5 998條核酸數(shù)據(jù)中存在77條重復數(shù)據(jù)， 數(shù)據(jù)重復率指標不符合要求.

3) 福建省核酸檢測信息采集系統(tǒng)沒有接口調(diào)用日志， 接口調(diào)用可核查性指標不符合要求.

4) 測試結(jié)果顯示福建省核酸檢測信息采集系統(tǒng)發(fā)起5 400余次對“閩政通”身份驗證接口的空閑請求， “閩政通”未對接口訪問頻率進行控制， 接口訪問頻率不符合要求.

3.4 測試結(jié)果得分

根據(jù)以上測試結(jié)果并根據(jù)表1計算每個二級指標得分、 一級指標的得分小計以及綜合得分， 如表2所示. 因網(wǎng)絡通和接口性能不做測試， 故這兩項一級指標的得分均為100分.

表2 測試結(jié)果得分

3.5 測試結(jié)果判定

本測試中有4個指標未通過測試， 最終計算得出被測系統(tǒng)的綜合得分為84.994. 根據(jù)測試結(jié)果判定方法， 福建省核酸檢測信息采集系統(tǒng)和“閩政通”對接系統(tǒng)的信息化業(yè)務協(xié)同標準符合性測試的測試結(jié)果為基本合格， 需根據(jù)測試缺陷進一步修改完善.

4 結(jié)語

本研究在分析標準符合性測試現(xiàn)狀和問題的基礎上， 對如何構(gòu)建信息化業(yè)務協(xié)同標準符合性測試評估指標體系進行分析， 并就各指標的內(nèi)容、 評分以及測試結(jié)果判定等進行細化說明. 而后根據(jù)指標權(quán)重的計算方法提供各指標的參考權(quán)重， 最后通過案例對指標體系進行驗證， 為信息化業(yè)務協(xié)同標準符合性測試提供一種科學有效的量化評估解決方案.