信息化業務協同標準符合性測試評價指標體系

鄭培強

(福建省計量科學研究院， 福建 福州 350012)

0 引言

標準符合性測試是依據標準的描述對標準的某個實現進行測試， 判別標準的實現與所對應的標準描述是否相一致[1]， 測試的依據是標準或規范， 測試的目的是評價被測系統與相關標準的符合程度[2]. 在當今大數據時代， 信息化業務協同標準符合性測試的價值體現在為大數據互聯互通和信息化業務協同提供測試技術支撐， 達到以測促建、 以測促改、 以測促用的目的， 實現數據的有效共享和信息的協同應用.

目前， 我國各個行業的標準符合性測試正在不斷完善. 文獻[3]開展了軟件標準符合性測試的研究. 文獻[4-5]就電子健康檔案標準符合性測試的基本思路、 測試要點和測試方法進行研究. 文獻[6-7]對于在軍事條件下的信息交換類的標準符合性測試方法進行研究， 為信息系統信息交換標準執行情況提供有效的驗證手段. 在信息交換方面， 文獻[8-9]針對不同編解碼工具進行了研究； 文獻[10-11]針對不同領域的信息交換標準提出了對應的符合性測試； 而文獻[2]則針對一般信息交換類標準符合性測試提出一套可量化的評估指標體系.

但信息化標準符合性測試目前只能依靠人工進行比對， 缺乏可量化的評估指標體系， 無法通過自動化的方式進行測試， 工作效率低、 測試質量得不到保證. 由于沒有成體系的評價指標， 以及對于測試的流程、 標準沒有統一管理， 當以人工為主進行符合性測試的時候， 測試的結果往往主觀性較強， 無法做到公正客觀的測試結果評價. 因此建立合理可行、 具有普適性的評價指標體系是當前進行信息化業務協同標準符合性測試首要且迫切需要解決的問題之一. 通過信息化業務協同標準符合性測試指標體系， 檢驗建設的信息系統是否按照規定的標準規范進行開發、 接口對接是否實現、 數據是否暢通穩定， 以確保被測平臺的質量， 同時可以發揮標準的導向作用， 促進各信息系統間實現跨機構、 跨地域的互聯互通、 信息共享和業務協同的目標.

1 評價因子

信息化業務協同標準符合性測試專門針對信息化業務協同以及大數據互聯互通領域進行， 其測試思路是通過綜合運用理論分析、 數據抓包等手段進行嚴格的測試， 并根據測試結果來評估信息系統業務協同和互聯互通是否符合標準規范中的各項規定. 根據業務協同和互聯互通的特點， 并參考現有標準的評價因子[12-16]， 信息化業務協同標準符合性測試指標體系應具有以下五大類評價因子： ① 網絡通評價因子， 二級指標包括網絡連通性、 網絡延遲性和網絡丟包率； ② 業務通評價因子， 二級指標包括業務協同成功率、 業務協同充分率、 業務協同正確性和業務協同實時性； ③ 數據通評價因子， 二級指標包括數據元標識符符合性、 數據類型符合性、 值域符合性、 數據重復率、 數據缺失率、 數據可理解率和數據可用率； ④ 接口性能評價因子， 二級指標包括平均響應時間、 CPU占用率和內存占用率； ⑤ 接口安全評價因子， 二級指標包括接口調用可核查性、 數據過濾安全性和接口訪問頻率.

1.1 網絡通

網絡通是指被測評對象應該在基礎設施可用的情況下， 能夠正常通信， 并且具備一定的帶寬條件. 其測試內容為網絡的傳輸連通性及傳輸質量. 網絡通包含3個二級指標， 分別為網絡連通性(N1)， 網絡延遲性(N2)和網絡丟包性(N3). 網絡連通性測試是指通過ping等工具測試被測對象到業務協同對象之間的網絡是否可連通. 若網絡可連通， 則N1=100， 否則N1=0. 網絡延遲性測試是指通過測試工具測試被測對象的網絡延遲抖動. 在70%流量512 B·s-1下， 測試兩點間的時延、 抖動， 測試時長為120 s. 當QoS等級為0級時， 要求時延≤60 ms， 抖動≤30 ms； 當QoS等級為1級時， 要求時延≤150 ms， 抖動≤50 ms； 當QoS等級>1時， 不做測試. 符合要求則N2=100， 不符合要求則N2=0. 當QoS等級>1時，N2=100. 網絡丟包率測試是指通過測試工具測試被測對象的網絡丟包率. 要求在70%流量512 B·s-1下的端到端丟包率應小于0.1%， 若網絡符合要求則N3=100， 不符合要求則N3=0.網絡通指標(W)的計算公式如下式所示

W=WN1×N1+WN2×N2+WN3×N3

(1)

其中: WN1、 WN2和WN3分別為網絡連通性、 網絡延遲性和網絡丟包性的指標權重.

1.2 業務通

業務通是指被測評對象在業務協同過程中跨系統業務流程的協調一致性性. 其測試內容包括被測對象調用業務協同對象接口的充分性、 被測對象調用業務協同對象接口的成功率、 被測對象是否滿足業務協同對象的業務流程一致性和業務流程完整性以及業務狀態的實時性. 業務通包含4個二級指標， 分別為業務協同充分率(B1)、 業務協同成功率(B2)、 業務協同正確性(B3)和業務協同實時性(B4). 業務協同充分率和業務協同成功率的計算公式如下式所示

(2)

其中:A1和A2分別表示依據相關文檔(例如接口對應關系表、 需求文檔等)的要求， 已調用業務協同對象接口的接口數量和成功調用業務協同對象接口的次數;N1和N2分別表示應調用的業務協同對象接口的數量和總的業務協同對象次數.

業務協同正確性測試是根據業務協同對象的接口規范， 測試被測對象的業務協同過程是否正確的滿足業務協同對象的要求.若符合要求則B3=100， 否則B3=0. 業務協同實時性測試是在調用業務協同對象接口后， 測試被測對象的業務狀態是否實時更新, 響應時間與請求時間相差的最大值在1 s內為符合要求. 若符合要求則B4=100， 否則B4=0.業務通指標(B)的計算公式如下式所示

B=WB1×B1+WB2×B2+WB3×B3+WB4×B4

(3)

其中: WB1、 WB2、 WB3和WB4分別表示業務協同充分率、 業務協同成功率、 業務協同正確性和業務協同實時性的指標權重.

1.3 數據通

數據通是指被測評對象在業務協同過程中數據交換和共享的符合程度. 其測試內容包括被測對象的數據類型、 數據元標識符、 值域是否符合業務協同對象數據類型規范以及被測對象的上傳數據是否存在重復、 缺失、 亂碼、 亂序和可被業務協同對象利用的程度等. 數據通包含7個二級指標， 分別為數據元標識符符合性(D1)、 數據類型符合性(D2)、 值域符合性(D3)、 數據重復率(D4)、 數據缺失率(D5)、 數據可理解率(D6)和數據可用率(D7)， 其計算公式如式(4)所示.

(4)

其中:A5、A6、A7、A8、A9、A10和A11分別表示符合數據元標識規范的數據元數、 符合數據類型規范的數據元數、 符合數據元值域規范的值域數、 被測對象上傳數據重復的數據記錄數、 被測對象上傳數據缺失的數據記錄數、 被測對象上傳數據可理解的數據記錄數和被測對象上傳數據可被業務協同對象利用的數據紀錄數;N5、N6、N7和N8分別表示應符合數據元標識規范的數據元數、 應符合數據類型規范的數據元數、 應符合數據元值域規范的值域數和總的測試數據記錄數.數據通指標(D)的計算公式如下式所示

(5)

其中: WDi(i∈{1, 2, 3, 4, 5, 6, 7})分別表示數據通所包含的7個二級指標各自的指標權重.

1.4 接口性能

接口性能是指被測評對象應該可以在滿足指定并發數的前提下， 保證接口請求的事務成功率. 其測試內容包括接口平均響應時間、 內存占用率、 CPU占用率等. 接口性能包含3個二級指標， 分別為平均響應時間(I1)， CPU占用率(I2)和內存占用率(I3). 平均響應時間根據接口測試結果所處區間得分： ① 測試結果≤3 s,I1=100; ② 測試結果≤5 s,I1=80； ③ 測試結果≤8 s,I1=60； ④ 測試結果>8 s,I1=0. CPU占用率根據測試結果所處區間得分： ① 測試結果≤70%,I2=100； ② 70%<測試結果≤85%,I2=60； ③ 測試結果>85%,I2=0. 內存占用率根據測試結果所處區間得分： ① 測試結果≤70%,I3=100； ② 70%<測試結果≤85%,I3=60, ③ 測試結果>85%，I3=0.接口性能指標(I)的計算公式如下式所示

I=WI1×I1+WI2×I2+WI3×I3

(6)

其中： WI1、 WI2和WI3分別表示平均響應時間、 CPU占用率和內存占用率的指標權重.

1.5 接口安全

接口安全是指被測評對象應確保信息的安全， 確保接口調用過程的安全防護、 身份識別和管理. 其測試內容包括被測對象日志是否記錄業務協同的用戶名、 時間、 源IP地址、 目標IP地址、 接口名稱、 請求的參數和執行結果等內容、 被測對象是否對請求參數進行過濾以及被測對象是否滿足業務協同對象對單個用戶訪問頻率的要求.

接口安全包含3個二級指標， 分別為接口調用可復查性(S1)、 數據過濾有效性(S2)和接口訪問頻率(S3). 接口調用可復查性測試是查看接口的人工測試日志是否記錄業務協同的用戶名、 時間、 源IP地址、 目標IP地址、 接口名稱、 請求的參數和執行結果等內容， 若符合要求， 則S1=100， 否則S1=0. 數據過濾有效性測試是指測試是否對常見攻擊請求代碼進行了過濾， 如SQL注入、 命令注入、 遠程代碼執行等， 若符合要求， 則S2=100， 否則S2=0. 接口訪問頻率測試是指滿足業務協同對象對單個用戶訪問頻率的要求， 若符合要求， 則S3=100， 否則S3=0.接口安全指標(S)的計算公式如下式所示

S=WS1×S1+WS2×S2+WS3×S3

(7)

其中: WS1、 WS2和WS3分別表示可復查性、 數據過濾有效性和接口訪問頻率的指標權重.

1.6 指標綜合評分及測試結果判定

信息化業務協同標準符合性測試的綜合評分計算公式如下式所示

Q=WN×N+WB×B+WD×D+WI×I+WS×S

(8)

其中: WN、 WB、 WD、 WI和WS分別表示網絡通、 業務通、 數據通、 接口性能、 接口安全的權重.

在計算得出信息化業務協同標準符合性測試的綜合評分后， 通過綜合評分的取值來判斷信息化業務協同標準符合性測試是否合格. a) 合格. 信息化業務協同標準符合性測試的綜合評分Q≥85； b) 基本合格. 信息化業務協同標準符合性測試的綜合評分60≤Q<85； c) 不合格. 信息化業務協同標準符合性測試的綜合評分Q<60.

2 指標權重

2.1 指標權重計算方法

基于信息化業務協同標準符合性測試各指標的重要性不同， 需對各指標分別賦予不同的權重， 本研究采用主觀賦權法[17]來確定指標權重. 主觀賦權法是根據決策者(專家)主觀上對各屬性的重視程度來確定屬性權重的方法， 其原始數據由專家根據經驗主觀判斷而得到. 主觀賦權方法的優點是專家可以根據實際問題， 較為合理地確定各指標之間的排序， 也就是說盡管主觀賦權法不能準確地確定各指標的權系數， 但在通常情況下， 主觀賦權法可以在一定程度上有效地確定各指標按重要程度和給定的權系數的先后順序. 由于信息化業務協同標準符合性測試指標尚無案例可借鑒， 因此前期用主觀賦權法比較合適.

常用的主觀賦權法有專家調查法(Delphi法)、 層次分析法(AHP)、 二項系數法、 環比評分法、 最小平方法等. 本文選用的方法是利用人的經驗知識的二元比較量化原理與方法(二元對比模型)來確定權重. 二元比較量化的算法模型如下.

2.2 參考權重

根據以上價值權重計算方法， 擬定信息化業務協同標準符合性測試權值， 檢測機構可根據指標的重要程度或者項目的實際情況來調整和制定權重. 指標權值見表1.

表1 指標權值

續表1

3 測試案例

3.1 概述

“閩政通”平臺接到用戶反饋， 其核酸信息在“閩政通”上無法顯示或者延時顯示， 為此進行福建省核酸檢測信息采集系統與“閩政通”的標準符合性測試. 經過調研， 初步了解到原因為兩個系統之間的接口對接機制和數據互通機制沒有做好， 沒有考慮到實時性的需求， 主要體現在：

1) “閩政通”數據交換系統每20 min發一次請求， 每次請求500條數據. 福建省核酸檢測信息采集系統在接到請求后進行數據查詢， 如果查詢時間超過50 s, 則數據被標識為已傳送， 造成“閩政通”沒有接收到相關數據.

2) “閩政通”通過數據交換系統調用福建省核酸檢測信息采集系統的接口取數據， 福建省核酸檢測信息采集系統在接收到請求后查詢數據庫， 獲取數據后即返回調用成功的狀態碼. “閩政通”數據調用平臺設置30 s的超時時間， 如果在30 s內未接收到請求數據則判定為超時.

3.2 測試方案

針對以上問題， 對福建省核酸檢測信息采集系統和“閩政通”對接系統進行信息化業務協同標準符合性測試， 主要內容為對對接方案進行評估確認， 對對接效果進行符合性測試. 本次測試對網絡通和接口性能的測試無需求， 故本次測試的具體內容如下.

1) 對核酸平臺的上傳數據進行數據元符合性、 值域符合性、 數據類型符合性、 重復率、 缺失率、 可理解率、 可用率等數據通符合性測試.

2) 對核酸平臺與“閩政通”進行業務協同充分率、 成功率、 正確性、 實時性業務通符合性測試.

3) 對核酸平臺進行數據調用可核查性、 數據過濾有效性、 接口訪問頻率等接口安全符合性測試.

3.3 測試結果

福建省核酸檢測信息采集系統每30 s發送一次請求， 每次請求10條數據， 請求603次， 共6 030條數據. 通過對抓取的數據包進行分析測試， 測試結果表明：

1) 福建省核酸檢測信息采集系統每次發起請求的響應時間為3 s， 業務協同的時間過高， 業務協同實時性指標不符合要求.

2) 在603次請求中存在6次重復數據推送； 在5 998條核酸數據中存在77條重復數據， 數據重復率指標不符合要求.

3) 福建省核酸檢測信息采集系統沒有接口調用日志， 接口調用可核查性指標不符合要求.

4) 測試結果顯示福建省核酸檢測信息采集系統發起5 400余次對“閩政通”身份驗證接口的空閑請求， “閩政通”未對接口訪問頻率進行控制， 接口訪問頻率不符合要求.

3.4 測試結果得分

根據以上測試結果并根據表1計算每個二級指標得分、 一級指標的得分小計以及綜合得分， 如表2所示. 因網絡通和接口性能不做測試， 故這兩項一級指標的得分均為100分.

表2 測試結果得分

3.5 測試結果判定

本測試中有4個指標未通過測試， 最終計算得出被測系統的綜合得分為84.994. 根據測試結果判定方法， 福建省核酸檢測信息采集系統和“閩政通”對接系統的信息化業務協同標準符合性測試的測試結果為基本合格， 需根據測試缺陷進一步修改完善.

4 結語

本研究在分析標準符合性測試現狀和問題的基礎上， 對如何構建信息化業務協同標準符合性測試評估指標體系進行分析， 并就各指標的內容、 評分以及測試結果判定等進行細化說明. 而后根據指標權重的計算方法提供各指標的參考權重， 最后通過案例對指標體系進行驗證， 為信息化業務協同標準符合性測試提供一種科學有效的量化評估解決方案.