裝備試驗數據質量綜合評價指標體系與建模方法

岳明橋，馬躍飛，翟一琛

(中國人民解放軍92493 部隊，遼寧 葫蘆島 125000)

0 引 言

隨著大數據時代來臨，信息化、智能化技術在軍事領域廣泛運用，戰爭形態發生深刻變化，數據的作用日益凸顯，依托數據籌劃戰爭、使用數據描述戰爭、利用數據實施戰爭已經成為當今軍事博弈的發展趨勢。裝備試驗數據是試驗過程中獲取和使用到數據的總稱，是支撐裝備設計、論證、鑒定、使用和改進的戰略資源。如何獲取高質量的裝備試驗數據已成為裝備試驗領域的研究熱點[1]。

不同于一般的商業數據，裝備試驗數據來源廣泛（包括內外部資料、光測、雷測、遙測等），類型多樣（包括文檔、圖片、視頻、結構化數據、專用數據包等），數據量大，同時數據價值不隨時間推移而迅速降低[2]。傳統的數據質量評價方法主要針對結構化數據，基于數據庫的數據完整性約束，完成對數據的準確性、完整性和一致性評價[3-5]。隨著互聯網技術的發展和大數據時代的到來，數據質量評價對象逐步從單一的結構化數據拓展到半結構化和非結構化數據。程豪[6]從完整性、及時性、有效性、一致性和精度等方面提出了大數據質量評價的基本框架，但沒有給出具體的評價方法。陳超[7]給出了軍事數據質量評價的指標體系和基于多層次灰色評價法的軍事數據質量評價建模求解方法，但在指標設置中僅考慮了數據規范性、完整性等固有指標，未將數據質量等宏觀影響因素以及可用性等因素考慮在內。此外，根據靜態和動態2 個視角建立評估作戰數據質量的指標體系[8-9]。這些指標對評價試驗數據質量具有一定借鑒意義，但一些指標的獲取難度大，可操作性不高。上述方法獲取的指標權重都未考慮指標間的影響關系，削弱了數據質量評價結果的科學性和合理性。

本文從裝備試驗數據特點出發，首先建立具有3 個層面、12 個維度、28 個指標的裝備試驗數據質量綜合評價指標體系，綜合考慮定性、定量指標，應用群體決策和模糊決策圖(fuzzy decision map, FDM)的混合方法，提出一種裝備試驗數據質量評價的綜合建模方法，提升裝備試驗數據質量評價模型的針對性、結果的合理性。最后，以某型艦船裝備試驗數據評價問題為例進行案例分析，驗證所提方法的有效性。

1 裝備試驗數據質量綜合評價指標體系

裝備試驗數據質量評價過程復雜，具有多層次、多粒度等特點。為達到全面、準確、客觀評價裝備試驗數據質量的目的，遵循科學性、全局性、典型性、用戶優先、指標值易獲取等原則，從政策環境層、固有質量層和效用質量層3 個方面評價數據質量，并進一步細化制定12 個維度，在每個維度中又選取定量、定性以及綜合性等不同類型的指標，從而建立裝備試驗數據質量綜合評價指標體系。

1.1 政策環境層

政策環境層從外部環境角度描述數據質量，包括法規政策、標準規范、人員體制和技術手段共4 個維度。

法規政策維度中包含3 個指標，分別是法規政策全面性(CLR)、法規政策適用性(ALR)和法規政策執行度(ILR)；標準規范維度中包含3 個指標，分別是標準規范全面性(CSS)、標準規范適用性(ASS)和標準體系執行度(ISS)；人員體制維度中包含2 個指標，分別是專業設置(RPS)和機構設置(ROS)；技術支持手段維度中包含2 個指標，分別是單系統成熟度(MSS)和體系整體性(GSS)。

政策環境層指標大多是定性指標，很難用給定公式進行評價，為解決該問題，給出一種專家評價法。

1.2 固有質量層

固有質量層從數據本身描述數據質量，包括規范性、完整性、一致性、安全性和及時性共5 個維度。

規范性維度中包含2 個指標。第1 個指標是標準規范符合度(CDS)，關注的是裝備試驗數據按照裝備試驗數據標準規范進行采集、處理、存儲和應用的程度，可表示為：

其中，ConNum表示符合裝備試驗數據標準規范的數據量，NumT表示數據總量。

第2 個指標是數據的語義一致性(SCD)，關注的是1 個裝備試驗數據模型中不同屬性間的定義，以及命名相似的屬性定義的一致性，描述了相似數據對象共享一致名稱與含義的程度，可表示為：

其中，TSNum表示名稱相似的數據項個數。

完整性維度中包含2 個指標。第1 個指標是給定設備測試任務(CRT)的數據完成率，可表示為：

其中，NumF為實際存在的數據量，NumD為應該存在的數據量。

第2 個指標是值總體密度(VDD)，反映裝備試驗數據的整體飽滿情況，可表示為：

其中，NumN為空數據量。

一致性維度中包含3 個指標。第1 個指標是表示一致性(ECD)，主要關注不同位置存儲的同一類數據是否滿足同一種規范；第2 個指標是價值一致性(VCD)，主要關注不同存儲位置的同一類數據的特性是否相同；第3 個指標是空值一致性(ECN)，主要關注不同位置存儲和使用的空數據的表示方法及含義是否相同。上述3 個指標的取值可由以下方程得到：

其中，ENum，VNum，NNum分別表示各指標中對應不一致的數據項數。

安全性維度中包含2 個指標。第1 個指標是數據存儲安全性(DSS)，主要關注數據備份和災難恢復的策略；第2 個指標是加密算法安全性(EAS)，主要關注裝備試驗數據加密算法被破解的難易程度。這2 個指標都是定性指標。

及時性維度中包含2 個指標。第1 個指標是數據發布及時性(DPT)，重點考察從裝備試驗數據產生到數據對外發布所花費的時間與需求緊迫度之間的關系；第2 個指標是數據獲取及時性(DAT)，重點考察從裝備試驗數據最后更新到獲取到所需數據所花費的時間與需求緊迫度之間的關系。

假設有n個數據集，有

式中：TPi，TGi，OTi和UTi分別為第i個數據集的數據發布、生成、獲取和更新時間。

1.3 效用質量層

效用質量層從用戶的角度描述數據質量，包括易用性、適用性和可信性共3 個維度。

易用性維度中包括3 個指標，分別是數據可獲取性(AD)、數據可讀性(RD)和數據可處理性(PD)。其中，數據可獲取性指檢查用戶查找和發現數據的容易程度；數據可讀性指裝備試驗數據的內容是否易于用戶理解；數據可處理性關系到用戶如何更方便地編輯和分析數據。這些指標可表示為：

其中，AN，RN，PN分別表示可讀取、獲取和處理的數據集數量。

適用性維度中包含2 個指標，分別是數據適量性(DM)和數據內容符合度(DC)。其中，數據適量性關注的是數據量是否滿足用戶需求，數據內容符合度指數據的內容是否滿足用戶的需求。

可信性維度中包含2 個指標，分別是數據源可信性(DRC)和數據流轉可信性(DFC)。其中，數據源可信性一般由數據提供方的權威性決定，數據流轉可信性指試驗數據在傳遞過程中出現偏差、錯誤、篡改的可能性。

適用性維度和可信性維度中的4 個指標難以給出有意義的公式進行準確評價，本文采用專家評價法對其進行評價。

2 方法步驟

基于建立的裝備試驗數據質量綜合評價指標體系，提出一種應用群體決策和模糊決策圖法的混合方法計算數據質量整體得分，主要步驟為：

步驟1使用群體決策方法從給出的所有指標中選取滿足給定評價問題目標的核心指標；

步驟2考慮各指標間的影響關系，使用模糊決策圖法計算所選指標的優先級；

步驟3使用2 種不同的方法分別計算不同類型的指標值，再采用線性加權的方法得到數據質量整體得分。

2.1 指標選取

不同情況下利益相關者關注的指標可能不同，評估目標間存在差異，提出一種群體決策方法，目的是從所有指標中選取核心指標，具體步驟為：

步驟1假設有m個專家被邀請，判斷每個指數是否必要，第j個專家對第i個指標的判斷可表示為Ju(i,j)。若第j個專家認為第i個指標是必要的，則Ju(i,j)=1，否則Ju(i,j)=0。

步驟2收集專家的答案，第i個指標的必要度可表示為：

步驟3將NDi與給定閾值TH進行比較，若NDi≥TH，則表示第i個指標是必需的。在實踐中，選取TH=0.2。

2.2 基于模糊決策圖法確定所選指標的優先級

裝備試驗數據評價的復雜性使得所選指標間基本不具備獨立性。為了合理考慮不同指標間的影響關系，本文提出使用模糊決策圖法得到各指標的優先級[8-10]，FDM 的具體步驟如下：

假設有一個4 元組(N,E,C,f)，其中，N={N1,N2···,Nn}為指標集，E為指標間的影響權重組成的連接矩陣，C為狀態矩陣，C(0)為初始狀態，C(t)為某一迭代時刻的狀態矩陣，f為閾值函數，表示C(t)和C(t+1)之間的權值關系。常用的閾值函數為：

步驟1計算指標的初始權重。比較各指標間的重要程度，使用Saaty[11]提出的兩兩比較矩陣法建立判斷矩陣，采用1～9 判斷尺度導出初始權向量z。若各指標間相互獨立，則使用初始權向量z作為各指標的最終權向量。

步驟2構造描述各指標間的影響權重E。假設表示指標k對指標j的影響程度，若指標k對指標j沒有影響，則ek j=0。

步驟3根據下列方程構建穩態矩陣C*：

其中，In×n是單位矩陣。

步驟4導出指標的全局權重。按下式計算歸一化初始權向量和穩態矩陣：

其中，max(z)表示z的最大值，γ表示C*的行和最大，全局權向量ω由下式計算可得：

則ω可看作是指標的最終權重向量。

2.3 計算數據質量得分

裝備試驗數據評價過程復雜，包含多種定性、定量指標，難以通過一種方法得到所有指標值，本文提出一種混合方法用于計算數據質量得分。首先，使用專家評價法得到定性指標的值；然后，使用抽樣統計方法計算得到定量指標的值。最后，使用線性加權法得到全局數據質量得分。

2.3.1 專家評價法

在裝備試驗數據質量評價問題中存在幾個定性指標，如CLR，ALR等，很難定義公式來衡量這些指標。為解決此問題，收集專家對指標的判斷形成語言集，該語言集包括5 個具有唯一數值的語言術語：

如果專家認為數據的值介于2 個給定語言項之間，則可以選擇對應2 個值間的整數。在實踐中，為提高評價的準確性，可邀請不同領域的多位專家對同一指標進行評價，第j個專家對第i個指標的群體判斷可表示為：

最后，歸一化判斷可得：

其中，用該方法求值的指標共有16 個，分別是：

2.3.2 抽樣統計方法

在裝備試驗數據評價問題中，除定性指標外，還有許多定量指標，如ECD及VCD等。給出所有定量指標的計算方法，但裝備試驗數據龐雜，為提高計算效率，提出2 步采樣統計方法，具體步驟為：

步驟1在測試數據評價問題中有很多不同種類的數據集，使用系統抽樣法隨機選擇幾個數據集；

步驟2從選擇的每個數據集中選擇數據項，然后根據選定的數據項，通過相應的公式直接計算出定量指標的值。

2.3.3 匯總得到全局得分

通過給出的方法，可以逐個得到各指標的值，再通給出的方法得到各指標優先級，數據質量評價的最終得分可表示為：

其中，ω為指標的權重向量，v為指標的得分。

3 算 例

艦船試驗是艦船完工投入使用前所需的必要環節，為保障艦船試驗數據質量，在進行相關數據構建過程中，必須結合具體業務要求進行數據質量評價。以某型艦船裝備試驗數據評價問題為例，對所提模型進行驗證。

1）指標選取

為選出給定評價問題中的核心指標，邀請9 位專家對所有指標進行打分，各指標的必要度可由式(13)計算得到，選取TH=0.2，得到以下8 個指標：

2） 指標優先級

確定各指標的權重。各指標間的影響關系如圖1 所示。利用FDM 方法計算各指標權重，結果如表1 所示。

表1 指標權重Tab. 1 Weight of each index

圖1 指標間的影響關系Fig. 1 The influence relationship between the indicators

3）評估結果

各指標的數值如表2 所示。

表2 指標值Tab. 2 Index value

綜合以上結果，通過式(22)計算可得最終質量得分R=0.699。根據計算結果，相關人員可清楚認識到該試驗數據的質量水平。

4 結 語

為解決現有裝備試驗數據質量評價存在的諸多問題，綜合考慮多項評估要素，構建裝備試驗數據質量綜合評價指標體系，提出一種定性與定量相結合的評估數據質量水平的混合方法。并以某艦船裝備試驗數據評價問題為例，驗證了所提方法的可行性，為大數據背景下裝備試驗數據質量的有效評估提供參考。