基于通用評估系統環境下數據管理平臺設計的研究及思考

馮濟舟

(中國電子科技集團公司第三十八研究所 合肥 230088)

(ajizhou@163.com)

隨著現代體系工程技術的發展，傳統依靠人為對客體因素定性評估，完成最終部署和決策的方式已遠遠不能滿足現代工程的需要，基于大量客體信息數據的智能化評估系統已成為當今工程部署及指揮的重要決策工具.通過智能化評估系統，可預先、快速、全面、準確地考慮到工程實施場景中所存在的各種因素及問題，為保障工程達到預期效果，具有積極意義.

然而，不同于游戲場景依賴于游戲玩家的操作熟練性和反應敏捷性，工程仿真場景中數據及效果存在理想性和模糊性.在現代體系工程中，隨著現代化程度的不斷發展，影響客體評估的因素越來越復雜，評估系統除了采信工程客體基本信息外，更需要考慮工程客體實施的地理位置、環境因素以及與同行業工程客體的對比，如先進性、指標和可靠性等，然而與這些因素相關的重要的數據是無法通過想象或詢問的方式來獲得精確數據，而直接采用理論數據又會使評估系統失去提供信息、輔助決策的意義，因此對于評估系統的基礎數據而言，需要通過收集、整理而獲得大量真實、可靠的實際數據基礎上，反復挖掘(過濾、提取、比對、優化)、不斷迭代，從而使評估系統符合實際需求具有輔助決策、戰略布局的真正意義.從數據庫中清理與集成數據，形成數據倉庫，通過數據選擇與轉換，形成特定數據集，再數據挖掘形成模式，最后通過評估與表示，形成知識集，其過程如圖1所示:

圖1 具有反饋效應的評估系統基礎數據迭代挖掘模型圖

其中，評估系統基礎數據清理是指清除評估系統基礎數據的噪聲，其中噪聲指的是與評估系統無關的數據；評估系統基礎數據集成是指對來自多種數據來源的評估系統基礎數據進行聚類分析，將具有關聯的數據組合到一起；評估系統基礎數據選擇是指從基礎數據庫中提取與所要分析的任務場景相關的數據；評估系統基礎數據轉換是將任務場景的相關數據轉換為易于進行數據挖掘的表達形式；評估系統基礎數據挖掘是利用智能方法，從轉換的表達形式中分析出模式或規律知識；評估系統知識表示是根據一定的評估標準，從評估系統基礎數據挖掘出的結果中篩選出有意義的模式或規律知識，并用可視化的知識表達技術向用戶展示挖掘出的知識.

因此評估系統除了指標體系的合理、準確地建立之外，就是數據如何組織、管理和向評估系統提供服務.目前，國內以評估系統為背景的數據管理平臺的設計方法還處于起步階段，基本都集中在針對評估系統數據管理平臺本身局部工作環節功能要求的研究，缺乏系統地從數據收集到平臺實現完整的建模方法和解決方案.而且由各個基于數據管理平臺局部工作環節功能要求研究所得出的最佳解決方案[1-3]，往往在組合成數據管理平臺總體解決方案時無法達到全局最優的效果；其次，對于評估系統數據管理平臺的架構設計直接套用當前比較流行的大數據、人工智能和數據挖掘技術框架，忽略了評估系統數據的封閉性、保密性和安全性[4-5].與大數據、人工智能和數據挖掘技術[6]獲取的數據來源于互聯網或者某種電子媒介的數據集不同，評估系統數據往往存在于各種媒介和各種資料中，只能通過人工的收集和整理來獲得；再次，對于人工收集、整理的評估系統數據缺少有效的優化策略.對于人工通過各種資料形式整理獲得的數據，即使是理論上有用或者以后可能使用的數據，都可能成為當前應用系統的噪聲，但忽略這些數據項信息又不利于應用系統的完善和擴展，因此對于評估系統數據管理平臺來說，需要有一種靈活、動態、智能化且可定制的數據集成策略；最后，當前的數據收集方法容易造成數據的失真性，缺乏對所收集數據的反饋、更新、迭代、改善的策略，將直接影響到評估系統的效果和客戶使用應用系統的初衷.

本文基于評估系統環境下未來大數據量存儲和應用趨勢，提出了一種從數據收集到可動態智能化、可擴展、具有數據安全保障的數據管理信息平臺系統設計和實現的完整建模方法和解決方案.不僅可以為評估系統提供數據服務，還可以保證數據在應用過程中的保密性、安全性和穩定性.

1 基于機器學習的評估數據收集方法

軟件開發過程中的原型模型是指用戶提出基本需求后，開發人員構建出一個符合用戶基本要求的小型軟件原型系統.用戶通過對軟件原型系統的使用給予評價并反饋意見，開發人員針對性地對軟件原型系統的改進，促使軟件原型系統不斷接近用戶期望的最終目標.隨著上述過程的反復迭代，使原本模糊的需求細節逐漸清晰起來，根據需求的變更作出適應性調整，以此在確保滿足用戶需求的同時保障了最終產品的質量.

基于原型模型思想的評估系統數據(包括構成系統的被評估客體的基本信息數據、環境數據等)的收集流程如下：

1) 根據評估目標、評估模型建立的需求，快速收集真實數據，建立一個滿足工程應用場景評估模型的最小數據子集；

2) 數據子集加入評估系統后，通過用戶對系統的使用，獲得數據相關評價，反饋到數據收集，為數據完善、確認、豐富以及改進提供指導；

3) 隨著上述過程的反復迭代，使原本模糊的應用場景逐步清晰，指標體系合理性逐步完善，引導評估模型的變更；

4) 根據以上變更對數據收集范圍作出適應性調整，保障最終評估系統與真實應用效果的一致性.

基于原型模型思想的評估系統數據收集方法的設計依據以下2個原理:

原理1.人的認識需要有一個認知過程，其模式為“實踐—認識—再實踐—再認識……”，原型模型過程符合這種認識規律，容易被人們接受，更能有效地對結果的合理性進行分析、驗證，并達成共識.

原理2.原型方法采用模擬仿真的方法，引入基于數據的評估系統效果，避免由基礎數據不準造成的系統評估不正確，從而影響后續對評估系統的算法、設計、實現的改進和優化.

根據數據基于原型模型思想的評估系統數據收集方法可分為以下2種：

1) 拋棄式評估系統數據收集法.用拋棄式評估系統數據收集法首先構造一個簡單、質量要求不高且滿足評估系統需要的數據，通過征求用戶意見、與實際效果比對、迭代修改，實現對評估系統的驗證.此時完成的系統和數據都不是最終產品，一旦達到對評估系統初步驗證的目的便可拋棄.

2) 演化式評估系統數據收集法.使用已有的評估系統數據加入到評估系統后，通過用戶使用系統獲得數據的評價和反饋，從而確認、完善、改進、豐富評估系統數據，直至達到用戶要求為止.這個過程具有高度重復性，每次重復的活動包括重新收集、重新篩選、重新分析和重新評價.

拋棄式評估系統數據收集法可以迅速地建立起系統所需的真實數據，快速地驗證早期算法模型和系統軟件的效果，然而拋棄式原型模型收集的數據收集投入時間較短，所收集的數據存在模糊性、理想性和不確定性，無法滿足系統對于精確應用的需求，因此拋棄式原型模型收集的早期數據往往在驗證完算法模型和系統效果后，常常在后續開發中直接拋棄，重新進行數據的收集工作.

演化式原型模型收集數據方法在建立系統所需的真實數據初期即考慮了數據的準確性、真實性和邏輯復雜性，建立起能夠提供給部分系統正常運行的數據較慢，通過用戶使用部分實現的評估系統數據，提出評價與補充意見，并逐漸修改、補充，直到滿足用戶需求為止.因此演化式原型模型收集的數據往往可以直接被系統使用.

因此，對于需要驗證算法模型效果的評估系統，采用拋棄式原型模型收集數據方法收集數據；而不需要驗證算法模型效果的評估系統，采用演化式原型模型收集數據方法收集數據.本系統采用演化式原型模型收集數據方法收集數據.

2 基于數據安全的數據管理平臺的架構設計

評估系統數據由被評估客體的基本信息數據、環境數據等構成，這些系統參數信息的收集和錄入可以通過第1節提出的數據收集方法完成.

參數信息完成后，改進、完善評估系統的方法，即：1)參數信息的導入和應用；2)用戶根據實際需求調整一些參數(如環境數據)；3)啟動評估系統，得到應用場景下的評估結果；4)通過與預期效果的對比進一步優化、完善評估系統.

因此，參數信息可按照是否與應用場景關聯分為2類：1)非關聯參數信息，即在系統執行中不發生變化；2)關聯參數信息，是在評估過程中需要進行調整或新增的內容，基于此特點，將評估系統中的參數信息的數據管理平臺建設成靜態數據庫和動態數據庫2類數據管理庫.

首先，地理位置信息、環境信息和被評估客體的基本信息等參數信息歸入靜態數據庫，應用程序只有讀取靜態數據庫中數據信息的權限，沒有對靜態數據庫進行增加、刪除和修改的權限；對于應用程序實現需要的與靜態數據庫關聯用的數據標識和與應用場景相關的參數則存儲到動態數據庫中，應用程序對于動態數據庫信息擁有增加、刪除、查詢和修改的權限.通過動、靜2種數據庫的分類管理和維護，可以極大保護靜態數據庫中其核心數據信息的保密性和安全性.通過動、靜2種數據庫的結合，即可以滿足通用評估系統平臺數據的需求，也可以靈活地保障不同評估系統對于數據的特殊需要，通過不同評估系統定制化地動態數據庫，便可即時產生與其自身所要依賴的參數信息.基于評估系統數據管理平臺的架構設計如圖2所示：

圖2 基于評估系統數據管理平臺的架構設計圖

3 基于數據安全的數據管理平臺設計

3.1 動態數據庫構造引擎設計

動態數據庫構造引擎位于評估系統數據管理平臺架構的中間層，是靜態數據庫和應用系統之間交互信息的橋梁.對應用系統而言，動態數據庫構造引擎提供所需的數據服務；對靜態數據庫而言，動態數據庫構造引擎可以從靜態數據庫中提取出應用系統所需的數據信息.

評估系統數據管理平臺的動態數據庫構造引擎由智能化、可定制動態數據庫構造軟件和動態數據庫2部分組成.如圖2所示.

智能化可定制動態數據庫構造軟件是面向頂層應用系統的可根據系統數據需求的動態數據庫數據信息生成軟件，此軟件只需在應用系統第1次運行之前或者系統數據恢復為原始數據時使用.由智能化可定制動態數據庫生成軟件創建的動態數據庫完成與應用系統間的交互，在頂層應用系統運行時，動態數據庫結合應用系統運行過程中的數據服務需求，動態存取數據信息，結合系統運行過程中中間數據和臨時參數信息，計算出評估應用系統結果.

建立動態數據庫構造引擎有效地將靜態數據庫中核心參數數據信息與應用系統進行隔離，有效地控制了靜態數據庫數據信息的訪問權限和知悉范圍，從而保障了靜態數據庫核心參數數據信息的保密性和安全性.其次，建立動態數據庫構造引擎可以針對應用程序需要，創建可定制化的動態數據庫內容，提供了一種靈活適應各種系統需求的大數據基礎平臺的方法.此外，本文采用的數據庫構造方法可以有效地促進對同類型、不同應用系統的靜態數據庫中核心數據信息進行積累，提高了數據的集中度和權威性，并可以靈活地提供給同類型、不同評估應用系統使用，保障有效、快速地形成戰斗力.

3.2 數據庫安全性設計

數據庫的安全性毋庸置疑，本文除了常規數據庫安全性考慮之外，針對評估系統對于數據的特殊要求在數據庫關系模式、操作權限等方面均進行了相關設計.

3.2.1 數據庫內部邏輯安全性設計

數據表的關系模式設計中采用了數據庫范式理論的設計思想，符合關系數據庫中的關系范式BCNF[7]，即在關系模式R(U,F)中，所有主屬性和非主屬性都不傳遞依賴于關系模式R中的任何候選關鍵字[8-11].遵循BCNF的優點包括：

1) 使數據庫中數據表避免同一段數據存儲在多個不同的數據表中造成的數據冗余；

2) 避免冗余存儲給數據更新帶來的復雜性，即更新存儲地方越多需要更新的數目越大，出錯概率就越大，從而造成數據庫異常；

3) 避免出現數據表設計不合理的情況而導致缺少關鍵信息數據無法插入到表中造成的插入異常；

4) 避免了在需對數據表進行刪除操作時，由于數據表之間的關聯性考慮不全而造成需刪除信息殘留，出現刪除異常，如建立一個數據庫來描述設備的一些情況，需要存儲的對象有名稱、描述和載體，由此組屬性而構成的關系表為{名稱，描述，載體}，如果淘汰，在刪除該信息的同時，把這種載體信息也丟掉了，出現了由刪除操作造成的刪除異常.

3.2.2 數據庫操作權限設計

基于評估系統數據庫管理平臺的操作權限，設置為3級：1級即最高級，具有對靜態數據庫和動態數據庫操作、靜態數據和動態數據系統更改等所有操作權利；2級即次高級，可以對靜態數據庫和動態數據庫進行刪減、更新操作；3級即應用系統使用級，只允許對動態數據庫進行刪減、更新操作.

3.2.3 靜態共享數據池安全策略設計

基于評估系統數據庫管理平臺在1級用戶或者2級用戶，即最高級和次高級用戶，在對靜態數據庫進行增加、刪除、更改等操作時自動對靜態數據庫進行備份，以防止在對靜態數據庫進行操作時可能造成的數據信息崩潰和丟失.

3.2.4 訪問權限安全性設計

數據庫操作權限賬戶保存在數據庫中，為了防止非法用戶通過SQL注入手段，竊取到更高級別賬戶操作應用系統的風險，基于評估系統數據庫管理平臺針對用戶登錄采取了預防SQL注入的策略.在應用系統實現過程中對于SQL進行參數化，因為使用參數化查詢時，數據庫不會將參數作為SQL指令一部分進行處理，而是在完成SQL指令編譯后才套用參數運行，因此即使參數中含有惡意指令也不會被數據庫運行，從而防止了SQL非法訪問，在一定程度上可以預防SQL注入；在應用系統實現過程中增加對于字符串過濾，檢查客戶端提交的參數，對于含有SQL語言關鍵字信息、單引號、雙引號、連接符、分號、括號、空格等特殊字符，如果用戶輸入含有這些字符參數要登錄系統時，那么通過應用系統對用戶輸入進行字符串過濾后，對于輸入中含有非法字符的一律不予以響應.

4 結 論

本文基于評估系統環境下，考慮未來數據存儲和應用趨勢，提出了一種可動態智能化擴展信息的數據管理平臺系統設計和實現方法.其數據收集方法、系統數據管理平臺的架構和系統數據管理平臺的設計具有安全性、通用性和可擴展性，為數據的積累和后期不同仿真、評估平臺的使用提供了接口，對現代評估系統的發展具有積極意義.