基于Web的通用效能評估仿真架構實現研究

(中國運載火箭技術研究院 研發中心，北京 100076)

0 引言

效能[1]是指在規定條件下達到規定使用目標的能力。效能評估[2]指對某種事物或系統執行某一項任務結果[3]或者進程的質量好壞、作用大小、自身狀態等效率指標的量化計算或結論性評價，廣泛用于軍事、科研、制造行業，也可用于評估某種計劃、工程。隨著效能評估重要的突顯，各行業各領域對效能評估的需求極大增加，效能評估任務趨于復雜化、系統化、體系化，傳統針對效能評估軟件主要是從效能評估算法開發方面創新[4]，對效能評估流程的創新很少[5-7]。

本文首先提出基于任務驅動和角色審核的評估流程與任務管理模式，解決效能指標分解和完整性審核難題。基于數據采集挖掘、統計分析等多種先進的智能技術，將仿真系統產生的海量數據引入效能評估仿真分析環節，使得效能評估過程可有效利用仿真真實數據，提高效能評估結果的可信性。構建基于腳本引擎調用的效能評估算法集成與擴展，提升了效能評估仿真框架的通用性和擴展性。最后，采用B/S模式，基于Web架構，完成了通用效能評估仿真架構實現，提升了效能評估系統的通用性和擴展性，提高了效能評估工作效率。

1 基于Web的通用效能評估仿真架構

利用Web架構設計效能評估仿真架構，可在Web瀏覽器中訪問應用系統，突破了傳統單機軟件的限制，可有效解決復雜系統效能評估中多個專業指標協同分解、效能評估流程管理、效能指標聚合等，為效能仿真平臺系統的便捷部署和大規模應用提供了基礎。

1.1 功能架構設計

基于Web的通用效能評估仿真架構系統功能架構分為三層，分別為數據層、服務層以及應用層，其功能架構如圖1所示。數據層主要包括任務數據以及效能評估模型數據，是系統開發和運行所需的以及產生的相關數據資源集合，通過數據服務接口向上層提供統一數據訪問和存儲服務；服務層包括流程服務，任務管理服務，評估算法庫，評估算法執行器以及仿真數據集成服務，實現了系統運行共性服務模塊，提高系統模塊化程度；應用層主要包括評估流程與任務管理，需求指標建模，指標評估，仿真數據集成以及多方案對比分析，是效能評估者直接接觸和使用的工具，與用戶通過交互，完成效能評估全流程仿真。

圖1 功能架構設計

1.2 應用模式設計

傳統效能評估系統主要是對效能評估算法的集成，從使用便捷和系統擴展性來說，都有很多遍不便的地方，本系統為解決傳統效能評估系統的應用局限，對評估模式進行了創新，基于評估流程化管理方式，實現任務驅動執行、任務導航和數據的自動流轉。基于此效能評估過程主要分為5個步驟進行，分別為指標分解建模，指標完整性審核，評估算法選擇與賦值，權重賦值以及評估計算及結果。

整個效能評估過程由流程進行驅動，并由流程進行任務的初始化以及任務過程控制，從而保證從效能評估模型建模到效能評估整個過程的規范性。在指標分解建模環節建立效能評估模型，并將模型在指標完整性審核環節進行審核，保證效能模型的完整性和正確性。通過完整性審核后即可選擇效能評估算法，并對指標模型進行賦值操作，在該環節可以引入綜合突防仿真數據。完成算法選擇與賦值后并指標模型各項評估指標進行權重賦值，完成前四項工作后即可進行效能評估，并得出評估結果，具體效能評估流程如圖2所示。

圖2 效能評估流程

2 通用效能評估系統開發

通用效能評估系統采用B/S架構，用戶可通過瀏覽器直接訪問應用系統，能夠實現多用戶同時登陸，完成協同效能評估。系統前端采用設計流程圖(Raphael)進行矢量繪圖，利用fusioncharts做統計分析圖，保證系統對各瀏覽器的兼容性。數據庫采用mysql關系型數據庫，服務層采用springmvc框架對外提供輕量級的http接口服務。

通用效能評估系統由指標評估流程與任務管理，效能指標體系動態建模工具，指標效能評估算法庫，效能多方案對比和仿真數據集成模塊5個模塊組成，系統軟件架構如圖3所示。

圖3 系統軟件構構成

2.1 評估流程與任務管理

指標評估流程采用流程化的方式管理效能評估活動，實現任務的驅動執行，任務導航，以及數據的自動流轉。評估流程與任務管理模塊主要的功能包括任務導航、任務回跳、任務驅動執行。流程圖中一個節點代表一項任務活動，流程采用不同的顏色區分任務活動狀態。

2.2 效能指標體系結構動態建模

效能指標體系結構分解對應于整個任務的指標分解環節。指標體系結構分解通過建模工具實現，可用于對體系效能各專業指標進行建模，對指標提升指標分解的可視化和便捷性。通過該模塊可以滿足對的可用性、可信性、能力指標體系進行動態建模，利用樹狀，網狀或環狀等視圖對指標模型進行展示，同時完成對指標體系的編輯等。該模塊指標建模庫分為指標組節點、定量指標、定性指標三大類，通過不同的顏色方便用戶進行區別。該模塊主要功能包括以下幾點：

1)指標體系分類，實現對指標體系的分類建模功能；

2)指標動態建模，實現對指標體系的動態可視化分解與圖元化建模功能；

3)指標關聯關系建模，實現對指標間的關聯關系進行建模；

4)指標多視圖瀏覽，實現對指標模型按照多種可視化的方式進行展示；

5)指標模型保存，實現對指標模型實例的保存及數據導出。

效能指標體系結構分解建模流程如圖4所示：用戶接到效能指標分級任務后，通過Web登陸效能評估仿真系統，啟動建模工具，通過拖動指標建模庫實現指標創建，對拖入的指標的基本屬性進行設置，對不合理的指標進行刪除操作，動態調整指標模型直至合理。然后對各個指標進行權重分配和關系建模操作，賦值方式包括手動賦值即人工計算每一層級每個指標所占的權重，也可選擇采用模糊一致矩陣法進行賦值，從而完成專業指標體系建模。完成指標建模后，可行選擇發布指標給其他專業，或者導出文件，方便后續加載導入，導出的格式支持XML、Excel和txt。

圖4 效能指標建模流程圖

2.3 指標效能評估

效能評估環節對應于效能評估任務，用于對指標進行效能評估。系統集成的評估的算法包括ADC算法、SEA法、模糊綜合法等多種效能評估算法，算法功能見表1，用戶可以根據實際情況選擇相應的評估算法對指標進行評估。對定量指標效能計算、定性指標效能錄入等進行了優化設計。同時為實現不同效能指標的聚合，研究了AHP層次聚合算法，實現指標多層次算法聚合。系統提供了可擴展接口開發功能，方便后續的模型更新及算法升級，系統具備較好的擴展性。該模塊具備對武器效能指標進行評估計算的能力，具體包括：

1)定量指標效能計算，計算定量指標的效能；

2)定性指標效能錄入，通過錄入的方式錄入定性指標效能；

3)AHP層次聚合算法，實現指標多層次算法聚合；

4)權重校驗，校驗指標權重和；

5)效能分級顯示，按照效能等級顯示指標狀態；

6)評估算法選擇，實現多算法選擇。

系統提供可擴展接口開發功能，包括聚合算法擴展接口，評估算法擴展接口，指標屬性接口擴展接口，權重分配算法接口以及建模元素庫擴展接口等。針對未內置用戶自行開發的算法，用戶可通過算法編輯器，可實現基于MATLAB、JavaScript等語言編制的算法進行集成擴展，通過腳本引擎對用戶編寫的算法進行解釋調用，算法擴展如圖5所示。

表1 算法功能表

圖5 算法擴展

2.4 多方案對比分析

進行仿真評估和試驗時會產生多個版本的數據。針對同一效能評估模型，用戶可以使用不同版本的數據對系統進行效能評估。通過多方案對比工具用戶可以快速的得出結論。

用戶可以導入不同的指標方案，多方案對比工具能夠自動對各指標方案進行統計分析，統計的內容包括滿足項、基本滿足項、以及不滿足項的比例；以及總效能等。并能據此給出直觀的統計圖方便用戶進行對比分析，具體包括：

1)多方案指標模型導入；

2)指標項對比，高亮顯示；

3)刪除指標方案模型；

4)綜合效能統計對比；

5)統計圖展示。

2.5 仿真數據集成模塊

仿真數據集成模塊主要是通過采集仿真試驗數據，并通過數據處理分析，將仿真試驗數據錄入到指標模型中。

基于輕量級J2EE技術，通過jBPM框架實現復雜流程的設計與定制，滿足試驗數據按不同專業進行劃分，并且按處理順序從參數處理、判讀、預處理、計算分析、統計分析到綜合分析。用戶可對原始數據進行規范化處理，將處理后的數據，通過數據曲線的自動判讀和人工判讀對數據的有效性和數據峰值進行選點，完成數據判讀工作。之后進行數據預處理和計算分析，完成數據的分析工作，在對多組數據進行統計分析后，將處理后的試驗數據引入到效能評估系統中。

通過引入仿真數據將仿真引入到效能評估環節，利用仿真過程及結果數據，支撐效能評估。

1)仿真數據文件導入，導入仿真文件；

2)仿真數據庫讀取，配置仿真數據庫信息，導入仿真數據；

3)仿真數據區塊選擇，選擇特定的數據區塊選擇、過濾條件配置；

4)數據提取算法選擇，取最大值、取最小值、取平均值。

3 應用實例與分析

完成基于Web的通用效能評估仿真架構系統開發后，對軟件的功能和性能進行測試和應用。

3.1 指標體系分解建模

效能評估系統指標建模模塊采用可視化的建模方式建立指標模型，利用多種圖元對定量指標和定性指標進行區別描述，通過拖動圖元到指標模型樹的方式建立指標項，通過編輯圖元的屬性對指標項進行配置。指標節點層數可任意拖拽擴展，滿足復雜體系指標復雜多層指標建模需求，對建立的指標體系采用縮略圖的模式展示，方便全局查看。支持指標模型的保存、導入等功能。

效能評估結果評判活動是通過對指標效能的統計、排名等，以詳細列表的方式對指標結果進行了全面的展示。支持對各項指標權重的圖譜分析功能，提供各項指標對比的雷達圖，可直觀進行指標權重對比分析，方便進行合理性檢查，圖譜分析展示如圖6所示。通過結果評判可以直觀的反應出復雜系統效能的整體狀況。

圖6 圖譜分析

3.2 仿真數據導入

效能評估系統中引入仿真試驗結果，將極大提高效能評估結果的可行度。由于仿真數據一般較多，且數據文本的直觀性差，為實現將仿真數據引入效能評估回路，基于Web的通用效能評估仿真架構支持結構化的數據庫和非結構化的文本仿真數據導入功能。

通過對試驗數據的采集、數據轉換清洗處理、數據加載，分析并提取必要的效能評估信息。將試驗仿真引入效能評估環節，利用仿真過程及結果數據，參與效能評估流程，為效能平臺提供了真實的試驗結果支撐，全面提高效能評估系統結果的真實性。

3.3 多方案對比

復雜系統不同版本或者不同型號之間，可以通過方案對比工具進行對比分析。多方案對比分析工具支持同時導入多個效能模型數據，在指標對比列表中對不同方案的同一指標項進行對比，將效能不同項進行高亮顯示，方便用戶快速進行差異化比較。同時多方案對比工具提供統計圖和統計表，分別對各方案的各等級指標分布情況，以及總效能進行了對比。

多方案對比模塊解決了效能評估中經常進行相同型號不同版本及相似型號之間的效能比對問題，通過快速導入效能模型及不同項的顯示，方便用戶快速進行不同方案差異化定位，通過圖表直觀工具和統計工具，方便用戶進行問題定位和快速分析。多方案對比工具的實現為方案優化、設計提升提供了重要支撐。

4 結論

針對效能評估中指標多專業協同分析和指標完整性審核問題，提出了一種基于Web的通用效能評估仿真架構，重點討論了系統開發的流程方案，目前已經初步完成了原型系統開發。通過研究表明，基于此方法構建的效能評估系統，能夠提高效能評估系統通用性、擴展性和便捷性，通過Web系統機構的設計，提升了平臺的通用性，可滿足不同復雜系統不同應用場景效能仿真需求。通過可擴展接口實現了系統的擴展性，為后續新算法的集成提供支撐。通過拖拽式建模、多方案對比等人性化操作設計，提高的用戶使用的便攜性。研究成果為復雜系統效能評估提供了有效支撐。