信息系統性能效率評估方法

黃文財，吳新杰，朱曉鵬，鐘遠生

(1.廣東產品質量監督檢驗研究院，廣州 510670；2.國家市場監管重點實驗室(智能機器人安全)，廣州 510670；3.工業和信息化部 電子第五研究所，廣州 511300)

0 引言

信息系統是以計算機為核心，融合數據處理、信息管理、決策支持、辦公自動化為整體的人、機、信息資源一體化系統[1]。當前，信息系統日益復雜、用戶急劇增加、數據存儲量巨大和操作行為趨于多元化，信息系統關注的重點不再僅僅是功能正確性，系統的性能效率表現也越受重視[2-3]。信息系統性能效率測試是采用測試工具(如LoadRunner、JMeter等)最大限度模擬信息系統存在大量活躍用戶且用戶高度聚集的業務場景的多種負載狀態[4]，測試性能效率指標，分析并評估測試數據，判斷信息系統滿足性能效率程度。在《ISO/IEC 25010》標準中認為，軟件的效率決定于時間特性、資源利用性和容量三大子特征[5]。在《GB/T25000.10-2016》中，性能效率被分割為時間特性、資源利用性、容量和性能效率的依從性四大子特性[6]。2021年，性能效率測試被單獨撰寫成國家標準《GB/T 39788-2021》，該文件詳細描述了大型信息系統性能效率質量測度指標、測試過程[7]，提高指標的覆蓋率，由此可見，信息系統性能效率測試重要性不明而喻。

性能效率評估具有以下優點：1)基于信息系統性能效率測試的評估結果，可評估信息系統的執行效率、資源占用、系統容量等系統能力；2)分析評估信息中指標的異常狀態，定位性能效率的系統瓶頸，為改善信息系統性能效率提供依據；3)根據評估信息多次試驗，調整，驗證信息系統的良好配置，實現信息系統的調優[8-11]。因此，構建全面覆蓋時間效率、資源利用、最大限度的容量、性能效率依從性的指標、選擇合理、科學的評估模型，對定位系統瓶頸、系統調優有重要意義。但目前信息系統性能效率評估方面還存在諸多問題：1)缺乏從多層級(合格、良好、優秀)角度出發評價指標數據；2)評估模型簡單，現有的信息系統性能效率測試模型過分依賴于專家的專業知識和經驗，或對客觀的測試數據簡單地線性加權，模型簡單，評估結果不夠合理、科學；3)性能效率的評估過程和結果具有隨機性和模糊性，需要科學的方法解決表達語言中隨機性、模糊性以及兩者之間的關聯性的問題。

目前評估方法有基于專家偏好的主觀賦權法，包括層次分析法、專家調查法、關聯矩陣法等，有基于實際測量數據的客觀賦權法，包括熵值法、變異系數法、主成分分析法等[12]。然而，主客觀賦權法均存在一定的缺陷，主觀賦權過分依賴專家的專業能力和經驗，主觀意識過強，脫離實際數據，缺乏科學性；客觀賦權法依賴于數據，缺乏相關經驗知識的考慮[13]。為了融合主客觀的優點，采用組合賦權法[14-15]，包括最小二乘的線性組合法、乘法合成歸一法等，既考慮專家的經驗知識，又保留數據的嚴謹性，可應用于多屬性決策問題[16]和風險、質量、可靠性等評估[17]。

本文設計一種信息系統性能效率評估方法，可綜合評估信息系統的性能效率能力。首先，構建評估指標，采用改進的功效系數法從多層級角度(合格點、良好點、優秀點)歸一化指標數據；其次，使用CRITIC法，基于權重之間的對比性和沖突性構建多權重組合賦權法，既克服單一專家的主觀隨意性，又綜合考量主客觀權重優點，最后基于云模型理論，克服綜合評價的模糊性與隨機性。

1 基于組合賦權云模型的信息系統性能效率評估方法

1.1 評估指標的評價歸一化

1)性能效率評估指標的選擇；通過逐一調查分析信息系統運行流程的每一階段、每一環節，繪制了信息系統性能效率執行框架圖(見圖1)，分別由輸入單元、待測信息系統、控制單元、指標監視單元4部分組成，其中，輸入單元是通過負載發生器模擬多用戶并發執行負載腳本記錄的用戶操作信息。控制單元決定性能效率流程順序、控制數據流的流向。指標監視單元監控待測信息系統性能指標的實時信息，包括信息系統運行效率的時間特性、所使用資源數量和類型利用程度的資源利用率、最大限量滿足需求的容量和遵循相關標準程度的依從性。選擇此4個指標作為一級指標，在一級指標之下構建多項二級指標，如圖2所示。

圖1 信息系統性能效率執行框架圖

圖2 性能效率指標

2)波動性指標數據評價的歸一化；針對平均吞吐量、容量與信息系統的類型、性質、服務器容量、用戶的需求等有關，不同的信息系統的評分標準不一，滿足用戶需求程度也不同，數據波動性大，不易評價的問題，采用通過專家打分法，根據滿足需求的程度越高，分值越高的原則打分，取值范圍為[0，1]。

3)穩定性指標數據評價的歸一化；考慮時間特性(除平均吞吐量)、資源利用性、性能效率依從性數據波動性較小，趨于穩定，數據之間具有可比性，可基于數據范圍歸一化評價該指標，但依然存在以下問題：1)性質、量綱不一；如時間特性強調運行效率、性能效率的依從性遵循相關標準的程度，且兩者數值單位也不一致；2)數量級別不在同一等級；如資源利用性強調資源利用程度，取值范圍為[0，1]，時間特性的取值為[0，N]，其中N≥0；3)缺乏對不同層級的分數的劃分，且不能體現性能效率合格、良好、優秀等層級的分數。針對以上問題，采用功效系數法，可將指標數據一一映射到同一區間[0，1]，但傳統功效系數法直接采用線性映射方式歸一化指標數據，且不同樣本數據最大值和最小值不統一，出現同一指標數據的相同數值，在不同樣本數據中歸一化的結果不一致，導致數據不具備可比性[18]。因此，在傳統功效系數法基礎上，設置層級點(合格點、良好點、優秀點)，劃分性能效率指標數據為不同等級區間，基于范圍設置雙邊約束臨界值，規范最大值和最小值，通過改進的功效系數法歸一化指標數據，其步驟如下：

1)設置雙邊約束臨界值；選擇固定的不可接受臨界值和最佳性能效率值為雙邊約束臨界值[Imin，Imax]，映射到固定區間[0，1]；

2)數據指標離散化；選擇層級點(合格點Ih、良好點Il、優秀點Iy)為離散點，劃分指標數據到多個固定標準化區域，并一一對應不同的功效系數值[Gmin，Gh，Gl，Gy，Gmax]=[0.2，0.6，0.8，0.9，1]，其中Gh，Gl，Gy分別為層級點的功效系數值，Gmin，Gmax分別為雙邊約束臨界值的功效系數值；

3)數據同向化；將數據類型統一轉變為數值越大性能效率越小的極小型，如性能效率的依從性，該指標為極大型，采用倒數法轉化為極小型；

4)歸一化指標數據；基于相鄰區間的功效系數值的差值，計算標準值，結合該標準化區域的功效系數值，采用改進的功效系數法計算評估數據的分數，使得不同指標評估數據轉化到同一數量級，克服量綱、數量級等特征不一致的問題，其中改進的功效系數如式(1)所示：

(1)

1.2 評估權重的計算

為了克服單一專家的主觀隨意性，又綜合考量主客觀權重優點，讓三位專家采用層次分析法給出性能效率的主觀權重，采用熵權法基于歷史數據計算出客觀數據評估權重，再采用CRITIC法，基于權重間的對比性和沖突性構建多權重組合賦權法，優化組合權重的方法，提高權重的合理性、科學性和嚴謹性。

1)主觀評估權重的計算；為了將復雜的性能效率評估指標層次化、結構化，將時間特性、資源利用性、容量以及性能效率的依從性等劃分成層次化結構；采用層次分析法，構造包含目標層、準則層、指標層的遞階層次指標結構，綜合考慮專家專業知識和經驗，主觀構建判斷矩陣，經一致性校驗后獲取主觀評估權重再將其歸一化，提高權重的合理性。

2)客觀數據評估權重的計算；為了避免權重計算主觀偏好過強的情形，利用數據的方差變異程度越小，信息熵會越大，代表對應的權重值越小原理，采用熵權法客觀計算經過標準化處理的歷史評估數據的概率、推算指標的信息熵和信息效用值，歸一化后取的指標的權重，客觀計算評估權重，提高評估權重的科學性和嚴謹性。

3)組合權重的計算；綜合考慮專家專業知識和經驗和數據的嚴謹性，采用組合賦權法綜合考量主客觀權重優點，提高權重的合理性、科學性。

4)組合權重的優化。性能效率指標性質不一、數量眾多，特別是二級指標分配不均，單一專家求解權重容易造成主觀隨意性，為了克服這一現象，設計一種由三位專家采用層次分析法主觀賦權，結合熵權法的組合權重辦法，提高權重賦值的合理性、科學性和嚴謹性。然而，多權重的組合賦權不僅主觀、客觀權重賦值之間存在差異，并且不同專家間的主觀權重賦值由于知識儲備、工作經驗不一而導致多個主觀權重的賦值也會存在一定的偏差，這些偏差導致權重之間的不一致，相關性較低，因此，為提高權重間的相關性，縮短差異，首先設置權重系數，再利用CRITIC法的對比性和沖突性構建組合賦權，其中，對比性利用標準差的形式衡量同一個指標在不同評價權重之間取值差距大小，標準差越大，說明波動越大，即評價權重在此指標的取值差距越大，權重系數賦值也因設置較高；沖突性使用皮爾遜相關系數法表示權重之間的正相關性，若相關性較小，其沖突性越大，其權重系數應設置較大。通過設置權重系數的大小，減少權重間的差距，提高相關性，其計算過程為：

1)依據三位專家的主觀權重(W1，W2，W3)和熵權法的客觀權重W4設置權重系數。

W=α1W1+α2W2+α3W3+α4W4

(2)

其權重系數α1，α2，α3，α4滿足約束條件：

α1+α2+α3+α4=1

(3)

2)構建權重矩陣[W1，W2，W3，W4]，計算權重數據的對比性和沖突性如式(4)和式(5)所示：

(4)

(5)

式中，rkj是指標k和j之間的相關系數，使用皮爾遜相關系數法表示。

3)設置信息量為中間值，有機結合對比性和沖突性，綜合衡量權重的相對重要性，信息量計算公式如下：

(6)

其中：ηj表示對比性量化數值。

4)計算權重系數，根據權重數據的對比性和沖突性，采用CRITIC法計算權重系數，其中，權重的重要性越大其權重系數越大。

(7)

依式(7)最后所求得的權重系數αj為[0.201，0.188，0.194，0.417]，代入式(2)計算的主客觀權重和組合權重如表1所示。由表1可知，三位專家的主觀權重在一級指標中順序都為：B1>B2>B3>B4，而客觀權重的順序為B1>B3>B2>B4，缺乏合理性，這是由于客觀權重過度依賴于實測數據，缺乏相關知識經驗的支撐，而組合權重保留了主觀權重的合理性，其順序與主觀賦權一致。其次，三位專家的主觀權重中，B1比B4權重都相差過大，這是由于脫離實際數據，過度強調主觀意識造成的，而組合權重結合數據的嚴謹性，縮小B1與B4之間的差距。因此，基于CRITIC法的對比性和沖突性的組合賦權法綜合考慮了主觀因素和客觀因素，不僅保證權重間的層次順序，又有效縮小了權重間過大的差距，具有合理性和有效性。

表1 性能效率主客觀權重值

1.3 信息系統性能效率的評估

基于云模型理論的定性、定量之間的轉換，結合組合賦權權重轉換為云模型，生成以自然語言描述性能效率綜合評估結果[19-20]，克服綜合評價的模糊性與隨機性。

1)評估等級的構建。根據系統滿足性能效率的程度，構建多個等級區間描述性能效率綜合評分的模糊評語集，包括極低性能、低性能、適中性能、良好性能、優秀性能5個評估等級，再采用云特征計算公式求出等級區間的云模型特征值，構建的評估等級如表2所示，其中云特征計算公式為：

表2 評估等級

(8)

式中，Exs為期望值，Mmin，Mmax分別為最大、最小邊界，k為熵Ens和超熵Hes之間的線性關系值。

2)標準模型的繪制。基于評估等級的云模型(如表2)，采用正向云發生器，繪制出性能效率的標準模型，作為評價的衡量尺度。

3)二級指標的云模型特征參數的計算。為了提高測試數據的可信度，多次測試數據，剔除異常值，采用逆向云發生器轉換數據，計算出二級指標云模型的3個數字特征，結果為Exi，Eni，Hei，其計算公式如式(9)所示：

(9)

4)一級指標和綜合評價云模型特征參數的計算；二級指標的云模型特征參數Exi，Eni，Hei，結合該指標的組合權重，通過公式(10)，綜合成一級指標云模型的數字特征(Yx，Yn，Yh)，同理，綜合評價云模型特征參數又二級指標的云模型特征參數，結合該指標的組合權重計算可得。

(10)

5)模糊評估結果的生成，將一級指標和綜合評價云模型特征參數繪制成云模型，生成綜合云模型的基本形態，與標準模型比較，進而判斷一級指標和綜合評價云模型的隸屬度，再結合表2的評估等級，生成以自然語言描述性能效率綜合評估結果，克服綜合評價的模糊性與隨機性。

2 系統驗證

選擇國內某大型工業機器人制造企業CRM信息系統為例，該系統需滿足數據實時性強，交互性強、系統穩定性高等需求。隨著企業業務的快速地發展，CRM系統中客戶量、交易量、任務量、商機展現量快速增長，并由此而產生的數據量急劇增加。為了獲取更貼近真實CRM系統的日常業務應用，選取關鍵業務且資源的占用率高、業務使用頻率、數據實時性強的商機提交、任務創建、客戶交易信息查詢、商機查詢、任務查詢組成并發的混合業務場景，其中，指標中平均響應時間、平均周轉時間取多個業務的平均值。選擇典型業務且是數據分析基礎的客戶交易信息查詢場景作為壓力測試場景。為了提高測試數據的可信度，采用多次測量(5次)指標數據(如表3的測試數據)。再采用式(1)所示的改進的功效系數法結合表4中多層級評價的層級點(合格點、良好點、優秀點)，歸一化評估指標的評價，結果如表3所示。二級指標的云模型特征參數通過公式(9)處理的評估數據，將此結果結合公式(10)計算一級指標的云模型特征參數結果如表5所示，同理獲取性能效率綜合評價，其結果為(0.783，0.007，0.003)。最后將上述獲取的云模型特征參數依次繪制如圖3所示，由于性能效率依從性B4趨于穩定，不具備模糊性，故不使用云模型繪制。

表3 CRM信息管理系統性能效率數據

表4 多層級評價的層級點

表5 CRM信息管理系統性能效率數據

圖3 性能效率云模型

繪制的評估云模型如圖3所示，圖中黑色云模型為評價衡量尺度的標準模型，灰色云模型為評價模型，其都顯正態分布，趨于穩定，表明該云模型有效。由圖3(d)可

知評價模型位于U3和U4之間且趨于U3，為了確保綜合評價結果的準確性，基于文獻[21]中云模型相似度度量方法計算其相似度，可以得出與U3更為相似，根據最大隸屬度原則，該CRM系統綜合評價A的等級為適中性能(U3)，即該系統基本滿足信息系統的性能效率要求，系統基本穩定，該結果與預案評審結果一致。由圖3可知，B1，B2和B3隸屬度分別為U4、U3、U3，可以看出，一級指標中，時間特性隸屬度最高，結果為良好性能(U4)，表明時間特性滿足信息系統對該屬性的性能效率要求，資源利用性和容量隸屬度為U3，隸屬度偏低，評估等級為適中性能；僅基本滿足信息系統對資源利用的要求。分析導致該隸屬度的原因可知，資源利用性拉低了性能效率的整體的評分，通過深入分析，該CRM信息系統運行多年，積累的客戶信息、交易數據數量巨大，且頻繁訪問造成內存I/O的頻繁讀寫，導致CPU使用率、帶寬占用率過高，造成資源利用性評分過低。因此建議投入更多設備提高該CRM信息系統容量，包括擴大服務器規模、增加內存設備，提高網絡帶寬，以適應數據量和交易量日益增加的需求。

3 結束語

性能效率評估可分析系統瓶頸，為改善信息系統性能效率、實現系統調優提供依據，設計改進的功效系數法從多層級(合格、良好、優秀)角度出發評價指標數據，使用CRITIC法的對比性和沖突性構建綜合多位專家主觀權重和客觀權重的多權重組合賦權法，不僅克服單一賦權的局限，也克服單一專家求解權重容易造成主觀隨意性的問題，為歸一化評估指標、組合賦權提供新的方案，本文構建的信息系統性能效率評估方法的結果表明具有良好的適用性，云模型的定性、定量之間的轉化，有效克服評估中模糊性與隨機性問題，為性能效率的評估提供了技術支撐。