基于可信度量的網絡組件性能評估方法

熊鋼，蘭巨龍，胡宇翔，劉釋然

?

基于可信度量的網絡組件性能評估方法

熊鋼，蘭巨龍，胡宇翔，劉釋然

（國家數字交換系統工程技術研究中心，河南鄭州 450002）

針對新型網絡及其服務構建中所涉及的網絡組件選擇問題，以可信評估思想為指導，通過多屬性決策建模，提出一種網絡組件性能評估方法。首先，針對網絡應用環境的靈活多變特征，設計了一種按需驅動的可信指標樹動態構建策略。其次，利用模糊層次分析法減小主觀權重計算的不確定性，并將主客觀權重相結合以提高賦權操作的公平性。最后，在評估決策階段，綜合運用指標數據效用轉換、可信屬性向量構造和向量間的相對近似度計算等策略得到評估結果。通過對軟件定義網絡控制器的實際案例分析，驗證了所提評估方法的合理性及有效性。

網絡組件；可信性；聯合權重；網絡控制器

1 引言

近來，在新型網絡體系結構研究熱潮的推動下[1, 2]，各種網絡軟硬件設備（即“網絡組件”）作為支撐網絡結構與功能的基礎構件也得到了極大發展。一方面，可承載新型網絡結構的硬件型組件不斷涌現，如服務器、交換機、智能終端等；另一方面，能提供多樣化網絡功能的軟件型組件也層出不窮，如網絡控制器、路由協議、各種App應用等。

由此也為網絡決策者帶來了選擇網絡組件的新問題。例如在信息/服務中心網絡[3, 4]中提供定位服務的組件有Google地圖、百度地圖、高德地圖等，在服務構建中則需要對其進行合理選擇。同理，在軟件定義網絡（SDN, software-defined network）[5]等新型網絡環境中也涉及到相應的網絡組件選擇組合[6]。網絡組件選擇的重要基礎之一則是對組件進行科學合理的描述或評估。對此，文獻[7]提出了一種智慧協同網絡中的組件協同機制，其采用數據和語義2種方式對組件特征進行描述。文獻[8]提出在可重構網絡體系中劃分網絡組件服務等級，實現服務需求與組件特征的最佳匹配。文獻[9]以安全等級對網絡Web服務組件的可組合性進行驗證，從而保證信息流的安全性。文獻[10]提出基于實驗測試的SDN控制器組件評估方法。上述文獻以各自面對的網絡環境為基礎，互有側重地對網絡組件評價問題進行了探討，但是都還未涉及具有普適性的網絡組件評估模型和策略。

為此，針對網絡組件的應用需求，本文借鑒傳統軟件可信評估研究的思想[11, 12]，提出一種兼具動態性、公平性、時效性的可信評估方法，為網絡智能決策提供支撐。

2 整體評估框架

2.1 基本思想

軟件可信性作為對功能性、可靠性、可維護性等軟件質量度量的一種綜合化延伸，其反映了軟件實體多維質量特征的綜合屬性[13, 14]。基于可信屬性模型[15]，本文建立如圖1所示的網絡組件可信模型，其中，網絡組件可信性可表述為組件行為和結果符合用戶的預期目標，實際中通過可信屬性以及用戶在可信屬性上的需求進行表達。如圖1所示，網絡組件可信度量的實質是對功能屬性、可用屬性等多種可信屬性的融合處理，其可以被建模成為一種多屬性決策分析（MADA, multiple attribute decision analysis）問題進行處理[16]。

2.2 操作流程

基于MADA方法的處理流程，得到總體評估流程如圖2所示，主要包括如下幾部分。

1) 可信指標構建。與傳統靜態構建方式不同，針對網絡組件類型或應用的多樣性，在此利用樹型邏輯結構設計一種動態的可信評估指標構造模型，簡稱為“可信指標樹”。

2) 指標權重值計算。網絡組件指標數據既有基于專家經驗的主觀判斷差異，又有物理數據包含的客觀實際差異，因此，采用主客觀聯合賦權的方法提高權重計算的公平性。

3) 可信評估決策設計。為了提高評估方法的時效性，設計可信屬性向量的相對近似度作為最終評估決策指標。下面詳細闡述各部分技術策略。

3 主要技術策略

3.1 可信指標樹建立

由于組件類型的多樣性、應用環境的動態演變以及用戶需求的變化，要求所建立的可信評估指標系統具有滿足多樣可信需求的能力。為此，下面建立一種具有動態適應性的可信指標樹構造模型(TIT, trustworthiness indicator tree)。

3.1.1 形式化描述

3.1.2 構造流程描述

針對具體應用場景，建立動態構建流程如下。首先，建立可信指標數據庫(TID, trustworthiness indicator database)，它是一個逐步完善的能滿足評估需求的可信屬性及其細化指標的開放指標集。其次，通過遞歸方式逐層建立樹節點。逐一匹配評估需求所提的可信屬性與TID信息，若TID存在相應屬性及其指標，則選擇其為樹節點，否則，向TID添加相關信息并輸入其作為樹節點，直至全部可信屬性子樹的所有底層節點為葉子節點。最終，基于TIT形式化描述，將各節點可信指標賦權并以邏輯關系表達構成可信指標樹，如圖3所示。圖3中為評估對象的可信根指標，其由若干可信屬性指標表示，而每一可信屬性指標又可分解為若干中間指標()或者葉子指標()來度量，其中葉子指標是原始可信值的采集點。

3.2 指標權重計算

3.2.1 主觀權重計算

主觀權重計算是通過專家經驗判斷給出各指標間的相對重要性，主要有層次分析法(AHP, analytic hierarchy process)、專家調查法等。由于傳統AHP方法未考慮專家經驗評判存在的不確定性，本文利用模糊層次分析法(FAHP, fuzzy analytic hierarchy process)[12]計算主觀權重以降低其影響。

FAHP方法通過三角模糊數(TFN, triangular fuzzy number)對模糊集進行描述[16]。設一個三角模糊數為，其對應的隸屬度函數為

表1 判斷矩陣元素含義及其對應的三角模糊數

(3)

3.2.2 客觀權重計算

客觀賦權是對實際物理數據進行建模，挖掘出相互間的差異信息進而確定權重的方法，常見的有熵權法、最大導數法等。從綜合性能考慮，下面利用熵權法計算客觀權重，具體操作如下。

Step1 構建評價指標原始數據矩陣。待評價實例集合為，評價指標集合，采集各實例指標的原始數據得到數據矩陣，其中，表示實例在指標上采集的數據值。

Step2 計算各指標的熵值。對矩陣各列進行歸一化得到，計算各指標熵值為

由式(5)、式(6)可知，指標熵值越小，包含的信息量越多，相應權重也越大；反之亦然。當指標數據完全相同時，其未向評估提供有用的信息，其客觀權重取值為0。

3.2.3 聯合權重計算

主觀權重側重評價者的經驗及意向等主觀因素，而客觀權重更側重于充分挖掘數據本身蘊含的客觀信息，因此將兩者融合得到聯合權重，則更加有利于提高賦權的公平性。為此，基于主觀權重和客觀權重，計算聯合權重向量為

(8)

圖4 各權重方法的方差統計

3.3 評估決策構建

評估決策是指以指標可信值和指標權重為基礎，設計相應的決策方法計算得到評估結果。下面將從可信指標數據轉換、決策矩陣建立以及評估指標計算方面考慮，構建網絡組件的評估決策。

3.3.1 指標數據轉換

為避免原始數據由量綱、量級等方面的差異導致的不合理現象，需要對指標數據進行轉換。本文通過三角模糊數將定性數據()轉換為定量數據()，然后對定量數據進行效用值轉化。

定性指標數據一般是由專家評估得到的主觀評價結果，本文利用表2對應關系將定性評價數據轉換為三角模糊數，之后利用式(4)去模糊計算將轉換為定量數據。

表2 指標定性數據及其對應的三角模糊數

(10)

3.3.2 決策矩陣構建

決策矩陣構建操作主要分如下2步。

Step1 可信屬性的可信值計算。該步驟是計算可信指標樹中可信屬性指標集合中各元素的可信值。以圖3為例，可信指標樹TIT有可信屬性，每一可信屬性子樹共有層，第1層為子樹根節點，即可信屬性指標。樹中第層的中間屬性節點的可信值是通過第層節點的可信值計算得到，設第層有個中間屬性節點，某一節點在第層有個子節點，每一子節點的可信效用值，且該節點對于節點的權值為，則節點的可信值計算公式為

3.3.3 評估指標計算

評估指標是對網絡組件綜合性能進行評估的定量依據。針對網絡組件在計算效率上的需求，在此通過最優逼近的方式計算相對近似度作為評價指標，具體如下。

表3 相似度指標與可信等級的對應關系

綜述上所述，本文算法時間消耗主要包括可信向量構建時間和各實例可信評價指標計算時間，在組件實例數為，可信屬性數為，各可信屬性子樹為層，各層節點數為的條件下，總時間復雜度約為()，后續實驗表明該時間復雜度具有一定優勢，能夠滿足應用需求。

4 評估案例分析

近來，作為SDN網絡的核心組件[17]，網絡控制器(network controller)得到飛速發展。業界推出了多種自主研發的開源控制器以供用戶使用選擇，如NOX/POX、Beacon、Maestro、Floodlight、Ryu等[18,19]。本節運用上述可信度量方法對SDN網絡控制器進行案例分析。

4.1 可信指標構建

經分析，SDN網絡控制器應具有的可信屬性需求主要包括[18, 19]：功能屬性、可靠屬性、安全屬性、時效屬性和易使用屬性，具體介紹如下。

功能屬性主要包括網絡編程能力、網絡虛擬化能力、網絡擴展能力，其指標數據主要通過用戶的使用經驗進行主觀評價獲得。可靠屬性的評價主要考慮控制器的成熟穩定性和容錯性，其中，穩定性主要以控制器版本更新頻率進行度量，而容錯性則通過軟硬件冗余情況進行度量，指標數據以用戶評價獲得。安全屬性從可抵抗攻擊的訪問控制能力和攻擊后恢復能力進行評估，其中，訪問控制性以防火墻配置度量，攻擊后恢復能力則以受攻擊后控制器恢復到正常的時間來度量。時效屬性主要從控制器實時性和處理性能進行評估，其中，實時性以對新請求的會話時延來度量，處理性能以控制器單位時間內事務處理能力（即吞吐量）和網絡中各終端間的Ping測試時間進行度量，主要通過OFLOPS測試框架中的Cbench對控制器進行測試獲得相關度量指標[19]。易使用性主要從易管理性、適應性以及接口兼容性方面考慮，其中易管理性以對管理平臺Openstack支持程度進行度量，適應性以對多平臺(Linux/Win/Mac)的支持進行度量，接口兼容性主要考慮控制器對南向交換協議和北向服務應用的API支持程度，相關指標數據以用戶評價獲得。

基于此，構建控制器的可信性評估指標樹如圖6所示，該指標樹共3層結構，包括5個可信屬性指標和13個可信葉子指標。

4.2 指標數據采集

基于文獻[17~19]的研究，本文對NOX、Beacon、Maestro、Floodlight、Ryu這5款具有代表性的開源控制器進行評價。依據圖6中可信指標系統，采集葉子指標的原始數據如表4所示。表中數據主要來源于2位專家的綜合用戶評價、已有研究成果結論[17,18]和實驗測試[19]。主觀評價的定性數據（“S”表示）含義及三角模糊數參見表2，客觀指標的定量數據（“O”表示）的測試條件是在1臺物理機上運行各種控制器和Cbench測試工具，且各控制器均采用單線程模式，連接32臺交換[19]，各指標單位是32(時(h))、41(毫秒(ms))、421(秒(s))、422(×103response/s)。

4.3 指標權重計算

依據評價指標數據，則可利用3.2節所述方法計算指標權重。首先依據可信屬性分類依次計算圖6各可信指標權重，下面以可信屬性中功能屬性為例進行介紹。

首先計算主觀權重。據3.2.1節所述，由2位評估專家依據表1評價規則對3個功能屬性的可信指標進行重要性判斷得到如表5所示結果。依據式(2)對表5數據進行融合，其結果如表6所示。以表6數據為基礎，利用式(3)、式(4)進行主觀權重計算，結果如表7所示。

表4 控制器可信指標原始數據

表5 基于專家評估的控制器功能屬性指標比較矩陣

表6 2位專家評價結果的融合比較矩陣

表7 控制器功能屬性指標主觀權重

其次計算客觀權重。從表4中提取功能屬性各指標數據取值，并依據式(4)進行去模糊化處理，并歸一化得到表8數據。之后，利用式(5)和式(6)計算得到各指標的客觀權重如表9所示。

表8 控制器功能屬性指標歸一化數據

表9 控制器功能屬性指標客觀權重

以此類推，計算得到SDN控制器5類可信屬性的葉子指標的主觀權重、客觀權重以及聯合權重如表10所示。以圖7顯示表10數據，比較可得聯合權重在主觀權重和客觀權重之間起到了平衡作用，提高了權重計算的公平性。

4.4 評估決策構建

下面利用3.3節所述評估指標計算方法構建控制器評估決策。首先進行可信指標數據轉換。對表4可信指標數據進行去模糊化處理后，利用3.3.1節中式(10)對指標數據進行效用轉化，得到控制器可信指標的可信值如表11所示。

表11 控制器組件各可信指標的可信值

其次構建評估決策矩陣。結合表10中的指標權重和表11中的指標可信值，利用3.3.2節中式(11)得到各控制器可信屬性的可信值，如表12所示。以表12為基礎，再次調用權重計算方法，得到各可信屬性主觀權重、客觀權重以及聯合權重，如表13所示。其中主觀權重計算時專家重點考慮了控制器的安全屬性，因此其主觀權重較大，而客觀權重中時效屬性的重要性更大。最后，依據式(12)將表12和表13數據結合，得到控制器組件的評估決策矩陣，如表14所示。

表12 控制器組件各可信屬性的可信值

表13 控制器可信屬性的權重

表14 控制器組件的可信評估決策矩陣

最后計算評估決策指標。根據3.3.3節中所述評估指標計算方法，計算各控制器實例的相對近似度，結果如表15所示。計算中是針對無具體服務需求的情況，因此理想參考向量由式(13)獲得。

表15 控制器組件的評估決策指標

此外，為考慮各控制器的性能比較，選擇表14中的5種可信屬性（依次編號為1、2、3、4、5）中的任意4種進行組合配置，計算5種策略下不同控制器實例的可信值，結果如圖8所示。

據表15中可信評估決策指標的取值大小，各評控制器的可信度量綜合排名為：Floodlight(I4)、Beacon(I2)、Ryu(I5)、Maestro(I3)、NOX(I1)。圖8也表明，在不同的策略配置下，I4的可信值取值較穩定，I5取值波動較大，I1、I2、I3的取值變化趨勢較為相近。經分析[17~19]，Floodlight作為一款商用級控制器在功能、性能、安全等方面都具有突出的優勢，相比而言，Beacon的優點在于處理性能強，Ryu基于Python語言開發其使用和擴展更方便，而NOX作為最早開發的控制器，其總體性能存在不足，因此其評估指標取值也較低。綜上所述，本文通過可信度量的評估方式能夠對控制器的多維信息進行融合處理，評估結果與實際相符合，能夠為實際應用提供合理指導。

4.5 算法性能分析

4.5.1 算法頑健性分析

頑健性是指算法評估結果受參數變化影響的敏感程度。在本文方法中，可信指標權重是影響評價判斷的重要參數，為此，下面通過交換可信屬性權重來分析方法頑健性。實驗中，基于表14數據，對控制器的5類可信屬性，兩兩交換其權重值計算得到不同交換策略下各控制器的可信值如圖9所示，其中，如策略“W12”表示交換功能屬性和可靠屬性權重。圖9表明，在不同權重交換策略下，各控制器取值在一定范圍內發生局部波動，但是其整體趨勢未發生顯著改變，例如I4的可信值范圍整體高于I1、I3的可信值范圍，這與實際情況相符合。由此也表明，本文算法對權重參數變化的敏感性低，表現出較好的頑健性。

4.5.2 算法對比分析

本文方法（記“M0”）與文獻[11]方法（記“M1”）、文獻[12]方法（記“M2”）運用于對以上SDN控制器組件進行評估，所得的評估結果如圖10所示，其中，M0和M1取值越大越好，M2取值越小越好。由圖10結果可知，本文方法與2種對比方法得到的評估結果基本一致。進一步，統計各算法的運行時間為：M0用時0.648 s，M1用時1.351 s，M2用時0.572 s。采用單一靜態指標模型的M2方法時間復雜度最低，采用動態指標模型和證據推理的M1方法時間復雜度最高，而本文方法M0時間復雜度與M2相近。

5 結束語

針對新型網絡體系結構建設中面臨的網絡組件服務性能評估問題，本文基于可信評估思想，將指標動態建模、主客觀聯合賦權和最優逼近等策略相結合，設計了較為完整的解決方案。最終通過評估案例驗證了算法在適用性、頑健性、時間復雜度等方面具有一定的綜合優勢。下一步研究重點是將所提方法轉化為管理策略，并在新型網絡及其服務構建中進行部署。

[1] PAUL S, PAN J L, JAIN R. Architectures for the future networks and next generation internet: a survey[J]. Computer Communications, UK, 2011, 34(1): 2-42.

[2] 黃韜, 劉江, 霍如, 等. 未來網絡體系架構研究綜述[J]. 通信學報, 2014, 35(8):184-197.

HUANG T, LIU J, HUO R, et al. Survey of research on future network architectures[J]. Journal on Communications, 2014, 35(8):184-197.

[3] BENGT A, CHRISTIAN D, et al. A survey of information-centric networking[J]. IEEE Communications Magazine, 2012, 50(7): 26 -36.

[4] XIE, SUN Y, ZHANG Y, et al. Service oriented future Internet architecture[C]//INFOCOM Poster. Shanghai, China, c2011.

[5] MCKEOWN N, ANDERSON T, BALAKRISHNAN H, et al. OpenFlow: enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2):69-74.

[6] SHIN S, PORRAS P, YEGNESWARAN V, et al. FRESCO: modular composable security services for software-defined networks[C]//The 20th Annual Network and Distributed System Security Symposium(NDSS). c2013.

[7] 郜帥, 王洪超, 王凱, 等. 智慧網絡組件協同機制研究[J]. 電子學報, 2013, 41(7): 1261-1267.

GAO S, WANG H H, WANG K, et al. Research on cooperation mechanisms of smart network components[J]. Acta Electronica Sinica, 2013, 41(7): 1261-1267.

[8] 蘭巨龍, 程東年, 胡宇翔. 可重構信息通信基礎網絡體系研究[J]. 通信學報, 2014, 35(1): 64-76.

LAN J L, CHENG D N, HU Y X. Research on reconfigurable information communication basal network architecture[J]. Journal on Communications, 2014, 35(1): 64-76.

[9] 習寧, 馬建峰, 孫聰, 等. 基于模型檢測的服務鏈信息流安全可組合驗證方法[J]. 通信學報, 2014, 35(11): 23-31.

XI N, MA J F, SUN C, et al. Composable information flow verification for service chain based on model checking[J]. Journal on Communications, 2014, 35(11): 23-31.

[10] SYED A S, JANNET F, MAHAM F, et al. An architectural evaluation of SDN controllers[C]//IEEE ICC-Next-Generation Networking Symposium. c2013: 3504-3508.

[11] 楊善林, 丁帥, 褚偉. 一種基于效用和證據理論的可信軟件評估方法[J]. 計算機研究與發展, 2009, 46(7): 1152-1159.

YANG S L, DING S, CHU W. Trustworthy software evaluation using utility based evidence theory[J]. Journal of Computer Research and Development. 2009, 46(7): 1152-1159.

[12] SHI L, YANG S L, LI K, et al. Developing an evaluation approach for software trustworthiness using combination weights and TOPSIS[J]. Journal of Software, 2012, 7(3): 532-543.

[13] 丁帥. 軟件可行性評估模型及其優化方法研究[D]. 合肥: 合肥工業大學, 2011.

DING S. Research on software trustworthiness evaluation model and its optimization[D]. Hefei: Hefei University of Technology, 2011.

[14] 周劍, 張明新. 軟件可信評估綜述[J]. 計算機應用研究, 2012, 29(10):3609-3613.

ZHOU J, ZHANG M X. Survey on trustworthy software evaluation[J]. Application Research of Computers, 2012, 29(10):3609-3613.

[15] 郎波, 劉旭東, 王懷民, 等. 一種軟件可信分級模型[J]. 計算機科學與探索, 2010, 4(3): 231-239.

LANG B, LIU X D, WANG H M, et al. A classification model for software trustworthiness[J]. Journal of Frontiers of Computer Science and Technology, 2010, 4(3): 231-239.

[16] 韓中庚. 數學建模方法及其應用[M]. 北京: 高等教育出版社, 2005.

HAN Z G. Mathematical modeling methods and application[M]. Beijing: Higher Education Press, 2005.

[17] 左青云, 陳鳴, 趙廣松, 等. 基于OpenFlow的SDN技術研究[J]. 軟件學報, 2013, 24(5): 1078-1097.

ZUO Q Y, CHEN M, ZHAO G S, et al. Research on openflow-based SDN technologies[J]. Journal of Software, 2013, 24(5): 1078-1097.

[18] 房秉毅, 張歌, 張云勇, 等. 開源SDN控制器發展現狀研究[J]. 郵電設計技術, 2014, (7): 29-36.

FANG B Y, ZHANG G, ZHANG Y Y, et al. Research on the development of open source SDN controller[J]. Designing Techniques of Posts and Telecommunications, 2014, (7): 29-36.

[19] 江國龍, 付斌章, 陳明宇, 等. SDN控制器的調研和量化分析[J]. 計算機科學與探索, 2014, 8(6)：653-664.

JIANG G L, FU B Z, CHEN M Y, et al. Survey and quantitative analysis of SDN controllers[J]. Journal of Frontiers of Computer Science and Technology, 2014, 8(6): 653-664.

Evaluation approach for network components performance using trustworthiness measurement

XIONG Gang, LAN Ju-long, HU Yu-xiang, LIU Shi-ran

(National Digital Switching System Engineering & Technological R&D Center, Zhengzhou 450002, China)

For the network components selecting problem involved in the process of building the new network and network service, a network component evaluation method was proposed based on the trustworthiness measurement and the model of the multiple attribute decision analysis. First of all, according to the flexible characteristics of the network application environment, an on-demand driven and dynamic strategy was designed for constructing trustworthiness index tree. Secondly, the uncertainty of the subjective weight was reduced by using the fuzzy analytic hierarchy process, and the combination weight calculated from the subjective and objective weight was used to improve the fairness of weighting operation. Next, in the decision stage, the evaluation results were obtained through the integrated use of processing strategies which include the index data utility transformation, the trustworthiness attribute vector construction and the calculation of vector relative approximation degree. Finally, the rationality, applicability and validity of the presented approach are demonstrated with the evaluation of the software defined network controllers, and the results contribute to provide operators more decision information.

network component, trustworthiness, combination weight, network controller

TP393.08

A

10.11959/j.issn.1000-436x.2016059

2015-05-26；修回時間：2015-12-16

國家重點基礎研究發展計劃（“973”計劃）基金資助項目（No.2012CB315901, No.2013CB329104）；國家自然科學基金資助項目（No.61309019, No.61372121）；國家高技術研究發展計劃（“863”計劃）基金資助項目（No.2013AA013505, No.2015AA016102）

The National Basic Research Program of China (973 Program) (No.2012CB315901, No.2013CB329104), The National Natural Science Foundation of China (No.61309019, No.61372121), The National High Technology Research and Development Program of China (863 Program) (No.2013AA013505, No.2015AA016102)

熊鋼（1986-），男，四川綿陽人，國家數字交換系統工程技術研究中心博士生，主要研究方向為新型網絡體系結構、網絡信息安全。

蘭巨龍（1962-），男，河北張北人，國家數字交換系統工程技術研究中心教授、博士生導師，主要研究方向為寬帶網絡關鍵理論與技術。

胡宇翔（1982-），男，河南周口人，國家數字交換系統工程技術研究中心講師，主要研究方向為新型網絡體系結構、網絡信息安全。

劉釋然（1990-），男，河南洛陽人，國家數字交換系統工程技術研究中心碩士生，主要研究方向為軟件定義網絡。