一種OSS信息模型客觀評價方法和工具

黃鸝聲 王 燁 趙 強 汪文勇

1(電子科技大學計算機科學與工程學院 四川 成都 611731)2(中國移動通信集團公司 北京 100032)3(中國工程物理研究院計算機應用研究所 四川 綿陽 621900)

?

一種OSS信息模型客觀評價方法和工具

黃鸝聲1,3王 燁2趙 強3汪文勇1

1(電子科技大學計算機科學與工程學院 四川 成都 611731)2(中國移動通信集團公司 北京 100032)3(中國工程物理研究院計算機應用研究所 四川 綿陽 621900)

為了對海量的OSS(運維支撐系統)數據進行管理、存儲和分析，各個機構和組織提出了多種OSS信息模型。對于運營商而言，如何評價這些信息模型的優劣成為了一個重要挑戰。提出一種針對OSS信息模型的客觀評價體系及評價工具，與現有評價方法相比，該評價方法是一個完全客觀的評價體系，能夠對OSS信息模型進行自動化客觀評價，不需要任何人工參與。實際應用表明該模型和工具對運營商有較強的應用價值。

運營支撐系統 信息模型 信息模型評價 信息模型優化 評價工具

0 引 言

隨著寬帶網絡運維支撐系統OSS的不斷發展，OSS積累的信息量日益龐大，對OSS信息的管理和挖掘也日益受到重視。因此，OSS信息建模成為一項重要的基礎工作。網絡管理信息模型是網絡管理的重要組成部分，其質量的好壞將直接影響網絡管理的信息質量，并進一步影響整個網絡管理系統的開發與應用，因此有必要對網絡管理信息模型質量進行評價。從網絡管理的需求出發，研究OSS信息模型的評價體系已成為一個重要的研究課題。

此前的研究已經提出了若干針對信息模型的評價體系，但大多為概念模型，在實際評價過程中難以應用；而且大多數現有評價指標為主觀評價指標，評價過程需要大量人為參與，不利于快速、自動化評價。在實際應用中，運營商往往需要一種完全客觀的評價方法，能夠自動地分析并評價不同廠商提出的信息模型，并且對新設計的信息模型進行質量分析和改善。與此同時，目前國內外還沒有一款正式應用的OSS信息模型自動化評價工具。

本文在研究現有信息模型評價體系的基礎上，提出了一種新的客觀評價體系，設計了相應的客觀評價指標，并設計了一款完全自動化的OSS信息模型評價工具。本文工作的目的是能夠為運營商提供一種完全自動化的客觀評價體系和工具，協助運營商對OSS信息模型進行評價、選擇和設計優化。

1 現有信息模型評價體系

1.1 信息模型評價背景

ITU-T X.720[1]提出網絡管理信息模型是管理資源的抽象，就像一個“交互中心”，管理功能并不直接與網絡資源交互，而是通過信息模型，由信息模型對資源直接進行操作。

信息模型質量評價是網絡管理基礎研究的主要內容之一，目前的網絡管理方法和系統還沒能很好地解決信息模型質量評價問題。在新一代網絡的網絡管理中，這個問題將會顯得更加突出。例如，缺少指標對已有信息模型進行評價，缺少指標對多個信息模型進行評價比較以確定哪個更適合投入使用，缺少指標或方法對實施的建模過程進行控制等。可以說，對于運營商而言，OSS信息模型質量評價研究的現實需求極為迫切。

信息模型評價對信息模型的完善、運營支撐系統的優化實現起著重要作用。它可以用于：

(1) 估計使用不同管理信息模型的管理系統的集成難度。

(2) 為已知模型案例選擇一個最合適的管理信息模型。

(3) 為管理信息模型的設計提供一個框架：可以幫助構建新的信息模型。評價體系可被視為設計新管理信息模型的模版，同時又可以增強已經存在的模型[2,19]。同時，對信息模型的評價為運營商提供了整合各類OSS信息的可行途徑[3,20]。

信息模型質量評價過程分為若干階段，且上一階段的成果即是下一階段實施的基礎。評價的一般過程如圖1所示分5個階段，分別為：評價指標選擇、指標值獲取、評價方法選擇、評價實施、評價結果分析。

圖1 信息模型評價過程

1.2 現有評價體系

網絡管理信息模型質量評價的相關研究目前仍然處于理論階段。現有的評價體系主要包括以下幾類：

1) 經驗評價法與非經驗評價法

一些研究機構和會議推動著信息模型評價策略的發展，其中包括：Method Engineering，Workshop on Evaluation of Modeling Methods in Systems Analysis and Design，CRIS(Comparative Review of Information Systems) series等[1-3]。這些策略可以分為兩類：非經驗評價與經驗評價。

非經驗評價包括：特征對比法——這種策略給出了一個特征列表，用以評價不同的信息模型，該方案的優點是易于操作，而缺點則體現為其帶有一定的主觀性；元模型化——以信息模型的元模型作為對比評價的基礎，該方案比特征對比法更加客觀；本體評價法等。

經驗評價包括：調查法——此策略通過問卷調查來統計評價數據，進而得出結論；實驗室法——通過試驗獨立影響變量的方式來評價信息模型，其優點是方便控制；此外，又有案例研究法和行為研究法等[3]。

在實際應用中，往往對上述兩種策略進行綜合應用，即：部分評價指標為非經驗指標，而其他指標為經驗指標。

文獻[4]中Wand等提出了用本體的概念來評價信息模型的方法。其基本理念是通過基于本體構架的匹配來評價已有的構架。Wand等指出在本體構架和模型構架間應該存在一對一映射。基于本體論的信息模型評價方法具有一定通用性，但強調的是信息模型的語法、本體的完整性和清晰度，基于本體的OSS信息模型成功案例尚不多見文獻[13,16]。

2) EURESCOMTRS評價方法

文獻[5]定義了一種評價電信管理網TMN(Telecommunication Management Network)信息模型的方法：TRS(Technical Review Session)，在歐洲EURESCOM 計劃中的P609 項目( 1995～1997)中提出。TRS通過幾個視點進行評價：語法、ITU(International Telecommunications Union)X.722標準及GDMO(Guidelines for Definition of Managed Objects，被管對象定義指南)的正確使用、GDMO的合理智能應用，以及目標的適用性等方面，其中重點在于面向GDMO的評價方法。

在文獻[5]中的第4卷(Annex C-Quality Metrics for GDMO based Information Models)中定義了若干對信息模型的評價指標(Quality Metrics, QM)：類的復雜度WMC(Weighted Methods /attribute operations/actions/notifications per Class)、繼承樹的深度DIT(Depth of Inheritance Tree)、類的孩子數量NOC(Number Of Children)、對象間的耦合程度CBO(Coupling Between Objects)、關聯復雜度AC(Association Complexity)。文獻[6]中，Terence Turner對TRS方法做了進一步的介紹與總結。

3) 基于GDMO的評價方法

Czamecki等提出了一組用于評價基于管理對象定義標準GDMO的管理信息模型的評分標準[7]。同時提出一套比較標準來評價3個基于GDMO的管理信息模型(MIM)：NMF網絡模型、ITU-TM.3100[8]模型以及ETSI GOM模型，為三種模型選擇了合適的網絡管理類，并以一個簡單的SDH 網絡作為例子進行分析。該文中提出了一個指標體系，由分為 A、B、C、D、E 五個類別的 24 個指標組成，用于管理信息模型的評價對比。

4) 通用評價模型

文獻[9]提出一個通用的評價模型，給出網絡管理信息模型質量的定義，并提出相應的質量評價指標。指標被分為 3 級，從上到下逐步細化成可以進行定量度量的子特性。若干指標形成一個分層分類的樹狀評價指標體系。該指標體系是一個基本框架，旨在建立網絡管理信息模型質量評價指標的層次結構和通用方法。因此，該評價模型是一個理論模型，在使用過程中需要根據被評價信息模型進行擴展和修改[12]。

5) 面向NGOSS的信息模型評價體系

文獻[10]結合新一代運營支撐系統的特點與需求，提出了一個完備的模型綜合評價體系，該評價指標體系遵從新一代運營系統與軟件NGOSS (New Generation Operations Systems and Software)的 4 個視圖[11]。總體上，NGOSS 評價體系分別從業務視圖、系統視圖、實現視圖和部署視圖出發，來反映不同使用者的關心點。其中：由業務視圖評測信息模型對于運營需求的滿足程度；系統視圖則完成模型本身特性的度量；實現視圖用于檢驗模型的有效性，對實現方面的支持；部署視圖評價運行時的相關指標。對模型的評價可以從不同的視圖出發。

TMF提出了共享信息數據共享信息數據模型SID(Shared Information/ Data Model)[11]，SID是NGOSS提出的建立共享信息模型的通用框架，分別從商業和系統兩個視點描述了共享信息模型。它不僅對業務過程中所涉及的各種信息進行抽象分析，而且還使用了UML對共享信息進行建模，為聚合業務實體定義了對象、屬性等，為OSS提供了信息共享的基礎。

目前在運營商領域，普遍將SID作為信息模型的藍本和對比評價標準。

1.3 現有評價體系的不足

雖然針對信息模型的評價方法眾多，但大多難以被運營商直接應用，原因在于：

(1) 概念指標過多：現有評價體系的各項指標眾多，但大部分為概念指標，缺少必要的、可操作的計算方法和數據來源。

(2) 主觀指標為主：大部分評價指標都是主觀指標，即：評價過程需要領域專家參與，根據主觀評分決定評價結果[15]。

(3) 工具匱乏：正因為現有評價體系大多不具備實際操作性，因此迄今為止國內外還沒有一款被正式應用的OSS信息模型質量評價工具。

2 信息模型客觀評價體系設計

針對現有評價體系可操作性不強，評價工具匱乏的問題，本文提出了一種完全客觀的評價體系，設計了相應的評價工具，以下分別闡述。

2.1 客觀評價體系設計

本文提出的客觀的評價體系如圖2所示。該評價體系的指標全部為客觀評價指標，便于通過自動化分析工具進行自動化評估，質量評價指標體系共分2級，其結構如圖2所示。

圖2 信息模型質量客觀評價體系設計

該評價體系包括4個大類共計8個指標，均為客觀評價指標，關鍵指標的設計參考了現有國內外評價模型中的指標設計，并對評價過程進行了改進，摒棄了其中的主觀評價部分。該指標體系既可用于單個信息模型的單獨評價，也可用于信息模型之間的兩兩對比評價。

2.2 客觀評價指標設計

以下對客觀評價體系內的若干評價指標進行詳細設計。

1) 完整性

資源抽象完整性旨在考察網管信息模型對被管資源的抽象是否完備，即信息模型中的抽象類是否覆蓋管理功能所需的資源實體及其相互關系。具體的質量度量有兩個。

(1) 資源抽象完整性

該度量考查信息模型對管理資源的覆蓋程度及對管理功能的支持程度，其計算方法如下：

遍歷所有資源實體，按照重要性(實體與其他實體之間的關系數量)分成三類：A(重要)、B(一般)、C(不重要)，分別給定權值3、2、1，每類包含的管理資源計數為Na、Nb、Nc，由軟件系統來判定這些資源在信息模型中是否有對應的抽象類，如果有匹配表示則計數Ma、Mb、Mc，定義資源抽象完整性評分為：

C=(3Ma+2Mb+Mc)/(3Na+2Nb+Nc)

(1)

且其最優值為1。

(2) 關聯抽象完整性

OSS資源實體間存在的相互影響、相互作用的關系稱為關聯關系，這種關系表現在信息模型中就是對一個管理對象類的操作可能會影響到另外一個或幾個管理對象類的性質和操作。該指標主要考查資源實體之間的關聯關系在信息模型中是否得到正確反映，其計算方法如下：

a) 遍歷資源實體間的所有關聯關系，計數為n。

b) 遍歷信息模型中抽象類之間的關聯關系，計數為m。

c) 在信息模型中依次查找與資源關聯關系相匹配的類間關聯關系，計數為m1。

d) D1=m1/n表示現實中存在的關聯關系在信息模型中的實現程度，其取值范圍為[0,l]，且最優值是1。

e) D2=m1/m表示信息模型抽象所得的關聯關系中現實存在的關系所占的比例，以此判斷信息模型抽象關聯關系的正確程度，其取值范圍為[0,1]，且最優值是1。

f) 對D1和D2取平均值D：D表示信息模型對支持管理功能的管理資源本身抽象的完備性和合理性，其取值范圍為[0,1]，且最優值是1。

2) 復雜性

模型的復雜性和建模粒度反映信息模型中單個管理對象類的容量。復雜性旨在考查信息模型中管理對象類的粒度是否合適，以及信息的冗余度，這是判斷信息模型對管理資源抽象是否合理的一個重要因素。

具體的質量度量有四個。

(1) 冗余度

信息模型冗余度定義為資源實體數量與模型中的抽象類數量的比值，一股來講，建模粒度越細，這個數目越大。其計算方法是在抽象類中查找與資源實體匹配的類的數量，記為n，其最優值是資源實體的數量。

(2) 類的復雜度(建模粒度一致性)

建模粒度一致性考察抽象類建模粒度的一致程度，即：將一個抽象類內部的元素(如屬性、動作、關系等)全部累加，表示該類的建模粒度；再用方差的形式表示信息模型中所有抽象類的建模粒度是否基本在同一等級上。其計算方法如下：

a) 將所有n個管理對象類內部的元素計數，得到R1,R2,…,Rn，R=(R1+R2+…+Rn)/n。

c) 定義k表示建模粒度一致性程度，計算方法為：

(2)

k值越大，表明一致性越好，k的最大值是1，若k<0，則取k=0。一般針對具體的信息模型，當k大于某一個百分比時就認為信息模型的建模粒度一致性是可接受的。

(3) 繼承樹的深度寬度比

繼承本身就是一種重用。繼承樹是管理對象類之間繼承關系的圖形表示。它的深度(也稱繼承樹的層次)反映了管理對象類整體的重用程度。若繼承樹越深，則底層的類所繼承的屬性和方法就越多，因此該類的預知行為會越多，類的設計就越復雜。另外，一定的繼承又是必要的，因為繼承避免了重復設計。因此有必要考慮繼承樹的深度，其計算方法是從繼承樹的根節點到葉結點為止計數樹的深度n，其最優值是一個針對管理資源和用戶要求的合適的值(本文取值為7)。

(4) 包含樹的深度

包含樹是管理對象類實例之間包含關系的圖形表示，它的深度(也稱包含樹的層次)反映了信息模型整體的建模粒度。一般而言，粒度越細，包含樹越深，粒度越粗，包含樹越淺，因此可以通過包含樹的深度大致了解建模的粗細程度。其計算方法是從包含樹的根結點開始到最底層葉子結點為止，包含樹深度定義為n，其最優值是一個針對管理資源和用戶要求的合適的值(本文取值為7)。

3) 耦合性

面向對象設計的一個重要思想是追求對象類的高內聚、低耦合，管理對象類也不例外。具體的質量度量只有1個：

類間耦合度

類間耦合度量考察模型中類之間的耦合程度，這里的耦合是由類間的關聯關系產生的。類間耦合與類的設計相關，耦合越低，表明單個類的封裝性越強，獨立性越好。其計算方法如下：

a) 找出與某個類x有關聯關系的其他類個數Rx；

b) 對模型中每一個類，采用 步驟a)的方法，找出n個Rx計數值，分別記為R1,R2,…,Rn，令:

R=(R1+R2+…+Rn)/n

(3)

其中R表示整體的類間耦合度量值，越小越好，針對具體的資源和用戶需求，只要低于特定值就認為信息模型的類間耦合是可接受的。

4) 規范性

模型體系應遵從3NF等數據規范，重點以3NF為參照制定規范性指標。

3NF規范性評分

兩兩對比信息模型中每兩個對象的屬性，判斷其是否存在可能違背3NF的冗余：

a) 信息模型中有n個類，定義為(C1,C2,…,Cn)；

b) 以3NF規范掃描信息模型中所有類，不符合3NF規范的類計數為m，m初始值為0；

c) 令x=(n-m)/n，x為3NF規范性評分。

2.3 客觀評價體系的適用

本評價體系適用范圍：

(1) 對某個OSS信息模型進行綜合評分，分值越高說明信息模型的質量越高；

(2) 對兩個以上的信息模型進行分項比較和評分，評分高的模型質量更高。

適用限制如下：

(1) 評價對象為通過UML建模語言所描述的信息模型；

(2) 評價對象為抽象信息模型，不適用于具體網絡或信息資源的實體模型；

(3) 評價對象僅僅為電信運營商OSS域信息模型。

3 信息模型客觀評價工具

3.1 系統功能

信息模型評價工具嚴格遵循了本文提出的評價體系和指標計算方法。具備如下評價能力：

(1) 讀取并解析UML文檔：能夠識別UML語法詞法并解析UML信息模型中類、屬性及其各類關聯關系。

(2) 抽取物理數據庫并生成UML抽象模型：根據運營商的實際環境和需求，工具能夠從Oracle/SQL Server/Mysql等數據庫中抽取表、屬性、各類外鍵和關聯，并自動生成與之匹配的UML模型文件。

(3) 單個信息模型獨立評價：對單個信息模型進行獨立的質量評價，給出缺陷分析。

(4) 多個信息模型對比評價：對多個模型進行對比評價，給出被評價模型的相對評分和缺陷分析。

(5) 支持模糊匹配、智能匹配、同義詞匹配等多種匹配方式，降低誤判率。

3.2 應用效果

本文提出的信息模型評價工具已經成功應用于運營商對廠商模型的質量評價，并應用于某省運營商的信息建模優化過程。該工具包括兩個版本：PC版和WEB版，目前已集成于OSS網管云平臺，獲得正式應用。在實際應用中取得如下效果：

(1) 通過完整性評價，發現某省OSS系統中存在若干管理缺失點，促進管理的完善；

(2) 通過復雜度評價，提出某省OSS系統的性能隱患并獲得證實，協助提升了OSS系統性能。

4 結 語

本文研究了當前主要的信息模型評價體系，提出了完全客觀化的OSS信息模型自動化評價體系，給出了若干客觀評價指標和相應的信息模型自動評價工具。本文方法和工具有利于提升OSS信息建模的質量。本文提出的模型雖然尚未獲得國際組織認可，但已構成OSS運營商內部標準體系一部分。

[1] ITU-T Recommendation X. 720-1992, Open system inter connection-structure of management information: management information model[S].

[2] Czarnecki P, Jajszczyk A, Wilkosz M. Comparison criteria for management information models (MIMs): a way of analyzing MIMs[C].Network Operations and Management Symposium, 1996., IEEE. IEEE,1996,3:666-673.

[3] Siau K, Rossi M. Evaluation of information modeling methods—a review[C]//Proceedings of the Thirty-First Hawaii International Conference on System Sciences，1998,5:314-322.

[4] Wand Y, Weber R. An ontological analysis of some fundamental information systems concepts[C]//Proceedings of the Ninth International Conference on Information Systems,1988:213-226.

[5] EurescomProject P609-1997, TMN specification support annex E-TRS guidelines[S].

[6] Terence Turner. Towards more efficient TMN model development-TMN information model-quality evaluation[C]//Proceedings of NOMS’98.1998(4):256-262.

[7] Przemyslaw Czarnecki, Andrzej Jajszczyk, MarckWilkosz. Comparison criteria for management informationmodels (MIMs): a way of analyzing MIMs[ J/ OL] . IEEE Journal,1996(4):666-673.

[8] ITU-T Recommendation M. 3100-1995, Generic network information model[S].

[9] 吳格含，孟洛明，邱雪松.網絡管理信息模型質量定義及評價模型[J].北京郵電大學學報，2003(4)：19-23.

[10] 吳艷凌. 新一代網絡管理信息模型評價體系的研究[EB/OL]. 中國科技論文在線. http://www.paper.edu.cn/download/downPaper/ 201005-619. 2015.

[11] TMF, New Generation Operational Support Systems Architecture Overview[S]. TMF GB920. 2000, 2005.

[12] 沈旺,國佳,李賀. 網絡社區信息質量及可靠性評價研究——基于用戶視角[J]. 現代圖書情報技術,2013(1):74-79.

[13] 劉孟冬. 網絡綜合資源管理系統中大容量數據處理的設計與實現[D]. 山東大學,2013.

[14] 王毅. CMC集團管控模式研究[D]. 南京理工大學,2012.

[15] 項敏. 基于主觀感知的互聯網質量監測和評價系統[D]. 電子科技大學,2013.

[16] 李春林,黃月江.基于本體的網絡管理策略生成方法研究[J]. 通信技術,2013(12):42-46.

AN OBJECTIVE OSS INFORMATION MODELS EVALUATION METHOD AND TOOL

Huang Lisheng1,3Wang Ye2Zhao Qiang3Wang Wenyong1

1(SchoolofComputerScienceandEngineering,UniversityofElectronicScienceandTechnologyofChina,Chengdu611731,Sichuan,China)2(ChinaMobileCommunicationsCorporation,Beijing100032,China)3(InstituteofComputerApplication,ChineseAcademyofEngineeringPhysics,Mianyang621900,Sichuan,China)

In order to manage, store and analyse huge operation support system (OSS) data, various institutions and organisations have presented different OSS information models. For service providers, how to evaluate the pros and cons of these information models has become a great challenge. We propose an objective evaluation system and evaluation tool targeted at OSS information models. Compared with existing evaluation methods, our method is a completely objective evaluation system, can evaluate OSS information models automatically and objectively without any human intervention. Practical applications show that the model and tool have higher applied value for service providers.

Operation support system Information model Information model evaluation Information model optimisation Evaluation tool

2015-09-23。教育部-中國移動科研基金項目(MCM 20123041，MCM20130661)；計算機網絡及應用四川省工程實驗室研究基金項目(20140415)。黃鸝聲，副研究員，主研領域：網絡運維技術，網絡測量。王燁，高工。趙強，研究員。汪文勇，教授。

TP393

A

10.3969/j.issn.1000-386x.2016.11.014