基于可信度指標體系的VV&A過程模型研究

李浩, 唐碩, 閆曉東

(1.西北工業大學 航天學院, 陜西 西安 710072;2.西北工業大學 航天運載系統仿真實驗室, 陜西 西安 710072)

基于可信度指標體系的VV&A過程模型研究

李浩1,2, 唐碩1,2, 閆曉東1,2

(1.西北工業大學 航天學院, 陜西 西安 710072;2.西北工業大學 航天運載系統仿真實驗室, 陜西 西安 710072)

驗證、校核和確認(VV&A)過程的規范化對提高建模與仿真全生命周期VV&A工作效率和準確性具有重要意義。從VV&A任務分配和VV&A信息反饋的角度,提出了一種基于可信度指標體系的VV&A過程模型。該過程模型是在DMSO VV&A RPG過程模型基礎上,引入可信度指標體系以明確VV&A各階段的具體任務和反饋機制。另外,引入VV&A“兩個方向”和“兩類反饋”概念解析了采用該過程模型的VV&A工作思路。最后,將該過程模型用于某飛行器彈道仿真系統的VV&A工作中,實踐證明，該過程模型在VV&A工程應用中起到了很好的指導作用。

VV&A; 過程模型; 可信度指標體系; 建模與仿真

引言

目前國內外仿真界已經達成共識:沒有經過驗證的仿真模型沒有任何價值,沒有經過可信性評估的仿真系統也沒有任何價值[1]。VV&A是一項非常復雜的工作,原因在于:活動周期長;涉及因素眾多;具體評估分析工作繁而雜等。建立合理、有效的VV&A過程模型是有效地組織VV&A工作、提高VV&A工作效率和準確性的重要途徑,因此VV&A過程模型研究是國內外VV&A理論研究的重要內容。各個國家和組織發布的VV&A標準規范中都明確給出了VV&A過程的定義,如美國的DMSO VV&A RPG[2]、法國等5國的REVVA[3]、加拿大的DND SECO VV&A指南[4]等都明確提出了符合本國實際情況的VV&A過程模型,尤其是REVVA更是將過程(Process)作為其理論“三支柱”(3 Pillars)核心概念之一。國內相關研究也取得了各種成果,如文獻[5]對復雜大系統的VV&A過程模型進行了研究;文獻[6]從計劃和開發結構化角度給出了全周期的VV&A改進過程模型等。

上述各種過程模型都是從宏觀上對VV&A工作流程進行了規范、指導,但沒有明確指明各階段的工作內容,并且沒有明確指明VV&A各階段之間及VV&A和建模與仿真(Modeling and Simulaion,M&S)之間的評估信息反饋機制。另外,由于VV&A對象不同和不同VV&A工程的各階段工作重視程度不同,VV&A一般過程模型在實際VV&A工程應用中有很大的局限性。

針對以上問題,在對VV&A基本活動和一般過程模型的研究、總結之后,結合工程應用,將M&S可信度指標體系引入VV&A過程模型中,提出了一種基于可信度指標體系的VV&A過程模型。

1 一般VV&A過程模型

1.1 VV&A過程模型的研究意義

校核、驗證與確認組成了VV&A工作的三大基本活動,但是它們之間存在著工作的交互及數據、信息等資源的交流,因此為了有效、全面地進行VV&A活動，必須對其進行規范化的過程管理,而過程管理是有效地進行VV&A工作必不可少的環節,四者關系如圖1所示。

圖1 VV&A基本活動關系圖

過程管理(Process Management)為整個VV&A工作提供一種流程規范,讓全周期VV&A活動有章可循:活動流程的規范化、資源管理的規范化、各類文檔的規范化等。因此,為了有效地組織VV&A活動，必須建立合理的VV&A過程模型,對VV&A基本活動進行規范化過程管理。

1.2 RPG VV&A過程模型

目前,各種VV&A規范指南給出的VV&A過程模型大多數將VV&A分為:VV&A需求和規劃,校核和驗證(V&V)以及確認。其中最具代表性的是DOD RPG的過程模型[2],將VV&A活動分為:校核需求、制定V&V計劃、驗證概念模型、校核設計、校核實現、驗證結果和確認評審七個主要階段,過程模型如圖2所示。

圖2 DOD RPG過程模型

1.3 過程模型的基本屬性

盡管各種過程模型的形式和階段數目不同,但是都體現了VV&A過程模型的共同屬性:全周期性、層次化性和反饋性。

(1)全周期性:VV&A不是僅針對M&S的某一個階段或步驟,而是對M&S進行全生命周期的可信度質量監控。

(2)層次化性:VV&A工作是一個非常復雜的工作,必須將VV&A工作進行層次化分解。VV&A這種“n個階段”的過程模型很好地體現了“將復雜問題簡單化”的解決問題思路。

(3)反饋性:VV&A工作的目的就是不斷地將V&V活動得到的模型修正信息反饋到M&S中,使M&S工作沿著正確的方向發展,盡可能地少走彎路。反饋性體現了VV&A作為M&S“反饋校正器”的作用。

本文所提基于可信度指標體系的VV&A過程模型也是在上述三個基本屬性的基礎上建立的,將可信度指標體系引入到VV&A工作中,在M&S全周期內層次化地將VV&A信息反饋到M&S中,保證M&S的可信度。

2 可信度指標體系

M&S可信度指標反映的是M&S某種屬性的可信度度量,用于評價模型或仿真系統特定屬性的可信性。根據模型或者系統的可信度內在關系將各種可信度指標組織在一起,構成層次化的可信度指標體系,反映的是整個模型或系統的可信度。因此,根據M&S特點構建完整、準確的可信度指標體系往往是VV&A成功的關鍵之一。

根據系統或者模型的特點和VV&A工作的重點,可信度指標體系主要分為以下三類:

類型Ⅰ：從仿真可信度基本要素角度構建,如文獻[7]將復雜大系統仿真可信度的高層指標分為有效性、正確性、互操作性、可靠性和可用性;

類型Ⅱ：從VV&A過程階段角度構建,如文獻[8]將魚雷控制半實物仿真系統可信度高層指標分為數學模型校核指標、數學模型驗證指標、仿真模型校核指標、仿真模型驗證指標、物理設備校核指標和物理設備驗證指標;

類型Ⅲ：從評估對象組成單元角度構建,如將某飛行器六自由度彈道仿真模型可信度分為動力學子模型可信度、氣動子模型可信度、制導子模型可信度、控制子模型可信度和環境子模型可信度。

三種可信度指標體系有各自的特點,不僅僅是構建方式不同,在考慮的因素、詳細程度上也是有差別的,從而導致適用對象不同。三者之間的對比如表1所示。

表1 三類可信度指標體系對比

通過以上分析,必須根據VV&A工作對象及評估分析重點選擇可信度指標體系構建方式。不管采用哪類方式,原則都是將影響模型或系統可信度的所有因素概括到可信度指標體系中。

3 改進的VV&A過程模型

本文所提VV&A過程模型在DMSO VV&A RPG中VV&A過程模型的基礎上,通過引入可信度指標體系,對VV&A全生命周期內的任務分配和VV&A信息的反饋進行了改進。過程模型示意圖如圖3所示,其中:

(1)PVV&A和PM&S:VV&A過程和M&S過程,二者是相互伴隨的兩個并行過程,在整個生命周期內存在著數據模型信息等的交互。

(2)CreIndSys:可信度指標體系,可根據具體情況按照2.2節中介紹的三種方式構建。

(3)Activity:具體V&V活動,分為底層可信度指標的求取和綜合兩類,形式化表示為<ζ,O,In,Cre,M,Out>,其中:

①ζ:活動類型,0代表底層指標的求取,針對的是系統或模型某一特征屬性;1代表的是底層指標的綜合,針對的是M&S某一階段的工作內容或者子系統、子模型;

②O:活動對象,當ζ為0時,O為系統或模型某一可信度特征屬性;當ζ為1時,O為M&S某一階段的工作或者是某一子模型;

③In:活動的輸入內容,指V&V活動所需的模型信息、數據、文檔等;

④Cre:可信度指標,當ζ為0時,Cre為CreIndSys的底層指標,當ζ為1時,Cre為CreIndSys的高層指標;

⑤M:活動所使用的方法,當ζ為0時,M主要指審查、兩樣本一致性檢驗等V&V方法;當ζ為1時,M主要指模糊層次分析法等確認方法;

⑥Out:活動的輸出,指V&V活動得到可信度評價信息及模型修改信息。

(4)fRT和fPha:實時反饋和階段反饋,實時反饋在每一V&V活動的進行都要形成V&V信息的反饋,實時校正相應階段M&S工作,形成VV&A的實時反饋。階段反饋在VV&A縱向過程中,每一V&V階段工作結束,都形成階段信息反饋,以確保M&S階段工作具有很高的可信度可以進入下一階段。

下面通過VV&A“兩個方向”和“兩類反饋”、可信度指標體系的作用和基于所提過程模型VV&A工作流程三方面介紹改進的VV&A過程模型。

圖3 改進的VV&A過程示意圖

3.1 “兩個方向”和“兩類反饋”

“兩個方向”和“兩類反饋”是本文中VV&A工作流程的核心思想,對這兩個概念進行論述,圖4是二者的示意圖。

(1)兩個方向

VV&A縱向:隨時間的推移,與M&S各工作階段相對應,VV&A工作分階段進行。VV&A縱向的主線為:需求校核→概念模型V&V→計算機模型校核→計算機模型驗證→M&S使用V&V→確認評估。

VV&A橫向:在VV&A各階段中,與M&S階段工作內容相對應,VV&A階段工作內容進行展開。可信度指標體系中相對應的各層指標的獲取構成了此方向的具體工作內容。

(2)兩類反饋

實時反饋:在VV&A橫向過程中,每一V&V活動的進行(即某項可信度指標的獲取)都要形成V&V信息的反饋,實時校正相應階段M&S工作,形成VV&A的實時反饋。

階段反饋:在VV&A縱向過程中,每一V&V階段工作結束,都要進行M&S階段工作的整體評估,形成階段信息反饋,以確保M&S階段工作具有很高的可信度可以進入下一階段。

圖4 “兩個方向”和“兩類反饋”示意圖

“兩個方向”明確了VV&A工作流程的方向,“兩類反饋”明確了VV&A信息反饋機制。在VV&A一般過程模型的基礎上,引入這兩個概念能夠幫助明確改進VV&A工作流程的工作機制,增加工程管理性,從而增強了工程應用性,這也是本文所提基于可信度指標體系VV&A過程模型的核心思想。

3.2 可信度指標體系的作用

可信度指標體系反映影響M&S是否滿足預期目標的作用,本文中可信度指標體系在改進VV&A工作模型中還具有以下作用:

(1)明確了VV&A各階段的工作目標和具體任務,在實際工程應用中不可能考慮所有影響M&S可信度的因素,即進行所有V&V活動。任一底層指標的確定過程即是對某一M&S影響因素進行評估的V&V活動;

(2)明確了VV&A過程模型中各種反饋信息,任一指標的獲取都實時地將模型修改意見反饋到M&S中,為M&S調整提供重要依據;

(3)為專家組成員在確認階段提供重要評審依據,指標體系中各指標值及體系本身反映出的各影響因素之間的相互關系都是專家在對M&S進行系統確認過程中的重要依據。

3.3 工作流程

圖5給出了基于可信度指標體系VV&A動作流程的詳細示意圖。由于考慮影響M&S可信度的所有因素,圖中可信度指標體系是采用類型I構建的。具體流程如下:

(1)VV&A需求分析

結合M&S用戶的實際要求,分析M&S內容和任務目的,根據需要分析可信度因素,構建初步的可信度指標體系,確定VV&A基本工作內容。主要內容為:①根據M&S各方面內容確定VV&A的目標;②根據所建目標初步建立可信度評估體系;③準備與VV&A工程相關的各種資源(數據、文檔等);④確定VV&A組織關系,并確認機構的權威性。

(2)VV&A方案設計階段

根據VV&A目標和初步的可信度指標體系,產生詳細的VV&A工作計劃,并將任務分配給各單位。VV&A方案設計主要工作為:①分解VV&A目標,將VV&A任務具體化;②對初步可信度評估體系進行分解,建立詳細的可信度指標體系來指導VV&A工作;③將VV&A過程計劃進行優化,根據實際情況制定充分但不繁瑣的VV&A流程;④為各V&V活動選擇合適的V&V方法,即為各個底層可信度指標值的獲取選擇適當的V&V方法。

(3)實施V&V階段

根據VV&A需求分析階段確定的VV&A任務,按照方案設計階段制定VV&A計劃,與M&S過程同步對影響M&S可信度的因素進行校核和驗證。

實施V&V是與M&S同步進行的,M&S每進行一步,VV&A工作都會按照計劃對M&S此階段涉及到的可信度因素進行校核與驗證,得到可信度指標體系中相應的可信度指標值(定量值與定性描述)。并且實時地將各個指標值及專家意見反饋給M&S工作者,滿足可信度要求則進行下一步M&S工作,反之停止M&S并找出M&S缺陷所在。M&S每一階段結束時,VV&A必須對此階段M&S所涉及到的可信度因素進行綜合評價,形成VV&A階段性報告。反饋給M&S的具體內容包括:V&V數據、可信度指標值和V&V報告。

(4)確認階段

確認工作分為兩步:可信度指標值綜合和專家會議。可信度指標綜合工作由VV&A工作者進行,采用模糊層次分析法[8]等方法將底層可信度指標值綜合得到模型或者系統整體可信度。專家會議是召集相關領域專家,由M&S工作者提供M&S文檔、數據和仿真結果等信息,V&V工作者提供各階段的V&V報告、數據、可信度指標值等V&V信息,按照M&S用戶使用要求說明,共同對模型或者系統的可信度做出評估,評估可信度是否達到使用要求。

圖5 基于可信度指標體系VV&A過程模型示意圖

4 應用舉例

M&S需求:建立某高超再入飛行器三自由度彈道數字仿真模型,對該飛行器彈道性能和制導方法進行分析,并實現彈道可視化顯示。按照前文所提VV&A過程模型,根據該仿真系統的仿真需求及M&S特點,采用Ⅰ類形式確定該仿真系統的可信度評估指標體系,如圖6和圖7所示。

在M&S全周期內根據可信度指標體系對系統可信度的各個方面進行校核和驗證,并實時地將V&V信息反饋給M&S工作者。綜合各項評估結果,認為經過全周期V&V的該彈道仿真系統在正確性、有效性、可靠性及評估充分性四方面都具備較高的可信度,能夠實現彈道性能及指導方法分析等M&S需求,但是各種干擾模型的逼真度、文檔的規范性及測試的充分性等方面存在欠缺。最后,經過專家綜合評定,認為該彈道仿真系統是可信的和可用的,滿足M&S需求。

5 結束語

本文在研究了各類VV&A過程模型和M&S可信度指標體系構建的基礎上,從VV&A任務分配和VV&A信息反饋的角度對一般VV&A過程進行了改進,提出了基于可信度指標體系的VV&A過程模型。并用于某飛行器彈道仿真系統的VV&A工作中,在一定程度上提高了VV&A工作效率和準確性。但是,由于底層可信度指標存在定量和定性兩類指標,因此如何將兩類指標合理、有效地綜合,得到評估對象整體可信度是本文所提VV&A過程模型的重要內容。研究有效地將兩類指標綜合的數學手段能夠提高本文所提VV&A過程模型的實際工程應用性,這也是今后研究的方向。

[1] 唐見兵,查亞兵,李革.仿真VV&A研究綜述[J].計算機仿真,2006,23(11):82-85.

[2] US DOD Defense Modeling and Simulation Office (DMSO).Verification,validation and accreditation recommended practice guides(RPG)[EB/OL].(2006)[2011. 9].http://www.vva.msco.mil.

[3] ONERA/FOI/FMV/TND.THALES JP 11.20(REVVA) [EB/OL].(2004.12.1) [2011.9].http://vva.foi.se/reports/JP1120-WE5200-D5201-PROSPEC-V1-3.pdf.

[4] Canadian Department of National Defense Synthetic Environment Coordination Office.(DND SECO)Modeling and simulation verification validation and accreditation (VV&A) guidebook ver0.0[R].Canada:DND SECO,2003.

[5] 唐見兵,黃曉慧,焦鵬,等.復雜大系統仿真的VV&A理論及過程研究[J].國防科學技術大學學報,2009,31(3):123-126.

[6] 王景會,張明清.M&S全周期中VV&A過程模型研究[J].計算機仿真,2007,24(5):54-57.

[7] 劉飛,馬萍,楊明,等.大型復雜仿真系統可信度量化方法研究[J].四川大學學報,2006,38(5):169-173.

[8] 楊惠珍,康鳳舉,閻晉屯.一種基于AHP 的仿真可信度評估方法研究[J].系統仿真學報,2006,18(s2):52-54.

(編輯：方春玲)

VV&Aprocessmodelbasedoncredibilityindexsystem

LI Hao1,2, TANG Shuo1,2, YAN Xiao-dong1,2

(1.College of Astronautics, NWPU, Xi’an 710072, China;2.Laboratory of Aerospace Launch System Simulation, NWPU, Xi’an 710072, China)

The standardization of VV&A process plays an important role in promoting the efficiency and veracity of VV&A in the lifecycle of modeling and simulation. In terms of task assignment and VV&A information feedback, the paper proposes a VV&A process model based on credibility index system. The process model introduces credibility index system on the basis of DMSO VV&A process model in order to make clear the specific task and feedback mechanism in all VV&A stages. In addition, two concepts (‘two-direction’ and ‘two-feedback’) are introduced to explain the VV&A work mechanism using the process model. Finally, it is applied into M&S VV&A of the missile trajectory system of a vehicle. The practice proves that the process model provides a good guidance in VV&A.

VV&A; process model; credibility index system; modeling and simulation

TP391.9

A

1002-0853(2012)05-0475-06

2011-11-07;

2012-02-29

李浩(1983-)，男，山東福山人，博士研究生，研究方向為飛行器系統建模、建模與仿真可信度評估。