建模與仿真實施質量文獻綜述①

卞雪卡,劉玉坤

(北京郵電大學 自動化學院,北京 100876)

在離散事件仿真、連續事件仿真、基于Agent 的仿真這3 大類仿真中,國內關于離散事件仿真已有廣泛的應用,但工程實施質量參差不齊,與發達國家仍存在一定的差距.如何提高仿真實施質量的問題亟待解決.本文將側重離散事件仿真,結合現有的研究成果來對建模與仿真(Modeling and Simulation,M＆S)實施質量進行綜述.

經在知網數據庫中以標題含有表1各檢索詞為條件進行檢索,檢索結果如表1所示,由此可見,M＆S 技術已經有比較多的應用,但從很多文獻中可以發現,關于M＆S 的質量,并沒有在這些應用中體現出來.Annino JS 等[1]指出仿真分析失敗的7 個原因分別為:沒有制定可實現的目標、基本技能不完整、用戶參與程度不足、不恰當的細節水平、不合適的編程語言、使用未經驗證或無效的模型、未能使用現代工具和技術.這7 種失敗的原因都導致了沒有實現高質量仿真工作的目標.Robinson S 等[2]也探討了通過質量方法降低仿真項目失敗的風險,其中特別強調了服務質量及其度量.Donn M[3]也提出在建筑設計上由于仿真方式存在的各種問題也降低了預測與現實之間關系的清晰度.由此可見,M＆S 實施質量在仿真研究中至關重要,它保證了整個仿真工作的可靠性.在M＆S 中,關于M＆S 實施質量并沒有清晰明確的定義,缺少系統性的研究框架和規范化體系.為了系統研究M＆S 過程中實施質量的問題,筆者試著梳理包含在M＆S 實施質量下的有可借鑒之處的各項研究成果,為筆者之后M＆S 實施質量的規范化研究奠定基礎,也期望為之后M＆S 實施質量的研究提供重要參考.

表1 仿真在物流領域的應用

1 M＆S 實施質量的定義及相關概念

1.1 M＆S 實施質量定義

IEEE 建模與仿真術語匯編標準[4]、軍事仿真術語[5]等中均沒有M＆S 實施質量的定義的明確說明,甚至,在上述幾個官方組織給出的術語匯編中,沒有提到質量這個詞,但是筆者發現在國內外學者的少數研究中,給出了M＆S 實施質量的定義.

(1)由中國仿真學會編著的《建模與仿真技術詞典》[6]中,給出了仿真質量保證的定義:保證仿真過程的各項活動滿足計劃要求的措施與技術,典型的是校核、驗證與確認技術.這里給出的定義還是有一定的局限性,只強調了校核、驗證和確認,沒有從仿真工作開展的整個過程考慮M＆S 實施質量.

(2)Robinson S[7]針對離散事件仿真提出了仿真質量的概念,他將仿真質量分為3 個獨立但相關的方面:內容質量、過程質量、結果質量,并分別解釋了對應的含義和評估方法.

(3)根據仿真模型的種類不同,Asbjornsen OA 等[8]分別定義了純經驗模型、基本原則模型、隨機模型、模糊模型等模型質量的概念.

(4)國際標準化組織制定的軟件工程標準文件ISO9126[9]給出了仿真中的質量標準,其中包括6 個特性:功能性、可靠性、可用性、效率、可維護性、可移植性.

(5)從模型、數據、軟件3 個方面,Sherman GR 等[10]對這3 個方面的質量進行了研究,并對高質量的科學仿真做了要求.

(6)Balci O[11-15]通過對一般仿真的生命周期的研究,提出了適合一般仿真研究的可接受性評估的框架,給出了仿真生命周期每個環節應該考慮的質量因素,但是并沒有給出對M＆S 實施質量的明確的定義.

從上述不同學者的研究可以看出,M＆S 實施質量在國內外尤其是國內的研究非常少,而且沒有明確的定義.雖然M＆S 實施質量沒有很多研究,但是包含在M＆S 實施質量中的一些比較重要的概念還是有跡可循的.

1.2 M＆S 實施質量相關概念及辨析

M＆S 實施質量涉及了仿真生命周期的方方面面,系統性研究不多,但筆者發現,對仿真生命周期中某一部分的質量的研究卻有不少.

(1)仿真生命周期

《建模與仿真技術詞典》[6]中對仿真生命周期的定義如下:仿真系統從概念實現到交付、使用和維護的整個過程,包括仿真的需求分析、概念設計、詳細設計、編碼實現、系統集成、系統測試、系統交付、系統運行與維護等過程.

(2)逼真度

逼真度實施研究小組術語匯編[16]對逼真度的定義如下:逼真度,從字面意思理解,它表明了一個事物對另一個事物的忠誠度.在建模中,逼真度用來表示一個模型代表其對應真實世界實體、屬性或交互的忠誠度.

(3)驗證(validation)、校核(verification)和確認(acceleration)

以上術語匯編中均有其定義,下面做出總結.

驗證(validation):檢查“是否做了正確的事情”,以保證一個產品、服務或系統滿足客戶與利益相關者的要求,遵循規定、規范說明或強制的條件,往往包括可接受性與適合性.其實就是仿真研究人員所建立的概念模型是否能夠代表真實對象系統或者其正確性程度.

校核(verification):將對象模型轉化為計算機可執行的仿真模型時,需要保證仿真模型是對象模型的正確實現,典型的是進行程序調試,這一過程成為校核.

確認(acceleration):官方對一個模型或仿真系統可用于特定目的的認可.

另外,以上相關標準、術語中,還對仿真可靠性、可信性、粒度、可視化、結果驗證等概念做了詳細的解釋,在本文中將不再贅述.以上概念雖沒有直接提到M＆S 實施質量,但也是研究M＆S 實施質量必不可少的環節,對之后M＆S 實施質量的研究也有很重要的意義.

2 從不同的角度看M＆S 實施質量

M＆S 實施質量沒有明確的定義,國內外的相關研究也很少.已有的與M＆S 實施質量的研究大都集中在逼真度和仿真驗證方面.逼真度和仿真驗證的研究現狀在文獻[17-19]中已做出詳細的總結,下面筆者將對M＆S 實施質量的研究進行總結.目前,國內外M＆S 實施質量的研究成果很少,相關研究也不持續,只能在眾多文獻找到幾篇相關文獻.在現有的M＆S 實施質量的研究成果中,筆者以標題含有“仿真”和“質量”為條件在各數據庫進行了檢索,并篩選和總結相關的文獻情況,如表2所示.經過對文獻檢索結果進行分類,對應研究角度的文獻情況如表3所示.

表2 文獻檢索結果

表3 文獻檢索結果分類

由此可以看出,國內外對于M＆S 實施質量的研究是非常欠缺的,但它作為M＆S 工作的重中之重,其研究又是很有必要的,因此,加強M＆S 實施質量的研究來保證M＆S 工作的質量很有意義.

2.1 從仿真工作的整體研究M＆S 實施質量

國內外學者關于M＆S 實施質量的研究方向各不相同,有從仿真模型、數據、軟件的角度,如1984年,Sherman GR[10]提到從模型、數據、軟件3 個方面來保證仿真的質量,文中Sherman 提出了在質量保證程序和提高質量中的兩個關鍵要素,就是比較和嚴格審查.他主張用仿真的數據和結果與現場觀察的結果、備選方案、專家判斷進行比較.另外在這個過程中,還要利用一定的標準和工具.但是標準和工具是什么,Sherman并沒有提及,還需要之后進一步研究.還有從仿真設計的角度,如1986年,?ren TI[20]提出了認知仿真設計的質量保證,并提出了一系列相關概念,如實驗條件的適用性、模型行為的比較、模型庫的完整性、數據相關性等.有從“什么構成了良好的M＆S 研究”角度,如2008年Smith JS 等[21]在總結各位學者關于“什么構成了良好的M＆S 研究”這一問題時,提到其與其他學科的良好研究時相通的.因此,在進行M＆S 研究時可以借鑒其他領域的研究方法.也有其他領域的M＆S 質量的研究,如Gousseau P 等[22]提供了一個關于隔離建筑物周圍風流的LES 計算的V＆V 研究;Wang Z[23]對機械系統仿真的穩定性、準確性、實時性和交互性進行了驗證;還有其他學者也進行了機械加工、醫療、地形等領域的仿真質量的研究.

除了上述研究方向各不同的文獻,值得一提的是李小奇關于仿真性和游景玉關于質量管理體系的研究.李小奇[24]總結了目前仿真技術應用存在的問題,針對這些問題首先提出航空產品仿真性的概念.仿真性是為了滿足用戶的需求而達到的產品具有的質量屬性.游景玉等[25]從軟件開發的角度結合ISO9000 標準,提出了管理者和軟件開發過程中應該注意的問題,并建立的相應的質量管理體系.兩位學者關于仿真性和質量管理體系的研究對之后的M＆S 實施質量的概念和管理體系規范化有很大的參考價值.

以上關于M＆S 實施質量的研究雖然已有些成果,但由于每位學者所抓取的角度不同,使得在總體的研究看起來比較混亂,因此尋找一個比較好的角度來研究M＆S 實施質量是很有必要的.將生命周期和M＆S實施質量的研究結合起來進行系統有序的研究是目前筆者所能看到的比較好的研究方法.Balci O 在文獻[14]中從產品、過程、項目3 個方面來評估仿真項目的質量,之后在仿真生命周期、validation 和verification等做出很多研究后.2015年總結出了仿真建模生命周期中的質量指標[11],在這篇文章中,他針對建模和仿真生命周期的各個環節,提出了相應的評價指標,并給出了詳細的解釋.圖1是Balci 提出的建模仿真的生命周期模型,在此生命周期模型中,Balci 從問題的提出到最后模型的保存和重復使用,完整地呈現了仿真工作的整個流程.

圖1 Osman 建模與仿真生命周期

隨后,Balci 針對生命周期的每個環節均提出了相應的質量指標.

(1)制定問題的質量指標

哪些問題沒有完全考慮到、利益相關者和決策者、約束、目標、數據和信息、假設.

(2)需求質量指標

M＆S 需求準確性、清晰度、完整性、一致性、可行性、可修正性、穩定性、可測試性、可追溯性.

(3)概念模型質量指標

在特定一類問題而不是一個仿真模型中概念模型的作用,在任意類型的仿真模型中概念模型的作用,仿真模型設計的可重用性、可組合性中概念模型的作用等.

(4)結構質量指標

適應性、符合標準、可靠性、可部署性、可擴展性、互操作性、可維護性、可修改性、開放性、性能、可伸縮性、生存能力、可測試性、可用性.

(5)仿真模型設計質量指標

適應性、復雜性、可組合性、正確性、詳細程度、效率、靈活性、完整性、互操作性、可維護性、模塊化、內聚、耦合、可移植性、可重用性、可測試性.

(6)M＆S 應用質量指標

M＆S 應用的可靠性、功能、性能、可支持性、可用性.

(7)仿真結果質量指標

隨機數發生器的可靠性、隨機變數產生算法的正確性、隨機變數產生算法轉變為可執行代碼的正確性、統計技術是否合適等.

(8)提交結果質量指標

仿真結果解釋是否正確、仿真結果記錄是否恰當、仿真結果是否正確地傳達給決策者、仿真結果是否正確地轉換成了決策者理解的術語、仿真結果是否正確地轉換成可視化的圖表.

針對上述8 個環節的質量指標,Balci 對各個指標做出了詳細的解釋,在本文中不再進行贅述.質量指標有了,那如何去衡量這些指標? 然而筆者并未發現Balci 有后續的研究,這也是筆者想要繼續探索的.

2.2 從仿真數據研究M＆S 實施質量

從表2可見,M＆S 實施質量的研究除了從整體研究外,另外大部分研究都集中在數據方面.Byrne J 等[26]提到數據收集占整個周期的40%的時間.我們不僅要收集有效正確的數據,還要將收集到的數據正確地用到仿真模型中.由此可見,數據在仿真實施過程中的重要性.

M＆S 過程中數據質量的評估,不少學者結合數據生命周期建立了相應的質量管理框架.Reiter M 等[27]提出了高質量的數據測量流程,并描述數據監控和分析框架的質量,將該測量流程集成到工作流管理系統中.Kopp O 等[28]還介紹了控制仿真工作流程中數據質量的一些方法,提出了一個仿真工作流程中的數據質量框架.由決定數據質量的確定方法的框架,轉變為基于數據質量根據數據質量驅動服務來選擇仿真服務.Vanbrabant L 等[29]提出了一個數據質量框架,對急診電子病歷中可能存在的數據質量問題進行了分類,描述了數據質量評估技術,使得醫療人員能夠識別和量化輸入數據中存在的潛在的數據質量問題.徐剛等[30]從數據質量全過程控制、用戶滿意度、綜合影響等因素,建立了能夠刻畫電商平臺數據質量控制變化的系統動力學模型,并用仿真方法進行了有效性驗證.桑作軍等[31]針對數據質量全生命周期管理的要求建立了軍事M＆S數據質量管理標準體系.2011年韓志軍等[32]建立了大型仿真系統數據質量評估的指標體系,用六級標度法評分獲得各指標的權重,促進了大型仿真系統可信度的提升.2016年韓志軍等[33]又建立了大型仿真推演系統數據質量評價體系,提出了定性指標的定量化、定量指標的無綱量化的指標指數確定方法,以及主觀賦權和客觀賦權相結合的方法確定權重,并基于AHP 方法進行了實例分析.

另外,關于輸入數據建模方面,Sun GB 等[34]提出對概念模型數據質量進行評估時要注意數據質量評估必須建立在一個前提上,而不是憑空存在的.比如:一些數據可能對這個仿真是高質量數據,而對另一個仿真來說是低質量的.數據的verification 是評估方法和過程的特定數據設置數據指標的過程,比如正確性、完整性等,從而保證選擇到最合適的數據.數據的validation 是指完全能夠代表真實對象系統的數據.數據質量的評估是判斷數據是否是正確的類型、質量、數量來支撐它們最初的目的.另外,Sun GB從不同場景下的數據類型,分別對數據質量的評估方法進行了研究.Hamad H[35]用預測精度的新方法評估元模型擬合精度的可接受性.Sugihara M 等[36]提出的軟錯誤估計技術是通過循環精確指令集仿真計算機計算系統中所有內存模塊上的軟錯誤數量,并考慮他們的動態行為.Gaudiani A 等[37]針對輸入參數的不確定性,提供了一種方法調整洪水模擬器以達到較低的誤差.

對于數據質量評估指標及方法,Bokrantz J 等[38]提出了一系列數據質量指標,如可訪問性、準確性、清晰度、完整性、一致性、通用性、精確性、相關性、分辨率、聲譽和可跟蹤性,這些指標作為指導標準,以確保高質量的生產數據.高峰等[39]提出了適用于電網在線的數據質量評估方法,包括模型評估、在線參數評估、在線調度計劃評估,及自動校準方法等,極大的減少了工作量,提高了在線安全穩定校核的精度.Zhang YC 等[40]提出了影響仿真可信度的3 個因素分別是數據、模型、場景,并對復雜系統建模中的輸入數據、過程數據、輸出數據質量評估方法進行了闡述和總結.另外,張英朝等[41]還提出了數據質量建模的概念,從準確度、完整性、時效性3 個角度建立衡量數據質量的三維空間,運用TOPSIS 方法來對復雜系統仿真各輸入數據源數據可信性進行計算分析.Dong JQ[42]從what、when、where、how、who、which、why 幾個方面來評估仿真研究中的數據質量.其中,what 指數據包含了哪些信息,when 指何時收集數據,where 指數據收集的真實或者虛擬位置,how 指如何生成數據,who 指模型與現實中人或組織的聯系,which 指主要參數如何映射到現實世界,why 指為什么數據會以這種方式產生,為什么使用仿真方法是合適的.

數據V＆V 方面,許國珍等[43,44]從數據生產者和數據使用者兩個角度開展數據的V＆V＆C 活動,數據生產者通過質量元數據模板記錄數據質量,數據使用者通過V＆V＆C 過程模型開展V＆V＆C 活動,并開發出了管理工具PVV＆CM,以實現對V＆V＆C 的規范化管理.

以上,筆者從數據質量管理框架、輸入數據質量、誤差管理、數據質量評估指標、數據V＆V 等方面總結了現有的研究,數據作為M＆S 工作中重要的環節,直接關系到概念的模型的質量,進而關系到仿真模型的質量,從而最終影響M＆S 實施的最終效果,所以,在M＆S 中,數據質量管理環節必不可少.

2.3 從建模過程研究M＆S 實施質量

怎么建模? 建模過程中應該注意什么問題? 這是M＆S人員在工作時必須要考慮的問題.Buzacott JA 等[45]從模型的輸入輸出、仿真時間長短、模型驗證、模型有效性、用戶交互、實驗設計等方面分別介紹了如何進行裝配的建模過程.Scholten H 等[46]從整體仿真建模過程討論了正確性、可靠性、可用性等質量問題,建立了quasimodem 模型,它表示原始模型的結構和建模過程的行為,它由一個鏈接幀結構組成,用戶可以對其進行調整.動作有框架,產品有框架,每個動作產生一個產品,使用一個或多個產品,或由動作和產品的子結構組成,使得建模過程變得明確可控.兩位學者的研究使我們應該注意在建模過程中應該明確建模的步驟,每步的輸入和產出分別是什么,影響因素是什么,以保證能夠達到預期的建模效果.

2.4 從模型質量研究M＆S 實施質量

前一小節的建模過程的最終產生的是M＆S 模型,對于模型質量的評估,Markiegi U 等[47]提出了基于150%可變性建模方法的可配置仿真模型的黑盒和白盒質量度量.其中,白盒測試質量度量包括結構覆蓋、功能覆蓋、特征兩兩覆蓋,黑盒質量度量包括基于反模式的測試質量度量、相似性.Dransch D 等[48]在文中提到仿真模型必須按照以下標準進行評估:模型行為的有效性、模型結構的有效性、經驗有效性、預期目的的有效性.另外,Dransch 還提出了交互式可視化的概念,以用戶和任務為中心進行可視化設計,方法包括3 個步驟:分析推理過程并創建域任務模型、推斷認知行為并將其組合到類中、選擇合適的可視化與交互技術及其與計算分析的結合方法.并選擇了以用戶為基礎,以結果為導向,形成了評價形式.

2.5 從仿真結果研究M＆S 實施質量

還有少部分關于仿真結果的研究成果.Popescu V等[49]提出仿真結果的高質量可視化:仿真交互對象使用先進的渲染技術渲染;將仿真放置在周圍場景的上下文中;項目的可視化從建模開始.這樣能夠使不了解此過程或沒有參與調查的人能夠理解模型.另外Annino[1]、Stewart[2]兩位學者總結了仿真項目失敗的原因及風險,這些都是不規范的操作導致的后果.

2.6 其他

在做仿真工作時,除了以上幾個角度,仿真研究人員的思路、邏輯對仿真工作的實施也有著很大的影響.Stevenson[9]提到M＆S 實施質量取決于所獲得的見解的質量,M＆S 實施質量必須基于從已知科學中獲得的見解,管理和技術的脫節會導致仿真的不準確和不完整.從中強調了科學理論的重要性.另外,Stewart[7]針對離散事件仿真提出了仿真質量的概念;日本學者白鳥正樹[50]列舉了工學仿真產生誤差的各種原因,并提出了從以下3 個方面防止這些誤差的產生:從學術角度對誤差進行定量化和最小化、工程仿真質量管理系統的體系化和標準化、提高技術人員的技能.這也是筆者未來研究的工作重點.

3 關于M＆S 實施質量的總結

M＆S 實施質量是仿真工作中的重要環節,但是目前并沒比較明確的定義,因為相關研究沒有系統化、規范化,學者們也提到,仿真質量這個詞語并不常見,但它的重要性卻不可否認.可見,M＆S 實施質量的研究至關重要.

從不同角度的M＆S 實施質量研究成果可以看出,還是有很多值得借鑒的地方:

(1)將生命周期、ISO9000 標準體系與M＆S 實施質量結合是一個比較好的研究方向;

(2)現有生命周期模型和質量指標比較完整但仍有不足;

(3)V＆V 作為貫穿M＆S 生命周期的重要部分,在研究中必不可少;

(4)數據質量評估已經有比較完善的框架;

(5)建模過程、模型質量等應該注意的問題,即明確建模步驟,準確把握每個步驟的輸入和產出,保證模型行為和結構的有效性;

(6)借鑒仿真分析失敗、誤差產生的原因,要需制定可實現的目標、采用現代化的工具、注意細節、提高用戶參與度等.

但是現有相關研究仍存在不足:

(1)現有的M＆S 實施質量的研究比較混亂,沒有系統化和規范化;

(2)大部分還屬于比較片面的研究,沒有從整體出發;

(3)生命周期質量指標只有概念性的介紹,缺乏后續的如何評估的研究.

4 結語

高M＆S 實施質量是仿真工作的最終目的,只有高質量的仿真才對真實對象系統具有決策意義,國內大多數仿真的實施是不完整且不規范的,如今正是缺少一個規范的仿真實施質量的框架,因此,建立一個完整規范的仿真實施質量框架是非常有必要的.

文中總結了M＆S 定義及相關概念、從仿真工作整體研究M＆S 實施質量、從仿真數據和模型等研究M＆S 實施質量這幾個方面的研究成果.其中,Blaci 所提出的M＆S 生命周期模型及質量指標的概念對以后的研究有重要意義,但Blaci 并未對如何評估這些指標給出明確的闡述.在今后研究中,可以基于M＆S 生命周期模型,對其中的數據質量、概念模型質量、仿真模型質量、軟件質量等的指標進行評估,提出比較規范的仿真實施質量框架,供仿真人員參考,提高M＆S實施的質量,為現實世界提供更可靠的建議.