復雜仿真實驗結果可信度評估方法

胡曉峰,李 偉,馬 萍,楊 明

(哈爾濱工業大學 控制與仿真中心,黑龍江 哈爾濱 150001)

0 引言

仿真技術是以相似原理、模型理論、系統技術、信息技術及仿真應用領域的有關專業技術為基礎,以計算機系統、與應用有關的物理效應及仿真器為工具,利用系統模型對實際或設想的系統進行研究、分析、實驗與運行的一門多學科綜合性技術[1]。由于仿真技術在應用上具有經濟性、安全性、可重復性、無破壞性等優點,所以在許多復雜系統上有著廣泛應用。可信度是仿真技術應用的關鍵指標之一,直接關系到仿真應用的成敗。因此,仿真可信度評估一直以來都是研究熱點。

可信度評估是指對模型、仿真系統、仿真實驗結果是否可信和可信程度進行分析、計算和評價[2]。目前,仿真模型可信度評估方法大多集中在仿真結果驗證方面。在定性驗證方面,主要方法有表面驗證法和圖靈測試法。在定量驗證方面,用于靜態結果驗證的方法有假設檢驗和參數估計法,如t檢驗、χ2檢驗和K-S檢驗、區間估計等,而用于動態結果驗證的方法有Theil不等系數法、灰色關聯分析法、頻譜分析法等。仿真系統的可信度評估方法主要是一些綜合性評估方法,如層次分析法[3]、模糊綜合評判方法[4]、基于Bayes網絡的方法[5]等。仿真實驗結果的可信度評估方法相對較少。如豆建斌等[6]在仿真系統可信度評估的基礎上將仿真實驗設備和仿真結果可信度納入仿真實驗的可信度評估;綦磊升等[7]以數據、模型、仿真實驗系統和仿真結果的可信性為依據,采用模糊層次分析法對指揮信息系統仿真試驗的可信性進行評估。

綜上所述,關于仿真模型/系統的可信度評估方法研究比較成熟,而針對仿真實驗結果的可信度評估方法的研究較少,而且現有研究忽略了仿真實驗方案的影響。為此,本文將開展復雜仿真實驗結果的可信度評估方法研究。首先,根據復雜仿真實驗的特點,構建仿真實驗結果的可信度評估指標體系;然后,重點研究仿真實驗的可信度評估指標度量方法和指標綜合方法;最后,通過實例說明空間填充性和正交性度量準則的適用性。

1 仿真實驗結果的可信度評估指標體系

指標體系是評估工作的基礎。建立準確清晰、科學合理的評估指標體系對仿真實驗結果的可信度評估具有重要意義。仿真實驗結果的可信度評估包含許多因素,運用層次化方法將互相聯系的有序層次進行劃分,使之條理化,是建立指標體系的有效途徑。仿真實驗結果是在仿真系統上進行實驗產生的輸出,因此仿真實驗結果的可信度和仿真實驗及仿真系統的可信度有關。仿真實驗結果的可信度評估指標體系應包含仿真實驗的可信度和仿真系統的可信度2個部分,如圖1所示。其中,仿真系統的可信度評估指標體系和方法相對成熟,本文主要研究復雜仿真實驗的可信度評估指標體系。

圖1 仿真實驗結果可信度評估指標體系Fig.1 Credibility assessment index system for simulation experiment results

復雜仿真實驗具有因子數多、因子水平數多、考慮指標數多、實驗運行次數多、獲得的實驗數據多等特點。因此,本文主要從運行層實驗的可信度和想定層實驗的可信度2個方面來評估復雜仿真實驗的可信度,如圖2 所示。運行層實驗的可信度主要受仿真輸出精度的影響。仿真輸出精度與仿真重復運行次數有關,是隨機不確定性的體現,重復運行次數不足會放大仿真實驗的不確定性,從而降低仿真實驗的可信度。想定層實驗的可信度主要由實驗點的空間填充性、正交性、分布一致性和典型性4 個指標來度量。其中,空間填充性能保證在參數響應函數不明確時,通過抽樣獲得整個樣本空間的信息;正交性用來衡量實驗點之間的相關性,能夠增強分析評估因素對實驗指標的影響和各因素的交互作用能力;分布一致性用來檢驗實驗點因素分布是否符合實際系統因素分布,可以保證實驗點選取的有效性;典型性要求實驗點的選擇具有典型性、代表性,盡可能將最佳效應點包括在內,否則很難達到預期目的。

圖2 復雜仿真實驗可信度評估指標體系Fig.2 Credibility assessment index system for complex simulation experiment

想定層實驗的可信度評估指標與實驗目的密切相關,而且目的不同指標也不同。復雜仿真實驗的目的主要有：1)確定影響系統輸出的因素主次,獲得實驗因素對系統輸出的影響規律;2)確定系統輸出和實驗因素之間的近似函數關系,對輸出進行預測和優化;3)確定最優方案,尋找最優實驗點;4)驗證與評估,驗證方案是否可行、評估系統性能等。其中：類型1常采用方差分析,而方差分析需要的實驗點必須具有整齊可比的特點,即對實驗樣本的正交性有要求;類型2常采用回歸分析,而回歸分析的準確性與樣本空間的信息量有關,信息量越多,分析越準確,即對樣本的空間填充性有要求;類型3一般需要樣本空間的信息量大,且實驗具有“均衡搭配性”“綜合可比性”,對樣本空間填充性和正交性也有一定要求;類型4需要樣本在空間分布范圍廣,具有一定代表性,通常對樣本的空間填充性和典型性有要求。而分布一致性一般在實驗樣本數量較多的情況下采用,用于檢驗仿真實驗的樣本分布和實際系統是否一致。

2 仿真實驗可信度評估指標度量方法

2.1 仿真輸出精度度量方法

仿真輸出的精度和實驗重復運行次數有關。一般來說,實驗重復運行次數越大,仿真輸出的相對誤差越小,輸出精度越高。因此,可以通過相對誤差來度量仿真輸出的精度。常用置信區間法來計算實驗輸出的相對誤差[8]。

可通過置信區間的計算公式來驗證置信區間與樣本量的關系。對于實驗方案A,重復運行n次,假設第i次仿真運行對應的輸出為o i,則o1,o2,…,o n的均值就是期望μ=E(o)的無偏估計。μ置信度為100(1-α)的置信區間為

式中：n為方案運行次數;t n-1,1-α/2為自由度是n-1,置信度是100(1-α)t分布的上分位數;S(n)為樣本o1,o2,…,o n的標準偏差,其計算方法為

而相對誤差的估計值為

式中：t n-1,1-α/2隨著實驗次數n的增加而減小;隨實驗次數n增加而逐步收斂到某值。因此,d n隨實驗次數n不斷增加而逐漸減小。

實驗輸出的相對誤差d n需要滿足0≤d n≤1,而且d n越小,仿真輸出的精度就越大,因此采用式(4)來表示仿真輸出的精度,即

2.2 空間填充性度量方法

空間填充性度量準則也稱作充滿空間(spacefilling)準則,可分為基于距離(distance-based)、基于均勻性(uniformity-based)、基于熵(entropybased)[9]等準則。其中,基于均勻性準則(即基于離差的準則)不但可以評估抽樣點在d維立方體[0,1]d中的均勻性,而且還能保證其在低維中投影的均勻性,因此常用于度量仿真實驗的空間填充性。

離差度量方法主要有中心L2-離差、可卷L2-離差和混合離差(mixture discrepancy,MD)。其中,中心L2-離差更關心頂點附近的點,對于中心區域的點的敏感度較低;可卷L2-離差在各因子平移變換時,其結果不變;而混合離差能夠較好克服兩者的缺點[11],因此本文采用混合離差度量仿真實驗的空間填充性。對于點集P(X1,X2,…,X n)∈C s,X i=(x i1,x i2,…,x is)',它的混合離差為

混合離差的計算結果越小,表明實驗點的均勻性越好。利用多目標優化算法可以求得相應實驗條件下,混合離差的上界MDu和下界MDl,從而得到空間填充性的度量,即

2.3 正交性度量方法

常用的正交性度量準則是實驗設計矩陣因素間的相關系數ρ[12],即

式中：ρij表示實驗設計矩陣列向量X i=[x1ix2ix ni]和X j=[x1jx2jx nj]間的線性相關系數,即

實驗設計矩陣因素間的相關系數ρ需要滿足0≤ρ≤1,ρ越小,表明正交程度越高。因此,仿真實驗正交性的度量公式為

2.4 分布一致性和典型性度量方法

實際系統因素在某些情況下具有一定分布規律,因此可通過度量實驗點和實際系統因素分布的一致性來分析實驗設計方案的優劣。當已知實際系統的因素分布時,可對仿真實驗的點因素進行假設檢驗,從而判斷仿真實驗點和實際系統的因素分布是否一致。一致性程度越好,表明實驗點的選取越符合實際情況,實驗結果越值得信賴。

當實際系統的因素分布為正態分布時,可采用參數檢驗法進行一致性檢驗,如U檢驗、t檢驗、χ2檢驗等。當實際系統的因素分布不是正態分布時,可采用非參數檢驗法進行一致性檢驗,如χ2擬合檢驗、秩和檢驗、K-S檢驗等。當根據檢驗樣本作出接受原假設H0的推斷時,規定此時的分布一致性為1-α;當作出接受備擇假設H1的推斷時,規定此時的分布一致性為α。

實驗點的典型性度量相對簡單,可以通過仿真實驗點對預設典型點的覆蓋程度來計算,計算方法為

式中：N為預設典型實驗點個數,N∈Z+;N e為仿真實驗點包含的預設典型點個數,為大于等于0的整數。

3 仿真實驗結果可信度評估指標綜合方法

評估指標計算結果需采用指標綜合方法得到最終的仿真實驗結果的可信度。常用的指標綜合方法有加法合成法和乘法合成法。

1)加法合成法。加法合成法,又稱線性加權法,是指在指標值和指標權重已知的情況下直接加權平均得到評估結果的方法。評估層次分析法中的上層指標即使用該方法,其表達式為

該方法的基本思想是“部分之和即整體”,要求各指標相互獨立。不相互獨立的指標,指標間有交互信息,和的結果會導致信息的重復,使得評估結果不能反映實際情況。而且,由于各指標權重之和恒等于1,造成各指標“此消彼長”“相互補償”,即如果某指標權重減小,則一定會以指標權重增大來補償。因此,加法合成法在許多情況下對不同對象間的指標值的差異不敏感。此外,加法合成法對數據的要求不高,無論指標值和權重是什么形式的取值都能得到評估結果。

2)乘法合成法。乘法合成法常用于指標間關聯程度較強的評估問題中,即某個指標的變化會對其他指標產生影響,從而導致整體評價結果產生變化。比如在仿真實驗結果的可信度評估問題中,仿真實驗是在仿真系統可信的基礎上進行的,即仿真實驗與仿真系統關聯。因此,仿真實驗結果的可信度由仿真系統的可信度和仿真實驗的可信度相乘得到。乘法合成法一般有2種表現形式,即

該類方法對指標權重的要求不高,必要時可令各指標權重相等。但該類方法對指標值的要求比較高,尤其是對指標值中的較小值比較敏感,某一指標的變化會對整個評估結果造成較大的影響。因此,各指標需要均衡發展,避免出現“一損俱損”的局面。

綜上所述：在綜合評估問題中,加法合成法常用于指標相互獨立、指標權重差異較大的情況;乘法合成法常用于指標相關聯、指標權重差異不大、指標值有差異的情況。復雜仿真實驗結果的可信度評估問題中,運行層實驗與想定層實驗相關聯,仿真實驗的可信度由想定層實驗可信度和運行層實驗可信度相乘得到。仿真實驗結果的可信度由仿真系統可信度和仿真實驗可信度相乘得到,其余上層指標通過加法合成法求得,如圖3,4所示。

圖3 乘法合成法應用Fig.3 Application of multiplicative synthesis

圖4 加法合成法應用Fig.4 Application of additive synthesis

上述指標綜合的描述為：c ai為仿真輸出i的精度,i=1,2,…,n;v i為想定層實驗可信度的底層指標值,i=1,2,3,4;c e1為運行層實驗可信度;c e2為想定層實驗可信度;c e為仿真實驗可信度;c s為仿真系統可信度;c為仿真實驗結果可信度。

指標綜合公式為

式中：w1i是仿真輸出i精度的權重,0≤w1i≤1,=1;w2i是想定層實驗可信度底層指標的權重,0≤w2i≤1,=1。

4 計算實例

以4種不同優化算法下的拉丁超立方試驗設計(Latin hypercube design,LHD(9,4))為例[12-13],給出空間填充性和正交性指標的計算結果,如表1所示。其中,M 代表最大化最小距離準則,O 代表正交性準則,U 代表均勻性準則,OM 代表正交-最大化最小距離準則。

表1 4種LHD空間填充性和正交性對比Tab.1 Comparisons for space-filling and orthogonality of 4 LHD

由表1可以看出：M 準則、U 準則,以及OM 準則下LHD 的空間填充性較優;O 準則、OM 準則下LHD的正交性較好,符合實際情況。說明本文使用的空間填充性和正交性度量準則的適用性較好。

5 結束語

仿真可信度評估是仿真理論的重要組成部分。目前,仿真可信度的評估方法研究主要集中于仿真模型和仿真系統,而對仿真實驗結果可信度評估的研究較少。因此,本文提出一種復雜仿真實驗結果的可信度評估方法,通過實例驗證了空間填充性和正交性度量方法的適用性。該方法不僅可以豐富仿真可信度評估體系,而且可以為應用仿真實驗結果的可信度評估提供參考。今后將對仿真實驗結果的可信度評估指標體系,以及指標的綜合方法進行進一步研究。