復雜工程建模和模擬的驗證與確認

王瑞利+溫萬治

摘要： 綜述國內外建模和模擬（Modeling and Simulation，M&S）的驗證與確認（Verification and Validation，V&V）的相關概念、術語、規范、置信度評估方法和應用等方面的發展和研究進展，概括M&S的V&V中的幾個關鍵問題，構建復雜工程M&S的V&V的知識指南，為M&S的V&V技術真正走向應用提供參考.

關鍵詞： 復雜工程； 建模和模擬； 驗證與確認； 置信度評估； 知識指南

中圖分類號： TB115文獻標志碼： A

Abstract： The development and research advances of Verification and Validation（V&V） of Modeling and Simulation（M&S） in China and abroad are reviewed， including concepts， terminologies， specifications， and confidence evaluation methods and applications； a few key issues in V&V of M&S are summarized； a knowledge guide of V&V of M&S for complex engineering is given， which provides reference for the practical application of V&V of M&S.

Key words： complex engineering； modeling and simulation； verification and validation； confidence evaluation； knowledge guide

0引言

在科學和工程設計過程中，理論、實驗和數值模擬是3種基本研究手段.現代計算機硬件和軟件能力的飛速發展為強化高性能、大規模數值模擬研究提供前所未有的條件，數值模擬的重要性愈加顯著.數值模擬中建模和模擬（Modeling and Simulation，M&S）本身的可信度評估是高置信度數值模擬的核心，直接影響基于數值模擬和少量試驗支撐的復雜系統的可靠性認證.驗證和確認（Verification and Validation ，V&V）是復雜工程系統可靠性認證中M&S置信度評估的重要手段.近年來，隨著數值模擬系統日益廣泛應用，V&V的重要性愈來愈為數值模擬系統開發者和使用者所重視，對V&V概念、理論、標準和相關方法的研究已成為復雜工程M&S可信度評估的重要內容.1復雜工程M&S的V&V現狀

1.1國外研究現狀和發展趨勢

數值模擬在工業設計、產品性能分析和優化設計中的地位日顯重要，國外尤其是美國非常重視M&S的V&V的概念、術語、規范、可信度評估方法和應用等的研究.

1.1.1概念、術語和規范

早在20世紀六七十年代，美國計算機仿真學會（Society for Computer Simulation，SCS）成立模型可信性技術委員會（Technical Committee on Model Credibility，TCMC），專門進行與M&S置信度評估相關的V&V方法的概念、術語和規范的研究.在20世紀90年代確定的V&V哲學觀點無法對工程和技術領域的仿真結果進行可信性評估.20世紀90年代以后，由于M&S置信度評估在國家重大工程的研發和設計中的重要性越來越強，國外許多政府、民間部門和學術研究機構先后成立相應的組織或協會，以制定各自的M&S置信度評估及V&V的概念、術語和規范.美國幾大工程協會不斷組織人力、投入資金開展M&S置信度評估概念、術語和規范的研究.自1984年美國電器與電子工程師協會（Institute of Electrical and Electronics Engineers，IEEE）出版V&V相關術語至今，V&V相關概念、術語、規范一直都在完善.這些術語隨后被美國核科學協會（American Nuclear Society，ANS）和國際標準化組織（International Organization for Standardization，ISO）采用，建立各自領域的標準.美國航空航天學會（American Institute of Aeronautics and Astronautics，AIAA）組織各個不同行業的代表進行研究，于1998 年起草計算流體動力學驗證和確認的指南；2010年以來在此領域一直很活躍的OBERKAMPF等[1]對此進行系統總結，綜述機械工程領域現代數值模擬中M&S的V&V的發展，詳細全面論述M&S的V&V的基本概念、原理、步驟和系統的發展過程.1996年，美國國防部（Department of Defense，DoD）的國防建模與仿真辦公室（Defense Modeling Simulation Office，DMSO）成立軍用仿真V&V工作技術支持小組，專門制定驗證、確認和認證（Verification，Validation and Accreditation，VV&A）技術發展的政策與規范，并逐漸形成系統仿真領域的VV&A體系.[2]1998年，美國能源部（Department of Energy，DoE）的3大實驗室逐漸將V&V引入武器庫存管理計劃，給出M&S中準確度、誤差、不確定度和確認域的概念內涵、M&S的V&V涉及的幾個重要模型（客觀世界、概念模型、物理模型和計算模型等）以及M&S的V&V活動的關系，其目的是通過V&V量化物理建模中模型的不確定度和程序研制中數值算法的誤差，增強高置信度的數值模擬能力.1998年，美國機械工程師協會（American Society of Mechanical Engineers，ASME）Journal of Fluids Engineering雜志成立協調小組.該小組的工作重點是推動對數值模擬中誤差估計，不確定度量化、驗證和確認以及置信度評估方法的討論.該小組組織一系列ASME論壇和研討會討論上述主題，并逐步編寫和頒布系列V&V標準：2006 年頒布關于“計算固體力學V&V的指南”，即ASME V&V 102006 Guide for Verification and Validation in Computational Solid Mechanics；2009年頒布“計算流體力學和傳熱學的V&V標準”，即ASME V&V 202009 Standard for Verification and Validation in Computational Fluid Dynamics and Heat Transfer；2012年頒布“計算固體力學V&V概念的案例說明”，即ASME V&V 10.12012 An Illustration of the Concepts of Verification and Validation in Computational Solid Mechanics.ASME經過二十幾年的發展，在復雜工程M&S的V&V的概念和方法上取得顯著成果，但仍將M&S的V&V涉及的概念在不同領域的本地化作為研究核心，至今仍在結合實際應用研究完善相關概念、術語和規范.

1.1.2M&S置信度評估方法

迫于核武器禁止試驗的壓力，美國核武器認證工作的基礎由以核試驗為主轉移到以計算仿真為主，提出核武器儲存管理計劃（Stockpile Stewardship Program，SSP），并由此產生武器認證新方法——裕度和不確定性量化（Quantification of Margins and Uncertainties，QMU）方法.1998年美國提出的加速戰略計算創新計劃（Accelerated Strategic Computing Initiative，ASCI）和隨后提出的先進模擬和計算（Advanced Simulation and Computing，ASC）計劃一直強調M&S置信度評估方法和數值模擬中誤差估計，將不確定度量化方法作為成功實施計劃的關鍵之一.對于數值模擬中的誤差和不確定度，在1986年，ROACHE等[3]就意識到數值計算中不確定度對數值模擬結果評估的重要性，要求論文對計算結果的精度必須給出必要的量化信息.雖然該要求順應數值模擬發展的需求，但在執行過程中仍遇到極大阻力.1993年9月，ASME Journal of Fluids Engineering雜志再次就數值模擬準確度的控制明確提出10條要求[4]：（1）必須描述計算方法的基本特點；（2）計算方法空間至少為2階精度；（3）必須評估固有的或顯式的人為黏性，使之最小化；（4）必須有網格獨立性或收斂性說明；（5）必須給出適當的迭代收斂性信息；（6）在瞬態計算中必須評估相對誤差并使之最小化；（7）必須詳細說明初邊值的數值實現和精度；（8）已有程序的引述必須全面；（9）對特殊問題可采用標準算例進行確認；（10）可采用可靠的試驗結果確認數值解.這些要求被認為是數值計算類論文發表廣泛采用的規則，基本涵蓋驗證、確認和文檔等方面內容.[5]1993年美國航空航天局戈蘭研究中心負責執行面向應用的計算流體力學研究國家項目（National Project for Application oriented Research in CFD，NPARC），開展軍事背景很強的航天和航空領域相關M&S置信度評估研究.該項目給出數值計算的不確定度采用網格收斂指數方法，確認活動采用不同的層級：單元層級（Unit Case）、標準算例層級（Benchmark Case）、子系統層級（Subsystem Case）以及全系統層級（Complete System Case）.20世紀90年代末，基于M&S的特點、近似（方程、求解和程序等）和效果（誤差、量化和范圍等）等，將V&V引入復雜工程M&S可信性和數值模擬預測能力評估中.NPARC每年召開為期2天的學術研討會，交流、評估V&V的最新進展，所有信息均在專門網站公開發布.2000年以來，美國3大國家實驗室在軟件質量保證（Software Quality Assurance，SQA）、精確解方法（Exact Solution Methods，ESM）、人工構造解（Method of Manufactured Solution，MMS）、程序對比（CodetoCode Comparisons，CCC）和網格收斂指數方法（Grid Convergence Index，GCI）等M&S可信性評估驗證技術方面取得很好的效果.[67]2005年，美國3大國家實驗室在M&S置信度評估的驗證技術方面實現某些自動化，如誤差分析的自動化、不對稱檢測自動化和自適應加密網格情形下的分析檢測自動化等.2009年HELTON基于Richardson外推法與GCI方法，采用雙層概率抽樣方法，對誤差的累積分布函數（Cumulative Distribution Function，CDF）和互補累積分布函數（Complementary Cumulative Distribution Function，CCDF）進行統計分析，給出M&S誤差和不確定性敏感度的評估方法.此方法為獨立因素或獨立參數影響M&S置信度的評估提供較好的方法.為了解多因素耦合對M&S置信度的評估，2006年美國將多項式混沌（Polynomial Chaos，PC）方法[8]引入M&S不確定度評估中，發展多因素耦合影響M&S置信度、數值模擬中誤差估計以及不確定度量化和傳播的評估方法.至今，發展M&S不確定度量化和多因素敏感性分析方法仍是M&S置信度評估研究的核心.

1.1.3M&S置信度評估體系的應用

近幾年，美國核武器3大實驗室針對一些ASC多物理過程M&S的應用程序，繼續實施V&V的過程，以評估程序的預測能力.如美國勞倫斯·利弗莫爾國家實驗室（Lawrence Livermore National Laboratory， LLNL）開發通用有限元軟件ParaDyn；桑迪亞國家實驗室（Sandia National Laboratories，SNL）研制的氦氣流的時間過濾NS閉合方程的簡單湍流模型計算軟件SIERRRA/Fuego，首先用氦氣流的試驗作為SIERRRA/Fuego確認的問題，用側風試驗裝置（Crosswind Test Facility，CTF）上電偶熱響應試驗對預測模擬Fuego程序進行不確定性量化和確認過程.SNL開發多物理、海量并行計算環境中的用于設計優化、參數估算、不確定性量化和靈敏度分析的多級并行目標定制工作框架DAKOTA[9]，氣體動力學激波反射問題模擬程序ALEGRA和封閉流模型GOMA等，開展程序V&V活動，取得很好的成果.2006 年LLNL完成第一個多物理機理內爆反應程序的置信度評估活動應用程序，其中單物理過程的測試算例來自美國核武器3大實驗室共同開發的標準算例庫Benchmark Problems[10]，多物理機理耦合算例源自于JOWOG 42測試算例庫.M&S可信度評估體系的完善和發展仍然是其應用研究的瓶頸，并且在基準解程序庫建設方面提出更多更復雜的測試問題，希望能提高美國模擬程序中M&S的質量和置信度.

從幾個公開的網站看，針對NASA湍流模型及CFD在線、流體、湍流和燃燒數據庫，歐洲研究團體都在建立公開模型測試庫.

SNL于2006年12月完成核彈頭W76和W80火燒實驗模型的確認工作，并給出安全裕量和不確定度.項目評審委員會認為：這是歷史上第一次將QMU分析方法用于核戰斗部的評估，而早先的評估主要是基于專家判斷和少量的試驗數據；可以通過QMU過程為武器系統認證提供額外的量化證據，有能力根據核武器安全要求認證不確定度和安全裕量.2006年在SNL召開的會議上提出模型確認的3個挑戰問題[11]，包括熱傳導、靜力學和動力學等，用以集中探討模型確認的各種解決方法.

值得關注的是建立測試、考核和評估應用程序的標準模型（Benchmark Problems）庫和開展校準應用程序的基準試驗（Benchmark Experiment）研究是未來實施M&S的V&V的關鍵.

1.2國內研究發展狀況

國內在應用軟件M&S領域也開展大量關于軟件的VV&A的工作，并取得一系列成果.哈爾濱工業大學院士王子才等[12]和楊明等[13]在復雜仿真系統建模算法評估方面開展大量研究，提出VV&A發展的關鍵問題.西安空軍工程大學導彈學院在軍事仿真系統VV&A的概念、術語和原則、可信度評估及模型驗證方法等方面取得很好的成果.[1415]這些軟件大多為控制軟件，即在算法和軟件實現正確的情況下給定輸入就會產生準確可知的確定性輸出，而基于微分控制方程組物理建模的科學和工程數值計算，因M&S本身存在不確定性，無法知道復雜工程領域的準確計算結果.西安第六三一研究所在航空動力學CFD的驗證、確認和置信度分析等方面開展大量工作，并在外流問題數據庫建立方面取得可喜的成果.[1619]中國空氣動力研究與發展中心對計算流體力學的驗證、確認和實踐應用軟件的不確定度與真值估算方面進行研究.[20]中國航空工業航空氣動力數值模擬重點實驗室和中國航空研究院數值模擬技術研究應用中心在CFD模擬置信度評估和V&V涉及的相關概念、術語以及V&V在航空氣動力數值模擬置信度評估方法研究方面開展大量工作，包括SQA，MMS，誤差分析和不確定度量化等方法.[2122]中國船舶科學研究中心在船舶動力學CFD不確定度分析方法方面展開大量工作，并將V&V技術應用到船舶水動力學數值模擬置信度評估中，取得較好的結果.[23]華北電力大學在CFD誤差分析及網格收斂性方面開展研究工作.[24]2005年，中國工程物理研究院總體工程研究所及北京應用物理與計算數學研究所展開對V&V的概念和知識體系的研究，在V&V基本框架和用于測試程序的基準模塊庫等方面開展工作.[25]在一些高校和研究所也有一些零散的工作.[2627]

總體來說，我國對M&S置信度評估及V&V的研究仍處于起步階段，表現為研究工作比較分散、缺乏規模，大量工作都是結合調研開展的前期研究，尚未建立關于M&S置信度評估及V&V的概念體系，對可信度評估理論和方法也沒有形成統一的標準.在M&S的開發過程中對置信度評估及V&V工作的重要性和必要性缺乏認識.特別是國內還沒有類似于美國TCMC這樣的專門機構負責協調，更沒有組織國家級團隊對M&S置信度評估及V&V技術進行專門研究，使得這方面的研究工作進展緩慢.我國至今還沒有M&S的V&V的標準/規范，使得M&S的開發者、應用者和管理者在進行M&S置信度評估工作過程中無章可循、無法可依，例如對于M&S的VV&A的中文解釋就有“校核、驗證與確認”“校核、驗證與驗收”“驗證、證實和認可”“確認、驗證和認可”和“驗證、確認與認證”等多種不同的提法.在復雜武器系統，國內僅基于過去的一些做法，嘗試一些置信度評估方法，真正應用于實際模型V&V的工作研究甚少，M&S置信度評估體系幾乎是“零狀態”.

2M&S的驗證與確認進展

2.1M&S可信度評估與V&V的關系

復雜工程數值模擬涉及兩大重要過程：一是建模，二是模擬.復雜工程系統可靠性認證中M&S， V&V及評估和認證的過程見圖1.

2.2.3驗證

驗證是通過將數值解與解析解或高精度解（經驗解）進行比較，對數值誤差進行量化，以確定計算軟件是否正確求解方程，是一種數值分析活動.驗證包括程序驗證與解法/方法驗證.

程序驗證分為SQA和數值算法驗證.解法/方法驗證分為GCI驗證和計算敏感性分析.SQA的關鍵任務是建立合理的M&S及程序研制的流程、標準/規范，以控制、監督、約束和指導程序的研制過程，提高程序的質量和編碼的正確率；采取若干有效方法，檢測、辨別和消除程序中的缺陷和錯誤，確定程序能按要求正確運行，沒有編碼錯誤.在復雜工程應用軟件中，軟件質量保證主要關注作為軟件產品的程序應具有計算機科學和軟件工程意義上的可靠性和健壯性，常采用靜態分析、動態檢驗（回歸測試、黑盒測試和白盒測試等）和正式分析等方法對軟件質量進行分析和測試.數值算法驗證是對實施算法的流程（偽代碼或顯示求解公式）和基本特性的正確性檢查，主要關注如何正確地程序化數值算法以及實施數值算法本身能否保持算法基本理論（時空離散形式、精度、對稱性、守恒性和收斂性等）的正確性.數值算法驗證的目的主要是提供充足的證據證明程序化的數值算法執行正確且有預期的功能，常采用精確解方法、人為解方法[2829]和高精度程序解比較等方法或手段.

解法/方法驗證主要是用數值模擬結果與精確解、人為構造解和高精度數值解進行比較，量化其數值誤差和不確定度.其核心是進行網格收斂指標驗證以確定實際的收斂階，通過分析對比實際收斂階與理論收斂階判斷程序是否存在錯誤或缺陷.另一方面是對數值模擬影響因素進行敏感性分析，以辨識和量化誤差、不確定度和置信度.數值模擬驗證包括方法理論/網格收斂指標驗證與計算敏感性分析.基本理論驗證技術主要是分析方法的特性，量化各種誤差和不確定度，常采用GCI方法.GCI主要采用Richardson外推法建立估算網格誤差.常用的做法是針對計算問題建立多套計算網格，原則上要求多套網格自相似，即體現Δt和Δx為逐漸縮小的趨勢，然后通過計算L1，L2和L∞范數進行網格收斂性分析以確定實際的收斂階.該方法需要知道問題的精確解或采用固定不變的網格，對定常問題或單獨考核格式的精度行之有效.計算敏感性分析利用典型物理問題作為分析模型，結合已有的實驗信息，分析論證數值模擬計算結果中由計算模型、計算參數和數值方法等引入的不確定度，以及數值計算中網格參數（網格類型、尺寸和規模等）、計算格式和參數（時間步長、黏性等）、計算過程中的誤差時空演化特征分析等.一般用概率和非概率方法辨識與量化誤差、不確定度和置信度.在一般情況下，將計算敏感性分析和網格收斂指標相結合，采用在計算條件變化的情形下對同一被模擬量進行多次抽樣即復現性數值模擬分析方法辨識和量化誤差、不確定度和置信度.目前，用CDF方法可以量化數值計算的誤差和置信度，該方法的優點是既能綜合分析所有誤差源，又能通過概率分布函數給出數值計算誤差的不確定度.

2.2.4確認

確認是對數值模擬結果、試驗數據和真實行為三者之間進行相互比較，進而量化物理模型的精度.其計算結果用于確定模型與其試驗之間是否存在可接受的吻合度.確定可接受吻合度的關鍵在于試驗結果與模擬結果的一致程度，即數值模擬在多大范圍內可接受地再現建模人員對感興趣世界的真實過程，其結果在多大范圍內可接受地再現試驗結果.確認是將數值模擬結果與試驗結果進行比較，對模型的不確定度進行量化以確定計算模型是否能正確描述客觀世界，是一種建模活動（簡單地說就是是否正確求解正確方程）.因其主要采用對比方式，所以要求對試驗和數值模擬的結構、條件等輸入/輸出描述清楚，主要包括：（1）針對具體物理模型，構建驗證層次圖；（2）確認試驗（單一試驗、基準試驗、子系統試驗和全系統試驗等）；（3）數值模擬結果與試驗數據對比，以確定模型的適應性.

2.2.5基準數據庫

在V&V活動中產生大量數據資源和文檔，包括驗證涉及的文檔、需要的基準模型和確認文檔、區域的基準問題等，如何有效管理和利用這些數據資源或文檔是基準數據庫要解決的主要問題.在V&V過程中要逐漸建立V&V的基準數據庫，通過數據庫推斷M&S應用軟件的置信度或給出在什么范圍內置信度是多少，并作為預測分析的依據.

2.3M&S的V&V的知識指南

V&V貫穿于復雜工程M&S的整個過程，即貫穿于數值模擬應用程序研制的整個生命周期.M&S的V&V的知識指南見圖4.復雜工程可靠性認證中M&S的V&V的知識體系包括4個方面的內容：驗證、確認、預測和決策等.驗證需要解決的問題是程序是否能正確求解方程，確認需要解決的問題是程序是否能正確求解出方程，即驗證要回答數值模擬程序是否能正確求解數學模型或給出求解模型的誤差、不確定性大小及使用范圍，確認要通過數值結果與物理模型試驗的對比回答物理模型是否反映真實客觀世界或反映真實客觀世界的程度.預測是利用V&V的應用程序對未知問題的模擬過程，包括問題、計算和結果評估等.決策是為開展可靠性認證規劃、提供資源和利用各種信息對系統可靠性給出結論.

3問題和建議

通過闡述應用程序M&S的V&V的含義，明確V&V的過程、步驟及其技術，初步建立程序模擬誤差、不確定度及置信度評估方法，給出用于數值模擬程序M&S結果的部分驗證技術.

復雜工程M&S的V&V相當重要，涉及的核心問題較多.

（1）M&S的V&V術語概念體系和置信度評價體系.包括相關基本概念、術語和方法的描述，基于數值模擬和認知不確定性的復雜系統可靠性評估方法、流程和規范.目前研究從方法學向實例化/本地化和實用方法轉變.

（2）檢驗數值模擬方法求解系統/過程控制方程（組）正確性的驗證和測試方法研究，包括數值分析基本理論，網格收斂指標驗證，偏微分方程精確解析解、半解析基準解、高精度基準解、人為構造解和不同程序計算結果對比以及軟件質量保證等程序正確性驗證和測試方法.目前亟須發展M&S可信度評估中誤差和不確定度量化、傳播及多因素敏感性分析方法.

（3）檢驗數值模擬中物理模型準確性的確認考核方法，包括分層實（試）驗設計方法、系統試驗及其數據不確定度分析方法、計算結果與試驗數據對比的不確定度分析方法以及計算結果預測的置信度評估方法研究.重點應該發展確認域到應用域的預測方法.

參考文獻：

[1]OBERKAMPF W L， ROY C J. Verification and validation in scientific computing[M]. New York： Cambridge Univ Pr， 2010.

[2]CARTER A B. DoD Modeling and Simulation （M&S） Verification， Validation， and Accreditation （VV&A）， DoD Instruction 5000.61[R]. Department of Defense Instruction， USA， 1996.

[3]ROACHE P J， GHIA K， WHITE F M. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1986， 108（1）： 2.

[4]FREITAS C J. Editorial policy statement on the control of numerical accuracy[J]. ASME J Fluids Eng， 1993， 115（3）： 339340.

[5]ROACHE P J. Quantification of uncertainty in computational fluid dynamics[J]. Annu Rev Fluid Mech， 1997（29）： 123160.

[6]ROY C J. Grid convergence error analysis for mixedorder numerical schemes[J]. AIAA J， 2003， 41（4）： 595604.

[7]ROY C J. Review of code and solution verification procedures for computational simulation[J]. J Comput Phys， 2005， 205（1）： 131156.

[8]KNIO O M， le MARTRE O P. Uncertainty propagation in CFD using polynomial chaos decomposition[J]. Fluid Dynamics Res， 2006， 38（9）：616640.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統的校核、驗證與驗收（VV&A）：現狀與未來[J]. 系統仿真學報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統VV&A發展的五大關鍵問題[J]. 系統仿真學報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統可信度評估及模型驗證方法研究[J]. 計算機仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統VV&A標準/規范研究的現狀與軍事需求分析[J]. 系統仿真學報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構解方法程序驗證[J]. 航空計算技術， 2005， 35（2）： 1719.

[17]白文. 計算流體力學模擬可信度分析的基本術語[C]// 計算流體力學研究進展： 第十一屆全國計算流體力學會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學研究進展：第十二屆全國計算流體力學會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學中的驗證與確認[J]. 力學進展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關于CFD驗證確認中的不確定度和真值估算[J]. 空氣動力學學報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網格收斂性研究[J]. 工程熱物理學報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學計算程序的驗證和確認（V&V）[J]. 北京理工大學學報， 2010， 30（3）： 353360.

[26]張保強， 陳國平， 郭勤濤. 結構動力學模型確認問題的核密度估計方法[J]. 機械工程學報， 2011， 47（17）： 2936.

[27]曾現洋， 劉睿， 劉希強. 人為解與人為解方法[J]. 聊城大學學報： 自然科學版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強， 等. 人為解方法及其在流體力學程序驗證中的應用[J]. 計算機應用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強， 等. 流體力學方程組一類人為解構造方法[J]. 數學的實踐與認識， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統的校核、驗證與驗收（VV&A）：現狀與未來[J]. 系統仿真學報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統VV&A發展的五大關鍵問題[J]. 系統仿真學報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統可信度評估及模型驗證方法研究[J]. 計算機仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統VV&A標準/規范研究的現狀與軍事需求分析[J]. 系統仿真學報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構解方法程序驗證[J]. 航空計算技術， 2005， 35（2）： 1719.

[17]白文. 計算流體力學模擬可信度分析的基本術語[C]// 計算流體力學研究進展： 第十一屆全國計算流體力學會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學研究進展：第十二屆全國計算流體力學會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學中的驗證與確認[J]. 力學進展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關于CFD驗證確認中的不確定度和真值估算[J]. 空氣動力學學報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網格收斂性研究[J]. 工程熱物理學報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學計算程序的驗證和確認（V&V）[J]. 北京理工大學學報， 2010， 30（3）： 353360.

[26]張保強， 陳國平， 郭勤濤. 結構動力學模型確認問題的核密度估計方法[J]. 機械工程學報， 2011， 47（17）： 2936.

[27]曾現洋， 劉睿， 劉希強. 人為解與人為解方法[J]. 聊城大學學報： 自然科學版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強， 等. 人為解方法及其在流體力學程序驗證中的應用[J]. 計算機應用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強， 等. 流體力學方程組一類人為解構造方法[J]. 數學的實踐與認識， 2013， 43（8）： 176182.

[9]GRIFFIN J D， ELDRED M S， GIUNTA A A， et al. DAKOTA， a multilevel parallel objectoriented framework for design optimization， parameter estimation， uncertainty quantification， and sensitivity analysis： version 4.0 reference manual ， SAND20064055[R]. 2006.

[10]OBERKAMPF W L， TRUCANO T G. Verification and validation benchmarks [J]. Nucl Eng & Des， 2008， 238（3）： 716743.

[11]HILLS R G， PILCH M， DOWDING K J， et al. Validation challenge workshop[J]. Comput Methods Appl Mech & Eng， 2008， 197（2932）： 23752380.

[12]王子才， 張冰， 楊明. 仿真系統的校核、驗證與驗收（VV&A）：現狀與未來[J]. 系統仿真學報， 1999， 11（5）： 321325.

[13]楊明， 張冰， 馬萍， 等. 仿真系統VV&A發展的五大關鍵問題[J]. 系統仿真學報， 2003， 15（11）： 15061508.

[14]吳曉燕， 趙敏榮， 劉興堂， 等. 仿真系統可信度評估及模型驗證方法研究[J]. 計算機仿真， 2002， 19（3）： 2527.

[15]吳曉燕， 許素紅， 劉興堂. 仿真系統VV&A標準/規范研究的現狀與軍事需求分析[J]. 系統仿真學報， 2003， 15（8）： 10811084.

[16]楊振虎， 白文， 高福安. 虛構解方法程序驗證[J]. 航空計算技術， 2005， 35（2）： 1719.

[17]白文. 計算流體力學模擬可信度分析的基本術語[C]// 計算流體力學研究進展： 第十一屆全國計算流體力學會議論文集. 洛陽， 2002： 410415.

[18]白文. 氣動計算軟件可信度分析解決方案[C]// 計算流體力學研究進展：第十二屆全國計算流體力學會議論文集. 西安， 2004： 770774.

[19]BAI Wen， LI Li， Zhou Mingli， et al. CFD V&V and open benchmark database[J]. Chin J Aeronautics， 2006， 19（2）： 160167.

[20]鄧小剛， 宗文剛， 張來平， 等. 計算流體力學中的驗證與確認[J]. 力學進展， 2007， 37（2）： 279288.

[21]張涵信， 查俊. 關于CFD驗證確認中的不確定度和真值估算[J]. 空氣動力學學報， 2010， 28（1）： 3945.

[22]LI Li， BAI Wen， LIANG Yihua. Recent efforts for credible CFD simulations in china[C]//Proc 25th Int Congress Aeronautical Sci， ICAS 20062.4.2. Hamburger： Hindawi Publishing Co， 2006.

[23]WU Baoshan. An overview of verification and validation methodology for CFD simulation of ship hydrodynamics[J]. J Ship Mech， 2011， 15（6）： 577591.

[24]康順， 石磊， 戴麗萍， 等. CFD模擬的誤差分析及網格收斂性研究[J]. 工程熱物理學報， 2010， 31（12）： 20092013.

[25]王瑞利， 林忠， 袁國興. 科學計算程序的驗證和確認（V&V）[J]. 北京理工大學學報， 2010， 30（3）： 353360.

[26]張保強， 陳國平， 郭勤濤. 結構動力學模型確認問題的核密度估計方法[J]. 機械工程學報， 2011， 47（17）： 2936.

[27]曾現洋， 劉睿， 劉希強. 人為解與人為解方法[J]. 聊城大學學報： 自然科學版， 2010， 23（1）： 7174.

[28]王瑞利， 劉全， 劉希強， 等. 人為解方法及其在流體力學程序驗證中的應用[J]. 計算機應用與軟件， 2012， 29（11）： 47.

[29]劉全， 王瑞利， 劉希強， 等. 流體力學方程組一類人為解構造方法[J]. 數學的實踐與認識， 2013， 43（8）： 176182.