異構系統一體化仿真中間件系統實現研究

劉 劍，衛 翔，田立業

（海軍潛艇學院，山東 青島 266199）

0 引言

分布式聯合作戰仿真需要將各種異構仿真系統連接成一個有效的仿真整體，共同完成多任務多協同的仿真任務，但原有各系統仿真結構封閉，特別是開發語言又不盡相同，給系統的聯通和操作帶來了很大困擾。按照聯合系統一體化仿真的功能需求，對其進行有效升級的一種可行方法是通過分布式仿真中間件系統［1-2］，將多異構仿真系統進行有效聯通而無需深入改造各系統內部，從而大大減少仿真資源消耗，降低系統結構復雜度和維護升級成本。

針對系統一體化仿真中的多開發語言、通信協議設計以及綜合任務協調等問題，對異構系統一體化仿真中間件系統的結構功能進行了分析，采用Thrift 跨語言服務架構建立異構系統一體化仿真中間件系統［3］，為實物仿真系統、半實物仿真系統，以及虛擬仿真系統等異構系統提供仿真中間件集成、協議轉換、綜合導演控制與調度服務，實現異構系統的一體化綜合仿真的有效運行。

1 分布式異構系統仿真中間件系統設計需求

異構仿真系統是指在結構、協議、模型粒度和開發語言等多方面存在不同之處的仿真系統。這些仿真系統在初始設計時立足本系統功能要求，在系統結構和對外交互方面形成了內部界限，難以擴展和升級。在一體化仿真新需求下將這些系統連接，需對異構系統聯通的諸多問題進行有效優化解決，否則各系統改造升級將變得復雜和成本高昂。需要解決的問題主要包括：

1）不同開發設計語言下各異構系統節點通信開發設計，例如采用java、C++等設計語言的客戶端與服務端的通信構造協議設計；

2）各異構系統節點的仿真統一控制協調設計，包括仿真時間域和空間域的統一，仿真效能的一致性評估判斷等；

3）各異構系統節點的多仿真任務的支持設計，需要將多異構節點組合，組織和并行多仿真任務。

針對不同的開發設計語言、不同的交互協議以及仿真任務同步控制需求，采用中間件系統無疑是以較小代價有效實現異構系統一體化仿真的有效途徑。中間件系統可以提供對底層網絡、硬件、操作系統和編程語言異構性的屏蔽，同時還為分布式應用與服務提供一致的支撐計算模型。能夠較好地完成分布式異構系統的集成、互操作，并保證這些系統的可移植性，是當前分布式應用開發和集成的主要手段。

現有仿真通信中間件系統通常采用protobuf［4］等通信協議解決跨語言系統通信問題，或者采用DDS 數據分發機制［5］，建立以數據為中心的發布訂閱模型，實現分布式系統中數據實時、可靠、高效分發問題，這些系統的開放性和擴展性不強，難以滿足跨語言和跨平臺的一體化仿真綜合需求。Apache Thrift 是一個跨語言的開源服務部署框架，具有開發速度快、接口維護簡單、學習成本低、跨語言支持和穩定等特點，并已經廣泛應用于Cassandra、Hadoop、HBase、Facebook 以及百度、美團等公司［6-7］。因此，可以利用Thrift 服務框架，構建分布式異構系統一體化仿真中間件系統。

2 異構系統仿真中間件系統組成架構

異構仿真系統中間件系統主要包括異構系統橋接轉換單元和綜合控制單元。綜合控制單元與各異構系統通過橋接轉換單元構成客戶端/服務端的C/S（Client/Server）系統結構。基于中間件系統橋接轉換單元，各異構系統采用Thrift IDL（Interface Description Language）接口描述語言進行信息交互，并在綜合控制單元的協同控制下完成仿真的協調推進。系統結構如圖1 所示。

圖1 異構系統聯通中間件系統結構組成

2.1 Thrift IDL 接口通信

Thrift 軟件從下向上可分為傳輸層、協議層、處理層和服務層。異構系統一體化仿真對處理層和協議層進行按需處理。對于處理層，各異構系統在仿真中間件系統支持下，采用IDL 按本系統開發設計語言生成系統信息交互所需的數據結構代碼，例如各系統的狀態信息、所維護的內部仿真實例信息以及仿真交互信息等。IDL 支持的數據類型包括基本類型、復雜結構體類型（struct）以及容器類型（list、set、map），可以滿足復雜異構系統信息交互數據定義需求。

對于協議層，其負責網絡傳輸數據的序列化和反序列化，其協議方式包括JSON、XML、二進制數據等［8］。異構系統一體化仿真采用二進制傳輸協議定義數據傳輸格式以節約帶寬提高傳輸效率。此外，在調試聯測階段還可采用基于文本類型的JSON 協議，通過腳本解析信息，便于問題定位和狀態測試。采用Thrift IDL 定義系統間信息交互結構以及相應協議，使得異構系統一體化仿真通過底層網絡封裝、傳輸和序列化方式進行系統間數據通信，大大降低開發設計語言不同所導致的系統信息交互復雜性。

2.2 橋接轉換單元

橋接轉換單元是各異構系統相互之間以及異構系統與綜合控制單元之間信息交互的橋梁。由于異構系統設計研制之初并沒有考慮對外信息交互的拓展需求，因此，為有效達成異構系統一體化仿真，采用橋接轉換單元進行信息交互在技術可行性以及系統升級維護成本上能達到優化平衡，有效減少系統內部深度改造的高昂成本。具體功能如下：

2.2.1 協議轉換

采用Thrift IDL 原語對異構仿真系統內部交互信息實施編碼和解碼。包括將外部仿真信息進行轉錄和解釋后傳入至異構系統內部，并將異構系統內部仿真狀態信息，按照外部IDL 格式編碼后發送至綜合控制單元。

2.2.2 心跳守護

由異構系統內部主控程序驅動，定時向外部系統發送異構系統節點當前工作狀態，便于外部系統進行狀態檢測和相應上線/離線控制。

2.2.3 仿真服務交互

通過協議轉換，將異構系統內部的仿真實例狀態信息或服務請求信息傳送給綜合控制單元；接收綜合控制單元的服務回調信息，將總體仿真控制命令、外部系統仿真狀態以及服務計算結果等信息通過協議轉換模塊，發送至異構系統內部。

需要說明的是，根據各異構仿真系統通信機制不同，橋接轉換單元可以有不同的結構形式，主要包括集中式和分布式兩種。

集中式指客戶端/服務端的CS 結構方式，這類異構系統在通信協議方式和類型可能有多種形式，例如，較為常用的Socket 通信或DDS 通信。此時橋接轉換單元以信息交互單元形式加入至各異構系統，由綜合控制單元協調異構系統內部主控單元，驅動異構系統內部各分系統協同工作。

分布式仿真方式通常有DIS 或HLA 兩種。以HLA 為例，橋接轉換單元加入至異構系統成為RTI聯邦成員，由橋接轉換單元轉換外部綜合控制單元的允許仿真步進信息，由RTI 服務器協調異構聯邦各分系統聯邦成員協調推進，并將RTI 聯邦成員交互信息按照訂閱/發布機制進行信息轉發。

2.3 綜合控制單元

由于組成一體化仿真系統的原有各異構系統在仿真精度、仿真結構、仿真控制邏輯上都有定制的個性化需求，就需要綜合控制單元這樣的中心樞紐控制節點進行全局的控制，而不是將仿真同步控制等功能分解至各異構系統內部，那樣無疑會增加系統升級難度和結構復雜度。綜合控制單元通過橋接轉換單元協調各異構系統仿真同步，監測系統內各成員的仿真狀態，生成系統綜合仿真全局態勢數據，實施全局仿真控制，提供系統仿真服務。主要功能包括：

2.3.1 仿真想定編輯與生成

編輯仿真想定，生成初始仿真態勢并發送至各異構系統節點，各節點收到初始態勢后按照內部業務邏輯在綜合控制單元導控下，進行仿真計算和結果輸出。

2.3.2 協議轉換與心跳守護

對異構系統與綜合控制單元之間的信息交互進行協議轉換；接收異構系統定時發送的節點工況信息，實施狀態實時監測并保持異構仿真系統與綜合控制單元的通信長連接，同時，對異常離線成員進行系統異常判斷并進行狀態保護。

2.3.3 仿真計算服務

采用服務器集群形式對異構系統一體化仿真提供所需的仿真計算服務，服務類型包括基礎性服務和功能性服務兩類。基礎性服務實現對異構系統一體化仿真的綜合控制功能，例如，仿真對象的管理、仿真推進控制等；功能性服務為各異構系統節點提供定制的業務邏輯仿真計算，保證仿真模型粒度一致性和重要核心仿真模型的可重用與可擴展，例如，實體坐標遞推計算、戰場環境分析等。

2.3.4 數據冗余備份

為異構系統一體化仿真提供系統仿真數據備份和控制單元服務切換。由于綜合控制單元是異構系統一體化仿真網絡的主控與核心，需要對控制單元進行數據冗余設計，采用zookeeper［9-10］分布式協同服務，在綜合控制單元故障情況下，實時備份和同步數據，并按需進行主從控制單元的冗余切換。

2.3.5 負載均衡

集群服務下對異構系統一體化仿真全系統網絡實施負載均衡服務治理。仿真運行時，根據中間件系統綜合控制單元服務器的實時負載信息，采用軟負載均衡方法，例如平均分配（輪詢）法，選擇和調度異構系統任務仿真的服務分配，減輕可能的多仿真任務下的服務器壓力。

3 異構仿真系統中間件系統服務與實現形式

作為一體化仿真系統的Thrift 服務端，由綜合控制單元實現中間件系統的仿真服務功能，為各異構節點提供一體化仿真所需的仿真服務支撐。綜合控制單元仿真服務從頂至下可劃分為功能層、基礎層和支撐層。其仿真服務結構層次如圖2 所示。

圖2 綜合控制單元組成與服務

3.1 功能層服務

功能層服務為各異構系統節點提供定制的或為維護一體化仿真時空邏輯一致性的功能性服務，主要包括作戰環境分析、態勢遞推、傳感器探測等。其中，環境仿真包括大氣環境仿真和水聲環境仿真，對電磁、聲波等能量在環境中的傳播特性進行統一的建模描述；武器彈道仿真包括魚雷、導彈等武器搜索目標、跟蹤目標和命中目標全程彈道進行一致性的彈道邏輯描述；傳感器探測仿真對在環境分析基礎上的雷達、聲吶等傳感器探測發現目標的物理過程進行仿真描述。

各異構系統節點利用Thrift RPC 遠程服務框架，通過服務接口調用仿真所需的各項仿真計算，而無需關注底層通信細節，可以最大程度地維護一體化仿真的一致性，避免諸如武器彈道仿真細節和粒度不一致導致的時空邏輯矛盾。同時由綜合控制單元服務器集群統一進行仿真計算，可較好地提高仿真運行效率，實現仿真模型資源的可重用和統一維護。

3.2 基礎層服務

基礎層服務為各異構系統節點提供全系統綜合仿真控制服務，主要包括：

3.2.1 服務注入與發現服務

綜合控制單元對服務端服務進行注冊與發布，異構系統橋接轉換單元可以通過zookeeper 的watcher 對服務自動發現，也可使用curator［11］第三方工具實現服務的注冊、發現和訂閱。服務注冊與發現的內容包括：服務地址、服務端口、服務名稱、服務交互參數結構類型等，其結構參數類型由系統Thrift IDL 定義。

采用服務注入發現的好處在于將綜合控制單元與異構系統的通信解耦，從而實現對服務中心的靈活配置和動態連接，可在服務接口不變的條件下，實施仿真服務相關模型升級重構而不影響各異構系統。

3.2.2 全局命名服務

全局命名服務為系統仿真對象資源進行唯一標識。綜合控制單元利用Zookeeper 的屬性分層結構和子節點的順序維護能力，對仿真對象進行全局唯一性的ID 標識。雖然依賴本地持久化數據庫主鍵，可以唯一標識一個數據資源，但是在綜合控制單元服務集群下，分布式全局命名服務可以支持并發和負載均衡的要求，提供多仿真任務的實時在線運行。

3.2.3 時間與數據同步服務

綜合控制單元生成統一的全系統仿真時間，例如仿真想定設置的某一天文時間，并將帶有時間戳的信息發送至異構系統節點，驅動異構系統主控程序進行相應的仿真控制。

數據同步是指利用類似Redis 分布式緩存技術［11-12］，對所有仿真過程關鍵數據進行主從同步備份。在仿真結束后，數據從緩存持久化至本地數據庫以作為仿真數據記錄，同時所備份數據可支持綜合控制單元故障下的切換控制以進行系統運行的再恢復。

3.2.4 全局對象管理

對一體化仿真中的所有實體對象進行全生命周期管理，建立全局對象實時快照，并定時通過數據同步存儲至數據庫系統。全局對象的綜合態勢信息可以通過附屬顯示系統顯示，進而對綜合仿真狀態實時監測顯示。同時，各異構系統通過遠程服務接口按需調用所需實體對象服務，包括生成實體、刪除實體、獲取所需類型實體快照和歷史數據等以用于內部仿真計算。這相比綜合控制單元采用全局數據廣播形式，其能夠有效減輕系統通信負載。

3.2.5 全局沖突消解

全局沖突消解對于維護一體化仿真物理過程正確性具有非常重要的意義。因為仿真運行過程中，受異構系統模型粒度和精度不匹配以及不同時空域的影響，綜合仿真的時序環節可能會存在沖突之處，這就需要綜合控制單元實施全局層面的沖突消解，主要包括：

1）異構節點實體業務坐標系不匹配導致的沖突和消解。例如，大地球面坐標、平面直角坐標以及地理絕對位置和相對位置轉換導致的對象實體坐標與姿態不一致情況。可由綜合控制單元建立統一的坐標系，對各實體的位置和姿態進行統一遞推修正，或由異構節點通過調用綜合控制單元的遠程服務用于相關仿真計算。

2）作戰仿真能力沖突與消解，這表現在沖突雙方對相關作戰過程仿真建模描述不匹配。例如，異構仿真系統在傳感器探測時，因為模型粒度和精度不同，導致同相互探測雙方發現能力不協調。此時由綜合控制單元對雙方仿真能力進行調節，必要條件下強制干預和調整雙方的仿真性能指標范圍。

3）作戰仿真效能的沖突與消解。這表現在沖突雙方在仿真效能評估模型算法和指標不一致。例如，武器命中的毀傷達成效果、毀傷位置存在多方判定矛盾的情況。此時由綜合控制單元實施仲裁，對沖突涉及對象的毀傷效能實施綜合評估，并將結果發送至相關異構節點。

3.2.6 仿真推進控制

對各異構仿真節點的時間推進實施協調和控制。由于不同異構節點和不同仿真對象對仿真步長要求不一，例如，導彈等高速運動和艦船平臺等低速運動仿真對象時間步長不同，此時綜合控制單元提供仿真同步推進，根據各異構仿真節點要求推進到的仿真時間進行判別和協調，確定系統仿真時間同步點，控制各仿真節點是否允許推進，并對相關仿真對象運動和姿態平滑，在此基礎上進一步實現一體化仿真的加速、減速、暫停與恢復等仿真控制。

3.3 支撐層服務

綜合控制單元除了操作系統底層支撐外，還需要Zookeeper、分布式緩存和Thrift 的基礎軟件對各項功能和服務進行支撐。

Zookeeper 提供配置維護、域名服務、分布式同步等一致性服務。為異構系統一體化仿真的全局標識、服務注入和發現等功能提供支撐。為仿真服務集群實現提供了有效配置和管理手段，提高了系統多任務仿真支撐能力。

分布式緩存Redis 提供高效率并發數據的讀取與管理機制，不僅提供了主從數據的備份功能，還實現了高并發條件下的數據吞吐，為系統仿真提供了基礎數據支持。

Thrift 不僅提供了跨語言的網絡通信手段，還提供了遠程服務調用基本架構。異構系統一體化仿真將復雜的網絡通信抽象為遠程過程調用，其調用形式如同調用本地子程序，使開發人員無需關注網絡通信底層細節，提高了工作效率。

4 異構系統適用性改造

異構系統為實現一體化仿真必需對內部系統進行適用性改造。基于異構系統仿真中間件系統，重點對原系統導演控制單元和仿真計算單元實施功能性升級。以集中式C/S 結構的異構仿真系統為例，對其改造說明如下：

4.1 信息通道適用性修改

異構系統導演控制單元增加與橋接轉換單元信息交互通道，實現異構系統與外部仿真想定、仿真態勢、仿真控制等信息接收；仿真計算單元增加與橋接轉換單元信息交互通道，實現與外部綜合控制單元的功能層和基礎層仿真服務交互，其他各單元保持現有信息通道不變，以與原系統仿真功能兼容。

4.2 控制流程適用性修改

異構系統導演控制單元對原仿真控制流程進行修改，在原系統獨立控制基礎上通過增加系統仿真模式判斷（獨立或互聯）、外部仿真指令受控處理等相應調整，從而按外部綜合控制單元要求實施想定申請與分發、驅動和控制內部系統仿真全程。

4.3 仿真計算服務適用性修改

異構系統仿真計算單元保留原仿真計算服務功能并增加外部綜合控制單元仿真服務調用處理。異構互聯模式下通過服務切換控制和屬性參數封裝等手段，兼容原系統內部仿真計算服務交互接口，通過與外部綜合控制單元交互查詢和獲取外部仿真對象信息，調用環境、探測與武器仿真等仿真服務功能，將相應對象屬性和交互參數信息向系統內部各單元分發，保障異構系統內部仿真正常運行，實現基于異構系統互聯的一體化仿真。

通過上述改造，異構系統原有結構和信息交互總體不變，原仿真想定編輯和各項仿真計算功能得以保留，從而在不影響原系統功能條件下實現各異構系統聯通而無需深入改造異構系統各內部成員，實現異構系統獨立仿真和基于仿真中間件系統的一體化仿真，充分發揮系統適用性改造效益。

5 異構仿真系統中間件系統運行流程

異構系統一體化仿真中間件系統運行流程包括了綜合控制單元和異構節點兩部分，對其主要流程描述如圖3 所示。

圖3 異構系統聯通中間件系統結構組成

5.1 準備階段

綜合控制單元啟動后，首先進行服務注冊與發布，并寫入提供服務的服務器網絡地址信息；異構系統節點通過橋接轉換單元發現服務，并在負載均衡的協調下連接預定的控制單元服務器，發送心跳信息，確定雙方工作狀態。

綜合控制單元由用戶調用綜合態勢生成模塊，讀取數據庫生成綜合仿真初始態勢，利用保存的長連接向異構節點發送初始仿真態勢；異構節點收到信息后初始化本地態勢，向綜合控制單元發送實體初始化信息，綜合控制單元收到后進行對象注冊生成仿真實體對象。

5.2 運行階段

仿真開始后，異構仿真節點進行本地仿真計算，調用時間推進控制服務，向控制單元發出仿真推進申請，綜合控制單元根據各節點申請時間，確定時間同步點控制各節點仿真同步推進。

仿真過程中綜合控制單元維護全局仿真對象，對數據進行緩存和同步，對異構仿真過程中的坐標轉換和仿真能力不匹配等沖突進行消解，將消解的結果在對象屬性或交互參數上更新，異構節點通過調用遠程服務獲取相關參數，引入系統內部模型進行更新，使得整個異構系統在業務能力上保持匹配。

綜合控制單元在滿足仿真結束的條件下停止仿真推進，在用戶操作下保存相關數據并向各異構節點發出仿真停止命令，各節點進行內部數據保存并斷開連接以結束仿真。

6 結論

本文分析了異構系統一體化仿真的功能需求，利用Thrift IDL 建立包括橋接轉換單元和綜合控制單元的仿真中間件系統，分析了中間件系統橋接轉換單元和綜合控制單元的組成與功能，集成Zookeeper 和Thrift RPC 建立面向一體化仿真的綜合服務層次架構。在異構系統一體化仿真中間件系統的支持下，各異構仿真應用系統可以有效連接和協同仿真，滿足異構系統一體化仿真的綜合性仿真需求，實現跨語言和跨平臺的異構仿真系統互聯互通，并可有效支持多異構節點和多仿真任務的實時在線仿真。