基于托管可擴(kuò)展框架的武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)

湯國防 胡長城 姚 尚

1(中國電子科技集團(tuán)公司第十五研究所 北京 100083)

2(甘肅酒泉十四支局565號(hào) 甘肅 酒泉 735018)

0 引 言

武器裝備的試驗(yàn)鑒定往往需要大量實(shí)裝試驗(yàn)以及事后重復(fù)性的數(shù)據(jù)處理，形成對武器功能性能指標(biāo)的數(shù)據(jù)鑒定結(jié)論。武器裝備的靶場試驗(yàn)一般具有測量手段多、測量參數(shù)多、數(shù)據(jù)量大、專業(yè)種類多樣等特點(diǎn)[1-2]；在事后數(shù)據(jù)處理方面，數(shù)據(jù)計(jì)算流程相對復(fù)雜，對算法要求高，但同時(shí)也具有較強(qiáng)的復(fù)用性。目前，靶場武器試驗(yàn)數(shù)據(jù)多使用電子文件和多種多樣的自研計(jì)算軟件進(jìn)行保存和處理[3]，導(dǎo)致試驗(yàn)數(shù)據(jù)計(jì)算處理效率低、過程不易追溯、數(shù)據(jù)存儲(chǔ)分散，難以形成數(shù)據(jù)積累和知識(shí)積累。

當(dāng)前云計(jì)算技術(shù)的發(fā)展應(yīng)用帶來了更易獲得的計(jì)算資源和存儲(chǔ)資源，后臺(tái)基于分布式或大規(guī)模集群部署的計(jì)算服務(wù)極大提升了科學(xué)計(jì)算能力。在一些復(fù)雜系統(tǒng)協(xié)同設(shè)計(jì)或仿真分析領(lǐng)域，基于網(wǎng)絡(luò)的計(jì)算服務(wù)方式提供了一種新的架構(gòu)設(shè)計(jì)。文獻(xiàn)[4-5]提出了一種基于分布式多學(xué)科計(jì)算服務(wù)平臺(tái)(FIPER)的計(jì)算服務(wù)方式，F(xiàn)IPER主要采用C/S模式。在FIPER服務(wù)器端集成計(jì)算各類服務(wù)，服務(wù)需求者需要在注冊以后，通過FIPER客戶端查找服務(wù)器中相應(yīng)的服務(wù)進(jìn)行調(diào)用使用，但這種服務(wù)方式要求用戶必須通過編程接口創(chuàng)建流程圖。文獻(xiàn)[6]提出了一種基于ModelCenter的仿真計(jì)算服務(wù)方式，ModelCenter架構(gòu)采用C/S模式，在服務(wù)器端集成各種仿真分析軟件，需求者注冊后可以在客戶端建立模型組件流程圖，提交后由服務(wù)器端進(jìn)行計(jì)算求解，并返回結(jié)果。文獻(xiàn)[7]則提出了計(jì)算模型化的思路，根據(jù)對計(jì)算模型設(shè)置不同的參數(shù)和函數(shù)鏈接由計(jì)算分析模型進(jìn)行分析計(jì)算?；贔IPER和ModelCenter架構(gòu)設(shè)計(jì)和計(jì)算模型化的實(shí)現(xiàn)思路為武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)的設(shè)計(jì)提供了借鑒。

本文結(jié)合武器試驗(yàn)數(shù)據(jù)處理計(jì)算的業(yè)務(wù)特點(diǎn)，針對數(shù)據(jù)處理算法特點(diǎn)、數(shù)據(jù)集群計(jì)算需求，設(shè)計(jì)一種基于托管可擴(kuò)展框架的武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)，實(shí)現(xiàn)對試驗(yàn)數(shù)據(jù)處理算法組件化、數(shù)據(jù)計(jì)算服務(wù)化以及對各類專業(yè)算法高效集成，提升武器試驗(yàn)數(shù)據(jù)處理效率。

1 數(shù)據(jù)處理模型設(shè)計(jì)

1.1 數(shù)據(jù)計(jì)算業(yè)務(wù)模型

武器試驗(yàn)數(shù)據(jù)處理一般需要經(jīng)過選取數(shù)據(jù)、預(yù)處理、專業(yè)數(shù)值計(jì)算、結(jié)果輸出等多個(gè)數(shù)據(jù)加工過程。其中：數(shù)據(jù)的預(yù)處理為常用的算法處理過程，如數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)插值、野值剔除等；專業(yè)數(shù)值計(jì)算根據(jù)武器試驗(yàn)類別、數(shù)據(jù)測量手段等不同而采用不同的算法實(shí)現(xiàn)數(shù)據(jù)處理過程并最終得到輸出結(jié)果。武器試驗(yàn)的數(shù)據(jù)處理對計(jì)算過程中的參數(shù)設(shè)定、過程數(shù)據(jù)追溯、結(jié)果綜合處理有較高的要求，以獲得可信的處理結(jié)果和科學(xué)的評(píng)定報(bào)告。

基于武器試驗(yàn)數(shù)據(jù)處理業(yè)務(wù)的共性特點(diǎn)，通過對數(shù)據(jù)加工處理階段、專業(yè)數(shù)值計(jì)算過程進(jìn)行單元化分解，建立典型的數(shù)據(jù)處理業(yè)務(wù)模型，如圖1所示。

圖1 武器試驗(yàn)數(shù)據(jù)處理業(yè)務(wù)模型

在上述業(yè)務(wù)模型中，每個(gè)數(shù)據(jù)加工處理過程均抽象為功能最小化的算法實(shí)現(xiàn)，以便于進(jìn)行算法組件化設(shè)計(jì)，通過合理編排算法的輸入輸出共同完成試驗(yàn)數(shù)據(jù)處理過程。該業(yè)務(wù)模型的主要特點(diǎn)包括：1) 具有一條或多條計(jì)算基線，以滿足多專業(yè)數(shù)據(jù)綜合處理過程，每條計(jì)算基線以輸入數(shù)據(jù)為起點(diǎn)；2) 每個(gè)算法均有一個(gè)或多個(gè)輸入數(shù)據(jù)和唯一的輸出數(shù)據(jù)，算法輸出數(shù)據(jù)可以多次參與其他算法計(jì)算，輸入數(shù)據(jù)、輸出數(shù)據(jù)和算法計(jì)算參數(shù)作為過程數(shù)據(jù)進(jìn)行保存；3) 在遵循專業(yè)數(shù)據(jù)處理規(guī)則的基礎(chǔ)上，算法可以按需編排和多次使用[8]；4) 整個(gè)計(jì)算流程遵循一定執(zhí)行順序自動(dòng)完成全部數(shù)值計(jì)算。

1.2 算法組件設(shè)計(jì)

(1) 算法組件模型。為滿足算法靈活編排以及計(jì)算流程的自動(dòng)化執(zhí)行，算法組件采用可托管的插件模式設(shè)計(jì)，并遵循SOA的架構(gòu)理念[9]，將前端界面操作和后臺(tái)計(jì)算服務(wù)分離。算法組件包括前端算法界面插件和后端計(jì)算服務(wù)插件，如圖2所示。

圖2 算法組件結(jié)構(gòu)

算法交互組件提供算法人機(jī)交互界面、計(jì)算參數(shù)配置和輸入數(shù)據(jù)、輸出數(shù)據(jù)的傳遞功能；后端算法服務(wù)組件接收算法交互組件傳遞的輸入數(shù)據(jù)和計(jì)算參數(shù)，執(zhí)行數(shù)據(jù)計(jì)算過程并生成輸出數(shù)據(jù)，返回給算法交互組件。

(2) 算法組件分類設(shè)計(jì)。根據(jù)數(shù)據(jù)處理需要，算法組件可分為數(shù)據(jù)輸入組件、數(shù)據(jù)適配組件、通用算法組件和專業(yè)算法組件。

數(shù)據(jù)輸入組件為整個(gè)計(jì)算流程的數(shù)據(jù)入口，在實(shí)現(xiàn)方面可根據(jù)業(yè)務(wù)應(yīng)用模式建立WebService輸入組件、FTP輸入組件、數(shù)據(jù)導(dǎo)入組件、數(shù)據(jù)編輯組件等。

數(shù)據(jù)適配組件用于完成組件間輸出數(shù)據(jù)與輸入數(shù)據(jù)之間的數(shù)據(jù)轉(zhuǎn)換適配，如數(shù)據(jù)格式轉(zhuǎn)換組件(時(shí)間、坐標(biāo)、單位轉(zhuǎn)換等)、數(shù)據(jù)屬性更名組件、數(shù)據(jù)提取組件、數(shù)據(jù)拼接組件等。

通用算法組件為常用的公共數(shù)據(jù)處理算法，如數(shù)據(jù)插值組件、野值檢測剔除組件、數(shù)據(jù)平滑組件、數(shù)據(jù)圖表組件等。

專業(yè)算法組件針對專業(yè)性的數(shù)據(jù)處理過程進(jìn)行單元化分解和重構(gòu)，如將彈道數(shù)據(jù)解算過程分解為若干個(gè)邏輯算法單元，進(jìn)而針對邏輯算法單元進(jìn)行組件化重構(gòu)。專業(yè)算法組件涉及各類學(xué)科、專業(yè)，需根據(jù)專業(yè)進(jìn)行分類管理。

2 計(jì)算平臺(tái)設(shè)計(jì)

2.1 托管可擴(kuò)展框架設(shè)計(jì)

武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)整體采用托管可擴(kuò)展框架設(shè)計(jì)，將所有算法進(jìn)行組件化封裝后，由組件托管容器自動(dòng)發(fā)現(xiàn)并管理組件實(shí)例，如圖3所示。

圖3 計(jì)算平臺(tái)框架設(shè)計(jì)

計(jì)算平臺(tái)客戶端和后臺(tái)算法計(jì)算服務(wù)均采用組件托管容器設(shè)計(jì)，對分類目錄存儲(chǔ)的算法組件進(jìn)行自動(dòng)發(fā)現(xiàn)和實(shí)例管理。計(jì)算平臺(tái)客戶端主要實(shí)現(xiàn)算法交互組件實(shí)例的可視化編排、算法組件間輸入輸出數(shù)據(jù)連接、計(jì)算參數(shù)配置、輸入輸出數(shù)據(jù)查看等功能；后臺(tái)算法服務(wù)實(shí)現(xiàn)算法的核心計(jì)算和結(jié)果數(shù)據(jù)輸出。前端組件與后臺(tái)算法服務(wù)通過服務(wù)總線及XML/FTP進(jìn)行服務(wù)交互和數(shù)據(jù)交互，以便構(gòu)建支持多用戶的集群計(jì)算服務(wù)[10]。

計(jì)算平臺(tái)的算法庫支持動(dòng)態(tài)擴(kuò)展，用戶將遵循相應(yīng)協(xié)議的算法組件上傳至擴(kuò)展算法組件庫，通過平臺(tái)的組件監(jiān)控功能即可自動(dòng)添加組件實(shí)例至算法組件托管容器。

2.2 計(jì)算平臺(tái)框架協(xié)議

計(jì)算平臺(tái)組件托管容器要求組件設(shè)計(jì)遵循一致的接口協(xié)議才能對組件實(shí)例進(jìn)行統(tǒng)一托管，主要包括前端算法交互組件協(xié)議和算法服務(wù)組件協(xié)議。

(1) 算法交互組件協(xié)議。前端算法交互組件遵循統(tǒng)一的應(yīng)用操作接口協(xié)議(IApplicationContract)設(shè)計(jì)，以實(shí)現(xiàn)對組件實(shí)例的定義、描述、界面操作、參數(shù)保存功能。IApplicationContract 接口約定如表1所示。

表1 算法交互組件接口協(xié)議

(2) 算法服務(wù)組件協(xié)議。算法服務(wù)組件遵循統(tǒng)一的計(jì)算服務(wù)接口協(xié)議(IServerContract)設(shè)計(jì)，完成數(shù)據(jù)的輸入、數(shù)據(jù)計(jì)算和結(jié)果輸出。IServerContract接口約定如表2所示。

表2 算法服務(wù)組件接口協(xié)議

在圖3的計(jì)算平臺(tái)框架中，后臺(tái)算法服務(wù)組件托管容器通過Service Host模式將算法服務(wù)接口發(fā)布為對應(yīng)名稱的Webservice服務(wù)，并注冊至SOA服務(wù)總線。前端算法交互組件與后臺(tái)算法服務(wù)組件通過WebService請求實(shí)現(xiàn)服務(wù)調(diào)用和數(shù)據(jù)交互。

2.3 數(shù)據(jù)交互協(xié)議

考慮到武器試驗(yàn)數(shù)據(jù)具有數(shù)據(jù)屬性多、數(shù)據(jù)規(guī)模大(如一次數(shù)據(jù)計(jì)算通常達(dá)到千萬條記錄)等特點(diǎn)，數(shù)據(jù)網(wǎng)絡(luò)傳輸對計(jì)算執(zhí)行效率影響極為明顯，因此，算法組件間的數(shù)據(jù)交互采用XML+FTP協(xié)議設(shè)計(jì)。其中，XML用以定義輸入輸出數(shù)據(jù)的元數(shù)據(jù)，數(shù)據(jù)內(nèi)容則以二進(jìn)制序列化處理后通過FTP協(xié)議進(jìn)行交互[11]。

在XML元數(shù)據(jù)中，輸入輸出數(shù)據(jù)的元數(shù)據(jù)項(xiàng)定義如表3所示。

表3 輸入輸出數(shù)據(jù)元數(shù)據(jù)項(xiàng)定義

組件進(jìn)行數(shù)據(jù)調(diào)閱或計(jì)算時(shí)，通過XML元數(shù)據(jù)定義向FTP服務(wù)請求數(shù)據(jù)，根據(jù)數(shù)據(jù)組織格式解析序列化存儲(chǔ)的二進(jìn)制數(shù)據(jù)然后再進(jìn)行處理。經(jīng)測試驗(yàn)證，基于XML+FTP的數(shù)據(jù)交互模式相比傳統(tǒng)的XML數(shù)據(jù)交互方式，在數(shù)據(jù)解析性能以及網(wǎng)絡(luò)傳輸耗時(shí)方面優(yōu)勢明顯，大規(guī)模數(shù)據(jù)時(shí)的計(jì)算執(zhí)行效率可提升數(shù)十倍。

2.4 計(jì)算自動(dòng)化執(zhí)行設(shè)計(jì)

算法組件按照數(shù)據(jù)輸入輸出編排形成可執(zhí)行的算法流程，能夠單步執(zhí)行和全流程自動(dòng)化執(zhí)行。全流程算法自動(dòng)化執(zhí)行設(shè)計(jì)如下：

1) 確定全流程算法執(zhí)行順序。以數(shù)據(jù)輸入/數(shù)據(jù)導(dǎo)入組件作為流程中每條計(jì)算基線的執(zhí)行起點(diǎn)，利用遞歸算法通過判斷算法組件的前向輸入和后項(xiàng)輸出建立全流程算法執(zhí)行隊(duì)列。

2) 按照算法執(zhí)行隊(duì)列依次執(zhí)行每個(gè)算法。單個(gè)算法執(zhí)行包括計(jì)算條件檢查、執(zhí)行計(jì)算過程、生成輸出數(shù)據(jù)三個(gè)過程。每個(gè)算法執(zhí)行完成后，通過執(zhí)行結(jié)果事件驅(qū)動(dòng)后序算法執(zhí)行。

3) 算法執(zhí)行異常處理。當(dāng)算法執(zhí)行條件檢查不滿足或執(zhí)行過程發(fā)生錯(cuò)誤時(shí)，終止算法流程的執(zhí)行，并拋出異常信息提示。

4) 算法執(zhí)行數(shù)據(jù)存儲(chǔ)。算法執(zhí)行完成后，算法的全部數(shù)據(jù)均自動(dòng)保存至FTP數(shù)據(jù)計(jì)算存儲(chǔ)空間，用以過程回溯和數(shù)據(jù)檢查。此外，當(dāng)前處理任務(wù)的算法流程和配置參數(shù)可存為公共模板，實(shí)現(xiàn)任務(wù)重用和知識(shí)共享。

3 系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

3.1 武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)

武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)采用分布式C/S架構(gòu)設(shè)計(jì)，構(gòu)建形成公共的計(jì)算服務(wù)平臺(tái)，支持多用戶多任務(wù)并行數(shù)據(jù)處理。計(jì)算服務(wù)使用私有云部署或采用多機(jī)集群部署設(shè)計(jì)，根據(jù)計(jì)算規(guī)模及壓力實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的彈性伸縮。

武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)包括試驗(yàn)數(shù)據(jù)處理客戶端和試驗(yàn)數(shù)據(jù)處理服務(wù)兩部分，其中試驗(yàn)數(shù)據(jù)處理服務(wù)包括試驗(yàn)數(shù)據(jù)管理平臺(tái)、FTP文件服務(wù)、數(shù)據(jù)庫存儲(chǔ)服務(wù)、數(shù)據(jù)計(jì)算服務(wù)和共享存儲(chǔ)服務(wù)五部分。整個(gè)系統(tǒng)組成結(jié)構(gòu)如圖4所示。

圖4 系統(tǒng)組成結(jié)構(gòu)

試驗(yàn)數(shù)據(jù)管理平臺(tái)提供全系統(tǒng)的原始測量數(shù)據(jù)訪問服務(wù)，并以用戶、數(shù)據(jù)處理任務(wù)為標(biāo)識(shí)存儲(chǔ)數(shù)據(jù)處理任務(wù)、算法流程、算法組件參數(shù)配置等信息。試驗(yàn)數(shù)據(jù)處理席配置試驗(yàn)數(shù)據(jù)處理軟件，集成全部算法界面組件并按需加載，為用戶提供數(shù)據(jù)處理任務(wù)管理、算法流程可視化編排、算法參數(shù)配置功能，并根據(jù)數(shù)據(jù)處理任務(wù)流程同后臺(tái)計(jì)算服務(wù)進(jìn)行交互。

3.2 試驗(yàn)數(shù)據(jù)計(jì)算處理示例

以光測視頻彈道解算處理為例，整個(gè)數(shù)據(jù)處理流程包括數(shù)據(jù)輸入、數(shù)據(jù)預(yù)處理、光測數(shù)據(jù)處理、彈道解算四部分，如圖5所示。

圖5 視頻外彈道解算數(shù)據(jù)處理流程設(shè)計(jì)

利用試驗(yàn)數(shù)據(jù)處理軟件，選擇加載數(shù)據(jù)輸入算法組件庫、數(shù)據(jù)轉(zhuǎn)換組件庫、通用算法組件庫、光測視頻算法組件庫，通過鼠標(biāo)拖拽方式對算法流程進(jìn)行編排，并通過算法組件的UI界面設(shè)置數(shù)據(jù)計(jì)算參數(shù)，執(zhí)行完成視頻彈道解算流程計(jì)算，計(jì)算流程界面如圖6所示。該流程中同時(shí)配置計(jì)算多個(gè)彈道解算算法組件，以對比不同計(jì)算參數(shù)的彈道解算結(jié)果。

圖6 視頻外彈道解算算法組件執(zhí)行編排設(shè)計(jì)

基于該武器試驗(yàn)數(shù)據(jù)處理平臺(tái)，數(shù)據(jù)計(jì)算處理流程充分利用后臺(tái)高性能服務(wù)器的強(qiáng)大計(jì)算能力，數(shù)據(jù)處理效率得到極大的提升，尤其應(yīng)對多用戶同時(shí)開展內(nèi)測數(shù)據(jù)、動(dòng)/靜態(tài)RCS等大數(shù)據(jù)量計(jì)算時(shí)，數(shù)據(jù)執(zhí)行效率為原單機(jī)計(jì)算模式的3～5倍。數(shù)據(jù)處理流程執(zhí)行完畢后，整個(gè)計(jì)算任務(wù)的算法流程以及每個(gè)算法組件的計(jì)算參數(shù)、輸入輸出數(shù)據(jù)全部存儲(chǔ)至服務(wù)器，實(shí)現(xiàn)了數(shù)據(jù)處理過程的全周期管理。同時(shí)，專業(yè)人員可以持續(xù)對算法庫中的算法組件進(jìn)行優(yōu)化、更新和升級(jí)擴(kuò)展，滿足數(shù)據(jù)計(jì)算應(yīng)用需求。

4 結(jié) 語

基于托管可擴(kuò)展框架的武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)實(shí)現(xiàn)了對所需數(shù)據(jù)算法的組件化重構(gòu)、計(jì)算流程可視化編排和自動(dòng)化執(zhí)行，數(shù)據(jù)處理過程完整可追溯，達(dá)到了對試驗(yàn)數(shù)據(jù)高性能計(jì)算和集中管控目的。目前該平臺(tái)已經(jīng)應(yīng)用于空軍某靶場航空武器試驗(yàn)試飛的事后數(shù)據(jù)處理，實(shí)現(xiàn)了內(nèi)外測、紅外、姿態(tài)、RCS等多個(gè)專業(yè)三百多個(gè)算法組件集成和計(jì)算服務(wù)部署，滿足多用戶并行開展數(shù)據(jù)計(jì)算任務(wù)，在規(guī)范數(shù)據(jù)處理過程、提高數(shù)據(jù)處理效率、縮短武器試驗(yàn)周期方面發(fā)揮了積極作用。隨著機(jī)器學(xué)習(xí)、人工智能等新技術(shù)的快速發(fā)展，武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)在支撐機(jī)器學(xué)習(xí)迭代化流程計(jì)算、適配AI計(jì)算的后臺(tái)計(jì)算服務(wù)設(shè)計(jì)以及平臺(tái)的智能化計(jì)算任務(wù)調(diào)度等方面還需開展進(jìn)一步的研究，以提升武器試驗(yàn)數(shù)據(jù)計(jì)算平臺(tái)的普適性和智能化。