基于邊云協(xié)同的飛行試驗數(shù)據(jù)處理系統(tǒng)

王霖萱 李宏

數(shù)據(jù)處理系統(tǒng);邊緣云;分布式文件系統(tǒng);分布式存儲系統(tǒng)

0 引言

飛行試驗數(shù)據(jù)處理是指通過對飛行數(shù)據(jù)的正確解算和分析,確認飛行器是否達到設(shè)計需求的過程,其目的是從海量、多源和抽象的數(shù)據(jù)中提取并推導(dǎo)出能夠?qū)崿F(xiàn)定量或定性評價飛行器功能和性能的有用數(shù)據(jù)．隨著數(shù)據(jù)挖掘技術(shù)、云計算技術(shù)的發(fā)展[1],數(shù)據(jù)處理體系的發(fā)展趨勢可以概括為以數(shù)據(jù)為中心的宏觀走向和以存算一體為中心的微觀走向．以數(shù)據(jù)為中心的宏觀走向具體包括采用軟件實現(xiàn)統(tǒng)一的數(shù)據(jù)處理方法,以及多數(shù)據(jù)處理中心共享式并存融合的新型計算模式．飛行試驗的數(shù)據(jù)處理模式主要包括集群式多流數(shù)據(jù)事后分析解算和異構(gòu)數(shù)值深度解析挖掘等．在新一代飛行器研制階段,飛行數(shù)據(jù)具有數(shù)據(jù)類型繁雜、數(shù)據(jù)量大、處理算法龐雜等特點,因此,對飛行試驗數(shù)據(jù)處理提出了大數(shù)據(jù)管理、算法插件動態(tài)增減、多源并發(fā)處理支持等新需求．隨著大量先進技術(shù)在航空領(lǐng)域的廣泛應(yīng)用,“無人機蜂群”等概念的出現(xiàn),試驗數(shù)據(jù)量和數(shù)據(jù)種類激增,對數(shù)據(jù)處理系統(tǒng)的性能也提出了新挑戰(zhàn)．現(xiàn)有數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)處理能力已經(jīng)顯得不足,特別是數(shù)據(jù)處理效率與存儲能力已無法滿足當(dāng)前海量飛行數(shù)據(jù)對高速[2-3]、及時的要求．通過深入分析并測試當(dāng)前試驗飛行數(shù)據(jù)處理系統(tǒng),總結(jié)并歸納出影響數(shù)據(jù)處理效率的主要因素有以下幾方面:

1) 各試驗場數(shù)據(jù)不能互聯(lián)互通．試驗飛行涵蓋環(huán)境控制有效性、雨中適應(yīng)性、側(cè)風(fēng)降落等試驗科目,試驗條件包括高溫、高寒、高濕、高海拔等極端環(huán)境,所以除了主試驗場外,全國范圍內(nèi)還分布著30余個試驗場地．由于分試驗場和主試驗場的數(shù)據(jù)不能互聯(lián)互通,需要臨時搭建小型數(shù)據(jù)處理中心處理當(dāng)天的試驗數(shù)據(jù),待階段性任務(wù)完成后,再將記錄試驗數(shù)據(jù)的硬盤帶回大本營進行備份管理,對于需要主試驗場科研人員協(xié)同處理的數(shù)據(jù)必須通過電話、郵件中轉(zhuǎn)站等流程和方法進行溝通．這樣的試驗數(shù)據(jù)處理和管理方式成本較高、效率較低,同時試驗數(shù)據(jù)的安全性也面臨著挑戰(zhàn)．

2) 無法滿足海量試驗數(shù)據(jù)存儲的需求．由于我國航空工業(yè)的跨越式發(fā)展,飛行器飛行試驗的規(guī)模和試驗強度呈現(xiàn)指數(shù)級增長,飛行試驗測試參數(shù)從二代機幾百個到三代機幾千個再到四代機幾萬個,為確保試驗數(shù)據(jù)的完整性和可用性,與試驗有關(guān)的試驗要求、試驗設(shè)計、試驗對象、試驗設(shè)備、配試資源、試驗環(huán)境和試驗結(jié)果等各類要素會持續(xù)產(chǎn)生部件級、系統(tǒng)級、體系級等不同結(jié)構(gòu)、不同形態(tài)、不同規(guī)模的試驗數(shù)據(jù),數(shù)據(jù)量從以往GB級增長到現(xiàn)在的PB級．當(dāng)前飛行試驗數(shù)據(jù)處理系統(tǒng)使用的二級存儲模式,近期試驗數(shù)據(jù)存儲在磁盤陣列中,歷史數(shù)據(jù)按架次存儲在硬盤上,這種方式不能滿足海量數(shù)據(jù)的存儲和實時處理,也不便于對歷史數(shù)據(jù)進行查詢．

針對上述問題,本文提出一種基于邊云協(xié)同的飛行試驗數(shù)據(jù)處理系統(tǒng)[4-5]．該系統(tǒng)通過內(nèi)部接口有機地進行互聯(lián)互通,基于有線通信+5G無線通信技術(shù),很好地解決了分集點布控環(huán)境限制的問題;搭建數(shù)據(jù)處理中心與外圍多分集點互聯(lián)互通的系統(tǒng)框架,為動態(tài)實時數(shù)據(jù)采集和處理奠定了基礎(chǔ)．系統(tǒng)面向試飛數(shù)據(jù)管理人員、數(shù)據(jù)處理人員以及其他相關(guān)科研人員[6],為他們提供試飛工程信息管理和試飛數(shù)據(jù)處理服務(wù)[7],將飛行數(shù)據(jù)處理與管理標準化、規(guī)范化,可以極大地提升數(shù)據(jù)處理效率,達到多點數(shù)據(jù)共享、解算邏輯與算法統(tǒng)一、高效處理與分析、安全可靠的目的．

1 系統(tǒng)架構(gòu)

1.1 硬件系統(tǒng)設(shè)計

系統(tǒng)硬件主要由無線與有線通信鏈路、服務(wù)器集群、多級協(xié)同存儲系統(tǒng)、多平臺訪問客戶端組成．通過內(nèi)部統(tǒng)一協(xié)議接口進行交聯(lián)[8],組成一個系統(tǒng)化、集成化、標準化的基于多地協(xié)同的飛行數(shù)據(jù)管控與處理系統(tǒng)．系統(tǒng)硬件結(jié)構(gòu)與數(shù)據(jù)處理中心硬件結(jié)構(gòu)分別如圖1和圖2所示．

圖1 系統(tǒng)硬件框圖Fig.1 Block diagram of the system hardware

分集點指分散在全國各試驗場獨立的數(shù)據(jù)處理平臺,每個分集點類似于精簡化的數(shù)據(jù)處理中心,包含與計算服務(wù)器同步統(tǒng)一的飛行數(shù)據(jù)算法庫．分集點具有硬件布設(shè)靈活、服務(wù)器系統(tǒng)功能精簡等特點,并且其與數(shù)據(jù)處理中心共享資源．各分集點之間也可以共享各類資源,實現(xiàn)互相訪問、互相請求、數(shù)據(jù)傳輸,分集點可以靈活增減,通過互聯(lián)網(wǎng)和移動基站組成的有線鏈路和基于5G的無線鏈路組成的專網(wǎng)與數(shù)據(jù)處理中心互聯(lián)互通．

互聯(lián)通信鏈路通過無線和有線通信鏈路互聯(lián),將實時遙測數(shù)據(jù)、機載數(shù)據(jù)和事后處理數(shù)據(jù)傳送給各地有需求的分集點,通過PC客戶端與移動端進行數(shù)據(jù)訪問與處理,同時將外地各分集點的數(shù)據(jù)傳回數(shù)據(jù)處理中心進行二次處理和統(tǒng)一存儲等,實現(xiàn)點到面、面到點的數(shù)據(jù)共享與存儲,實現(xiàn)分集點與中心、分集點與分集點之間的數(shù)據(jù)協(xié)同處理和集中存儲．圖3為系統(tǒng)邏輯框圖．

圖3 系統(tǒng)邏輯框圖Fig.3 System logic diagram

數(shù)據(jù)處理中心由服務(wù)器集群與多級協(xié)同存儲系統(tǒng)組成,面向海量飛行數(shù)據(jù)存儲、處理、分析、數(shù)據(jù)解算結(jié)果展示等功能實現(xiàn)．?dāng)?shù)據(jù)處理中心和分集點的結(jié)構(gòu)均采用5層架構(gòu),即防火墻、Web服務(wù)器、計算服務(wù)器、數(shù)據(jù)庫服務(wù)器[9]、數(shù)據(jù)庫共享存儲器,其中第2、3、4層采用多臺服務(wù)器構(gòu)成集群服務(wù)器組,可以通過增加設(shè)備來擴大存儲從而保證了擴展性,第3、4層采用內(nèi)部IP地址,使用LBR構(gòu)架建立Web體系．

所有計算服務(wù)器采用統(tǒng)一的飛行數(shù)據(jù)算法庫,并選中一臺運行負載均衡軟件作為計算服務(wù)器,客戶端如有計算請求時,經(jīng)由防火墻進入數(shù)據(jù)處理中心網(wǎng),請求被轉(zhuǎn)發(fā)到集群控制主機,該集群主機名稱映射到負載均衡器[10-11],負載均衡軟件將用戶請求路由到指定計算服務(wù)器,計算服務(wù)器按用戶請求訪問鏡像數(shù)據(jù)庫服務(wù)器數(shù)據(jù)列表,請求相應(yīng)數(shù)據(jù)進行計算操作,計算服務(wù)器將計算結(jié)果返給客戶端．負載均衡系統(tǒng)使多臺服務(wù)器通過互聯(lián)系統(tǒng)按指令協(xié)同工作,為一個或數(shù)個應(yīng)用服務(wù)．?dāng)?shù)據(jù)處理中心服務(wù)器集群所有服務(wù)器之間的通信采用Socket通信接口[12]技術(shù)來實現(xiàn),按TCP/IP協(xié)議標準進行信息和數(shù)據(jù)的交換,通過一套規(guī)則或自定義協(xié)議實現(xiàn)不同類型主機平臺之間的相互通信[13-14]．

1.2 軟件系統(tǒng)設(shè)計

飛行試驗數(shù)據(jù)處理系統(tǒng)硬件架構(gòu)設(shè)計的合理性直接影響到后續(xù)軟件系統(tǒng)運行效率,軟件系統(tǒng)的設(shè)計合理性也是整個系統(tǒng)運行效率的關(guān)鍵．系統(tǒng)軟件分為服務(wù)器端軟件與客戶端軟件[15],運行于數(shù)據(jù)處理中心的軟件系統(tǒng)實現(xiàn)了整個軟件系統(tǒng)大部分功能,客戶端軟件包含網(wǎng)頁與執(zhí)行客戶端軟件,執(zhí)行客戶端軟件主要實現(xiàn)仿真、多路視頻同步播放等功能．

1.2.1 數(shù)據(jù)處理中心軟件系統(tǒng)設(shè)計

數(shù)據(jù)處理中心軟件系統(tǒng)由Web服務(wù)器軟件、計算服務(wù)器軟件、數(shù)據(jù)庫服務(wù)器軟件、數(shù)據(jù)庫共享存儲器軟件、負載均衡管理軟件5部分組成．為了確保飛行數(shù)據(jù)的安全高效解算,操作系統(tǒng)、軟件平臺等選擇與搭建成為關(guān)鍵.服務(wù)器端采用Windows server 2012、CentOS操作系統(tǒng),試飛非結(jié)構(gòu)化數(shù)據(jù)采用 OBS+Minio,兩者共同完成試飛非結(jié)構(gòu)化數(shù)據(jù)的存儲與管理．OBS是華為提供的對象存儲服務(wù)組件,是一款穩(wěn)定、安全、高效、易用的云存儲服務(wù),具備標準Restful API接口,可存儲任意數(shù)量和形式的非結(jié)構(gòu)化數(shù)據(jù)．Minio是開源的數(shù)據(jù)文件存儲服務(wù)組件,適于存儲大容量非結(jié)構(gòu)化的數(shù)據(jù),例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾kB到最大5 TB不等[16]．試飛時序數(shù)據(jù)選用時序數(shù)據(jù)庫,用于存儲試飛試驗的工程數(shù)據(jù)．

目前,主要的時序數(shù)據(jù)庫包括InfluxDB、TimesacleDB、IotDB、Vernox-NTS．InfluxDB是一個開源的時序數(shù)據(jù)庫,使用GO語言開發(fā),特別適合用于處理和分析資源監(jiān)控數(shù)據(jù)這種時序相關(guān)數(shù)據(jù)．而InfluxDB自帶的各種特殊函數(shù)如求標準差、隨機取樣數(shù)據(jù)、統(tǒng)計數(shù)據(jù)變化比等,使數(shù)據(jù)統(tǒng)計和實時分析變得十分方便．TimescaleDB 是基于 PostgreSQL 開發(fā)的一款時序數(shù)據(jù)庫,以插件化的形式打包提供．IoTDB 是清華大學(xué)研發(fā)的一款聚焦工業(yè)物聯(lián)網(wǎng)、高性能輕量級的時序數(shù)據(jù)管理系統(tǒng),提供數(shù)據(jù)采集、存儲、分析的功能．IoTDB 具備低存儲成本、高速數(shù)據(jù)寫入、快速查詢、查詢分析一體化、簡單易用等特點,采用標準的 JDBC 接口、類 SQL 查詢語言,主要功能包括數(shù)據(jù)的增刪改查、豐富的聚合函數(shù)、相似性匹配．Vernox-NTS是一個融合型的數(shù)據(jù)庫,并且在時序上,編碼和導(dǎo)入是極速的,速度甚至領(lǐng)先于Mysql等關(guān)系型數(shù)據(jù)庫．

在云平臺中,作為試飛測試數(shù)據(jù)的存儲與管理組件,為用戶提供高效的數(shù)據(jù)存儲與時序數(shù)據(jù)查詢能力．使用試飛數(shù)據(jù)進行實測,性能已是國內(nèi)領(lǐng)先水平．時序數(shù)據(jù)庫性能對比結(jié)果如表1所示．

表1 時序數(shù)據(jù)庫性能對比

試飛結(jié)構(gòu)化數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫oracle．?dāng)?shù)據(jù)處理中心軟件系統(tǒng)架構(gòu)如圖4所示．

圖4 軟件系統(tǒng)架構(gòu)Fig.4 Software system architecture

通過系統(tǒng)軟件架構(gòu)設(shè)計確定系統(tǒng)開發(fā)模型,本系統(tǒng)合法注冊用戶在客戶端可以通過網(wǎng)頁、移動手持端進行訪問,確保科研人員在任何試驗點任何時間都可以自行訪問數(shù)據(jù),并按需求進行查詢、處理、分析等操作．?dāng)?shù)據(jù)分為涉密數(shù)據(jù)與非涉密數(shù)據(jù)．為了確保涉密數(shù)據(jù)的安全性,涉密數(shù)據(jù)目前只提供專用有線網(wǎng)鏈路訪問．

軟件系統(tǒng)分為應(yīng)用層、展示層、接入層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)層、數(shù)據(jù)庫、操作系統(tǒng)、運行環(huán)境等8個邏輯層．應(yīng)用層是用戶與系統(tǒng)的交互層,系統(tǒng)實現(xiàn)的所有功能通過展示層提供給用戶進行界面訪問．展示層所支持的瀏覽形式包括輕量式客戶端(CS)、Web瀏覽(BS),從而實現(xiàn)最優(yōu)客戶體驗,滿足不同場景演示．針對各種數(shù)據(jù)的圖形化展示,系統(tǒng)在前端框架層使用了不同的Web框架和交互技術(shù)．業(yè)務(wù)功能均可以在此界面進行人為操作,由于移動端不利于復(fù)雜人機交互操作,所以移動端操作界面僅包含數(shù)據(jù)處理、瀏覽、查詢等主要功能．接入層構(gòu)建了用戶請求與后臺服務(wù)器應(yīng)用的溝通協(xié)議,是系統(tǒng)實現(xiàn)關(guān)鍵,起承上啟下的作用,實現(xiàn)訪問數(shù)據(jù)、數(shù)據(jù)計算、結(jié)果分析、負載均衡、并發(fā)管理、網(wǎng)絡(luò)管理、數(shù)據(jù)管理、算法實現(xiàn)與集成、安全管理、用戶訪問．?dāng)?shù)據(jù)服務(wù)層主要驗證數(shù)據(jù)合法性,審核前端請求合理性．?dāng)?shù)據(jù)層用于描述本平臺的試飛數(shù)據(jù)來源方式和數(shù)據(jù)特點．?dāng)?shù)據(jù)來源方式包括系統(tǒng)集成和數(shù)據(jù)導(dǎo)入等方式,并針對不同的試飛數(shù)據(jù)格式、試飛數(shù)據(jù)類型提供相應(yīng)的數(shù)據(jù)入庫與檢測工具集等,包含相關(guān)飛行試驗數(shù)據(jù)信息、訪問信息、管理信息、人員信息、權(quán)限信息、算法信息庫、數(shù)據(jù)處理配套信息等．服務(wù)器端是軟件系統(tǒng)核心所在,通過軟件可以最大程度發(fā)揮服務(wù)器端硬件性能,并為數(shù)據(jù)處理提供最優(yōu)運行硬件環(huán)境支持．操作系統(tǒng)提供安全、穩(wěn)定的高效運行．運行環(huán)境包括數(shù)據(jù)處理中心與各分集點服務(wù)器．系統(tǒng)開發(fā)模型確定后,系統(tǒng)主要功能細分到各主要模塊,如圖5所示．

圖5 系統(tǒng)邏輯架構(gòu)Fig.5 Logical architecture of the system

1.2.2 客戶端軟件設(shè)計

客戶端與服務(wù)器端進行指令交互,按用戶需求實現(xiàn)數(shù)據(jù)處理結(jié)果的顯示等功能,客戶端兼容PC機、移動端,使用HTML語言基于網(wǎng)頁模式開發(fā),內(nèi)嵌基于跨平臺的數(shù)據(jù)處理相關(guān)控件．部分功能在客戶端實現(xiàn),包括預(yù)處理數(shù)據(jù)的二次解算、視頻播放、數(shù)據(jù)分析．

用戶面向訪問前端,在主頁通過合法權(quán)限訪問相應(yīng)權(quán)限功能,包括自定義飛行試驗科目與科目參數(shù)、事后數(shù)據(jù)推演與仿真、飛行效果的智能結(jié)果評估．科研人員通過飛行試驗數(shù)據(jù)處理結(jié)果的可視化顯示與判讀,對飛行器相應(yīng)試飛科目執(zhí)行結(jié)果進行評估．面向飛行試驗數(shù)據(jù)未來處理需求,集成新的數(shù)據(jù)處理方法與算法模塊,合并分散的數(shù)據(jù)處理功能,優(yōu)化數(shù)據(jù)處理流程,使此系統(tǒng)數(shù)據(jù)處理與分析功能全面化、集成化、統(tǒng)一化、簡潔化,提升飛行數(shù)據(jù)整體處理能力與效率．?dāng)?shù)據(jù)處理系統(tǒng)客戶端設(shè)計如圖6所示．

圖6 數(shù)據(jù)處理客戶端Fig.6 Data processing client

2 關(guān)鍵技術(shù)

本系統(tǒng)面向海量數(shù)據(jù),多分集點實現(xiàn)數(shù)據(jù)共享,保證數(shù)據(jù)安全、操作簡單等功能,這就對數(shù)據(jù)存儲模式、網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)處理機制有了更高的要求．?dāng)?shù)據(jù)處理中心各服務(wù)器間如何級聯(lián)、如何協(xié)同工作是主要挑戰(zhàn),數(shù)據(jù)處理中心與各分集點如何分工,數(shù)據(jù)處理中心、各分集點、客戶端之間網(wǎng)絡(luò)負載均衡是保障系統(tǒng)高效運行的關(guān)鍵．

2.1 分布式存儲技術(shù)

本系統(tǒng)服務(wù)器端主要由計算服務(wù)器、存儲服務(wù)器、負載均衡服務(wù)器、數(shù)據(jù)庫服務(wù)器組成,數(shù)據(jù)處理中心服務(wù)器之間的鏈路通信協(xié)議、硬件及軟件平臺設(shè)計是提升整個系統(tǒng)數(shù)據(jù)并發(fā)處理效率的關(guān)鍵．系統(tǒng)架構(gòu)如圖7所示．

圖7 系統(tǒng)架構(gòu)框圖Fig.7 Block diagram of the system architecture

系統(tǒng)服務(wù)器端各服務(wù)器間通信鏈路采用并行冗余和高可靠無縫光纖環(huán)網(wǎng)冗余技術(shù)．此系統(tǒng)服務(wù)器端設(shè)備中涉及多個相互獨立的協(xié)議及多個數(shù)據(jù)交互端口,合并成一個多種業(yè)務(wù)共享的以太網(wǎng)端口,實現(xiàn)多流數(shù)據(jù)的高度融合和網(wǎng)內(nèi)信息的可靠共享[17]．此服務(wù)器端支持25/100GE主機接口,配置4塊480 GB SSD、27塊3.84 TB SSD,配置8個SAS3.0后端通道,總帶寬不低于384 GB,支持IP SAN、FC SAN、NAS等組網(wǎng)方式,提供iSCSI、FC、NFS、CIFS、HTTP、FTP等多種協(xié)議許可．

網(wǎng)絡(luò)混合組網(wǎng)的架構(gòu)使服務(wù)器端交換機及光口數(shù)量大幅減少,網(wǎng)絡(luò)架構(gòu)更加清晰,全網(wǎng)信息高度共享．同時,在網(wǎng)絡(luò)數(shù)據(jù)流量大幅增加的情況下,其中一條通信鏈路發(fā)生故障時,啟用另外一條健全的通信鏈路,使網(wǎng)絡(luò)通信的可靠性大大提高．各服務(wù)器間通過高效可靠的通信鏈路,使各服務(wù)器間數(shù)據(jù)傳輸、數(shù)據(jù)共享高效安全．

隨著大數(shù)據(jù)存儲技術(shù)的發(fā)展,分布式技術(shù)的解決方案也呈多樣性發(fā)展,在眾多行業(yè)取得了較好的應(yīng)用效果．本系統(tǒng)采用分布式存儲技術(shù)進行飛行試驗數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)共享服務(wù)系統(tǒng)的設(shè)計與實現(xiàn)．通過分布式文件系統(tǒng)和分布式數(shù)據(jù)庫來提升飛行試驗數(shù)據(jù)的儲存管理能力與數(shù)據(jù)的服務(wù)和支撐能力,并與飛行試驗數(shù)據(jù)處理系統(tǒng)實現(xiàn)無縫對接．分布式數(shù)據(jù)庫系統(tǒng)包含分布式數(shù)據(jù)庫管理系統(tǒng)和分布式數(shù)據(jù)庫．它將分布地不同的飛行數(shù)據(jù)本地數(shù)據(jù)庫存儲,由各分集點的數(shù)據(jù)庫管理系統(tǒng)進行管理,在不同的機器上運行,由相同的操作系統(tǒng)支持,被統(tǒng)一的通信網(wǎng)絡(luò)鏈路連接在一起的數(shù)據(jù)進行整合,形成一個邏輯上統(tǒng)一的數(shù)據(jù)庫[18]．分布式數(shù)據(jù)庫將所有運行開銷分攤于數(shù)據(jù)處理中心和各地數(shù)個分集點,物理上分散、邏輯上集中,從而實現(xiàn)更大的數(shù)據(jù)存儲能力．分布式數(shù)據(jù)庫系統(tǒng)有利于分集點擴展,同時,數(shù)據(jù)的出入均通過數(shù)據(jù)服務(wù)層的飛行數(shù)據(jù)統(tǒng)一標準數(shù)據(jù)接口提供對數(shù)據(jù)訪問、輸出等合法性審核．

分布式文件系統(tǒng)是一個高度容錯的系統(tǒng),用來解決海量數(shù)據(jù)存儲和管理中的難題,它的數(shù)據(jù)訪問具有可靠性強、容錯率高、擴展性強、吞吐率高的特點,為海量特征的存儲帶來了很多便利．本文將分布于全國各地集結(jié)點的飛行數(shù)據(jù)統(tǒng)合成為一個高度集成化的數(shù)據(jù)中心,從而極大簡化了數(shù)據(jù)存儲、訪問等應(yīng)用系統(tǒng)的使用,真正做到飛行數(shù)據(jù)存儲地域無關(guān)性．

2.2 ETL技術(shù)

ETL(Extract-Transform-Load,數(shù)據(jù)抽取-轉(zhuǎn)換-加載)是將數(shù)據(jù)從來源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的過程．用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過數(shù)據(jù)清洗最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型,將數(shù)據(jù)加載到數(shù)據(jù)庫中,可以有效組織和整合各單位散亂存放、標準不統(tǒng)一的數(shù)據(jù),為數(shù)據(jù)統(tǒng)計分析提供基礎(chǔ)數(shù)據(jù)．系統(tǒng)總體流程如圖8所示．

圖8 系統(tǒng)總體流程Fig.8 Overall flow chart of the system

ETL提供了圖形化的編輯界面,支持各種主流瀏覽器平臺通過簡單的拖拽定義ETL;提供了異步ETL過程處理模式,即數(shù)據(jù)抽取、轉(zhuǎn)換及裝載過程異步執(zhí)行,從而實現(xiàn)了數(shù)據(jù)的高效處理;支持各種字段級的映射轉(zhuǎn)換,如類型轉(zhuǎn)換、字段轉(zhuǎn)換、參照轉(zhuǎn)換、字符串處理、字符集轉(zhuǎn)換、空值處理、日期轉(zhuǎn)換、聚集運算、既定取值、字段切分、字段合并等[19];支持映射自動匹配,可自動完成異構(gòu)數(shù)據(jù)庫之間數(shù)據(jù)的映射;支持批量表的遷移映射,遷移信息包括表名、字段屬性、主鍵屬性、索引屬性等．本系統(tǒng)采用自主研發(fā)的ETL工具,用可視化控件,提供純Web的ETL定義和維護方式,助力系統(tǒng)中的ETL設(shè)計和管理．利用ETL模塊,無需編碼,用戶即可快速建立起個性化的ETL流程,屏蔽復(fù)雜的編碼任務(wù),降低難度,大幅提高ETL的開發(fā)效率．ETL工具界面如圖9所示．

圖9 ETL工具界面Fig.9 ETL tool interface

2.3 邊云協(xié)同技術(shù)

試飛數(shù)據(jù)管理系統(tǒng)以云原生技術(shù)架構(gòu),使用容器與微服務(wù)技術(shù),實現(xiàn)了應(yīng)用功能的微服務(wù)化,并提供服務(wù)/數(shù)據(jù)高可用、服務(wù)/數(shù)據(jù)橫向擴展的能力．應(yīng)用微服務(wù)是指將應(yīng)用拆分為顆粒度不同的功能服務(wù),通過微服務(wù)注冊中心實現(xiàn)服務(wù)的分布式部署,增加應(yīng)用功能的服務(wù)冗余,為系統(tǒng)日常的運行提供高可用性．通過微服務(wù)的無狀態(tài)化解決了服務(wù)冗余帶來的擴容或縮容要求,并結(jié)合容器管理技術(shù)實現(xiàn)了服務(wù)的橫向擴充．存儲高可用是將數(shù)據(jù)復(fù)制到多個存儲設(shè)備中,通過數(shù)據(jù)冗余的方式來實現(xiàn)高可用,系統(tǒng)采用分布式數(shù)據(jù)存儲技術(shù)對數(shù)據(jù)進行冗余存儲,并支持數(shù)據(jù)存儲的橫向擴展．試飛數(shù)據(jù)管理系統(tǒng)如圖10所示．

圖10 試飛數(shù)據(jù)管理系統(tǒng)Fig.10 Flight test data management system

基于華為云原生平臺,提供對關(guān)系型、非關(guān)系型數(shù)據(jù)存儲,數(shù)據(jù)分發(fā)服務(wù)等,支持數(shù)據(jù)分布式存儲和數(shù)據(jù)遠程安全同步傳輸,使用基于大數(shù)據(jù)應(yīng)用的相關(guān)組件功能,包括數(shù)據(jù)采集、治理、應(yīng)用、處理計算等組件,完成對海量試飛數(shù)據(jù)的采/存/管提供基礎(chǔ)功能支撐,面向數(shù)據(jù)平臺與應(yīng)用提供基礎(chǔ)服務(wù)功能,例如服務(wù)注冊(Eureka)、服務(wù)配置(Config-server)、浮動許可(Floating-license-server)等,完成基于微服務(wù)的試飛應(yīng)用功能．

在西安部署多臺邊云節(jié)點,在成都部署多臺主云節(jié)點．為實現(xiàn)試飛數(shù)據(jù)向異地多個參試單位之間的高效傳輸,設(shè)計了多種異地數(shù)據(jù)同步/異步傳輸策略,結(jié)合試飛數(shù)據(jù)分類授權(quán)等功能,實現(xiàn)了數(shù)據(jù)流向的安全受控與協(xié)同共享．

試飛數(shù)據(jù)上云后,統(tǒng)一由“多數(shù)據(jù)中心同步網(wǎng)關(guān)”進行調(diào)度,根據(jù)試飛數(shù)據(jù)類別與特性采用相應(yīng)的同步策略,立即或定時發(fā)起數(shù)據(jù)源向目標位置的傳輸任務(wù)．多數(shù)據(jù)中心同步網(wǎng)關(guān)如圖11所示．

圖11 多數(shù)據(jù)中心同步網(wǎng)關(guān)Fig.11 Multi-data center synchronization gateway

3 系統(tǒng)性能與測試結(jié)果

3.1 試驗配置

系統(tǒng)服務(wù)器端程序(IIS、調(diào)度軟件等)均部署在Windows server 2012服務(wù)器上,基于Oracle 11g數(shù)據(jù)庫運行．客戶端部署在Win7、WinXP系統(tǒng)上,使用IE8瀏覽器運行．配置8個節(jié)點,總內(nèi)存2 048 GB,裸容量1 200 TB,使用容量不低于600 TB,提供不低于10個NFS文件系統(tǒng)的軟件license授權(quán)．配置雙冗余控制器,配置8個16 GB FC接口、8個10 GB接口,支持不少于40個主機接口.配置服務(wù)質(zhì)量控制(QoS),IPV4/IPV6協(xié)議授權(quán)功能,支持SSD讀和寫性能加速.配置RAID保護機制,單RAID硬盤組任意3塊硬盤發(fā)生整盤永久性故障,數(shù)據(jù)不丟失、業(yè)務(wù)不中斷．

3.2 整體性能

本文提出的基于邊云協(xié)同的飛行試驗數(shù)據(jù)處理系統(tǒng)采用數(shù)據(jù)處理中心+分集點同步飛行數(shù)據(jù)處理模式,實現(xiàn)了各試驗場數(shù)據(jù)互聯(lián)互通、異地數(shù)據(jù)同步處理,對數(shù)據(jù)處理算法庫進行了統(tǒng)一,數(shù)據(jù)處理結(jié)果精度達到飛行試驗要求,并且增加了動態(tài)可擴展性．非密數(shù)據(jù)可以通過手持終端隨時隨地訪問,大大提高了飛行數(shù)據(jù)處理效率．2021年試驗數(shù)據(jù)入庫量如圖12所示。

圖12 2021年試驗數(shù)據(jù)入庫量Fig.12 Volume of test data stored in the database 2021

新舊飛行試驗數(shù)據(jù)處理系統(tǒng)經(jīng)過一段時間并行運行,逐步對以前分散管理的飛行數(shù)據(jù)及相關(guān)資料轉(zhuǎn)入新系統(tǒng)統(tǒng)一管理,并對分散在全國各地試驗點分集點的數(shù)據(jù)處理系統(tǒng)進行并網(wǎng)同步管理,目前已達到全運行狀態(tài)．經(jīng)多型號驗證,相比原模式,新模式數(shù)據(jù)處理效率提升49%以上,數(shù)據(jù)處理耗時縮短到原模式的一半．新舊系統(tǒng)效率提升對比如表2所示．

表2 系統(tǒng)效率提升對比

相比于原系統(tǒng),基于邊云協(xié)同的數(shù)據(jù)處理中心在單向單線程傳輸、單向雙線程傳輸中的測試表現(xiàn)出997～1 155 MB/s的流出量實測速度．原系統(tǒng)在單向單線程傳輸和單向雙線程傳輸1 GB 的數(shù)據(jù)時,均需要60 s,新系統(tǒng)只需0.9 μs,新系統(tǒng)較原系統(tǒng)速度提升了60多倍．原系統(tǒng)在單向單線程傳輸10 GB的數(shù)據(jù)時需要7 min,新系統(tǒng)只需10 s;在單向雙線程傳輸測試10 GB數(shù)據(jù)時,原系統(tǒng)需要11 min,新系統(tǒng)只需10 s．同時,新系統(tǒng)增加了數(shù)據(jù)處理中心與分集點之間的數(shù)據(jù)傳輸,分集點請求數(shù)據(jù)處理中心數(shù)據(jù)處理后,科研人員可以在分集點查看結(jié)果,新系統(tǒng)還增加了在線回放視頻數(shù)據(jù)的功能,經(jīng)測試回放流暢,極少有卡頓現(xiàn)象．原系統(tǒng)與新系統(tǒng)的服務(wù)器之間數(shù)據(jù)傳輸效率結(jié)果如表3所示．

表3 服務(wù)器之間數(shù)據(jù)傳輸效率相關(guān)指標測試

通過對新舊系統(tǒng)數(shù)據(jù)處理效率對比,數(shù)據(jù)處理服務(wù)器集群按用戶的處理指令將數(shù)據(jù)處理任務(wù)均衡到相應(yīng)計算服務(wù)器,并通過高速網(wǎng)傳通信、通信協(xié)議迭代應(yīng)用、極速數(shù)據(jù)庫訪問等技術(shù)的合理應(yīng)用,達到數(shù)據(jù)處理效率提升的目的．

目前新系統(tǒng)已經(jīng)完全獨立運行,系統(tǒng)安全性、可靠性、健壯性等得到進一步驗證,通過數(shù)據(jù)處理中心+分集點模式,已經(jīng)完全擔(dān)負起日常飛行數(shù)據(jù)處理任務(wù)．

4 結(jié)束語

本文通過數(shù)據(jù)處理中心與分集點結(jié)合的處理模式,解決了飛行數(shù)據(jù)從本地處理到跨地域處理、數(shù)據(jù)中心與各分集點飛行數(shù)據(jù)存儲從點到面共享等問題,實現(xiàn)了飛行數(shù)據(jù)處理、全過程科目執(zhí)行效果推演與分析、飛行數(shù)據(jù)驅(qū)動仿真等技術(shù)．通過引入5G無線和互聯(lián)網(wǎng)有線技術(shù),實現(xiàn)了從本地處理到通過手持移動終端實時訪問非密數(shù)據(jù)的跨越,解決了后續(xù)試驗數(shù)據(jù)處理在地域、空域、時效等制約瓶頸上的限制,實現(xiàn)了飛行數(shù)據(jù)的異地、本地協(xié)同處理．基于本文設(shè)計的飛行數(shù)據(jù)處理系統(tǒng),實現(xiàn)了飛行試驗數(shù)據(jù)高時效處理、跨地域數(shù)據(jù)共享和數(shù)據(jù)驅(qū)動與解算建模．后續(xù)將加大對數(shù)據(jù)結(jié)果智能預(yù)判、海量數(shù)據(jù)階梯式分析等技術(shù)研究,為飛機飛行試驗數(shù)據(jù)處理的智能化,做好技術(shù)鋪墊和支撐．