基于大數(shù)據(jù)的航天試驗(yàn)數(shù)據(jù)管理系統(tǒng)建設(shè)與應(yīng)用

趙振杰，閆月暉，秦緒國(guó)，陳世東

（北京航天長(zhǎng)征飛行器研究所，北京 100076）

1 引言

試驗(yàn)貫穿航天產(chǎn)品設(shè)計(jì)與生產(chǎn)的整個(gè)過(guò)程，在航天產(chǎn)品研制的各個(gè)階段尤其是工程研制階段總體與分系統(tǒng)均需要開(kāi)展大量的科學(xué)試驗(yàn)以驗(yàn)證產(chǎn)品設(shè)計(jì)的合理性、可靠性及兼容性[1]。試驗(yàn)為產(chǎn)品設(shè)計(jì)、改進(jìn)及制造過(guò)程的故障診斷提供了重要的數(shù)據(jù)支撐，是產(chǎn)品研發(fā)過(guò)程中不可或缺的重要環(huán)節(jié)。

近年來(lái)，航天領(lǐng)域產(chǎn)品更新?lián)Q代的周期愈來(lái)愈短，系統(tǒng)和技術(shù)的復(fù)雜性致使產(chǎn)品研制過(guò)程中對(duì)應(yīng)的工程試驗(yàn)也越來(lái)越多，傳統(tǒng)依靠人工對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行管理的方式缺乏統(tǒng)一的試驗(yàn)管理機(jī)制，導(dǎo)致企業(yè)不同試驗(yàn)成員間，尤其是不同部門(mén)間的試驗(yàn)數(shù)據(jù)不能共享，同時(shí)試驗(yàn)數(shù)據(jù)的完整性、安全性也難以保證，從數(shù)據(jù)中獲取規(guī)律，實(shí)現(xiàn)試驗(yàn)知識(shí)和經(jīng)驗(yàn)的積累，更是難上加難。

隨著信息處理和分析技術(shù)的飛速發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)[2]。基于大數(shù)據(jù)技術(shù)強(qiáng)大的數(shù)據(jù)處理能力可從海量試驗(yàn)數(shù)據(jù)中挖掘出有價(jià)值的信息，通過(guò)分析這些信息，找到試驗(yàn)測(cè)試中隱藏的數(shù)據(jù)規(guī)律，指導(dǎo)工程人員開(kāi)展產(chǎn)品的優(yōu)化設(shè)計(jì)。因此，本文通過(guò)開(kāi)發(fā)基于大數(shù)據(jù)的航天試驗(yàn)數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)航天產(chǎn)品海量試驗(yàn)數(shù)據(jù)的規(guī)范管理與高效應(yīng)用。

2 現(xiàn)狀與需求分析

2.1 管理現(xiàn)狀

航天產(chǎn)品在研制過(guò)程中積累了豐富的試驗(yàn)數(shù)據(jù)，但試驗(yàn)數(shù)據(jù)管理方式陳舊、低效，往往通過(guò)人工整理形成數(shù)據(jù)包絡(luò)分析，缺乏體系化的挖掘?qū)Ρ取⒃u(píng)估仿真等手段，不利于航天產(chǎn)品試驗(yàn)數(shù)據(jù)資源的共享，具體表現(xiàn)：

1）缺乏統(tǒng)一的數(shù)據(jù)管理平臺(tái)。大量的試驗(yàn)數(shù)據(jù)、仿真數(shù)據(jù)以不同的方式在個(gè)人電腦或部門(mén)級(jí)試驗(yàn)數(shù)據(jù)管理平臺(tái)中進(jìn)行分散管理，缺乏統(tǒng)一的保存管理機(jī)制，難以實(shí)時(shí)查詢(xún)和共享，且數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系無(wú)法保存，難以快速實(shí)現(xiàn)跨型號(hào)數(shù)據(jù)縱向比對(duì)。

2）缺少規(guī)范化的數(shù)據(jù)管理手段。試驗(yàn)數(shù)據(jù)所用的各種采集設(shè)備、測(cè)試儀器、測(cè)試系統(tǒng)和處理軟件來(lái)自不同廠家，型號(hào)及版本不同，所生成的試驗(yàn)數(shù)據(jù)格式不一致，缺乏描述性信息，嚴(yán)重影響了試驗(yàn)數(shù)據(jù)的使用效率。

3）對(duì)大數(shù)據(jù)處理與應(yīng)用經(jīng)驗(yàn)不足。航天產(chǎn)品飛行試驗(yàn)數(shù)據(jù)單次可達(dá)幾十G，無(wú)論是個(gè)人電腦還是試驗(yàn)系統(tǒng)管理與分析處理都比較困難，因此，試驗(yàn)大數(shù)據(jù)管理與應(yīng)用是亟待解決的重要難題。

2.2 需求分析

為實(shí)現(xiàn)航天產(chǎn)品從“任務(wù)型”研制到“任務(wù)與能力型結(jié)合”研制的跨越，需要對(duì)現(xiàn)有的試驗(yàn)數(shù)據(jù)管理能力進(jìn)行提升，具體需求：

1）滿(mǎn)足海量試驗(yàn)數(shù)據(jù)管理的需求。航天產(chǎn)品研制是一項(xiàng)多學(xué)科、多專(zhuān)業(yè)的復(fù)雜系統(tǒng)工程，產(chǎn)品研制過(guò)程中涉及結(jié)構(gòu)、強(qiáng)度、材料和控制等多專(zhuān)業(yè)大量的實(shí)物/半實(shí)物仿真試驗(yàn)，形成的試驗(yàn)數(shù)據(jù)量從1MB到100G不等，對(duì)數(shù)據(jù)的管理、集成、分析和評(píng)估必須更加迅速、高效和自動(dòng)化。

2）滿(mǎn)足試驗(yàn)數(shù)據(jù)集成化的需求。通過(guò)本系統(tǒng)建設(shè)需解決分散的試驗(yàn)數(shù)據(jù)進(jìn)行收集和匯總，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、有序管理，保證了試驗(yàn)信息的完備性，并防止由于人為原因?qū)е略囼?yàn)數(shù)據(jù)丟失或損壞。

3）提高試驗(yàn)數(shù)據(jù)后處理效率。由于不同專(zhuān)業(yè)的試驗(yàn)數(shù)據(jù)格式不統(tǒng)一、試驗(yàn)人員采用的試驗(yàn)數(shù)據(jù)處理軟件（或算法）種類(lèi)繁多，在試驗(yàn)數(shù)據(jù)后期處理過(guò)程中，需要技術(shù)人員耗費(fèi)大量的人力進(jìn)行處理，提供試驗(yàn)數(shù)據(jù)后處理統(tǒng)一集成平臺(tái)，為數(shù)據(jù)處理提供便利。

4）滿(mǎn)足試驗(yàn)數(shù)據(jù)再利用的需求。建立基于大數(shù)據(jù)的試驗(yàn)數(shù)據(jù)管理系統(tǒng)可以實(shí)現(xiàn)對(duì)歷史試驗(yàn)數(shù)據(jù)重新整理，歸納并綜合分析，為后續(xù)產(chǎn)品設(shè)計(jì)優(yōu)化積累數(shù)據(jù)基礎(chǔ)。

3 系統(tǒng)架構(gòu)

3.1 系統(tǒng)技術(shù)架構(gòu)

系統(tǒng)采用基于B/S的三層體系架構(gòu)，三層架構(gòu)分別為數(shù)據(jù)庫(kù)層、服務(wù)器層和客戶(hù)端層。

數(shù)據(jù)庫(kù)層采用國(guó)際流行的Oralce關(guān)系數(shù)據(jù)庫(kù)及Clickhouse大數(shù)據(jù)庫(kù)，Clickhouse數(shù)據(jù)庫(kù)具有強(qiáng)大的數(shù)據(jù)存儲(chǔ)和查詢(xún)能力，適用于海量數(shù)據(jù)管理，具有良好的穩(wěn)定性和擴(kuò)充性。

服務(wù)器層由多個(gè)模塊組成，系統(tǒng)支持大量用戶(hù)并發(fā)訪(fǎng)問(wèn)，系統(tǒng)業(yè)務(wù)邏輯和業(yè)務(wù)流程都在服務(wù)器端進(jìn)行處理，當(dāng)服務(wù)器超負(fù)荷時(shí)，能通過(guò)服務(wù)的集群和負(fù)載均衡技術(shù)來(lái)解決多用戶(hù)并發(fā)訪(fǎng)問(wèn)的問(wèn)題，確保系統(tǒng)正常運(yùn)行。

客戶(hù)端提供與用戶(hù)交互的可視化工具和操作界面，方便用戶(hù)快捷地完成試驗(yàn)配置、試驗(yàn)數(shù)據(jù)查詢(xún)、數(shù)據(jù)分析繪圖等工作。系統(tǒng)技術(shù)架構(gòu)如圖1所示。

3.2 系統(tǒng)功能架構(gòu)

系統(tǒng)功能設(shè)計(jì)遵循符合Java EE規(guī)范的多層、MVC、分布式架構(gòu)模式，采用組件化、動(dòng)態(tài)化的軟件技術(shù)，利用一致的可共享的數(shù)據(jù)模型，以提高系統(tǒng)的靈活性、可擴(kuò)展性、安全性及并發(fā)處理能力；同時(shí)，通過(guò)導(dǎo)入/導(dǎo)出、標(biāo)準(zhǔn)接口等方式，實(shí)現(xiàn)與其他信息系統(tǒng)的集成。

航天產(chǎn)品試驗(yàn)數(shù)據(jù)管理系統(tǒng)采用組件技術(shù)將界面控制、業(yè)務(wù)邏輯和數(shù)據(jù)映射分離，實(shí)現(xiàn)系統(tǒng)內(nèi)部的松耦合，以靈活、快速地響應(yīng)業(yè)務(wù)變化對(duì)系統(tǒng)的需求。系統(tǒng)層次結(jié)構(gòu)總體上劃分為客戶(hù)層、統(tǒng)一接入層、界面控制層、應(yīng)用邏輯層、公共服務(wù)層、數(shù)據(jù)資源層和基礎(chǔ)架構(gòu)平臺(tái)，通過(guò)各層次系統(tǒng)組件間服務(wù)的承載關(guān)系，實(shí)現(xiàn)系統(tǒng)功能，具體如圖2所示。

圖2 系統(tǒng)功能架構(gòu)

4 系統(tǒng)模塊功能

航天試驗(yàn)數(shù)據(jù)管理系統(tǒng)包括工作臺(tái)面、試驗(yàn)數(shù)據(jù)管控、試驗(yàn)流程管理等7個(gè)功能模塊。

4.1 工作臺(tái)面

工作臺(tái)面為用戶(hù)提供任務(wù)、流程、數(shù)據(jù)可視化及系統(tǒng)管理界面，可依據(jù)用戶(hù)業(yè)務(wù)需求開(kāi)展個(gè)性化定制工作，極大地提高工作便捷性和工作效率。

4.2 試驗(yàn)數(shù)據(jù)管控

試驗(yàn)數(shù)據(jù)管控包括數(shù)據(jù)總覽、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)查詢(xún)和數(shù)據(jù)授權(quán)四方面內(nèi)容。其中數(shù)據(jù)總覽支持以BOM形式按專(zhuān)業(yè)、型號(hào)、數(shù)據(jù)來(lái)源等節(jié)點(diǎn)查看試驗(yàn)數(shù)據(jù)，支持BOM結(jié)構(gòu)按專(zhuān)業(yè)進(jìn)行自定義功能。數(shù)據(jù)導(dǎo)入支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的批量上傳，采用基于MongoDB的大數(shù)據(jù)技術(shù)實(shí)現(xiàn)大文件的解析入庫(kù)。數(shù)據(jù)查詢(xún)提供固定查詢(xún)、自定義查詢(xún)等多種查詢(xún)方式，查詢(xún)結(jié)果在系統(tǒng)中以圖形化的方式進(jìn)行顯示。數(shù)據(jù)授權(quán)實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)先授權(quán)后查看的原則，可對(duì)單個(gè)試驗(yàn)數(shù)據(jù)進(jìn)行獨(dú)立授權(quán)，有效杜絕低密級(jí)人員查看高密級(jí)試驗(yàn)數(shù)據(jù)的違規(guī)問(wèn)題產(chǎn)生。

4.3 試驗(yàn)流程管理

流程管理包括流程定義、流程執(zhí)行、流程模板和流程監(jiān)控四方面的功能，流程定義提供面向?qū)ο蟆⒔换ナ綀D形的流程定義模式；流程執(zhí)行在流程驅(qū)動(dòng)的基礎(chǔ)上，實(shí)現(xiàn)流程的發(fā)起、終止、退回等功能；流程模板可將定義后的流程發(fā)布或制作為模板，實(shí)現(xiàn)流程的復(fù)用；流程監(jiān)控提供流程執(zhí)行狀態(tài)、進(jìn)度監(jiān)控和統(tǒng)計(jì)報(bào)表功能，可使流程發(fā)起人員及審批人員及時(shí)獲得流程的最新?tīng)顟B(tài)。

4.4 試驗(yàn)數(shù)據(jù)分析

試驗(yàn)數(shù)據(jù)分析實(shí)現(xiàn)用戶(hù)對(duì)入庫(kù)存儲(chǔ)數(shù)據(jù)的后處理需求，包括數(shù)據(jù)處理算法庫(kù)、自研數(shù)據(jù)處理算法擴(kuò)展和數(shù)據(jù)分析處理工具集成功能。其中數(shù)據(jù)處理算法庫(kù)包含常用的預(yù)處理算法及公式編輯器，如偏置、均方根、插值和擬合等，滿(mǎn)足用戶(hù)對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行分析處理的基本功能；自研數(shù)據(jù)處理算法擴(kuò)展提供對(duì)用戶(hù)自研算法及第三方軟件算法包的支持，可能將用戶(hù)自開(kāi)發(fā)或第三方算法按照系統(tǒng)的規(guī)則編譯為.dll或.class接入到系統(tǒng)中，完成專(zhuān)業(yè)特定需求的分析處理；數(shù)據(jù)分析處理工具集成可實(shí)現(xiàn)與Origin、Matlab、Tecplot等軟件的集成，實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)直接在專(zhuān)用分析軟件中打開(kāi)并進(jìn)行分析，并通過(guò)數(shù)據(jù)回傳的方式將數(shù)據(jù)分析結(jié)果回傳至系統(tǒng)，實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)管理系統(tǒng)與分析軟件的閉環(huán)操作。

4.5 試驗(yàn)報(bào)告管理

試驗(yàn)報(bào)告管理包括報(bào)告模板自定義、試驗(yàn)報(bào)報(bào)告自動(dòng)生成功能，報(bào)告模板自定義支持用戶(hù)靈活定義報(bào)告內(nèi)容和格式，建立報(bào)告與系統(tǒng)數(shù)據(jù)的映射關(guān)系；試驗(yàn)報(bào)告自動(dòng)生成功能實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)、圖片、分析曲線(xiàn)的自動(dòng)填寫(xiě)，自動(dòng)化生成試驗(yàn)報(bào)告。

4.6 系統(tǒng)管理

系統(tǒng)提供一套滿(mǎn)足航天產(chǎn)品數(shù)據(jù)安全管理機(jī)制以保障試驗(yàn)數(shù)據(jù)的存儲(chǔ)與保密安全，通過(guò)配置管理、模型管理、組織管理、權(quán)限管理、日志管理和三員管理等功能實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)多層次、全方位安全管控。

4.7 系統(tǒng)工具集

系統(tǒng)工具集包括數(shù)據(jù)建模工具、數(shù)據(jù)字典、備份與恢復(fù)、數(shù)據(jù)顯示控件及集成接口功能，無(wú)需代碼開(kāi)發(fā)可實(shí)現(xiàn)系統(tǒng)工具的自定義配置功能。通過(guò)定義標(biāo)準(zhǔn)的（JSON格式）、通用的數(shù)據(jù)集成接口，可實(shí)現(xiàn)與多學(xué)科優(yōu)化設(shè)計(jì)系統(tǒng)、仿真系統(tǒng)等快速集成，實(shí)現(xiàn)試驗(yàn)數(shù)據(jù)與第三方系統(tǒng)的數(shù)據(jù)交互，避免信息孤島現(xiàn)象的產(chǎn)生。

5 系統(tǒng)應(yīng)用

航天某單位產(chǎn)品研制涉及空氣動(dòng)力、結(jié)構(gòu)、強(qiáng)度、控制等多個(gè)專(zhuān)業(yè)，在整個(gè)產(chǎn)品研制周期內(nèi)往往會(huì)產(chǎn)生大量的試驗(yàn)數(shù)據(jù)，具有試驗(yàn)數(shù)據(jù)種類(lèi)多、試驗(yàn)數(shù)量大的特點(diǎn)。通過(guò)本系統(tǒng)在產(chǎn)品研制中的全面應(yīng)用，將試驗(yàn)業(yè)務(wù)和型號(hào)研制各環(huán)節(jié)有機(jī)結(jié)合，打通產(chǎn)品研制業(yè)務(wù)的信息孤島，實(shí)現(xiàn)對(duì)試驗(yàn)業(yè)務(wù)各階段各環(huán)節(jié)的工作進(jìn)行全面數(shù)字化專(zhuān)業(yè)協(xié)同，以科學(xué)高效的管理方式提高工作效率，提供全面的數(shù)據(jù)比對(duì)，達(dá)到改進(jìn)產(chǎn)品設(shè)計(jì)，提高產(chǎn)品質(zhì)量的目標(biāo)，最終提高企業(yè)核心競(jìng)爭(zhēng)力。

6 結(jié)束語(yǔ)

本文通過(guò)對(duì)航天某單位試驗(yàn)數(shù)據(jù)管理現(xiàn)狀及管理需求進(jìn)行分析，開(kāi)展了基于大數(shù)據(jù)技術(shù)的試驗(yàn)數(shù)據(jù)管理系統(tǒng)建設(shè)，實(shí)現(xiàn)了海量試驗(yàn)數(shù)據(jù)的快速批量導(dǎo)入、試驗(yàn)數(shù)據(jù)分析、試驗(yàn)報(bào)告自動(dòng)生成及與第三方系統(tǒng)集成等功能，為產(chǎn)品試驗(yàn)完成后進(jìn)行試驗(yàn)數(shù)據(jù)的長(zhǎng)期存儲(chǔ)、數(shù)據(jù)判讀、數(shù)據(jù)共享、故障分析和技術(shù)改進(jìn)等提供重要參考依據(jù)。