異地多源數(shù)據(jù)讀寫同步技術(shù)

陳春宇

（中國電子科技集團(tuán)公司電子科學(xué)研究院，北京100041）

1 多源異構(gòu)數(shù)據(jù)庫系統(tǒng)框架

電磁數(shù)據(jù)具備格式多、來源多、種類多、數(shù)量多等特點(diǎn)，從格式上來講包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；從來源上來講包括裝備采集數(shù)據(jù)、系統(tǒng)處理數(shù)據(jù)和人工分析數(shù)據(jù)；從種類上來講包括原始采集數(shù)據(jù)（全脈沖、中頻、無線頻譜）、分析結(jié)論數(shù)據(jù)（分選結(jié)論、信號樣式、目標(biāo)位置、識別結(jié)論、人工分析報(bào)告）、支援情報(bào)數(shù)據(jù)（海空情、衛(wèi)星情報(bào)、資料情報(bào)、偽基站傳播短信息內(nèi)容、黑廣播傳播內(nèi)容）、電子目標(biāo)數(shù)據(jù)（輻射源參數(shù)、平臺目標(biāo)及其活動規(guī)律、電子標(biāo)簽、電磁目標(biāo)位置及軌跡）和作戰(zhàn)基礎(chǔ)數(shù)據(jù)（電子戰(zhàn)部隊(duì)、電子戰(zhàn)武器裝備、臺站庫）等。

由于電磁數(shù)據(jù)具備以上特點(diǎn)，如不進(jìn)行統(tǒng)一的預(yù)處理，將給后面的挖掘分析帶來很大的困難。多源異構(gòu)電磁海量數(shù)據(jù)采集及匯聚技術(shù)主要解決電磁數(shù)據(jù)的統(tǒng)一采集（包括實(shí)時數(shù)據(jù)和非實(shí)時數(shù)據(jù)接入）、數(shù)據(jù)解析提取、數(shù)據(jù)去重去噪、數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)持久化等問題。

電磁數(shù)據(jù)統(tǒng)一采集和匯聚技術(shù)主要通過數(shù)據(jù)服務(wù)總線ES 消息發(fā)布訂閱機(jī)制實(shí)現(xiàn)。主要實(shí)現(xiàn)途徑如下：

（1）實(shí)時數(shù)據(jù)或非實(shí)時數(shù)據(jù)，統(tǒng)一發(fā)布至數(shù)據(jù)服務(wù)總線ESB，并通知各訂閱組件；

（2）系統(tǒng)訂閱到數(shù)據(jù)后根據(jù)類別調(diào)用相應(yīng)的數(shù)據(jù)解析服務(wù)進(jìn)行索引信息和特性信息的提取；

（3）根據(jù)數(shù)據(jù)索引信息和特征信息跟數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行匹配計(jì)算，過濾掉重復(fù)數(shù)據(jù)；

（4）根據(jù)數(shù)據(jù)質(zhì)量準(zhǔn)則對數(shù)據(jù)進(jìn)行質(zhì)量評估，過濾掉不符合質(zhì)量要求的數(shù)據(jù)；

（5）將數(shù)據(jù)格式統(tǒng)一轉(zhuǎn)換為Protobu 式，并調(diào)用存儲服務(wù)對數(shù)據(jù)進(jìn)行持久化。

對于不支持?jǐn)?shù)據(jù)總線采集和匯聚的老系統(tǒng)，采用數(shù)據(jù)庫上報(bào)和文件FT 傳方式來實(shí)現(xiàn)，以及通過智能網(wǎng)關(guān)進(jìn)行協(xié)議轉(zhuǎn)換實(shí)現(xiàn)老設(shè)備掛接到數(shù)據(jù)服務(wù)總線ES，突破了多源異構(gòu)海量電磁數(shù)據(jù)的統(tǒng)一采集、數(shù)據(jù)解析提取、數(shù)據(jù)去重去噪、數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)持久化等問題。

2 數(shù)據(jù)讀寫語言

（1）通過服務(wù)接口返回采集

系統(tǒng)建設(shè)符合《無線電監(jiān)測數(shù)據(jù)采集規(guī)范》和《無線電監(jiān)測數(shù)據(jù)傳輸規(guī)范》。根據(jù)《無線電監(jiān)測數(shù)據(jù)采集規(guī)范》和《無線電監(jiān)測數(shù)據(jù)傳輸規(guī)范》，監(jiān)測設(shè)備接到上層控制指令后，按指令要求進(jìn)行監(jiān)測采集，采集過程中或采集完成后，生成的結(jié)果通過如表1 的五種方式之一返回。

其中XML、stream 種方式結(jié)果返回到發(fā)起命令的監(jiān)測管理平臺，由監(jiān)測管理平臺處理后存入電磁大數(shù)據(jù)中心；URL、FTP、database 種方式結(jié)果直接存到電磁大數(shù)據(jù)中心。下層文件系統(tǒng)上傳大量詳細(xì)監(jiān)測的結(jié)果以文件的方式保存在文件系統(tǒng)中。下層文件系統(tǒng)通過FT 傳到上層電磁大數(shù)據(jù)中心。

表1

（2）通過下層數(shù)據(jù)庫上報(bào)

電磁大數(shù)據(jù)中心的數(shù)據(jù)主要來源于下層業(yè)務(wù)數(shù)據(jù)庫。地市級數(shù)據(jù)庫定期將數(shù)據(jù)同步到省數(shù)據(jù)中心或省數(shù)據(jù)分中心，省數(shù)據(jù)中心或省數(shù)據(jù)分中心將本級數(shù)據(jù)定期同步到電磁大數(shù)據(jù)中心。

例如：當(dāng)監(jiān)測站配備了AI 收機(jī)時，AI 收機(jī)接收到的數(shù)據(jù)經(jīng)過加工處理后，可能會直接存入到監(jiān)測數(shù)據(jù)庫中，再通過監(jiān)測數(shù)據(jù)庫將AI 測數(shù)據(jù)上報(bào)到上層電磁大數(shù)據(jù)中心。

（3）通過其他途徑導(dǎo)入

管理平臺通過數(shù)據(jù)導(dǎo)入、數(shù)據(jù)交換等方式，將天線系數(shù)、各類模板、國內(nèi)臺站、國內(nèi)頻率、國際臺站注冊信息、國際頻率協(xié)調(diào)信息等數(shù)據(jù)存入電磁大數(shù)據(jù)中心。

3 數(shù)據(jù)讀寫方法及接入技術(shù)

智能網(wǎng)關(guān)項(xiàng)目圍繞提升智能前端節(jié)點(diǎn)的數(shù)據(jù)感知能力、數(shù)據(jù)處理能力、前置響應(yīng)能力和協(xié)同感知能力的要求，通過開展對感知數(shù)據(jù)采集、接入、處理和反饋的研究，提出基于分布式感知和處理的智能感知網(wǎng)關(guān)前端系統(tǒng)，突破感知數(shù)據(jù)歸一化、異構(gòu)數(shù)據(jù)融合、綜合目標(biāo)識別、邊緣計(jì)算、數(shù)據(jù)趨勢分析技術(shù)、前置目標(biāo)服務(wù)和節(jié)點(diǎn)組網(wǎng)等技術(shù)，構(gòu)建基于感知即服務(wù)的智能網(wǎng)關(guān)前端節(jié)點(diǎn)系統(tǒng)，形成快速構(gòu)建各種感知系統(tǒng)能力，達(dá)到國內(nèi)領(lǐng)先水平，為基于“感知即服務(wù)”的分布式智能網(wǎng)關(guān)前端系統(tǒng)的智能化和大數(shù)據(jù)應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。

智能網(wǎng)關(guān)是分布式系統(tǒng)的前端關(guān)鍵設(shè)備，通過協(xié)同感知、邊緣計(jì)算和前置反饋等技術(shù)改變了原有感知系統(tǒng)前端采集、后端處理和反饋的機(jī)制，采用數(shù)據(jù)處理前移、分布式數(shù)據(jù)處理、節(jié)點(diǎn)協(xié)同感知和網(wǎng)格化部署等，使得感知設(shè)備具備大規(guī)模組網(wǎng)、前置快速響應(yīng)、前置智能信息分析和感知節(jié)點(diǎn)自組網(wǎng)協(xié)同的能力，為后端大數(shù)據(jù)平臺提供統(tǒng)一數(shù)據(jù)和服務(wù)響應(yīng)支持。當(dāng)前系統(tǒng)實(shí)現(xiàn)以藍(lán)海島礁觀測系統(tǒng)、智能感知接人網(wǎng)關(guān)等為代表的分布式智能前端系統(tǒng)，極大提高感知數(shù)據(jù)采集、應(yīng)急反應(yīng)和多節(jié)點(diǎn)協(xié)同等能力，最終實(shí)現(xiàn)智能計(jì)算和大數(shù)據(jù)的前端延伸。

主要功能如下：

（1）感知數(shù)據(jù)格式歸一化功能：智能網(wǎng)關(guān)支持多種感知設(shè)備的接入和數(shù)據(jù)接收，實(shí)現(xiàn)統(tǒng)一的硬件接口轉(zhuǎn)換、設(shè)備即插即用和支持多種感知設(shè)備的接入，并把各種不同的感知設(shè)備類型的數(shù)據(jù)進(jìn)行歸類處理，形成統(tǒng)一的數(shù)據(jù)格式。

（2）數(shù)據(jù)分布式處理功能；建立數(shù)據(jù)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)分布式處理的能力，實(shí)現(xiàn)前端數(shù)據(jù)清洗、處理和融合，并支持節(jié)點(diǎn)處理二次開發(fā)和遠(yuǎn)程掛載能力。

（3）感知數(shù)據(jù)服務(wù)提供功能；網(wǎng)關(guān)節(jié)點(diǎn)提供統(tǒng)一的感知數(shù)據(jù)和數(shù)據(jù)服務(wù)總線，實(shí)現(xiàn)感知數(shù)據(jù)統(tǒng)一服務(wù)能力。

（4）系統(tǒng)擴(kuò)展及自組網(wǎng)功能；構(gòu)建的系統(tǒng)具有較強(qiáng)的擴(kuò)展能力，新的節(jié)點(diǎn)的加入后可在不同節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)和自尋路由，不需要進(jìn)行開發(fā)。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)符合《無線電監(jiān)測數(shù)據(jù)采集規(guī)范》和《無線電監(jiān)測數(shù)據(jù)傳輸規(guī)范》標(biāo)準(zhǔn)，實(shí)現(xiàn)了通過RMT 協(xié)議和監(jiān)測服務(wù)接口規(guī)范等手段，接入、整合不同廠商的監(jiān)測設(shè)備、環(huán)境監(jiān)測設(shè)備以及視頻監(jiān)控設(shè)備，并以標(biāo)準(zhǔn)原子化服務(wù)（符合《超短波監(jiān)測業(yè)務(wù)一體化平臺服務(wù)規(guī)范》）向外部提供統(tǒng)一的對異構(gòu)監(jiān)測設(shè)備的訪問控制，從而完成不同的廠商監(jiān)測設(shè)備的整合，實(shí)現(xiàn)異構(gòu)監(jiān)測網(wǎng)絡(luò)的連接和互操作，為上級系統(tǒng)提供統(tǒng)一的設(shè)備控制、數(shù)據(jù)管理和智能分析的原子化服務(wù)。電磁智能網(wǎng)關(guān)支持實(shí)時工作模式、自主工作模式。具有監(jiān)測環(huán)境數(shù)據(jù)的整合和協(xié)調(diào)功能，能協(xié)調(diào)同時對環(huán)境監(jiān)測設(shè)備的多個控制請求指令，保障對設(shè)備的正確控制和設(shè)備狀態(tài)的正確反映，能采集監(jiān)測設(shè)備的網(wǎng)絡(luò)流量、剩余磁盤容量、剩余內(nèi)存容量、CPU 使用率等額外的資源消耗數(shù)據(jù)。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)具有多種工作模式，可實(shí)現(xiàn)監(jiān)測數(shù)據(jù)和自動采集和智能化分析，在采集監(jiān)測數(shù)據(jù)時，自動識別頻譜變化，并檢測出引起頻譜變化的信號，識別信號的調(diào)制，測量信號的IT 數(shù)，解調(diào)解碼信號內(nèi)容，記錄信號頻譜等特征。智能監(jiān)測網(wǎng)關(guān)可對下屬設(shè)備訪問的優(yōu)先級仲裁，協(xié)調(diào)多個用戶或任務(wù)對同一監(jiān)測設(shè)備或環(huán)境監(jiān)控設(shè)備的訪問控制，避免對設(shè)備的控制沖突的發(fā)生。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)支持智能網(wǎng)絡(luò)切換，自動按照有線網(wǎng)絡(luò)、無線3G/4G 移動通信、衛(wèi)星通信網(wǎng)絡(luò)優(yōu)先級順序接入。支持?jǐn)?shù)據(jù)傳輸過程中的數(shù)據(jù)重傳與斷點(diǎn)續(xù)傳（在網(wǎng)絡(luò)條件較差時），確保各類數(shù)據(jù)在傳輸過程中的數(shù)據(jù)完整性。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)對下支持各種標(biāo)準(zhǔn)監(jiān)測協(xié)議接入，包括RMTP、原子服務(wù)、LG；同時并可對不同廠商的監(jiān)測協(xié)議進(jìn)行適配，從而實(shí)現(xiàn)了異構(gòu)監(jiān)測設(shè)備的統(tǒng)一接入。智能網(wǎng)關(guān)對于上級系統(tǒng)同樣提供了RMTP、原子服務(wù)、LG 標(biāo)準(zhǔn)協(xié)議的控制訪問入口，其中通過RMT 協(xié)議或原子服務(wù)協(xié)議可實(shí)現(xiàn)與無委現(xiàn)已建監(jiān)測系統(tǒng)進(jìn)行無縫對接，同時通過LG 準(zhǔn)協(xié)議可向軍隊(duì)頻管系統(tǒng)提供訪問接口。

4 結(jié)語

異地多源數(shù)據(jù)副本讀寫同步技術(shù)同時實(shí)現(xiàn)了對不同監(jiān)測設(shè)備上報(bào)的異構(gòu)監(jiān)測數(shù)據(jù)進(jìn)行整合，其所存儲和上報(bào)的數(shù)據(jù)格式遵循國家無線電管理“四庫一化”相關(guān)標(biāo)準(zhǔn)。智能網(wǎng)關(guān)同時提供實(shí)時數(shù)據(jù)流上報(bào)、服務(wù)調(diào)用返回（XML）、FTP、數(shù)據(jù)庫同步等接口方式，實(shí)現(xiàn)與上級系統(tǒng)的對接，可實(shí)現(xiàn)與無委現(xiàn)已建監(jiān)測系統(tǒng)、軍隊(duì)頻管系統(tǒng)等之間的數(shù)據(jù)共享，下一步項(xiàng)目組將結(jié)合已有成果，從兩個層面開展工作。

一是結(jié)合中國電科云數(shù)據(jù)中心全國布局，啟動自主可控國家公共云節(jié)點(diǎn)試點(diǎn)建設(shè)，開展數(shù)據(jù)中心準(zhǔn)入指標(biāo)體系、評測方法研究，突破國家公共云資源調(diào)度、跨領(lǐng)域數(shù)據(jù)資源共享調(diào)度等關(guān)鍵技術(shù)，構(gòu)建國家公共云數(shù)據(jù)資源調(diào)度體系，實(shí)現(xiàn)不同行業(yè)、不同業(yè)務(wù)領(lǐng)域和不同組織機(jī)構(gòu)的數(shù)據(jù)中心之間的資源調(diào)度能力示范驗(yàn)證。

二是結(jié)合技術(shù)研究的逐步深入，反向完善頂層架構(gòu)設(shè)計(jì)、標(biāo)準(zhǔn)體系制修訂。