無線電監(jiān)測大數(shù)據(jù)處理方法研究

史殿坤

?

無線電監(jiān)測大數(shù)據(jù)處理方法研究

史殿坤

深圳市無線電監(jiān)測管理站，廣東 深圳 518000

無線電監(jiān)測數(shù)據(jù)是進行無線電管理的核心數(shù)據(jù)，對無線電監(jiān)測數(shù)據(jù)科學合理的分析處理有助于強化無線電管理水平。無線電監(jiān)測網(wǎng)無時無刻不在采集無線電信號，監(jiān)測數(shù)據(jù)量十分龐大，用大數(shù)據(jù)分析和挖掘方法對無線電監(jiān)測數(shù)據(jù)進行處理是一個行之有效的途徑。結合無線電監(jiān)測數(shù)據(jù)自身特點，著力進行了無線電監(jiān)測大數(shù)據(jù)處理方法的研究。其中，網(wǎng)格化數(shù)據(jù)庫建設是基礎，保證存儲數(shù)據(jù)科學合理可信；監(jiān)測數(shù)據(jù)采集與預處理是核心，保證監(jiān)測數(shù)據(jù)準確，進行有效傳輸；根據(jù)業(yè)務需要對預處理過的監(jiān)測數(shù)據(jù)進行存儲和處理是手段，有助于針對性地發(fā)掘監(jiān)測數(shù)據(jù)價值。

大數(shù)據(jù)；無線電監(jiān)測；網(wǎng)格化；數(shù)據(jù)庫

當今時代科學技術日新月異，各行各業(yè)的發(fā)展都離不開對新技術的應用，無線電領域亦是如此。隨著超大容量計算機系統(tǒng)、無線傳輸網(wǎng)絡以及光纖傳輸網(wǎng)絡的不斷涌現(xiàn)和成熟，云計算、物聯(lián)網(wǎng)和大數(shù)據(jù)等熱門詞匯一次次抓住人們的眼球，但歸根到底終究繞不過一個問題——海量數(shù)據(jù)處理。隨著監(jiān)測站點的增加，監(jiān)測網(wǎng)絡覆蓋面積、監(jiān)測數(shù)據(jù)存儲容量、監(jiān)測數(shù)據(jù)分析處理能力必須相應提高。現(xiàn)無線電監(jiān)測網(wǎng)每時每刻都在接收著大量的數(shù)據(jù)，如何存儲和處理這些數(shù)據(jù)，加強監(jiān)測數(shù)據(jù)的有效處理能力、滿足監(jiān)測數(shù)據(jù)爆炸性增長帶來的數(shù)據(jù)海量存儲需求以及保障數(shù)據(jù)傳輸網(wǎng)絡的安全暢通，將是無線電管理部門遇到的重大課題，進行相應的前瞻性的技術研究迫在眉睫。

1 網(wǎng)格化數(shù)據(jù)庫是無線電網(wǎng)格化管理的基礎

網(wǎng)格化是當前社會管理的一項有效手段，它通過區(qū)域為劃分，采集記錄一塊區(qū)域的社會經(jīng)濟數(shù)據(jù)，并加以呈現(xiàn)，稱之為網(wǎng)格化管理。網(wǎng)格化數(shù)據(jù)庫是存儲社會經(jīng)濟數(shù)據(jù)的有效途徑，無線電監(jiān)測數(shù)據(jù)的存儲需要無線電網(wǎng)格化數(shù)據(jù)庫的有力支撐。傳統(tǒng)監(jiān)測網(wǎng)絡采用集中設置的數(shù)據(jù)庫，頻率、臺站等信息獨立，信息關聯(lián)性較差，數(shù)據(jù)庫信息無法為管理者提供更多參考依據(jù)。無線電網(wǎng)格化數(shù)據(jù)庫要運用前置映射的方式，每種無線電監(jiān)測數(shù)據(jù)對應每個地址網(wǎng)格，每個地址網(wǎng)格映射在相對的網(wǎng)格化數(shù)據(jù)庫中。每個網(wǎng)格化節(jié)點既可以作為單獨的無線電監(jiān)測數(shù)據(jù)使用，同時可允許多個網(wǎng)格數(shù)據(jù)通過一定的要求合并為一個區(qū)域網(wǎng)格庫，提高網(wǎng)格化數(shù)據(jù)庫的靈活性，充實用于數(shù)據(jù)分析的信息含量。

無線電網(wǎng)格化監(jiān)測網(wǎng)的核心是無線電網(wǎng)格化數(shù)據(jù)庫，網(wǎng)格化數(shù)據(jù)庫的中心是任務管理。通過存儲在網(wǎng)格化數(shù)據(jù)庫中原始全面的無線電監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)包含了監(jiān)測數(shù)據(jù)、臺站數(shù)據(jù)、地理信息數(shù)據(jù)等多種數(shù)據(jù)，其中存儲的監(jiān)測數(shù)據(jù)是所有數(shù)據(jù)中最為重要的數(shù)據(jù)，這些數(shù)據(jù)是進行無線電頻譜研究最基礎性的數(shù)據(jù)也是最為關鍵的數(shù)據(jù)。使用這些數(shù)據(jù)進行的頻段占用度分析將更接近于真實無線電電磁環(huán)境、通過這些數(shù)據(jù)進行電磁環(huán)境的評估分析工作是一項非常有意義的現(xiàn)實性課題。網(wǎng)格化數(shù)據(jù)庫除了可以存儲以上重要的數(shù)據(jù)，還需要利用基于地理信息系統(tǒng)的定位手段，給每個網(wǎng)格內的無線電監(jiān)測數(shù)據(jù)賦予一個位置戳。為下一步對該區(qū)域電磁環(huán)境的統(tǒng)計分析奠定基礎。

2 網(wǎng)格化監(jiān)測網(wǎng)數(shù)據(jù)采集與預處理

無線電監(jiān)測數(shù)據(jù)的類型是復雜多樣的，包含了頻譜掃描數(shù)據(jù)，IQ數(shù)據(jù)、AD采樣數(shù)據(jù)、占用度、場強及音頻、測向和定位數(shù)據(jù)等原始數(shù)據(jù)。這些監(jiān)測數(shù)據(jù)并不提供能夠表現(xiàn)出現(xiàn)成的價值信息。只有通過大數(shù)據(jù)處理的工具和手段，利用大數(shù)據(jù)處理軟件強大計算分析能力，對當前采集的無線電監(jiān)測數(shù)據(jù)進行價值“提純”，才能夠充分挖掘出無線電監(jiān)測數(shù)據(jù)的潛在價值，發(fā)揮無線電監(jiān)測數(shù)據(jù)效能，為無線電管理提供有力支撐。

2.1 網(wǎng)格化監(jiān)測網(wǎng)的數(shù)據(jù)特點

網(wǎng)格化監(jiān)測網(wǎng)主要是指在各網(wǎng)格化節(jié)點（網(wǎng)格化節(jié)點是指分布在各區(qū)域的監(jiān)測站點）之間相互連接，統(tǒng)一采集數(shù)據(jù)并傳送給一個存儲終端的監(jiān)測網(wǎng)絡架構。各網(wǎng)絡節(jié)點之間相互獨立，其中各節(jié)點預存數(shù)據(jù)格式相同具有相關性，通過4G、光纖等網(wǎng)絡傳輸方式，將數(shù)據(jù)統(tǒng)一存儲在一個更為集中的存儲終端中，在這種終端中對各種數(shù)據(jù)進行相關性處理，根據(jù)監(jiān)測要素的各項要求呈現(xiàn)無線電分析數(shù)據(jù)，使的無線電監(jiān)測任務在各個區(qū)域采集的數(shù)據(jù)能夠得到集中處理，集中呈現(xiàn)，便于進行無線電管理。網(wǎng)格化監(jiān)測網(wǎng)的突破在于打破了傳統(tǒng)監(jiān)測網(wǎng)上各固定監(jiān)測點采集的數(shù)據(jù)之間不具備相關性或者只有弱相關性，無法進行相關性分析。網(wǎng)格化監(jiān)測網(wǎng)運用GPS同步技術，將網(wǎng)格化節(jié)點采集到包括時間、坐標等的多維數(shù)據(jù)，通過大數(shù)據(jù)分析的算法和模型進行深度挖掘，可以有效提高數(shù)據(jù)使用價值。

2.2 原始數(shù)據(jù)的采集系統(tǒng)

無線電監(jiān)測數(shù)據(jù)的采集是網(wǎng)格化監(jiān)測數(shù)據(jù)庫建立的最基本要素，建設科學合理的原始數(shù)據(jù)采集系統(tǒng)是進行大數(shù)據(jù)分析之前重要的基礎性工作，監(jiān)測數(shù)據(jù)的采集需要掌握的原則包括：（1）針對監(jiān)測數(shù)據(jù)采集的方式要確保一致性，監(jiān)測數(shù)據(jù)的存儲準確性，盡量避免虛假信號和不確定性信號的產(chǎn)生；（2）針對不同的業(yè)務頻段，制定不同的相監(jiān)測數(shù)據(jù)采集工作規(guī)范，保證采集所得的監(jiān)測數(shù)據(jù)的具有科學有效性；（3）針對測量參數(shù)的設置，應當根據(jù)監(jiān)測地點、時間、業(yè)務內容，使用合適的數(shù)據(jù)采集策略，選擇恰當?shù)臏y量參數(shù)，運用智能化匹配手段，保證采集到的數(shù)據(jù)可以進行針對性的挖掘分析。

2.3 數(shù)據(jù)的預處理系統(tǒng)

監(jiān)測網(wǎng)數(shù)據(jù)量很大，動輒就是上10G，數(shù)據(jù)傳輸難度較大，因此在數(shù)據(jù)采集端進行數(shù)據(jù)預處理實屬必要。數(shù)據(jù)預處理系統(tǒng)可以減少數(shù)據(jù)的傳輸壓力，保證監(jiān)測網(wǎng)的傳輸有效性，預處理系統(tǒng)應遵循以下原則：（1）預處理系統(tǒng)應具有兼容性，能夠支持各種設備采集的數(shù)據(jù)格式，能夠存儲成大數(shù)據(jù)處理終端所需的數(shù)據(jù)類型；（2）預處理系統(tǒng)應具有對原始數(shù)據(jù)進行初步篩選和過濾的功能，可以提前去除無效、異常數(shù)據(jù)，避免垃圾數(shù)據(jù)的產(chǎn)生。一方面降低網(wǎng)絡負荷，另一方面保證大數(shù)據(jù)處理終端所需的數(shù)據(jù)有效性；（3）預處理系統(tǒng)應具有對數(shù)據(jù)進行初步整合的能力，對大量監(jiān)測數(shù)據(jù)進行預處理，減少大數(shù)據(jù)處理終端的數(shù)據(jù)分析量。（4）預處理系統(tǒng)應預置合適的處理算法，根據(jù)不同需求選擇合適的算法策略，提高數(shù)據(jù)處理速度，實現(xiàn)整個監(jiān)測網(wǎng)絡大量數(shù)據(jù)的快速處理。

3 網(wǎng)格化監(jiān)測網(wǎng)海量數(shù)據(jù)存儲及處理

監(jiān)測網(wǎng)各監(jiān)測站點本地存儲設備的利用率低，存儲資源不能被合理、有效利用，面對全天候的大數(shù)據(jù)存儲和分析過程中面臨的困難，無線電網(wǎng)格化監(jiān)測網(wǎng)業(yè)務系統(tǒng)需建立具有智能化和安全特性、并能夠與當前的業(yè)務環(huán)境同樣靈活、動態(tài)的云存儲環(huán)境。通過這樣的云存儲環(huán)境，靈活應對業(yè)務變化，探索監(jiān)測網(wǎng)海量數(shù)據(jù)存儲和處理方法，從而提高無線電管理效率。

3.1 監(jiān)測數(shù)據(jù)分級存儲

監(jiān)測數(shù)據(jù)傳統(tǒng)的在線存儲方式需要配置大容量本地一級硬盤，這樣存儲數(shù)據(jù)一方面存在投資大，管理復雜的問題；另外一方面大部分監(jiān)測數(shù)據(jù)訪問率并不高，卻占據(jù)大量硬盤空間，不僅浪費資源同時造成訪問速度下降的問題。監(jiān)測網(wǎng)數(shù)據(jù)存儲主要分為實時數(shù)據(jù)存儲和統(tǒng)計分析數(shù)據(jù)存儲兩大類，實時數(shù)據(jù)占用空間最多，實際使用的數(shù)據(jù)量較少，冗余現(xiàn)象突出。隨著監(jiān)測網(wǎng)規(guī)模的不斷加大，這種資源的浪費不斷攀升，結合當前實際需要，進行監(jiān)測數(shù)據(jù)分級存儲可以有效的節(jié)省資源，最大限度發(fā)揮監(jiān)測網(wǎng)效益。

針對無線電監(jiān)測網(wǎng)采集的海量數(shù)據(jù)，可以對存儲要求進行分級規(guī)劃，不同節(jié)點處理不同數(shù)據(jù)，重視數(shù)據(jù)的本級處理，降低監(jiān)測數(shù)據(jù)的傳輸量，減輕本地存儲設備的存儲壓力，提高數(shù)據(jù)的訪問速度。按照業(yè)務需要和應用分級在不同的時間周期不同的位置節(jié)點對存儲服務的要求進行動態(tài)靈活的調配，滿足監(jiān)測網(wǎng)不同階段不同范圍內對存儲服務的要求。從建設分級存儲設施出發(fā)，對不同類型不同節(jié)點的存儲資源進行區(qū)分不同方式存儲，例如預處理系統(tǒng)中將存儲一部分IQ原始數(shù)據(jù)，預處理分析后的統(tǒng)計數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)處理終端存儲，實現(xiàn)分級存儲，做到存儲全面，突出重點，以滿足不同級別應用的存儲需求。存儲資源規(guī)劃結合無線電管理業(yè)務的實際情況從業(yè)務系統(tǒng)層面、資源平臺層面、服務提供三個層進行統(tǒng)一規(guī)劃管理，滿足無線電管理業(yè)務的集中管理、靈活分配。

3.2 監(jiān)測大數(shù)據(jù)處理

監(jiān)測數(shù)據(jù)分級存儲系統(tǒng)，可滿足日益增長的監(jiān)測網(wǎng)數(shù)據(jù)存儲需求，實現(xiàn)數(shù)據(jù)共享、備份冗余的數(shù)據(jù)高可靠性和高可用性。監(jiān)測大數(shù)據(jù)處理成為利用發(fā)掘監(jiān)測數(shù)據(jù)內在價值至關重要的一環(huán)。監(jiān)測數(shù)據(jù)處理需構建高性能、易擴展、高可用、統(tǒng)一指揮管理的監(jiān)測數(shù)據(jù)處理平臺。（1）開發(fā)監(jiān)測數(shù)據(jù)統(tǒng)計分析軟件。強大的統(tǒng)計分析軟件旨在最大限度地挖掘大數(shù)據(jù)的價值，監(jiān)測網(wǎng)統(tǒng)計分析系統(tǒng)具備頻域分析、時域分析、信道占用度統(tǒng)計、信道占用度比較、信號強度分析、信號強度比較、頻段占用度分析、空間域分析、占用度測量表、電磁環(huán)境報告、臺站核準、頻率標注、監(jiān)測月報、全景圖、監(jiān)測站全景分析等功能，支持按小時、按天、按天自由時間段、按天24小時、按月的多種統(tǒng)計模式，便于從各種角度對監(jiān)測數(shù)據(jù)進行匯總分析和深入挖掘，最終及時掌控無線電頻譜資源的使用情況及變化態(tài)勢。此外系統(tǒng)具備強大的報表功能，支持數(shù)據(jù)和圖表的導出，以及模板導出、自定義選項導出、過濾導出。（2）建立新信號模型特征檔案。隨著無線應用領域的快速發(fā)展，出現(xiàn)非常多的新技術、新設備，給不明信號查找和干擾查處帶來了相當大的困難，建立新信號模型特征檔案可以對這種現(xiàn)象加以預防和監(jiān)督。不同無線電業(yè)務發(fā)射的無線電信號具有各自獨特的特征屬性，就像指紋一樣，各不相同，是查找分析不明干擾的直接手段。通過提取信號譜圖、音頻特性、占用帶寬、調制式、尋址方式等的不同信號特征，并對其信號特征及相關參數(shù)進行標注和描述，建立一個包含各類型新信號的頻譜特征樣本庫。為監(jiān)測網(wǎng)自動識別定位無線電干擾提供了技術手段，同時也為監(jiān)測技術人員進行認知無線電研究奠定基礎。（3）開展電磁環(huán)境分級分類評估。通過無線電監(jiān)測網(wǎng)能夠對某一特定區(qū)域和特定業(yè)務頻段進行實時的監(jiān)管分析，隨時掌握各業(yè)務頻段占用情況、背景噪音強度及變化趨勢，可以做到根據(jù)需要對相關頻段發(fā)出預警或發(fā)布電磁環(huán)境通報。結合電子地圖平臺和臺站數(shù)據(jù)庫，電磁環(huán)境評估系統(tǒng)可以對任意時段的監(jiān)測數(shù)據(jù)進行抽取、疊加、分析，完成各種形式的電磁環(huán)境顯示和不同時間段、不同地點、不同頻段的電磁環(huán)境比較等；可以以直觀的形式展現(xiàn)頻率在各個地理區(qū)域的使用情況，進行模擬場強分析和顯示；可以結合地理信息系統(tǒng)和EMC分析系統(tǒng)來展示無線電“頻譜資源地圖”的全貌和細節(jié)，為政府科學決策提供依據(jù)。

4 總結

無線電網(wǎng)格化監(jiān)測網(wǎng)統(tǒng)計分析的強大功能和多樣的統(tǒng)計模式便于從各種角度對監(jiān)測數(shù)據(jù)進行匯總分析和深入挖掘，通過對監(jiān)測數(shù)據(jù)的深化挖掘和利用，可以獲取更多準確、科學、有價值的監(jiān)測數(shù)據(jù)統(tǒng)計分析結果，有助于無線電管理部門及時掌控當前區(qū)域內無線電頻譜資源的使用情況。通過不斷實施無線電監(jiān)測，持續(xù)積累電磁頻譜監(jiān)測數(shù)據(jù)，通過云計算、大數(shù)據(jù)分析等技術手段對監(jiān)測數(shù)據(jù)進行更加科學合理的數(shù)據(jù)分析，有助于無線電管理部門規(guī)劃使用區(qū)域內的頻譜資源，提高頻譜資源的利用率，發(fā)揮頻譜資源的潛在價值。通過搭建無線電監(jiān)測大數(shù)據(jù)處理平臺，建立新信號特征庫，不斷進行電磁頻譜態(tài)勢分析，將充分利用無線電監(jiān)測網(wǎng)協(xié)助無線電技術人員查處無線電干擾、評估電磁環(huán)境情況，保障區(qū)域內無線電電波秩序正常有序，并在其基礎上科學的分析電磁頻譜資源與社會經(jīng)濟發(fā)展的內在關系，能夠不斷增強無線電管理工作為社會經(jīng)濟發(fā)展保駕護航的能力。

[1]王軍，黃炬，馬有廠，等.大數(shù)據(jù)時代的無線電監(jiān)測[J].中國無線電，2014（4）：55-58.

The research of radio monitoring big data processing methods

Shi Diankun

Shenzhen Radio Monitoring Management Station，Shenzhen，Guangdong 518000

Radio monitoring data is the core of the radio management，scientific and reasonable analysis of radio monitoring data processing help strengthen the radio management level.Radio monitoring network is collection of radio signals，and amount of monitoring data is very large，with large data analysis and mining method of radio monitoring data processing is an effective way.In this paper，combined with the characteristics of the monitoring data，we have made great efforts in the research of large data processing method of radio monitoring.The construction of the grid database is the foundation to guarantee the scientific and reasonable storage of data.The monitoring data acquisition and preprocessing are the core，and the monitoring data is accurate.，The effective transmission； according to the business needs of the pretreatment of monitoring data storage and processing is a means to help identify the value of targeted monitoring data.

big data； radio monitoring；meshing；data base

TP311.13；TN98

A

1009-6434（2016）12-0051-03