無線電監測大數據處理方法研究

史殿坤

?

無線電監測大數據處理方法研究

史殿坤

深圳市無線電監測管理站，廣東 深圳 518000

無線電監測數據是進行無線電管理的核心數據，對無線電監測數據科學合理的分析處理有助于強化無線電管理水平。無線電監測網無時無刻不在采集無線電信號，監測數據量十分龐大，用大數據分析和挖掘方法對無線電監測數據進行處理是一個行之有效的途徑。結合無線電監測數據自身特點，著力進行了無線電監測大數據處理方法的研究。其中，網格化數據庫建設是基礎，保證存儲數據科學合理可信；監測數據采集與預處理是核心，保證監測數據準確，進行有效傳輸；根據業務需要對預處理過的監測數據進行存儲和處理是手段，有助于針對性地發掘監測數據價值。

大數據；無線電監測；網格化；數據庫

當今時代科學技術日新月異，各行各業的發展都離不開對新技術的應用，無線電領域亦是如此。隨著超大容量計算機系統、無線傳輸網絡以及光纖傳輸網絡的不斷涌現和成熟，云計算、物聯網和大數據等熱門詞匯一次次抓住人們的眼球，但歸根到底終究繞不過一個問題——海量數據處理。隨著監測站點的增加，監測網絡覆蓋面積、監測數據存儲容量、監測數據分析處理能力必須相應提高?，F無線電監測網每時每刻都在接收著大量的數據，如何存儲和處理這些數據，加強監測數據的有效處理能力、滿足監測數據爆炸性增長帶來的數據海量存儲需求以及保障數據傳輸網絡的安全暢通，將是無線電管理部門遇到的重大課題，進行相應的前瞻性的技術研究迫在眉睫。

1 網格化數據庫是無線電網格化管理的基礎

網格化是當前社會管理的一項有效手段，它通過區域為劃分，采集記錄一塊區域的社會經濟數據，并加以呈現，稱之為網格化管理。網格化數據庫是存儲社會經濟數據的有效途徑，無線電監測數據的存儲需要無線電網格化數據庫的有力支撐。傳統監測網絡采用集中設置的數據庫，頻率、臺站等信息獨立，信息關聯性較差，數據庫信息無法為管理者提供更多參考依據。無線電網格化數據庫要運用前置映射的方式，每種無線電監測數據對應每個地址網格，每個地址網格映射在相對的網格化數據庫中。每個網格化節點既可以作為單獨的無線電監測數據使用，同時可允許多個網格數據通過一定的要求合并為一個區域網格庫，提高網格化數據庫的靈活性，充實用于數據分析的信息含量。

無線電網格化監測網的核心是無線電網格化數據庫，網格化數據庫的中心是任務管理。通過存儲在網格化數據庫中原始全面的無線電監測數據，這些數據包含了監測數據、臺站數據、地理信息數據等多種數據，其中存儲的監測數據是所有數據中最為重要的數據，這些數據是進行無線電頻譜研究最基礎性的數據也是最為關鍵的數據。使用這些數據進行的頻段占用度分析將更接近于真實無線電電磁環境、通過這些數據進行電磁環境的評估分析工作是一項非常有意義的現實性課題。網格化數據庫除了可以存儲以上重要的數據，還需要利用基于地理信息系統的定位手段，給每個網格內的無線電監測數據賦予一個位置戳。為下一步對該區域電磁環境的統計分析奠定基礎。

2 網格化監測網數據采集與預處理

無線電監測數據的類型是復雜多樣的，包含了頻譜掃描數據，IQ數據、AD采樣數據、占用度、場強及音頻、測向和定位數據等原始數據。這些監測數據并不提供能夠表現出現成的價值信息。只有通過大數據處理的工具和手段，利用大數據處理軟件強大計算分析能力，對當前采集的無線電監測數據進行價值“提純”，才能夠充分挖掘出無線電監測數據的潛在價值，發揮無線電監測數據效能，為無線電管理提供有力支撐。

2.1 網格化監測網的數據特點

網格化監測網主要是指在各網格化節點（網格化節點是指分布在各區域的監測站點）之間相互連接，統一采集數據并傳送給一個存儲終端的監測網絡架構。各網絡節點之間相互獨立，其中各節點預存數據格式相同具有相關性，通過4G、光纖等網絡傳輸方式，將數據統一存儲在一個更為集中的存儲終端中，在這種終端中對各種數據進行相關性處理，根據監測要素的各項要求呈現無線電分析數據，使的無線電監測任務在各個區域采集的數據能夠得到集中處理，集中呈現，便于進行無線電管理。網格化監測網的突破在于打破了傳統監測網上各固定監測點采集的數據之間不具備相關性或者只有弱相關性，無法進行相關性分析。網格化監測網運用GPS同步技術，將網格化節點采集到包括時間、坐標等的多維數據，通過大數據分析的算法和模型進行深度挖掘，可以有效提高數據使用價值。

2.2 原始數據的采集系統

無線電監測數據的采集是網格化監測數據庫建立的最基本要素，建設科學合理的原始數據采集系統是進行大數據分析之前重要的基礎性工作，監測數據的采集需要掌握的原則包括：（1）針對監測數據采集的方式要確保一致性，監測數據的存儲準確性，盡量避免虛假信號和不確定性信號的產生；（2）針對不同的業務頻段，制定不同的相監測數據采集工作規范，保證采集所得的監測數據的具有科學有效性；（3）針對測量參數的設置，應當根據監測地點、時間、業務內容，使用合適的數據采集策略，選擇恰當的測量參數，運用智能化匹配手段，保證采集到的數據可以進行針對性的挖掘分析。

2.3 數據的預處理系統

監測網數據量很大，動輒就是上10G，數據傳輸難度較大，因此在數據采集端進行數據預處理實屬必要。數據預處理系統可以減少數據的傳輸壓力，保證監測網的傳輸有效性，預處理系統應遵循以下原則：（1）預處理系統應具有兼容性，能夠支持各種設備采集的數據格式，能夠存儲成大數據處理終端所需的數據類型；（2）預處理系統應具有對原始數據進行初步篩選和過濾的功能，可以提前去除無效、異常數據，避免垃圾數據的產生。一方面降低網絡負荷，另一方面保證大數據處理終端所需的數據有效性；（3）預處理系統應具有對數據進行初步整合的能力，對大量監測數據進行預處理，減少大數據處理終端的數據分析量。（4）預處理系統應預置合適的處理算法，根據不同需求選擇合適的算法策略，提高數據處理速度，實現整個監測網絡大量數據的快速處理。

3 網格化監測網海量數據存儲及處理

監測網各監測站點本地存儲設備的利用率低，存儲資源不能被合理、有效利用，面對全天候的大數據存儲和分析過程中面臨的困難，無線電網格化監測網業務系統需建立具有智能化和安全特性、并能夠與當前的業務環境同樣靈活、動態的云存儲環境。通過這樣的云存儲環境，靈活應對業務變化，探索監測網海量數據存儲和處理方法，從而提高無線電管理效率。

3.1 監測數據分級存儲

監測數據傳統的在線存儲方式需要配置大容量本地一級硬盤，這樣存儲數據一方面存在投資大，管理復雜的問題；另外一方面大部分監測數據訪問率并不高，卻占據大量硬盤空間，不僅浪費資源同時造成訪問速度下降的問題。監測網數據存儲主要分為實時數據存儲和統計分析數據存儲兩大類，實時數據占用空間最多，實際使用的數據量較少，冗余現象突出。隨著監測網規模的不斷加大，這種資源的浪費不斷攀升，結合當前實際需要，進行監測數據分級存儲可以有效的節省資源，最大限度發揮監測網效益。

針對無線電監測網采集的海量數據，可以對存儲要求進行分級規劃，不同節點處理不同數據，重視數據的本級處理，降低監測數據的傳輸量，減輕本地存儲設備的存儲壓力，提高數據的訪問速度。按照業務需要和應用分級在不同的時間周期不同的位置節點對存儲服務的要求進行動態靈活的調配，滿足監測網不同階段不同范圍內對存儲服務的要求。從建設分級存儲設施出發，對不同類型不同節點的存儲資源進行區分不同方式存儲，例如預處理系統中將存儲一部分IQ原始數據，預處理分析后的統計數據傳輸到大數據處理終端存儲，實現分級存儲，做到存儲全面，突出重點，以滿足不同級別應用的存儲需求。存儲資源規劃結合無線電管理業務的實際情況從業務系統層面、資源平臺層面、服務提供三個層進行統一規劃管理，滿足無線電管理業務的集中管理、靈活分配。

3.2 監測大數據處理

監測數據分級存儲系統，可滿足日益增長的監測網數據存儲需求，實現數據共享、備份冗余的數據高可靠性和高可用性。監測大數據處理成為利用發掘監測數據內在價值至關重要的一環。監測數據處理需構建高性能、易擴展、高可用、統一指揮管理的監測數據處理平臺。（1）開發監測數據統計分析軟件。強大的統計分析軟件旨在最大限度地挖掘大數據的價值，監測網統計分析系統具備頻域分析、時域分析、信道占用度統計、信道占用度比較、信號強度分析、信號強度比較、頻段占用度分析、空間域分析、占用度測量表、電磁環境報告、臺站核準、頻率標注、監測月報、全景圖、監測站全景分析等功能，支持按小時、按天、按天自由時間段、按天24小時、按月的多種統計模式，便于從各種角度對監測數據進行匯總分析和深入挖掘，最終及時掌控無線電頻譜資源的使用情況及變化態勢。此外系統具備強大的報表功能，支持數據和圖表的導出，以及模板導出、自定義選項導出、過濾導出。（2）建立新信號模型特征檔案。隨著無線應用領域的快速發展，出現非常多的新技術、新設備，給不明信號查找和干擾查處帶來了相當大的困難，建立新信號模型特征檔案可以對這種現象加以預防和監督。不同無線電業務發射的無線電信號具有各自獨特的特征屬性，就像指紋一樣，各不相同，是查找分析不明干擾的直接手段。通過提取信號譜圖、音頻特性、占用帶寬、調制式、尋址方式等的不同信號特征，并對其信號特征及相關參數進行標注和描述，建立一個包含各類型新信號的頻譜特征樣本庫。為監測網自動識別定位無線電干擾提供了技術手段，同時也為監測技術人員進行認知無線電研究奠定基礎。（3）開展電磁環境分級分類評估。通過無線電監測網能夠對某一特定區域和特定業務頻段進行實時的監管分析，隨時掌握各業務頻段占用情況、背景噪音強度及變化趨勢，可以做到根據需要對相關頻段發出預警或發布電磁環境通報。結合電子地圖平臺和臺站數據庫，電磁環境評估系統可以對任意時段的監測數據進行抽取、疊加、分析，完成各種形式的電磁環境顯示和不同時間段、不同地點、不同頻段的電磁環境比較等；可以以直觀的形式展現頻率在各個地理區域的使用情況，進行模擬場強分析和顯示；可以結合地理信息系統和EMC分析系統來展示無線電“頻譜資源地圖”的全貌和細節，為政府科學決策提供依據。

4 總結

無線電網格化監測網統計分析的強大功能和多樣的統計模式便于從各種角度對監測數據進行匯總分析和深入挖掘，通過對監測數據的深化挖掘和利用，可以獲取更多準確、科學、有價值的監測數據統計分析結果，有助于無線電管理部門及時掌控當前區域內無線電頻譜資源的使用情況。通過不斷實施無線電監測，持續積累電磁頻譜監測數據，通過云計算、大數據分析等技術手段對監測數據進行更加科學合理的數據分析，有助于無線電管理部門規劃使用區域內的頻譜資源，提高頻譜資源的利用率，發揮頻譜資源的潛在價值。通過搭建無線電監測大數據處理平臺，建立新信號特征庫，不斷進行電磁頻譜態勢分析，將充分利用無線電監測網協助無線電技術人員查處無線電干擾、評估電磁環境情況，保障區域內無線電電波秩序正常有序，并在其基礎上科學的分析電磁頻譜資源與社會經濟發展的內在關系，能夠不斷增強無線電管理工作為社會經濟發展保駕護航的能力。

[1]王軍，黃炬，馬有廠，等.大數據時代的無線電監測[J].中國無線電，2014（4）：55-58.

The research of radio monitoring big data processing methods

Shi Diankun

Shenzhen Radio Monitoring Management Station，Shenzhen，Guangdong 518000

Radio monitoring data is the core of the radio management，scientific and reasonable analysis of radio monitoring data processing help strengthen the radio management level.Radio monitoring network is collection of radio signals，and amount of monitoring data is very large，with large data analysis and mining method of radio monitoring data processing is an effective way.In this paper，combined with the characteristics of the monitoring data，we have made great efforts in the research of large data processing method of radio monitoring.The construction of the grid database is the foundation to guarantee the scientific and reasonable storage of data.The monitoring data acquisition and preprocessing are the core，and the monitoring data is accurate.，The effective transmission； according to the business needs of the pretreatment of monitoring data storage and processing is a means to help identify the value of targeted monitoring data.

big data； radio monitoring；meshing；data base

TP311.13；TN98

A

1009-6434（2016）12-0051-03