機器學習在頻譜大數據分析與處理上的應用*

史 通，王 潔，羅 暢，肖 軍，王世強

（空軍工程大學防空反導學院，西安 710051）

0 引言

在當今這個科技飛速進步的世界，各個領域產生的數據正在以前所未有的速度爆炸式擴增。大數據（big data）的概念便應運而生。然而大數據的定義不一而足，視特定場景而定。全球知名咨詢公司麥肯錫給出的說法是“超越典型數據庫軟件工具所能獲取、存儲、管理和分析的數據集［1］”。

大數據的特點首先在于“大”。那么，大數據到底有多大呢？互聯網數據中心報告預測，近幾年的全球總數據量將從艾字節（exabyte，EB，1EB=1018B）向澤字節（zettabyte，ZB，1ZB=1021B）乃至更高的數量級增長［2］。但是大數據的價值更多地體現在隱藏于“冰山一角”之下的待開發、待挖掘的信息資源。只要得到充分的開發與挖掘，大數據就是一座無窮的寶藏。因此，大數據在世界范圍內受到了越來越多的關注，大數據的浪潮正在席卷全球。

傳統的方法已經無法分析與處理如此龐大又復雜的數據。如何用更加智能、深度、便捷的方法來“學習”大數據成為一項亟待解決的挑戰。

學習是一種獲取知識與技能以達到提升自我能力的行為方式。一般認為，機器學習是通過創建一個計算系統，使其不斷地從大量的知識中學習經驗，并自行改善計算性能，更好地執行下次任務。那么，大數據顯然就成為了機器學習的“營養豐富的食糧”。

近年來，機器學習的新理論不斷被提出，大數據的采集傳輸技術發展迅速，計算機的性能也得到極大提升等等，這些因素都不斷推動著機器學習進一步發展［3］。機器學習已經在語音識別、圖像識別、數據挖掘、機器人控制等諸多領域取得了顯著的進展。

1 頻譜大數據

無線通信作為通信的主要方式，技術成熟且未來發展空間巨大。顧名思義，無線通信是數據不通過實體線纜傳輸的一種通信方式，它是通過頻譜在9 kHz到300 000 GHz之間的電磁載波來進行數據傳輸的。

每一種無線業務都對應于無線頻譜中的某一特定的區域?，F存的無線業務已經能夠產生海量的頻譜數據，社會的不斷進步更使得頻譜數據的廣度和深度不斷擴增。頻譜大數據（big spectrum data）的存在已成事實。頻譜大數據是指超越典型的頻譜數據軟件工具所能分析與處理的，反映電磁頻譜空間狀態、演化及其規律的海量的復雜的頻譜數據集，主要包括以下幾個方面［4］：

1）頻譜狀態數據，比如在不同時間、不同空間、不同頻率時，信號表現出來不同特征，所產生不同的頻譜狀態數據。

2）用戶相關數據，比如用戶的地址數據，用戶發送與接收的數據，用戶所用設備的狀態數據等等。

3）環境相關數據，不僅包含自然環境數據，如天氣、地形數據，還包括電磁環境數據。

以上種種所體現出的頻譜大數據的特點可以概括為4個關鍵詞——大量（Volume）、高速（Velocity）、多樣（Variety）、價值（Value）。

但是，可以看到，9 kHz到300 000 GHz之間的頻譜范圍是有限的，需求的激增使得無線頻譜資源越來越稀缺，越來越珍貴。因此，面對有限的頻譜資源和無限的頻譜大數據，如何根據頻譜大數據的特點有效挖掘出其中有價值的信息，并以此作出正確決策，達到提高頻譜資源利用率的目的，這一問題受到了廣泛的關注。而在大數據分析與處理兩個方面都有突出表現的機器學習方法順理成章地成為大家關注的焦點。

2 頻譜大數據分析的機器學習方法

頻譜大數據分析就是從具有大量性、高速性、多樣性、價值性的頻譜數據中充分挖掘出蘊藏其中的有用信息，獲取統計特性，學習潛在規律。針對頻譜大數據不同的特性，需要運用特定的機器學習方法。

2.1 大量性與分布并行學習

大量性是頻譜大數據最基本的一個屬性。單以無線頻譜狀態數據為例，假設1 s時間內在一個1 m3的空間中可以感知到0～1 kHz頻率范圍內的頻譜能量值為1字節，那么1 h時間內在1個1 km3的空間中，可以感知到0～1 GHz頻率范圍內的頻譜能量值將達到

由此可以看出，無線頻譜的狀態數據能夠在時間、空間、頻率這三大方向都得到進一步擴大，使得數據規模激增。如果再把用戶相關數據和環境相關數據考慮在內，那么頻譜大數據的規模將向更高的數量級擴大。

傳統數據處理的方法是將小數據集中式存儲于一個工作站中，再進行串行化計算。當面對大數據時，這種方法難以在所要求的時間內完成必要的計算。為應對頻譜大數據的大量性，一個典型策略就是對數據進行分布式存儲并行化計算，這就是分布并行學習（distributed and paralleled learning）［5］。分布式存儲是空間上的分布，通過構建相互連接與通信的計算機網絡系統，將頻譜大數據分區成多個小塊，由多臺計算機分別存儲，卻又可以共享資源，以平衡計算負載；并行化計算是時間上的并行，對離散的數據塊同時進行計算，隨時并及時在最適合的計算機上運行最適合的程序，以快速解決大量且復雜的計算問題。分布并行學習的結構如圖1所示。

圖1 分布并行學習結構圖

而分布并行學習的諸多方法中最具代表性的要屬近幾年十分火爆的云計算（cloud computing）。云計算是分布并行學習方法在互聯網與物聯網時代的再發展，它是綜合了多種計算機網絡技術的一大新生品［6］。

2.2 高速性與極速學習機

數據以極快的速度發送、傳輸和接收，這就要求計算機具有高速的、實時的處理能力。以無線網絡為例，由于頻譜環境的動態變化，高速的數據處理有助于推斷頻譜演化態勢，是頻譜預測和決策的重要前提。若數據處理的耗時大于頻譜狀態改變的時間，那么時延會使分析結果不再適用，預測結果也將毫無意義，更嚴重的是如果由此產生了不正確的判斷與決策，那么會使得頻譜的使用情況出現紊亂，降低其利用率，致使頻譜資源更為緊張。因此，為應對頻譜大數據的時間敏感性，高速實時的數據處理技術很值得關注與研究。

傳統的方法使用梯度算法來訓練學習網絡，并且迭代調整網絡中的所有參數，使得其速度遠遠不能滿足實際需要。文獻［7］中提出的極速學習機（Extreme Learning Machine，ELM）算法有效地解決了學習時間長這個問題。該算法其實就是一種前饋神經網絡的學習算法，整個網絡的結構十分簡單，只有3層——輸入層、一個中間隱層、輸出層。整個學習過程一次完成，無需迭代，因而能達到極快的學習速度，能夠滿足頻譜大數據高速性的需求。

但是，在實際應用中，由于新數據不斷添加，ELM算法會把舊數據和新數據統一訓練，時間消耗變得越來越大。而文獻［8］就極具創新性地提出了新數據有序添加，舊數據學完拋棄的在線序列ELM算法，這種算法使得時間消耗降低，提高了計算速度。

當然，算法在不斷改進，硬件方面也在不斷突破。圖形處理器（Graphic Processing Unit，GPU）平臺也是采用了分布架構，并行編程的這種方式，大大提高了計算能力，縮短了計算時間。將ELM算法應用于上述的GPU平臺，更能極大地提高數據實時分析的速度。

2.3 多樣性與核學習

不同的分類依據可以將頻譜大數據分成很多類別，比如數據的來源、數據的結構、數據的時間性以及數據的相關性等，如表1所示。這么多的類別很好地體現了頻譜大數據的多樣性。以數據的相關性為例，直接頻譜數據主要是指頻譜的占用情況、頻譜質量、噪聲與干擾等；間接頻譜數據包括時空信息、用頻設備數據、裝備干擾關系等。

表1 頻譜大數據的分類

對于頻譜大數據的多樣性，傳統的數據處理方法往往因為自身局限性而顯得力不從心，需要有更加智能的數據處理技術來識別分類，進而分析處理。

針對此問題，廣泛應用于分類算法的核學習（kernel learning）受到了人們的關注。核學習方法的核心在于核函數，該函數可以把最原先混雜的數據映射到高維的空間中，進行非線性函數的線性化處理，使復雜問題簡單化，從而完成多樣化數據的區分。

這樣的方法用在頻譜感知的相關研究中，在非線性的頻譜數據融合，以及映射后的高維空間的數據聚類等問題上表現十分突出，能夠提高監測結果的準確率［9］。隨著算法的不斷完善與突破，多重核學習、加權核學習等延伸出的新算法的數據分析能力得到了進一步的加強。

2.4 價值性與深度學習

大數據的挖掘在于得到隱藏其中的，有重要意義的信息。然而，由于數據的大量性、高速性和多樣性，在數據發送、傳輸和接收的整個過程中，難免存在干擾、模糊、錯誤、丟失等現象，使得最終所得的數據價值密度較低。頻譜大數據的價值密度較低主要是因為在相鄰的時間、空間、頻率采集到的數據樣本存在較大的冗余［10］。

頻譜大數據的價值密度較低這一特點，給數據挖掘和信息提取帶來了更加具有挑戰性的工作。這就要求所采用的學習算法不能只浮于表面，要更加深入地進行數據挖掘，只有這樣才能充分發揮大數據的價值。

深度學習（deep learning）是傳統的淺層學習（shallow learning）深度化的結果。傳統的淺層學習模型在輸入層和輸出層之間通常不包含或者只包含一兩層隱層單元，其模型如圖2所示。神經網絡中所包含的隱層單元通常被視為數據的特征表示。淺層學習雖然也能夠完成數據的學習，但是有一定的前提，它需要輸入經過專家預先選擇的優秀特征，這個前提就成為影響整個系統性能的關鍵因素，如果特征選擇好，那么學習效果就好，系統性能就好。

圖2 淺層學習模型圖

與傳統的淺層學習算法進行比較，深度學習有以下兩點不同［11］：1）強調模型結構的深度，著重建立具有類腦神經多隱層結構的計算模型；2）著力于數據特征的自我學習，對每個隱層都進行初始化，生成新的特征，最終將原始特征變換成能夠對數據的原始特征產生本質刻畫的高級特征。深度學習模型如圖3所示。

圖3 深度學習模型圖

目前，在深度學習的研究領域，特征學習算法對于標記數據的分析與處理已經十分成熟了。而真實世界中存在著諸如頻譜大數據這類的無標記數據。所以，對無標記數據的特征學習以及自動添加標簽技術的研究必將越來越受到重視。

綜上，面向頻譜大數據的分析，討論了對應其大量性的分布并行學習方法、高速性的極速學習機方法、多樣性的核學習方法、價值性的深度學習方法，如表2所示。

表2 頻譜大數據分析的機器學習方法

3 頻譜大數據處理的機器學習方法

頻譜大數據處理是相對于頻譜大數據分析而言的，旨在對數據分析的結果進一步利用，就是依據獲得的統計特性、學到的潛在規律，推斷頻譜演化態勢，作出正確的頻譜預測和決策。下面將介紹兩個側重點略有不同的用于頻譜大數據處理的機器學習方法。

強化學習（reinforcement learning）的思想可以簡單描述為獎懲機制，即對象在環境的獎勵或懲罰的刺激下，學會自主決策以獲得更多的獎勵。

強化學習的基本模型如圖4所示。對象與環境的互動可以描述為：對象根據當前狀態，作出動作A，與環境發生交互，環境產生下一個狀態S的同時向對象反饋一個獎懲信號R作為強化信號，對象再結合當前的狀態和收到的反饋信號作出下一個動作，作出動作的依據是這個動作更有可能使得環境向對象反饋一個獎勵信號，也就是正強化信號。

圖4 強化學習模型圖

在頻譜大數據處理過程中，由于頻譜狀態時變，環境條件未知等因素，邊學邊用邊完善的強化學習方法在決策問題上有很大的優勢，比如可以根據信道的實時使用情況進行適當的調整，選擇最優的網絡，以提高頻譜的利用率［10］。

博弈學習（game learning）是指若干個對象都有各自的目標，對象相互之間不斷作出被允許的行為策略，最終產生各自的所得與所失。其過程可以描述為：第1步，先分辨出若干個交互對象的狀態；第2步，將其分成自己想要合作和想要競爭的兩個族群，這兩個族群能夠隨機選擇行動策略；第3步，提出兩個相反的學習概率：P1是想要合作的族群向想要競爭的族群學習的概率，P2是想要競爭的族群向想要合作的族群學習的概率；第4步，假使經過逐步作出的行為策略，通過合作能夠達到一種動態平衡，那么P2會越來越大，而P1會越來越小，即結果選擇合作的群體規模越來越大，最終就會達到較好的均衡。

博弈學習目前已經成為認知無線電（Cognitive Radio，CR）領域的重要方法之一［12］，該方法可以完成類似頻譜拍賣的資源管理項目，也可以完成實時信道調整，選擇最優網絡的資源優化項目。

4 結論

本文介紹的幾種機器學習方法只是管中窺豹，略見一斑，能夠應用于頻譜大數據分析與處理的機器學習方法還有很多。

當然，實際應用中，肯定不是某一特定方法的單獨使用，也不可能是所有方法的堆疊使用。面對眾多的機器學習方法，要對癥下藥，選擇最合適的方法去解決針對性的問題；要集約高效，講究多種方法的有機融合，相輔相成。比如，建立機器學習方法庫，可供數據分析與處理系統訪問。這就給頻譜大數據分析與處理的智能系統樹立了更高的目標。

另外隨著科技的不斷進步，5G移動網絡、微型平臺系統、個人數據隱私、涉密數據傳輸等問題都對通信領域的機器學習方法提出了更廣泛、更嚴格的要求。比如，在智能手機、平板電腦等移動終端越來越普及的今天，機器學習應用于類似的微型平臺是必然的發展趨勢，這就需要對規模更小，速度更快，又對計算性能要求較低的機器學習方法進行更深入的研究。

總之，機器學習領域還有很長的路要走，更加智能、高效、便捷的機器學習方法有待在今后的實際工作和研究中繼續探索。