強化學習在協作頻譜感知中的應用

摘 要：針對隨著節點數量的增多，多節點協作頻譜感知（Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ，ＣＳＳ） 會產生大量本地數據，導致能耗變高和全局決策延遲的問題，提出節點評估與選擇（Ｎｏｄｅ Ｅｖａｌｕａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ，ＮＥＳ） 和網格搜索（Ｇｒｉｄ Ｓｅａｒｃｈ，ＧＳ） 的強化學習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＲＬ） 算法。通過ＮＥＳ 算法在融合中心（Ｆｕｓｉｏｎ Ｃｅｎｔｅｒ，ＦＣ） 實時更新協作用戶的信任值，對信任值大小進行排序，根據設定的閾值，阻止惡意用戶（Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ，ＭＵ） 參與ＣＳＳ。通過基于ＧＳ 的ＲＬ 機制對處理后的數據進行標記，把信噪比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ，ＳＮＲ） 和信任值作為輸入參數，搜索出所有可能的參數組合。在相同環境參數時，ＦＣ 可以直接調用該環境下的節點，不需要再重新進行感知操作，如果有新用戶加入時通過改變參數的范圍重新搜索，新用戶可以模仿其他用戶ＲＬ 的經驗，從而獲得更加快速的信道占用情況。仿真結果表明，該方法與其他算法相比，在提高檢測概率的同時，降低了能耗，減少重復計算的時間，解決了全局決策延遲的問題。

關鍵詞：協作頻譜感知；認知無線網絡；融合中心；網格搜索；強化學習

中圖分類號：ＴＮ９２５ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０６－１３４６－０９

０ 引言

隨著５Ｇ 進入商業階段，云計算、網絡功能虛擬化和軟件定義網絡概念的快速革命［１］，人們已經開始６Ｇ［２］移動通信的研究，在６Ｇ 網絡中不再局限于傳統的地面蜂窩架構，正在向地面－水下－空中－空間混合網絡發展。６Ｇ 的頻譜研究將集中在擴展頻譜資源、頻譜共享與動態分配、智能頻譜管理等方面，以滿足未來移動通信的需求，并提供更快速、可靠和高效的連接體驗。認知無線電（ＣｏｇｎｉｔｉｖｅＲａｄｉｏ，ＣＲ）系統是針對射頻環境中頻譜稀缺［３］問題提出的一種解決方案，主要提高頻譜的整體利用率。頻譜感知是通信期間，次用戶（Ｓｅｃｏｎｄａｒｙ Ｕｓｅｒ，ＳＵ）利用未使用的主用戶（Ｐｒｉｍａｒｙ Ｕｓｅｒ，ＰＵ）頻譜［４］，實現頻譜共享、頻譜動態分配和干擾檢測等功能。由于地理位置對頻譜感知的影響，單節點的感知精度低，而多節點協作頻譜感知（Ｃｏｏｐｅｒａｔｉｖｅ ＳｐｅｃｔｒｕｍＳｅｎｓｉｎｇ，ＣＳＳ）可以克服由于多徑衰落和陰影導致的頻譜感知性能下降的問題。因此，在認知無線電網絡（Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋ，ＣＲＮ）中，ＣＳＳ 是一種被廣泛使用的感知技術，可以成功地提高感知精度［５］。但隨著感知節點數量的增加，ＣＲＮ 中全局決策實時性降低且能量消耗也隨之增加。

在ＣＳＳ 中，一些惡意節點可能會參與到頻譜感知中，從而混淆檢測系統，也可能因為傳感設備錯誤或信道噪聲，一些節點會向融合中心（ＦｕｓｉｏｎＣｅｎｔｅｒ，ＦＣ）發送不正確的結果，這些節點會干擾ＣＳＳ。為了實現高效的頻譜感知，檢測惡意用戶（Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ，ＭＵ）是一個具有挑戰性的問題，許多研究人員一直在研究這個問題［６］。文獻［７］設計了一種以信譽值為基礎的拍賣算法，用于分配感知收益。該算法不僅確保感知收益公平分配，降低了算法復雜度，還可以促進更多群智感知（Ｃｒｏｗｄ Ｓｅｎｓｏｒｓ）參與感知任務。利用區塊鏈的去中心化和去信任化特性，提高了頻譜感知的穩定性和可靠性。然而，該算法在考慮報價策略時沒有考慮到環境的變化以及Ｃｒｏｗｄ Ｓｅｎｓｏｒｓ 在能量消耗方面的影響。文獻［８］提出了一種雙自適應閾值技術，以增強其信譽計算算法的魯棒性。該技術計算每個用戶的信譽分數，并計算一組可疑用戶，利用自適應閾值對這組可疑用戶執行第二信譽計算。未通過此雙重檢查的可疑用戶將被歸類為最終ＭＵ，同時在感知用戶數增多時整個感知過程計算量也在變大。文獻［９］提出了一種稱為頻譜感知策略選擇的新算法，以協作或獨立的方式選擇更好的感知策略。為了推導節點頻譜狀態的最大后驗估計，通過基于圖割的ＣＳＳ方法構建了拓撲信息成本函數和感知結果成本函數。把信譽值應用于評估ＣＳＳ 和獨立感知的性能，以最大限度地降低選擇性能較差的感知方式的概率。文獻［１０］提出了一種基于強化學習（Ｒｅｉｎ-ｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ，ＲＬ）的協同頻譜感知方案，用于ＳＵ 確定信道掃描順序和選擇合作伙伴進行協同頻譜感知。通過Ｑ-ｌｅａｒｎｉｎｇ 方法，每個ＳＵ 學習主要通道的占用模式，以生成動態的掃描優先列表，從而降低掃描成本并減少訪問延遲。然而沒有考慮阻止置信度低的用戶參與協作感知，使其能耗偏高。文獻［１１］提出的混合方案將差分進化（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｅ-ｖｏｌｕｔｉｏｎ，ＤＥ）優化方案與基于機器學習的增強樹算法相結合以減輕ＭＵ 在ＣＳＳ 系統中的影響，根據使用ＤＥ 的ＳＵ 確定優化閾值和系數向量用于訓練增強樹算法，從而獲得可靠的感知結果。雖然檢測概率得到了提高，但感知時間和能量消耗的成本也在變大。在文獻［１２］中，ＦＣ 根據從所有ＳＵ 接收到的硬二進制決策進行全局決策。遺傳算法（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ，ＧＡ）采用一對多鄰居距離和ｚ-ｓｃｏｒｅ 作為適應度函數，在有ＭＵ 的情況下通過選擇和交叉來識別最佳感知結果，該方案能夠在不識別ＭＵ 的情況下避免ＭＵ 在ＣＳＳ 中的影響，但整個網絡的能量消耗也在增高。

針對以上問題，提出了節點評估與選擇（ＮｏｄｅＥｖａｌｕａｔｉｏｎ Ｓｅｌｅｃｔｉｏｎ，ＮＥＳ）算法剔除信任值低的節點（ＭＵ），選擇信任值高的節點（可靠節點）參與ＣＳＳ，從而在保證檢測性能的情況下減少了能量的消耗。提出基于網格搜索（Ｇｒｉｄ Ｓｅａｒｃｈ，ＧＳ）的ＲＬ，在出現相同環境參數時，ＦＣ 可以直接調用當前節點，而無需再次進行感知操作，從而減少數據的處理，提高全局決策的實時性。

１ 系統模型

１． １ ＣＳＳ 模型

建立了由一個ＰＵ 和若干個ＳＵ 組成的模擬ＣＲ模型，各節點通過ＦＣ 通信，ＦＣ 通過各節點信息判斷ＰＵ 通道是否空閑。ＣＲＮ 模型如圖１ 所示。

１． ２ 能量檢測模型

在頻譜感知中，每個ＳＵ 獨立執行一個能量檢測［１３］過程。這是因為能量檢測操作簡單，且不需要ＰＵ 的先驗信息。第ｊ 個ＳＵ 接收到的信號確定如下：

式中：ｑｎｊ是前一感知周期中第ｊ 個節點的信任值，ｑｎ＋１ｊ 是第ｊ 個結點的當前信任值，ｖ 是前一周期的綜合返回值，τｎｊ是前一個周期的綜合校正系數，Φ 是加權因子，值?。?或０。Φ 的值?。?的次數越多時，能量利用效率越高。反之，表明需要調整感知節點以提高感知性能和能耗指數。

調整感知節點的數量，再調用信任值大于閾值的節點參與ＣＳＳ，這里的閾值設置為信任值的平均值，當信任值大于等于平均值時節點是可靠的，當信任值小于平均值時節點是不可靠的，公式為：

ｑａｖｅ ＝ ｑｍａｘ ＋ ｑｍｉｎ／２ 。（２０）

ＮＥＳ 算法流程如算法１ 所示。

３ 基于ＧＳ 的ＲＬ

３． １ ＧＳ

ＧＳ［１５］是指事先在給定的超參數空間中定義一組候選超參數，然后進行排列組合，形成一個超參數的“網格”，按照“網格”依次搜索超參數空間中的各個組合。ＧＳ 的好處是能夠對所有可能的參數組合進行搜索?？梢允褂盟阉鱽慝@得信任值可靠的節點ｑｊ，為了提高搜索效率，進行了ＧＳ。訓練搜索后的參數包括ＳＮＲ 和信任值，其中設置ＳＮＲ ∈（－２０，－１０）ｄＢ，ｑｊ ∈（０． ５，１）。通過搜索把這些信息作為先驗知識保存到知識庫中。ＧＳ 的過程如下：

① 當ηｉ 出現時，ＦＣ 將進行實時搜索，從而獲得ｑｊ，并得到對應的Ｐｄ。其中ηｉ 是第ｉ（正整數）個出現的ＳＮＲ，如果ＳＮＲ 是新出現的，就設置新的參數重新搜索。最后搜索的結果將在Ｐｄ 和ｑｊ 返回時輸出。此外，ｑｊ 和ηｉ 將成為ＦＣ 搜索的先驗知識，搜索得到的數據存儲庫Ω 為：

Ω ＝ ｆ（ｑｊ，ηｉ）， （２１）

式中：ｆ 是一個搜索函數。

② 當ηｉ 不是新出現時，ＦＣ 將利用學習的知識直接選擇ｑｊ：

ｑｉ ＝ ｆ －１（ηｉ，Ω）。（２２）

③ 在ηｉ 下，形成ｉ×ｊ 的網格，ｉ 是所設的ＳＮＲ 的步長，ｊ 是節點數，步長都為１。

④ Ｐｄ，ｊ 是第ｊ 個網格的節點檢測概率，一直增加到所參與的協作的節點數，或當Ｐｄ，ｊ ＝ １ 時停止搜索時；否則將繼續搜索。

⑤ 當實時搜索完成時，會得到概率Ｐｄ 的集合和相應的ｑｊ：

３． ２ ＲＬ 的過程

ＲＬ［１６］是一種機器學習方法，主要包括環境和智能體（ａｇｅｎｔ）兩部分。而Ｑ-ｌｅａｒｎｉｎｇ 在ＲＬ 方法中經常被使用，其中處于狀態ｓ 的智能體通過采取動作ａ 來與環境交互，目的是從行動的結果中學習環境。根據結果，智能體獲得獎勵值ｒ（ｓ，ａ），并更新Ｑ值。在每個時間點ｔ，智能體可能處于特定的狀態ｓ，并且可以根據其在之前迭代中的學習選擇一個動作。Ｑ-ｌｅａｒｎｉｎｇ 的歷史可以用狀態－動作獎勵序列表示：＜ｓ０，ａ０，ｒ１，ｓ１，ａ１，ｒ２，ｓ２，ａ２，ｒ３，ｓ３，ａ３，ｒ４，ｓ４，ｓ４，… ＞，智能體在狀態ｓ０ 時采取行動ａ０ ，并獲得獎勵值ｒ１ 。之后，進入狀態ｓ１ ，以此類推。智能體從狀態－行動－獎勵歷史中學習。一種狀態－行動－獎勵的經驗（＜ｓ，ａ，ｒ，ｓ′＞）獲得回報值Ｑ（ｓ，ａ），同時按照貝爾曼最優化準則進行Ｑ 值的更新來選擇下一步動作，表達式為：

Ｑｔ＋１（ｓ，ａ） ＝ （１ － α）Ｑｔ（ｓ，ａ）＋α｛ｒｔ（ｓ，ａ）＋ ξｍａｘ［Ｑｔ＋１（ｓ′，ａ′）］｝，（２４）

式中：學習因子α 和折損因子ξ 取值都為（０，１），當α 接近于０ 時，智能體從狀態－行動－獎勵過程中學到的很少，歷史占主導地位。如果環境是確定的，則α 的最優值為１。

在ＧＳ 后將ＲＬ 的理論運用ＳＵ 的狀態和環境的學習。將ＳＵ 比作ＲＬ 中的智能體［１７］學習信道占用的模式，ｓｔ 表示信道的狀態，在ｔ 時刻信道是否被ＰＵ 占用。當ＳＵｊ 出現時，通過掃描信道（ｃｉ ）來采取行動。使用Ｑ 學習方法，獲得獎勵值ｒｊｔ（ｓｔ，ｃｉ ）在時間ｔ 下信道的狀態：

式中：ｓｊ（ｃｉ）＝ １ 表示信道空閑，ｓｊ（ｃｉ）＝ ０ 表示信道繁忙，ωｊｔ（ｃｉ）與式（７）一致表示權重。于是節點ｊ 在信道狀態ｃｉ 時Ｑ 值的更新為：

Ｑｊ（ｓｔ＋１ ，ｃｉ）← （１ － α）·Ｑｊ（ｓｔ，ｃｉ）＋α·｛ｒｊ（ｓｉ，ｃｉ）－ ξ（ｅ－τｍ ）｝， （２６）

式中：τ 表示（０，１）的常數，ｍ 表示ＳＵ 第ｍ 次掃描信道。信息融合與前面的Ｅｚ 一致，信道的判決結果如下所示：

在融合階段結束時，得出ｍ 個協作用戶的測量值，將測量值存放于矩陣Ｚ 中。當ＣＲ 環境與存儲矩陣Ｚ 的數據一致時，ＲＬ 采用直接從動作空間Ａ 中選擇適當的動作來更新函數值，通過持續的迭代更新獲得最優動作ａ* ，從而選出參與協作感知的用戶。如果有新用戶加入到ＣＲ 環境中，就需要重新設置網ＧＳ 的參數，在原來的矩陣擴充第ｍ＋１ 維數，協作結束時，將協作結果廣播到所有協作用戶。在矩陣Ｚ 中的第一列表示信任值可靠的節點Ｑｊ，第二列表示ＳＮＲ 的值。每行表示通過在特定無線電環境中執行ＧＳ 的ＲＬ 算法找到參與協作的節點。

在ＦＣ 完成ＧＳ 的ＲＬ 后，獲得的矩陣Ｚ 表示如下：

算法結構框圖如圖２ 所示。

４ 算法仿真及分析

通過蒙特卡洛模擬進行實驗，在ＣＲＮ 中所有節點的仿真結果都超過了２ ０００ 次迭代，建模的ＣＲＮ中有８ 個輔助節點［１８］和３０ 個感知節點。在加性高斯白噪聲（Ａｄｄｉｔｉｖｅ Ｗｈｉｔｅ Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ，ＡＷＧＮ）的信道下，感知場景范圍為２００ ｍ，節點隨機分布，ＰＵ在場景的邊緣，所需的節點總數為３０（每１０ 個節點為ＳＮＲ ＝ －１２、－１０、－８ ｄＢ），８ 個輔助節點（ＳＮＲ ＝－８ ｄＢ），ＢＰＳＫ 信號功率為１００ ｍＷ，帶寬為１００ ｋＨｚ。在此仿真環境中，ＭＵ 在２ 種不同情況下進行設置：第一種情況，如果有５ 個ＭＵ，其中在ＳＮＲ ＝ －１２ ｄＢ 下有２ 個；第二種情況，如果有９ 個ＭＵ，在ＳＮＲ ＝ －１０ ｄＢ 下有４ 個ＭＵ。為了驗證本文算法的性能，將其與ＤＥ 和ＧＡ 進行比較。在考慮ＮＥＳ 時，設置９ 個惡意節點，在其他２ 種算法中，設置５ 個惡意節點，其他參數都相同。仿真場景如圖３ 所示。ＮＥＳ 與其他２ 種算法感知性能比較如圖４ 所示。檢測概率隨協作用戶數變化曲線如圖５所示。

從圖４ 可以看出，在ＳＮＲ 低于－１２ ｄＢ 時，ＮＥＳ算法的檢測概率高于ＤＥ 和ＧＡ 算法，這是因為ＮＥＳ算法考慮了ＣＲＮ 中ＭＵ 的存在，并阻止了ＭＵ 參與ＣＳＳ，所以使整個網絡具有更強的可靠性。當ＳＮＲ為－ １５ ｄＢ 時，ＮＥＳ 算法比ＧＡ 算法檢測概率高０． ４６。通過圖５ 可以發現，隨著協作用戶數的增加，３ 種算法的檢測概率都呈現增加的趨勢，在Ｍ ＜７０時，ＮＥＳ 算法檢測概率比ＧＡ 和ＤＥ 算法檢測概率高，這是因為ＮＥＳ 算法剔除了ＭＵ，參與協作感知的都是可靠用戶。

ＮＥＳ 算法與ＧＡ 和ＤＥ 算法在相同條件下的能耗對比，其他仿真實驗參數與上實驗相同，感知周期與能耗的變化曲線如圖６ 所示。從圖６ 結果可以看出，ｍ＜６０ 時隨著感知周期數的增加三者能耗都在增加，但ＮＥＳ 算法效果比ＧＡ 和ＤＥ 算法優益，但當感知周期數ｍ＞６０ 時，三者能耗基本趨于穩定，此時ＮＥＳ 算法與ＧＡ 算法能耗接近，但整個周期中ＮＥＳ算法比ＧＡ 算法節能效果好。

在ＮＥＳ 后，加入ＧＳ 算法與隨機搜索算法［１９］和固定－雙閾值算法［２０］作比較，如圖７ 所示。由圖可以看出，相同的ＳＮＲ 下，ＧＳ 算法的檢測概率比隨機搜索和固定－雙閾值算法都要高，在－１７ ｄＢ 時ＧＳ 算法比隨機搜索檢測概率高了０． １，比固定—雙閾值算法檢測概率高了０． １６。這是因為ＧＳ 算法可以在遍歷指定的參數組合時，保證在任何環境下可以找到最優的參數，而隨機搜索和固定－雙閾值會出現無效或者冗余取值的情況。

獎勵值隨協作用戶的數量變化曲線如圖８ 所示?？梢钥闯?，隨著協作用戶的增加獎勵值也在增加，在達到一定用戶數時收斂于１，這也符合協作感知的規律；協作用戶Ｍ＜６０ 時，ＧＳ 算法后的ＲＬ 獎勵值高于單獨ＲＬ 下的值，這是因為ＧＳ 算法得到了最優的協作用戶。圖９ 顯示了ＰＵ 在頻帶使用率不同時，Ｑ 值隨著時間的變化，ＰＵ 占用的頻帶越低Ｑ 值通常較高。此外，在感知期間隨著時間的推移Ｑ 值在減小，并在某個時間趨于穩定。不同ＳＮＲ 下感知時間比較如圖１０ 所示?？梢钥闯?，在相同ＳＮＲ 情況下，基于ＧＳ 算法的ＲＬ 比沒有ＲＬ 加入時感知時間更短，因此，提高了全局決策的實時性。如果沒有使用ＲＬ，那么每個頻譜感知過程都需要使用ＧＳ 算法來查找可靠的節點，這將導致感知時間增加。當ＳＮＲ 增加時，感知時間減少，這是因為隨著ＳＮＲ 的提高，存儲的信息更少，更容易做出判斷。

５ 結束語

提出了一種基于ＲＬ 的ＣＳＳ 算法。利用ＮＥＳ 算法解決了ＣＲＮ 中可能存在ＭＵ 參與ＣＳＳ 導致能量消耗高和感知精度低的問題；通過ＧＳ 的ＲＬ 算法解決了在相同ＣＲ 環境下重復計算的時間，減少了計算量，縮短了感知時間，提高了頻譜感知速度，為全局決策的實時性提供了保障，使頻譜動態分配成為可能。后續在此基礎上評估網絡的平均生存周期，根據仿真結果，對網絡模型和頻譜感知算法進行優化改進。

參考文獻

［１］ ＪＡＧＡＤＥＥＳＡＮ Ｎ Ａ，ＮＡＣＨＩＫＥＴＨＡＳ Ｂ ． ＳｏｆｔｗａｒｅｄｅｆｉｎｅｄＮｅｔｗｏｒｋｉｎｇ Ｐａｒａｄｉｇｍｓ ｉｎ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋｓ：Ａ Ｓｕｒｖｅｙ［Ｊ］． ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ，２０１４，４７（２）：１－１１．

［２］ ＪＩＡＮＧ Ｗ，ＨＡＮ Ｂ，ＨＡＢＩＢＩ Ｍ Ａ，ｅｔ ａｌ． Ｔｈｅ Ｒｏａｄ Ｔｏｗａｒｄｓ６Ｇ：Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｓｕｒｖｅｙ［Ｊ］． ＩＥＥＥ Ｏｐｅｎ Ｊｏｕｒｎａｌ ｏｆｔｈｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｏｃｉｅｔｙ，２０２１，２：３３４－３６６．

［３］ ＳＡＡＶＥＤＲＡ Ｅ，ＭＡＳＣＡＲＡＱＵＥ Ｌ，ＣＡＬＤＥＲＯＮ Ｇ，ｅｔ ａｌ．Ａ Ｕｎｉｖｅｒｓａｌ Ｔｅｓｔｂｅｄ ｆｏｒ ＩｏＴ Ｗｉｒｅｌｅｓｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ：Ａｂｓｔｒａｃｔｉｎｇ Ｌａｔｅｎｃｙ，Ｅｒｒｏｒ Ｒａｔｅ ａｎｄ Ｓｔａｂｉｌｉｔｙ ｆｒｏｍ ｔｈｅ ＩｏＴＰｒｏｔｏｃｏｌ ａｎｄ Ｈａｒｄｗａｒｅ Ｐｌａｔｆｏｒｍ ［Ｊ］． Ｓｅｎｓｏｒｓ，２０２２，２２（１１）：４１５９．

［４］ ＰＥＲＡＲＡＳＩ Ｔ，ＮＡＧＡＲＡＪＡＩＮ Ｇ，ＧＡＹＡＴＨＲＩ Ｒ，ｅｔ ａｌ．Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ｗｉｔｈ ＦｉｌｔｅｒｅｄＢａｎｋ Ｍｕｌｔｉ Ｃａｒｒｉｅｒ Ｕｔｉｌｉｚｅｄ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ｉｎ ＣｏｇｎｉｔｉｖｅＲａｄｉｏ Ｎｅｔｗｏｒｋ ［Ｊ］． Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｍｅｒｇｉｎｇ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｔｅｃｈｎｏｌｏｇｉｅｓ，２０２２，３３（７）：ｅ４４７８．

［５］ 李葉． 基于單節點及多節點頻譜感知的認知無線電網絡資源分配研究［Ｄ］． 成都：西南交通大學，２０２１．

［６］ ＨＷＡＮＧ Ｊ，ＫＩＭ Ｊ，ＳＵＮＧ Ｉ，ｅｔ ａｌ． Ｆａｓｔ ａｎｄ ＡｃｃｕｒａｔｅＤｅｔｅｃｔｉｏｎ ｏｆ Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ ＳｐｅｃｔｒｕｍＳｅｎｓｉｎｇ Ｎｅｔｗｏｒｋ［Ｊ］． Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，１１８（２）：１７０９－１７３１．

［７］ 呂培，趙杭生，張建照． 一種基于信譽值拍賣的區塊鏈下的感知收益分配機制［Ｊ］． 電訊技術，２０２１，６１（１）：１－７．

［８］ ＪＩＢＲＡＮ Ｍ，ＫＩＭ Ｊ，ＫＯＯ Ｊ，ｅｔ ａｌ． Ａ Ｄｏｕｂｌｅ ＡｄａｐｔｉｖｅＡｐｐｒｏａｃｈ ｔｏ Ｔａｃｋｌｅ Ｍａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｇｎｉｔｉｖｅ ＲａｄｉｏＮｅｔｗｏｒｋｓ［Ｊ］． Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｍｏｂｉｌｅ Ｃｏｍｐｕｔｉｎｇ，２０１９，２０１９：２２１４－２２２３．

［９］ ＳＵＮ Ｚ Ｇ，ＸＵ Ｚ Ｙ，ＣＨＥＮ Ｚ Ｍ，ｅｔ ａｌ． ＲｅｐｕｔａｔｉｏｎｂａｓｅｄＳｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ Ｓｔｒａｔｅｇｙ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｃｏｇｎｉｔｉｖｅ ＲａｄｉｏＡｄ Ｈｏｃ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｓｅｎｓｏｒｓ，２０１８，１８（１２）：４３７７．

［１０］ ＮＩＮＧ Ｗ Ｌ，ＨＵＡＮＧ Ｘ Ｙ，ＹＡＮＧ Ｋ，ｅｔ ａｌ． ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ Ｅｎａｂｌｅｄ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ｉｎ Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋｓ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄＮｅｔｗｏｒｋｓ，２０２０，２２（１）：１２－２２．

［１１］ ＧＵＬ Ｎ，ＫＩＭ Ｓ Ｍ，ＡＨＭＥＤ Ｓ，ｅｔ ａｌ． Ｄｉｆｆｅｒｅｎｔｉａｌ ＥｖｏｌｕｔｉｏｎＢａｓｅｄ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ Ｓｅｃｕｒｅ ＣｏｏｐｅｒａｔｉｖｅＳｐｅｃｔｒｕ Ｓｅｎｓｉｎｇ Ｓｙｓｔｅｍ ［Ｊ ］． Ｅｌｅｃｔｒｏｎｉｃｓ，２０２１，１０（１４）：１６８７．

［１２］ ＧＵＬ Ｎ，ＱＵＲＥＳＨＩ Ｉ Ｍ，ＥＬＡＨＩ Ａ，ｅｔ ａｌ． Ｄｅｆｅｎｓｅ ＡｇａｉｎｓｔＭａｌｉｃｉｏｕｓ Ｕｓｅｒｓ ｉｎ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｐｅｃｔｒｕｍ Ｓｅｎｓｉｎｇ ＵｓｉｎｇＧｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ａｎｔｅｎｎａｓａｎｄ Ｐｒｏｐａｇａｔｉｏｎ，２０１８，２０１８：１－１１．

［１３］ 王聰，劉雄厚，孫超，等． 基于頻率著色的被動聲吶寬帶能量檢測方法［Ｊ］． 哈爾濱工程大學學報，２０２１，４２（４）：４５６－４６２．

［１４］ ＰＡＧＥ Ｅ Ｌ，ＰＥＩＧＮ？ Ｍ，ＰＨＡＭ Ｄ Ｃ． Ｃｅｎｔｒａｌ ＬｉｍｉｔＴｈｅｏｒｅｍ ｆｏｒ ａ Ｃｒｉｔｉｃａｌ Ｍｕｌｔｉｔｙｐｅ Ｂｒａｎｃｈｉｎｇ Ｐｒｏｃｅｓｓ ｉｎＲａｎｄｏｍ Ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｊ］． Ｔｕｎｉｓｉａｎ Ｊｏｕｒｎａｌ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ，２０２１，３（４）：８０１－８４２．

［１５］ ＦＡＹＥＤ Ｈ Ａ，ＡＴＩＹＡ Ａ Ｆ． Ｓｐｅｅｄ ｕｐ Ｇｒｉｄｓｅａｒｃｈ ｆｏｒＰａｒａｍｅｔｅｒ Ｓｅｌｅｃｔｉｏｎ ｏｆ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ ［Ｊ ］．Ａｐｐｌｉｅｄ Ｓｏｆｔ Ｃｏｍｐｕｔｉｎｇ，２０１９，８０：２０２－２１０．

［１６］ ＨＡＮ Ｋ，ＹＥ Ｃ Ｙ． Ｐｏｗｅｒ Ｃｏｎｔｒｏｌ Ｒｅｓｅａｒｃｈ ｆｏｒ ＤｅｖｉｃｅｔｏＤｅｖｉｃｅ Ｗｉｒｅｌｅｓｓ Ｎｅｔｗｏｒｋ Ｕｎｄｅｒｌｙｉｎｇ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ［Ｃ］∥ Ｇｌｏｂａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ，ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ． Ｃｈｉｃａｇｏ：ＩＥＥＥ，２０２２：３５１－３５４．

［１７］ 李冠雄，李桂林． 基于強化學習的合作頻譜分配算法［Ｊ］． 電波科學學報，２０２２，３７（１）：８－１４．

［１８］ 曹龍，趙杭生，鮑麗娜，等． 基于輔助節點的安全協作頻譜感知［Ｊ］． 計算機工程，２０１４，４０（２）：１２３－１２７．

［１９］ ＫＯＳＴＥＮ Ｖ Ａ，ＳＥＬＥＺＥＮＥＶ Ｌ Ｅ． Ｒａｎｄｏｍ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍｗｉｔｈ Ｓｅｌｆｌｅａｒｎｉｎｇ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｔｒａｉｎｉｎｇ［Ｊ］． ＯｐｔｉｃａｌＭｅｍｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０２１，３０（２）：１８０－１８６．

［２０］ ＨＵＡＮＧ Ｔ，ＹＩＮ Ｘ Ｄ，ＣＡＯ Ｑ Ｊ． Ａ Ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒＣｏｎｓｉｄｅｒｉｎｇ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｅｘｃｅｌｌｅｎｔ ＳｅｎｓｉｎｇＰｅｒｆｏｒｍａｎｃｅ ｉｎ Ｃｏｇｎｉｔｉｖｅ Ｒａｄｉｏ Ｎｅｔｗｏｒｋｓ ［Ｊ ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋｓ，２０２０，１６（６）：６４５－６４９．

作者簡介

劉春玲 女，（１９７１—），博士，教授，碩士生導師，ＣＣＦ 會員。主要研究方向：信號檢測與信號處理。

許 軍 男，（１９９６—），碩士研究生。主要研究方向：認知無線電與壓縮感知。

郭楷文 男，（１９９７—），碩士研究生。主要研究方向：機器人路徑規劃。

基金項目：遼寧省教育廳面上基金項目（ＬＪＫＺ１１８４）