多智能體在認知無線電頻譜管理中的應用研究

孫婷　向新　宋曉鷗　王鋒　孫曄

摘 要： 基于多智能體系統的認知無線電技術研究是近年來通信領域的熱點問題。闡述了多智能體系統的基本概念，對智能體和多智能體系統運行機制進行了介紹，并從適用于認知無線電網絡的智能體模型設計和多智能體運行機制的應用兩方面，對近年來用于認知無線電網絡頻譜管理的多智能體技術作了總結。

關鍵字： 認知無線電； 頻譜管理； 多智能體系統； 多智能體技術

中圖分類號： TN92?34 文獻標識碼： A 文章編號： 1004?373X（2014）09?0038?05

0 引 言

隨著無線電技術的飛速發展和廣泛應用，使得有限的頻譜資源和猛增的需求間的矛盾日益突出。傳統靜態的頻譜分配方式極大限制了頻譜的使用效率，使得無線資源本身的匱乏以及對它使用不合理的問題越來越突出。認知無線電（CR）是解決當前靜態頻譜分配問題的有效方法，因此成為當前通信研究領域的熱點之一。認知無線電是在軟件無線電的基礎上發展起來的一種新的智能無線通信技術，它能夠根據無線電的內部狀態和外部環境的變化而變化且能調整其行為，通過讓具有認知功能的節點與授權用戶共享信道來解決無線頻譜資源緊張的狀況。但是如果大量認知無線電用戶在一個空間內使用，則將構成一個復雜的、分布式的、多變的網絡，如何使之成為一個自我調節、有序運作的網絡是當前需要解決的一大問題。多智能體系統常用于復雜的、互相依賴的，且有大量分布式設備參與的環境中。每個智能體都能與周圍的環境交互并與其他智能體共享信息、協商合作共同完成任務。正是由于它的這些特點，使得多智能體系統非常適用于認知無線電網絡中的動態頻譜管理[1]。

1 多智能體系統

多智能體系統（Multiagent System）是新興計算機科學的一個分支，其概念從20世紀80年代被提出后，在90年代隨著計算機技術、網絡技術、通信技術的飛速發展得到了廣泛的關注。由于智能體（Agent）體現了人類的社會職能，具有很強的自治性和適應性，因此，越來越多的研究人員開始關注對其理論和應用方面的研究。

1.1 智能體定義

智能體，從廣義上理解，它涵蓋了許多不同的計算實體，這些實體能夠感知環境并作用于環境。智能體結構如圖1所示。由圖1可知，智能體能對從環境中感知的事件進行監察，可根據自身的知識和意圖對感知信息和其他智能體的通信信息進行進一步分析、推理并作出合理決策，并通過執行模塊反饋到環境中去。

智能體有如下特征：

（1） 自治性（Autonomy）：智能體擁有內部自治機制和問題解決機制，能夠控制自己的行為和內部狀態。無需他人干涉就可根據自己的知識和捕捉到的信息進行判斷和行為。智能體自治性的高低在很大程度上決定了其智能的高低；

（2） 社會性（Social ability）：智能體不是孤立的，而是一個相互作用的群體。智能體間可以按照某種協議或者語言進行通信和對話，從而形成一個小組來協作完成某一特定任務；

（3） 反應性（Reactivity）：指智能體具有外部環境的反射作用，能夠識別外部環境的變化作出適當反應；

（4） 自發性（Pro?activeness）：指智能體具有對目標的能動性，為了達到目標，智能體能夠自發地參加到某些處理或協作中來[2?3]。

圖1 智能體基本結構

1.2 多智能體系統介紹

雖然智能體具備特定功能，但能力有限，在解決現實中復雜的、大規模的問題時，常常需要將各種具有不同能力的智能體結合起來，這就是多智能體系統產生的最直接的原因。多智能體系統可定義為由一系列在網絡上耦合的智能體或者在同一硬件環境下的軟件智能體構成，將的大的復雜系統構造成小的、彼此可以互相通信及協調的、易于管理的系統。圖2為一個典型的多智能體系統模型結構圖[4]。

圖2 多智能體系統結構圖

在多智能體系統中，一方面，每個智能體作為有自主性的實體，作用于自身，自己運轉，能自主解決一定的問題；另一方面，通過與其他智能體的通信，可以開發出新的規則或求解方法來處理眾多不確定的、相互矛盾的知識事件。這樣，通過智能體間的協作，多智能體系統不僅改善了每個智能體的基本能力，而且從智能體的交互中進一步理解了各個系統的全局，提高多智能體協同共同完成任務的能力。

當多個智能體組成多智能體系統時，智能體之間就出現了如何協調各自的知識、策略和規劃，如何采取聯合行動實現全局目標等問題。因此，智能體之間的交互和通信是多智能體系統必不可少的組成部分。智能體通信是交互的基礎。智能體之間通信可以傳遞字符流或二進制數流，也可以是在知識層上進行表達、理解和交流，即專門的智能體通信語言，如知識詢問與操作語言（KQML）等。智能體之間的交互方式包括協調（coordination）、合作（cooperation）、討論（negotiation）等。協調是為了確保智能體活動的有序性和互補性，一般常用的方法有設定規章、制定方案和反應性操作等。合作是指智能體共同工作達成一致目標最大化效用采取的方法，包括黑板模式、合同網、聯盟等。討論是一智能體向另一智能體提供服務的一種方法，包括拍賣、辯論、啟發等。

此外，由于多智能體系統的復雜性和動態性，不可能具備完全的先驗知識，因而學習能力是多智能體系統必不可少的能力之一。學習方式包括智能體信念的開發與更新、基于性能的學習。一般使用較多的為基于性能學習中的強化學習、Q學習等。整個多智能體系統運行機制如圖3所示[1?2，4]。

圖3 多智能體系統運行機制

2 多智能體系統在認知無線電頻譜管理中應用

的國內外相關研究

近年來，認知無線電技術受到廣泛關注。需要實現認知用戶電磁設備的智能化，使其能通過頻譜感知技術監測本地電磁環境的變化，完成本地電磁環境感知，在本地網絡中分發共享頻譜感知信息，作為頻譜管理的依據，并且能夠通過認知無線電干擾估測估計認知無線電用戶與授權用戶之間的干擾，通過用戶間的互相協商來避免它們之間干擾的發生。這些龐雜的、分布式的電磁設備也就構成了復雜的、多變的一個電磁社會。如何使這個電磁社會如人類社會一樣實現自我調節、有序運行就是目前需要解決的一大問題。多智能體系統的開發設計可看成兩部分互相交織的工作，即智能體設計（agent design）和智能化社會設計（society design）[2]。

2.1 認知無線電的智能體模型

電磁設備的智能化使其體現了智能體的特征，因此適用于認知無線電的智能體模型的設計是整個問題的研究基礎。根據智能體的基本模型，認知無線電的智能體所面對的外部環境是電磁環境，其完成的工作可以分為感知環境、智能處理、通信等三個部分，在面對具體問題時，每個部分可進行適應性調整和變化。比較有代表性的有以下幾種。

WLAN是早期的具有一定認知能力的無線系統，采用CSMA/CA方式使系統具有很大的應用靈活性，為了提高其性能，文獻[5]提出了一種智能體模型，如圖4所示。該智能體位于每個WLAN的接入點AP（Access Point），智能體由兩個模塊組成，分別為預測參數判斷模塊PPE（Predictive Parameter Estimation）和資源管理優化模塊RMO（Resource Management Optimization）組成。PPE模塊的用于感知射頻環境，并利用智能體預測模型產生RMO所需的參數，包括鏈路質量、信息交換速率、發射功率等；RMO由建模優化模塊（Utilization Modeling and Optimization，UMO）和優化決策模塊（Strategy to Effect Optimal Utilization，EOU）兩部分組成，對接受哪個移動站的請求、發射功率控制、減少信道選擇沖突等進行建模并做出決策；智能體間通過連接所有AP的高速鏈路網進行通信[4]。

圖4 認知智能體模型圖（一）

文獻[6?7]給出了包含智能體在內的次用戶（SU）設備模型設計，如圖5所示。該設備主要由動態頻譜傳感器DDS（Dynamic Spectrum Sensor）、頻譜特征分析器SC（Spectrum Characterizer）、用戶界面SUI（Secondary User Interface）和智能體組成。DDS主要功能是感知頻譜空穴；SC根據香農定律計算相關PU（Primary User）用戶信道容量；SUI向智能體發送通信鏈路服務質量信息。智能體包含知識庫模塊AKM（Agent′s Knowledge Module）和協同模塊ACM （Agent′s Coordination Module）。AKM根據傳送的數據產生有空余頻譜的PU列表，ACM負責智能體之間通信合作[6?7]。

圖5 認知智能體模型圖（二）

文獻[8]提出了一種基于智能體的頻譜管理模型，如圖6所示。認知無線電設備由一系列模塊組成，包括能力控制模塊、調制模塊、數據管理模塊、安全管理模塊和通信模塊等。智能體負責對這些模塊的管理，監督它們所有的操作。智能體可以通過通信模塊與其他智能體進行交互，通過掃描功能感知外部環境。交互與感知得到的信息（空閑頻帶、調制方式、信道選擇、服務質量、發射功率等）存儲于共享知識庫，可供所有智能體存儲或檢索信息。于此同時，規則庫、終端狀態、用戶操作也與智能體相互作用。從整體上來說，智能體對整個系統進行控制[8]。

圖6 認知智能體模型圖（三）

2.2 多智能體運行機制的應用

多智能體運行機制確保了多智能體系統高效有序運作，能實現對整個系統的有效管理。因此，將多智能體運行機制應用于認知無線電頻譜管理成為研究的另一方面。不同的多智能體運行機制從不同的方面完善系統功能。在通信、交互、學習三種機制中，由于通信為智能體交互的基礎，所以主要研究的為智能體間的交互和學習機制的應用。

智能體的交互方法促進了智能體之間的溝通交流，主要有三種，即協調機制、合作機制和討論機制。協調機制的靈活性相對較差，因此使用較少。

合作機制使智能體在自身無法完成任務或者其他智能體可以更高效完成任務的情況下，通過與其他智能體的合作最大化效用。其中，文獻[10]中黑板模型在認知無線電網絡跨層結構中得到了應用。黑板是一個共享的問題求解工作空間，問題和初始數據都記錄在黑板上，智能體都能看到黑板。每個認知無線電節點產生與當前網絡狀態相關的參數，通過黑板展示，與其他節點共享信息，實現了帶寬的優化利用。它提高了頻譜分配的有效性和整體網絡的服務質量[9]。合同網是合作機制中的另一種任務分享方式，文獻[11]中所有智能體分為管理者和訂約者兩種角色。智能體通過發布任務通知書而成為管理者，通過應答任務通知書而成為訂約者。系統中的每一待求解任務，由承擔該任務的智能體負責完成。在認知無線電網絡中，該任務通知書即為請求方案（Call for Proposal），PU（Primary User）智能體即為管理者，SU（Secondary User）為訂約者。每個SU向有空余頻帶的相關PU發送請求方案，包括SU的地址、所需頻帶寬度、時間、價格、回復截止時間等。直至截止時間，SU選擇最佳PU發送接受信息同時向其他PU發送拒絕信息[10]。另一種方式為智能體聯盟，文獻[1]中智能體對整體環境考慮共同利益而形成聯盟，共享知識和專門技術，因而不用通過認知無線電終端進行大量計算工作，而是通過智能體聯盟鑒別環境信息。

討論機制中智能體間為了表達各自觀點而進行信息交換，為有效解決智能體間的沖突的一種方法。討論機制中最適用于認知無線電頻譜管理的是拍賣方式。文獻[11]中使用的是密封遞價方法（即競買人在規定的時間內將密封的標書遞交拍賣人，由拍賣人在事先確定的時間公開開啟，經比較后選擇出價最高者成交）。認知無線電移動站競爭主用戶無線電網絡的頻段，SU用戶在規定的時間內將給出價格的標書遞交給PU用戶，由PU用戶在事先確定的時間公開開啟，經比較后選擇出價最高者成交，該SU用戶在一個超幀的時間內保證該頻段的使用。文獻[12]了建立認知無線電網絡頻譜分配的拍賣框架。認知無線電網絡根據自身使用需求，競爭在某一信道成為主接入網絡的權利。考慮網絡間互相聯系等情況下，使用了基于加權圖中最大化匹配問題的polynomial?time算法，求出該信道的主接入網絡，由此實現各個其他信道的合理使用[12]。除拍賣方式外，智能體也可以第三方的角色出現在頻譜交易過程中。文獻[13]中智能體向PU以固定價格買入頻譜使用權，再以零售商的方式轉賣給SU。在考慮需求不確定因素的情況下使智能體獲得最大利益。

學習機制使智能體通過自身的學習過程來完善整個多智能體系統的功能，以適應多智能體系統的復雜性和動態性。學習機制中基于性能的學習是在不同的觸發條件下有用的學習策略，其中的強化學習特別適用于認知無線電網絡。文獻[14]中強化學習應用于認知無線電網絡中的頻譜感知，使用基于強化學習的分布式多智能體頻譜感知策略，并在多智能體強化學習中采用線性函數逼近的方法降低了狀態?行動空間的維度。文獻[15]中強化學習應用于認知無線電網絡中的頻譜分配，使用價值函數來評估使用不同發射參數的滿意度，并通過最大化長期回報來實現有效頻譜分配和發射功率選擇。對于大規模認知無線電網絡，進一步使用到了Kanerva?based Function Approximation方法。此外，基于性能學習中多智能體Q?Learning方法可以為信道選擇提供策略。文獻[16]通過將其他SU視為環境的一部分，使單智能體決策擴展到多智能體決策。智能體的學習內容不僅包括可用頻譜，還包括其他智能體的表現。

3 結 語

多智能體系統是解決認知無線電網絡頻譜管理問題的有效方法。從智能體模型設計到多智能體運行機制的應用，多智能體系統已深入到認知無線電的研究中。多智能體系統的設計極具挑戰性，探尋更適合于認知無線電系統的多智能體系統，使智能體設計與智能化社會設計有機結合，而不是單獨使用于認知無線電網絡將是未來研究的重要方向。

參考文獻

[1] TRIGUI E， ESSEGHIR M， BOULAHIA L M. On using multi agent systems in cognitive radio networks： A survey [J]. International Journal of Wireless&Mobile Networks， 2012， 4（6）： 11?15.

[2] WOOLDRIDGE M. An introduction to multiagent system [M].West Sussex： Wiley and Sons， 2002.

[3] Liu J.多智能體原理與技術[M].北京：清華大學出版社，2003.

[4] 張秋花，薛惠鋒，吳介軍，等.多智能體系統MAS及其應用[J].計算機仿真，2007（24）：133?137.

[5] XIE J， HOWITT I， RAJA A. Cognitive radio resource management using multiagent systems [C]// Proceedings of Consumer Communications and Networking Conference. [S.l.]： CCNC， 2007： 1123?1127.

[6] MIR U， BOULAHIA L M， GAITI D. Utilization of a cooperative multiagent system in the context of cognitive radio network [C]// Proceedings of 2009 Fourth IEEE International Workshop on Communications Environments. Venice， Italy： Springer?Verlag， 2009： 100?104.

[7] MIR U， BOULAHIA L M， GAITI D. Dynamic spectrum sharing for cognitive radio networks using multiagent system [C]// Proceedings of 2011 IEEE Consumer Communications and Networking Conference. Las Vegas， NV： CCNC， 2011： 658?663.

[8] AHMED A， HASSAN M M， SOHAIB O. An agent based architecture for cognitive spectrum management [J]. Australian Journal of Basic and Applied Science， 2011， 5（12）： 682?689.

[9] REDDY Y B， BULLMASTER C. Cross?layer design in wireless cognitive networks [C]// Proceedings of International Conference on Parallel and Distributed Computing Applications and Technologies. Otago： PDCAT， 2008： 462?467.

[10] MIR U， BOULAHIA L M， GAITI D. COMAS： A cooperative multiagent architeture for spectrum for spectrum sharing [J/OL]. [2010?12?10]. http：// www. downloads.hindawi.com/journals/wcn/2010/987691.

[11] CHANG H B， CHEN K C. Auction based spectrum management of cognitive radio networks [J]. IEEE Transactions on Vehicular Technology， 2010， 59（4）： 1923?1935.

[12] KASBEKAR G S， SARKAR S. Spectrum auction framework for access allocation in cognitive radio networks [J]. IEEE/ACM Transations on Networking， 2010， 18（6）：1841?1854.

[13] QIAN L， YE F， GAO L. Spectrum trading in cognitive radio networks：an agent?based model under demand uncertainty [J]. IEEE Transactions on Communications， 2011， 59（11）： 3192?3203.

[14] LUNDEN J， KOIVUNEN V， KULKARNI S R， et al. Reinforcement learninng based distributed multiagent sensing policy for cognitive radio networks [C]// Proceedings of IEEE International Symposium on New Frontiers in Dynamic Spectrum Access Networks. [S.l.]： IEEE， 2011： 642?646.

[15] WU C， CHOWDHURY K， FELICE M D， et al. Spectrum management of cognitive radio using multiagent reinforcement learning [C]// Proceedings of the 9th International Conference on Autonomous Agents and Multiagent System. Richland， SC： [s.n.]， 2010： 1705?1712.

[16] LI H. Multiagent Q?learning for aloha?like spectrum access in cognitive radio system [J/OL]. [2010?05?23]. http：// www.oalib.com/paper/2894239.