基于強化學習的鐵路通信基站天線覆蓋自優化方法研究

景臘梅

（中鐵二十一局集團電務電化工程有限公司，甘肅 蘭州 730030）

0 引言

隨著鐵路運輸業的快速發展，人們對于高效、可靠的鐵路通信系統的需求日益增加，鐵路通信基站承載著保障列車安全行駛和有效調度的重要任務，其通信天線覆蓋的優化成為確保信息傳遞無縫銜接的關鍵，而自優化網絡作為一種解決方案，旨在通過自動化過程減少人工干預，提升網絡性能與管理效率，近年來隨著機器學習技術發展，使得強化學習技術得到興起，在眾多領域顯示出了巨大的潛力，強化學習適合處理具有明顯回饋且環境不斷演變的問題，使之成為優化鐵路通信基站天線覆蓋的理想選擇，借助強化學習的模型，在沒有先驗知識的情況下，基站可以通過與環境的交互學習到最優的天線配置策略。

1 鐵路通信基站天線覆蓋現狀及問題

鐵路通信基站的天線覆蓋對于保障列車運行的安全性和時效性至關重要，目前這一領域面臨著多重挑戰，首先鐵路沿線地形多變，從平坦的農田到崎嶇的山地，都極大影響了信號的傳播，其次由于鐵路線路延伸數百甚至數千公里，確保端到端的無縫覆蓋需要大量的基站，不僅增加了建設成本，同時也帶來了維護的復雜性，再者高速移動的列車對通信信號的穩定性提出了更高要求，特別是在隧道、橋梁等特殊區域，信號衰減和多徑干擾更為顯著[1]。另外現有鐵路通信系統大多采用固定配置的天線系統，其覆蓋范圍和信號強度往往無法自適應環境變化，例如在惡劣天氣或特殊地理條件下信號可能會突然變弱，導致通信中斷，或者鐵路沿線的城鎮發展和新的障礙物出現，也會對原有天線布局造成影響，進而需要調整天線配置以保持服務質量，然而現行體系下的調整通常需人工介入，效率低下且反應遲緩，因此高效智能的天線覆蓋優化策略已成為鐵路通信領域亟待解決的問題[2]。

2 基于強化學習的鐵路通信基站天線覆蓋自優化模型

2.1 基站天線輻射模型搭建

2.1.1 天線輻射模式選擇

首先選擇一個方向性輻射模式，并且是能夠調整主瓣寬度的天線設計，以八木天線（Yagi-Uda）為主，這種天線相較于全向天線有更好的方向性，并且可以通過改變陣元數量、間距和饋電方式來調節其輻射模式，基站天線輻射模式示意圖如圖1 所示。

圖1 基站天線輻射模式示意圖

選定完模式后需要進行參數設定，可以設置一個具體的Yagi-Uda 天線模型，例如，使用8 個陣元，其中一個為激活饋電元，其余7 個作為被動反射或導向元素，假設天線設計工作在900MHz GSM 鐵路通信頻段，天線增益定為12dBi，同時利用3D 電磁場仿真軟件進行輻射模式仿真，通過調整各陣元間的間隔和驅動電流的分布獲取天線的方向圖，陣元間距可設為0.3λ，其中λ 為工作波長，即大約33.3cm，且不同角度下的理論與實測信號強度存在一定差異性，具體內容如表1 所示。

表1 不同角度下理論與實測信號強度

在仿真后，技術人員需在實驗環境中測量天線的實際輻射模式，可在鐵路旁設置測量裝置，記錄不同角度下的信號強度，以天線為中心，每10°測量一次，在水平方向上獲得180°的輻射模式數據，而在數據應用方面，將采集到的實驗數據反饋給強化學習算法，使其能夠基于實際環境中天線的輻射表現進行學習和優化。

2.1.2 模型傳播

在鐵路通信中考慮到特定的地理和環境因素，傳播模型對于準確預測信號覆蓋至關重要，而計算移動通信中信號傳播距離的模型（Hata 模型）及其衍生版本是廣泛應用于城市、郊區和農村環境的經典傳播損耗模型，對于鐵路環境，由于其獨特的線性結構以及可能的地形變化，需要進一步調整和優化這些模型[3]。

而在應用擴展Hata 模型以適應鐵路環境的過程中，首先需考慮多個方面因素，第一軌道高度與周圍地形：由于鐵路線路往往沿著特定地形建設，會比周圍地面高出或低入，影響信號傳播，第二直線距離：鐵路通信中天線與移動接收器之間的相對位置較為固定且多沿直線移動，對傳播模型參數化有特別影響，第三鐵路兩側環境：鐵路兩側一般是開闊地帶、森林、居民區或其他基礎設施，這些環境的不同對信號損耗有顯著影響。

考慮完相關因素，在調整Hata 模型時可以引入特定的修正項來考慮這些獨特的環境因素，可根據鐵路相對于周圍地形的高度差引入一個修正項，如果鐵路位于高地，則需要降低損耗預測值，反之若處于低地，則需要繼續增加損耗，而針對鐵路通信的直線特性，需要調整模型中距離的算法，同時通過實地測試獲取準確的系數[4]。

2.2 基站天線覆蓋問題描述

在進行問題描述的過程中，需要定義一個明確的環境狀態空間，在鐵路通信場景中，將基站的每個可調參數（發射功率、下傾角、方位角等）和環境因素（列車位置、周邊建筑物高度、天氣狀況等）組合定義為狀態，然后在此基礎上設計動作空間，動作即基站可以進行的調整，如增加或減少發射功率、調整下傾角和方位角等，假設動作集合包含的操作有5 種，每種操作都能微調當前的參數，如增加發射功率5%，減少發射功率5%等，接下來構建獎勵函數，獎勵函數能夠反映當前動作導致的狀態變化對通信質量的影響。

最后通過強化學習算法進行訓練，使用強化學習交易（Q-learning）算法，可以迭代更新Q 值Q（St，At），根據Q（S，A）來選擇最優動作，并調整天線參數以最大化長期收益，在仿真實驗中設定初始參數，其發射功率為20W，下傾角為6°，方位角為30°，在100 個不同的列車位置和環境設置下進行測試，使用狀態價值函數（DQN）作為優化算法，將過去的經驗存入一個回放緩沖區，通過mini-batch 方式進行網絡訓練，以此來模擬出更加精確的動作價值函數[5]。

2.3 天線覆蓋自優化模型搭建

在鐵路通信基站天線覆蓋自優化領域，強化學習提供了一套有效的解決方案，具體方法原理如圖2 所示。

圖2 天線覆蓋自優化模型原理

首先需要定義強化學習環境中的狀態空間、動作空間和獎勵函數，狀態空間包括天線的功率水平、傾角、方位角以及當前網絡用戶分布和流量需求等，動作空間由天線參數調整組成，如增加或減少功率輸出、調整傾角和方位角等，獎勵函數以覆蓋范圍和信號質量為依據，設計為對應于每一步動作后網絡性能的評價，例如，覆蓋范圍提升和用戶滿意度增加會帶來正獎勵，而覆蓋區域內的信號強度低于閾值或者用戶服務中斷則會引發負獎勵。

在模型構建階段，采用深度Q 網絡結合卷積神經網絡，使得模型能夠處理高維輸入數據，并有效地學習到從原始狀態到最優動作的映射策略，DQN 通過使用經驗回放（Experience Replay）和目標網絡（Target Network）來解決訓練過程中的穩定性和收斂問題，具體仿真數據設定如下：①考慮一個5km×5km 的鐵路區段，其中部署了4 個基站天線。②每個天線的初始功率設為500W，傾角范圍為0°～15°，方位角范圍為0°～360°。③用戶分布和需求根據實際鐵路客運量數據生成，峰值時段每平方公里約50 名用戶，非峰值時段約20 名用戶。

通過連續多輪的訓練，在每一輪結束時模型都會使用當前的網絡狀態信息來更新其權重，逐漸學會如何改變天線參數以提高覆蓋率和滿足通信需求，假設在訓練初期，當天線功率減小5%、傾角增加0.5°和方位角順時針旋轉5°的動作被執行時，模型觀察到覆蓋范圍從初始的3.8km 增加到了3.9km，因此這一系列動作獲得正獎勵，在經過10000 個訓練周期后，模型表現出明顯的學習成果，對于相同的用戶分布情況，天線參數的調整可以在不超過10s 內完成，提高覆蓋率至95%以上，并保持了99.5%的通信成功率，這表明該模型在實際鐵路環境下具有很高的應用潛力。

3 基于強化學習的鐵路通信基站天線覆蓋自優化實驗論證

3.1 實驗過程

實驗過程分為兩個部分，分別為仿真實驗設計和現場測試設計，仿真實驗設計中仿真環境使用MATLAB/Simulink 構建，模擬具有不同地形、障礙物和鐵路軌道布局的場景，每個場景中部署多個基站，其天線參數可以通過強化學習算法調整。定義狀態空間為鐵路通信網絡的當前覆蓋效率、用戶分布和通信需求，動作空間為天線參數的調整選項，獎勵函數基于覆蓋效率的提升和用戶滿意度評價，要求每個仿真場景運行10次以獲取平均結果，強化學習算法的超參數，如學習率和折扣因子，根據預實驗結果設定，然后記錄每次實驗前后的網絡覆蓋率、服務質量（QoS）指標（延遲、吞吐量）和算法收斂速度并與傳統的非自優化天線配置相比較，以及與其他最新的自優化方法進行對比分析。

而現場測試設計中，一般在實際鐵路沿線選擇具有代表性的區域進行現場測試，使用具備可調節天線參數的通信基站，搭載預先訓練好的強化學習模型進行實時優化，在確保安全的條件下，調整天線參數以開始測試，記錄測試過程中的天線參數調整情況、網絡覆蓋范圍變化和通信質量變化數據，主要關注天線覆蓋范圍的變化、通信鏈路的穩定性以及響應時間等指標。

3.2 實驗結果

本此研究通過實驗驗證了基于強化學習的鐵路通信基站天線覆蓋自優化方法的有效性，分別采用改進后的強化學習算法（RL-Improved）和傳統的靜態天線調整方法（Static）進行實驗對比，實驗在模擬的鐵路通信環境下進行，主要評估指標包括覆蓋率、平均通信延遲和能耗。具體實驗結果內容如表2 所示。

表2 強化學習算法與靜態天線調整方法的性能對比

從表2 可以看出，強化學習算法在各項評估指標上均優于靜態天線調整方法，特別是在覆蓋率方面，強化學習算法達到了95%的高覆蓋率，而靜態天線調整方法方法的覆蓋率僅為85%，這說明強化學習算法能更有效地適應環境變化，提高天線的覆蓋能力，在平均通信延遲方面，強化學習算法將延遲降低了20%，顯示出更高的通信效率，而在能耗方面，盡管強化學習算法相較于靜態天線調整方法有輕微增加，但鑒于其在其他兩項指標上的顯著提升，該部分增加的能耗可以視為對性能優化的合理投資，由此可見通過持續學習和自我調整，強化學習算法方法能夠有效應對復雜多變的通信環境，進而提高鐵路通信網絡的整體性能，值得注意的是，盡管能耗略有增加，但考慮到覆蓋率和通信效率的顯著提升，該方法仍然是鐵路通信基站優化的有力候選方案。

4 結語

綜上所述，本文針對鐵路通信基站天線覆蓋現狀及問題的闡述，提出關于強化學習算法的具體基站天線輻射模型搭建以及天線覆蓋自優化模型搭建過程，同時通過實驗驗證模型的有效性，可以看出強化學習算法與傳統靜態天然調整方法具有一定的優勢性，能夠更好的適應環境變化，降低網絡延遲，最終提高鐵路通信網絡的整體性能。