基于選擇性高斯過程集成的天線諧振頻率建模

張天亮，田雨波，陳學志，高 婧

(江蘇科技大學 電子信息學院，鎮江212100)

近年來，大數據的進步所帶來的問題越來越難以解決，如果僅依靠單一的機器學習模型，已經很難達到很多復雜問題的要求.此時集成概念被創造性的提了出來，并吸引了很多的學者對其進行鉆研.1990 年，文獻[1]采用構造性方法實現了集成多個弱學習器可以得到更強的學習器的理論，證明了集成學習的優異性.1996年，文獻[2]提出了Adaboost算法，實現了集成學習從理論到實際應用的跨越.同年，Bagging算法問世[3]，該算法通過自主采樣法處理訓練樣本，得到若干數目相同但有一定相似度的訓練子集，然后采用子集訓練若干弱模型，最后將若干弱模型進行集成.2002年，文獻[4]提出了“選擇性集成”的概念，主要是對模型進行篩選，表現優異的模型則參與集成，從理論與實際方面均證明了該方法的有效性.2016年，文獻[5]提出了一種基于Boosting的XGBoost方法，在某些方面其學習性能可以與深度學習比肩.

粒子群算法(particle swarm optimization，PSO)作為一種被廣泛使用的算法，具有易實現、計算量小、參數少優點[6].高斯過程(Gaussian progress，GP)作為一種機器學習方法，這些年發展迅速[7]，相比于神經網絡[8]、支持向量機回歸[9]、徑向基函數網絡[10]等，具備如下兩大特點：高斯過程在學習過程中參數不多，易實現；對解決一些樣本數量小，維數比較低，非線性等復雜問題取得很好的效果[11].文中提出一種基于PSO的高斯過程集成方法，通過一組樣本建立若干具有不同核函數的高斯過程模型，并根據粒子群優化算法，尋找一組最優權重，對所建立的若干高斯過程回歸模型進行加權集成，得到最終模型，并且將最終模型用于微帶天線諧振頻率建模，與單一GP和神經網絡等算法對比，精度明顯提高.

1 高斯過程回歸原理

高斯過程模型是一種非參數化模型，對于待測樣本，能夠進行預測并且給出預測方差，高斯過程可以均值函數和協方差函數唯一確定[12]，即

m(x)=E[f(x)]

(1)

K(x,x′)=E{[f(x)-m(x)][f(x′)-m(x′)]}

(2)

式中：x,x′∈Rd為隨機變量,故GP也可以用如下公式表達：

f(x)～GP(m(x),k(x,x′))

(3)

若給定訓練樣本集為D={(Xi,yi)|i=1,2,…,n}，其中Xi=[x1,x2,…,xn]為d×n維的訓練輸入矩陣；yi=[y1,y2,…,yn]為相應的n個訓練輸出標量yi組成的訓練輸出矢量；y為訓練樣本的標簽；f*為測試樣本的標簽，則y和f*的聯合高斯分布為：

(4)

式中：X為訓練輸入樣本；x*為測試輸入樣本.K(x*,x*)、K(X,x*)為n*×n*階協方差矩陣.

高斯過程只需要訓練一組超參數，這也是唯一需要確定的參數，并且該參數決定了高斯過程的性質，最優超參數一般情況下可以由最大似然法計算得到，先計算訓練樣本的條件概率，然后計算其對數似然函數L(θ)，再對其超參數求偏導，最后的優化算法采用共軛梯度算法[13].L(θ)和其偏導數如下：

(5)

(6)

式中：C為訓練樣本的協方差矩陣；θ為一組超參數.得到最優超參數以后，可以根據式(1，2)對測試集進行估計.

2 基于粒子群優化的選擇性高斯過程集成

2.1 粒子群優化算法原理

粒子群算法[14]屬于一種簡化的社會模型，該方法是對鳥群捕食的行為規律進行模擬而提出的一種優化算法，其原理是使用一群一定數量的粒子，在目標區域內通過彼此間的協作和信息資源共享，在具體問題的可行解中搜索滿足條件的解，并選擇搜索范圍之內最優的解作為最終的解.在粒子群算法中，粒子在尋優的過程當中，需要控制粒子的移動方向和快慢以及最優位置，分別用速度和位置表示.假設粒子的搜索空間是n維的，整個粒子群x=(x1,x2,…,xm)T中包含m個粒子.第i個粒子的位置在xi=(xi,1,xi,2,…,xi,n)T處，此時粒子的速度為vi=(vi,1,vi,2,…,vi,n)T，粒子的個體極值為pi=(pi,1,pi,2,…,pi,n)T.當粒子找到局部最優位置pbest和全局最優位置gbest之后,可以更新自身的速度和位置.粒子之間除了時刻更新自己的位置之外，在迭代尋優的空間中用一個相關的適應度函數來衡量一個粒子位置的好壞以及控制算法在尋優過程中粒子的運動基準.

每個粒子在迭代尋優過程中不同時刻的速度和位置更新表示為：

(7)

(8)

式中:ω為粒子的慣性權重，主要作用是提高粒子的搜索能力,恰當的ω值使得粒子具有均衡的廣域搜索能力(exploration)和局部搜索能力(exploitation)；c1、c2為學習因子，一般為正常數,起到了控制粒子的尋優路勁的效果，也影響了粒子速度的更新；λ1、λ2為均勻隨機數，取值范圍為[0,1].

2.2 基于PSO選擇性高斯過程集成

為了提高高斯過程模型對測試樣本的預測能力，采用粒子群優化算法根據模型的訓練誤差，得到一組最優集成權重.假設已經分別訓練出k個核函數不一樣的高斯過程模型{f1,f2,…,fk}，粒子群算法的主要作用是通過若干粒子尋找到一組最優的集成權重{ω1,ω2,…,ωk}，且粒子的空間維數等于高斯過程的個數k.設原始樣本集為D={(x1,y1),(x2,y2),…,(xN,yN)},其中N為樣本個數，從中選擇n組數據作為訓練樣本，剩余s組用來測試.文中提出的集成流程如圖1，算法具體步驟如下：

步驟一： 選擇k個具有不同核函數的高斯過程，用n組訓練數據分別對這k個高斯過程進行訓練，可得到k個核函數不一樣的高斯過程模型{f1,f2,…,fk}.

步驟二： 根據已建立的高斯過程模型，可得到訓練集誤差.訓練誤差選擇平均相對誤差(mean relative error, MRE)作為評估指標，定義如下：

(9)

式中：f(xi)為高斯過程的預測值；y(xi)為真實值；n為樣本數量.

步驟三：將步驟二中得到的訓練誤差作為粒子群算法的適應度函數，利用粒子群算法尋找這k個模型的最優集成權重{ω1,ω2,…,ωk}.

步驟四：根據得到的最優權重，將上述k個模型進行加權集成，得到最終模型為：

(10)

式中：ωi為模型融合的權重.

步驟五：驗證階段使用s組測試樣本對最終得到的集成模型精度進行測試；同時使用測試樣本對每個單一高斯過程模型的精度進行測試，選擇MRE作為測試誤差評估指標，進行集成模型與單一模型的精度對比.

圖1 基于粒子群優化的選擇性高斯過程集成流程

3 圓形微帶天線諧振頻率建模應用

微帶天線(microstrip antennas, MSA)是由導體薄片粘貼在背面有導體接地板的介質基片上構成的天線，它具有剖面薄、體積小、重量輕、價格低廉等優點，目前用于寬廣頻域上，頻率范圍大約為100 MHz～100 GHz[15].微帶天線的貼片可以設計為不同的形狀，如蝶形、扇形、星形等，文中采用如圖2圓形微帶天線諧振頻率進行建模，其TM11模式下諧振頻率為[11]：

(11)

式中：K11=0.293；f11為天線的諧振頻率；c的值為3×108m/s；εr為相對介電常數.

若考慮邊緣效應，式中的半徑a可用如下經驗公式計算的等效半徑ae代替

(12)

式中：h為介質層的厚度.圓形微帶天線的諧振頻率主要取決于h,εr以及圓形微帶天線貼片的幾何尺寸a.

圖2 圓形微帶天線模型

文中以參數h，εr和a作為輸入，諧振頻率f11(MHz)作為輸出，選擇20組數據[16-21]進行建模，如表1，其中2～4列給出了圓形微帶天線的相關數據，第5列為測量得到的真實諧振頻率數值，共有20組數據，其中16組用于訓練，4組用于測試(帶有*標注)，模型分別選擇以RBF、Matern32、Matern52、ARDMatern32、ARDMatern52為核函數的5個高斯過程模型.表1中第6列為使用文中方法得到的結果，第7～8列為文獻[22]提出的神經網絡模型得到的結果，其中fDBD、fBP分別代表使用啟發式算法(Delta-bar-delta，DBD)和反向傳播算法(back propagation, BP)的神經網絡模型得到的頻率.表1中最后一行列出了每種方法實測值與預測值之間的誤差總和，可以看到，文中模型計算得到的數據比上述文獻計算得到的更接近與真實值，說明文中精度更好；表2為文中模型與單一高斯過程模型效果的比較，結果表明使用文中模型的效果要優于單一的模型.

表1 圓形微帶天線TM11模式下的諧振頻率

表2 圓形微帶天線仿真結果對比

4 結論

文中提出了一種基于粒子群優化的高斯過程集成算法，根據單個模型的訓練誤差，利用粒子群算法強大的全局搜索能力尋找到最優的一組集成權重，然后根據該權重對若干具有不同核函數的高斯過程進行集成，得到精度和泛化能力更優的學習器.同時，通過圓形微帶天線諧振頻率實驗：與已有文獻的結果對比，使用文中方法得到的結果更接近真實值；并且通過與單一高斯過程做比較，結果表明使用文中模型的效果更好.