超寬帶濾波器的稀疏貝葉斯正則化逆向神經網絡建模

南敬昌 王梓琦 高明明 王 穎

(遼寧工程技術大學電子與信息工程學院 遼寧 葫蘆島 125105)

0 引 言

隨著無線通信的快速發展，射頻微波器件扮演著關鍵角色，因此對其建模、仿真算法和設計分析方法等也提出了更高的要求。傳統的射頻微波器件設計與分析方法采用基于計算機的輔助設計方法，最常見的優化方法是EM電磁仿真軟件法，但它往往需要經過長時間的優化來得到各個目標參數，計算代價較大。

神經網絡具有很強的非線性逼近和優化求解能力，對于大型復雜問題能快速建模求解，在射頻微波領域得到了廣泛的應用[1]。通常將其對射頻微波器件的建模問題歸為兩類：一類被訓練用來模擬原始電磁問題，稱為正向建模，訓練好的正向神經網絡能夠依據器件結構參量精確地得到系統響應；另一類被訓練用來設計器件，稱為逆向建模，可以通過給定的目標參量綜合出對應的結構參量[2-3]。

對于直接逆向神經網絡，它可以通過交換網絡的輸入輸出數據來獲得，其優點是建模速度快，但是由于輸入與輸出參量之間的多值映射關系，難以保證其收斂性和唯一性[4]。文獻[3]提出一種在訓練前對數據進行分組處理的逆向建模方法，根據分組規則，消除多解問題，將各子逆模型的輸出作為正向模型的輸入，如果正向模型的輸出與子逆模型的輸入在一定的誤差范圍內，則按照一定規則合并，應用于波導濾波器的設計中。此方法模型分組和子模型合并的過程加大了建模的復雜度，一旦其中一步精度差，整個逆向模型的精度也較差。文獻[5]則提出了對多輸入模型建立一系列候選逆模型，將具有最小誤差的候選逆模型作為理想逆模型與原始模型互補，得到精確逆模型的梯度逆向建模方法，并應用于傳輸線和螺旋電感建模中。對于正則化神經網絡算法，文獻[6]證明了帶L2正則化項的逆向迭代算法的確定性收斂；文獻[7]證明了帶光滑L1/2正則化項的神經網絡逆向迭代算法能保證輸入向量序列在訓練過程中的穩定性及稀疏性；文獻[8]指出可以通過貝葉斯正則化方法來提高BP網絡的泛化能力；文獻[9]提出一種基于稀疏貝葉斯的半監督極速學習機分類算法，并證明了其可以避免Moore-Penrose廣義逆方法求解產生的過擬合問題，具有較好的稀疏性和泛化能力。

針對以上研究現狀以及已有的逆向建模方法過程復雜、模型精度難以保證、BP逆向建模方法網絡泛化能力差的問題，提出一種稀疏貝葉斯正則化逆向神經網絡建模方法。此方法通過L1/2范數引入新的權系數，使得網絡結構更加稀疏化，并實現對輸入樣本的擴展，網絡輸出解更具稀疏性，同時通過貝葉斯正則化方法調整網絡權系數避免過擬合現象，網絡輸出更加平滑，且泛化能力更強。以模型實際輸出與目標輸出之間誤差的最小化為目標在輸入空間內搜索全局最優解，具有唯一性。將此逆向神經網絡應用于超寬帶濾波器加載諧振器的建模中，可以更加精確、快速地得到其逆模型，效率更高。

1 稀疏貝葉斯正則化逆向神經網絡迭代算法

1.1 正則化方法

從神經網絡的精度角度而言，稀疏化的研究意義在于保證精度的同時降低訓練成本避免過度訓練，L1/2懲罰項能夠代替算法中的Lp(0

貝葉斯方法利用概率對事物進行描述，為一個隨機數，用概率分布描述的大小，在未知數據時，用來描述的概率分布情況稱為先驗概率分布。貝葉斯公式為：

(1)

當樣本x出現后，人們對進行調整，π(θ|x)即為對應的后驗分布[14]。

1.2 稀疏貝葉斯正則化性能函數

這里采用典型的具有一個輸入層，兩個隱含層和一個輸出層的逆向神經網絡結構，如圖1所示。

圖1 逆向神經網絡結構圖

其中α=(α1,…,αl,…,αn)是輸入向量，β=(β1,…,βk,…,βm)是輸出向量，μil是輸入層第l個神經元和隱含層第i個神經元之間的權值，ωji是隱含層第i個神經元到隱含層第j個神經元的權值，vkj是隱含層第j個神經元到輸出層第k個神經元之間的權值；φiq為第一個隱含層第i個神經元輸出，hjq為第二個隱含層第j個神經元輸出，E是目標輸出向量t與實際輸出向量β之間的誤差函數，其中傳遞函數采用tansig函數T(·)，T(·)的導數為T′=1-T2。因此，神經網絡輸出按下式計算：

βk(rl)=2/(1+exp(-2×(rl)))-1

(2)

式中，rl是加權輸入。神經網絡的相對誤差函數Eq可以描述為：

(3)

式中：N為樣本總數，q表示第q組測試數據，Eq代表第q組數據的誤差，tkq表示第q組第k個目標輸出向量。常規的貝葉斯正則化方法是在誤差函數后加上權衰減項：

(4)

因此，本文提出的稀疏貝葉斯正則化神經網絡的性能函數描述為：

(5)

通過貝葉斯正則化方法可以在網絡訓練過程中調整正則化系數λ的大小，自動縮小網絡規模，使模型網絡輸出更加平滑[14]。增加L1/2范數，引入新的權值向量，使得網絡結構更加稀疏化，同時在逆向迭代性能函數中實現對輸入向量擴展，使得模型可以得到具稀疏性的解，提高了網絡泛化能力。

1.3 稀疏貝葉斯正則化逆向神經網絡算法推導

不同于正向建模中改變網絡的權值，神經網絡逆模型的誤差是由輸入參量引起的，因此需要不斷修正輸入參量的值。更新后的輸入參量使得實際輸出與目標輸出之間的誤差最小，可描述為：

(6)

式中：η>0為學習速率。

為了求得稀疏貝葉斯正則化神經網絡的逆向迭代算法，需要求解式(5)性能函數關于輸入參量α的導數，因此將其分解為以下兩項：

(7)

(8)

第一個隱含層第i個神經元輸出值φiq可由下式計算：

(9)

φiq對第l個輸入值αlq的偏導為：

(10)

同樣可求，第二個隱含層的第j個輸出值hjq對輸入值φiq的偏導為：

(11)

隱含層輸出hjq對輸入值αlq的偏導為：

(12)

同理，第k個輸出值βkq對hjq的偏導為：

(13)

誤差函數Exq對于輸入參量αlq的偏導為：

(14)

設式(14)中的第一個因子如式(15)：

(15)

將式(12)、式(13)、式(15)代入式(14)可得：

(16)

誤差函數Eyq關于輸入參量αlq的偏導為：

(17)

式中:sgn(·)為符號函數。

因此，由式(16)、式(17)可得：

(18)

將式(18)代入式(6)中，對輸入參量迭代更新，實現逆向求解過程。

2 神經網絡逆向建模過程

對于神經網絡逆向建模，如圖2所示。具體步驟如下：

1) 利用EM電磁仿真或從實物中獲取實驗數據，分為訓練集和測試集。

2) 對數據進行歸一化處理，利用訓練數據訓練神經網絡正模型，獲得權值并保存。

3) 代入正向網絡獲得的權值，利用本文提出的稀疏貝葉斯正則化神經網絡逆向迭代算法更新輸入參量α，實現逆向求解過程。

4) 若達到性能函數E要求或最大迭代次數，則結束更新。最后以實際輸入和目標輸入之間的誤差大小來評價模型性能的好壞。

3 超寬帶濾波器的逆向神經網絡建模

3.1 超寬帶濾波器模型

采用三維電磁仿真軟件Ansoft HFSS 13.0建立加載諧振器的超寬帶濾波器模型[15-16]。超寬帶濾波器結構如圖3所示。

圖3 加載諧振器的超寬帶濾波器

圖3中的超寬帶濾波器在選擇結構支節的尺寸時，經計算與優化，耦合線的長度l1，耦合線之間的距離w1，諧振器的寬度w2，諧振器長度為l2的值初步確定。主要需要考慮其加載的諧振器在陷波中心頻率f處，長度l6、寬度w3(單位：mm)對濾波器插入損耗S21的影響。在Ansoft HFSS 13.0中所建模型如圖4所示。

圖4 超寬帶濾波器HFSS模型

3.2 關鍵參數提取

圖5為在HFSS中保持支節l1-l5和寬度w不變，對支節l6分別取1.5 mm、2.0 mm、2.5 mm時的掃描結果，隨著l6的增大，陷波的中心頻率逐漸左移，插入損耗S21也隨之改變。同樣，保持支節l及寬度w1、w2的值不變，w3取值分別為0.1 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm時，掃描結果如圖6所示，陷波中心頻率和插入損耗S21也隨之改變。

圖5 長度l6與S21的關系

圖6 寬度w3與S21的關系

利用圖4根據超寬帶濾波器的插入損耗S21隨諧振器結構參數變化時的仿真結果，提取1 200組數據用于訓練和測試，其中l6取值范圍為：2～3 mm，間隔為：0.05 mm；w3取值范圍為0.3～0.7 mm，間隔為0.02 mm；對應的f取值范圍為7.8～8.4 GHz，S21范圍為10.8～16.4。

對于不同的l6和w3與S21之間關系如圖7所示。可以看到一個S21分別與多個l6值和多個w3值相對應，當把已知S21作為輸入，會有多個l6和w3值與其對應，即存在多解問題。

圖7 S21與l6和w3的對應關系

3.3 超寬帶濾波器的稀疏貝葉斯正則化逆向神經網絡建模

在使用HFSS軟件進行優化的過程中，需要不斷調整諧振器在陷波中心頻率處的結構尺寸來得到理想S21的值，需要花費大量時間，增加了設計代價。為了能夠快速地通過目標插入損耗S21的值逆向求解陷波中心頻率f處的結構參量長度l6、寬度w3的值，采用本文提出的稀疏貝葉斯正則化逆向神經網絡建模方法對此超寬帶濾波器進行建模。

在MATLAB 13.0軟件中編程實現稀疏貝葉斯正則化神經網絡逆向迭代算法，選擇1 000組作為訓練數據，50組作為測試數據。

為了加快學習訓練速率，首先對所需數據進行歸一化處理，使量綱保持一致。本文采用min-max標準歸一化方法：

(19)

式中：α*∈Rn，αmin=min(α),αmsx=max(α)。

根據實驗情況，此逆模型采用4層神經網絡結構，確定各層節點數為3-23-20-1，輸入層三個節點，分別為l6、w3、f，輸出層一個節點，為S21，誤差限設為1e-6，最大迭代次數為500，通過仿真模擬發現當學習速率η取0.02，正則化系數λ取0.68時，誤差最小。

4 仿真結果分析

采用本文所提的逆向建模方法對超寬帶濾波器進行建模，模型輸出結果分別與電磁仿真軟件HFSS實際輸出、直接逆向建模方法輸出和BP逆向建模方法輸出進行對比，三種方法采用相同的網絡結構，對比結果如圖8-圖10所示。

圖8 長度l6擬合圖

圖9 寬度w3擬合圖

圖10 頻率f擬合圖

從圖8-圖10可以看出由于多解問題的存在，直接逆模型的擬合效果較差，而本文提出的逆向建模算法所得結果可以較好地擬合電磁仿真結果，模型精度較高。

直接逆模型、BP逆模型與本文逆模型網絡輸出的對比結果如表1所示。與BP逆向建模方法相比，本文逆模型求得的與插入損耗S21對應的長度l6、寬度w3、頻率f的相對誤差分別減小了81.4%、99.8%、48.9%，網絡運行時間減少了16.3%。

表1 三種逆向建模方法仿真結果對比

5 結 語

將稀疏貝葉斯正則化逆向神經網絡應用于超寬帶濾波器的建模中，通過目標電參量能夠快速綜合出對應的結構參量。L1/2范數使得逆模型更易得到稀疏性解，貝葉斯正則化方法調整網絡權系數，可以有效避免過擬合現象，網絡泛化能力及稀疏性更好。此逆向神經網絡通過迭代過程取代了連續搜索的程序優化方法，不存在多解問題，與直接逆向建模方法和BP逆建模方法相比，此逆向建模方法更加準確和高效。