Doherty功放的貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向建模研究

南敬昌，胡婷婷，盛爽爽，高明明

(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

1 引言

隨著無(wú)線通信系統(tǒng)的快速發(fā)展，射頻微波電路變得越來(lái)越重要，但使用ADS(Advanced Design System)軟件輔助設(shè)計(jì)微波電路需要花費(fèi)大量的時(shí)間且設(shè)計(jì)步驟繁瑣，實(shí)現(xiàn)困難。為了簡(jiǎn)化設(shè)計(jì)步驟、縮短設(shè)計(jì)時(shí)間，科研人員正在研究將具有自學(xué)習(xí)性、并行處理能力、能夠逼近任意非線性映射關(guān)系的神經(jīng)網(wǎng)絡(luò)建模方法應(yīng)用到射頻微波電路設(shè)計(jì)中。神經(jīng)網(wǎng)絡(luò)建模方法分為兩類：一類是正向建模，有助于簡(jiǎn)化分析過(guò)程；另一類是逆向建模，就是根據(jù)已知的輸出參量設(shè)計(jì)出相對(duì)應(yīng)的輸入?yún)⒘浚簿褪钦蚪５哪嫦蚯蠼狻Ｄ嫦蚪７椒ǖ某霈F(xiàn)為神經(jīng)網(wǎng)絡(luò)的研究拓寬了視野，具有廣闊的發(fā)展前景。

利用EM(ElectroMagnetic)仿真軟件設(shè)計(jì)微波器件時(shí)，需要進(jìn)行長(zhǎng)時(shí)間的優(yōu)化仿真來(lái)得到目標(biāo)參數(shù)，非常耗時(shí),不過(guò)可以使用精確快速的神經(jīng)網(wǎng)絡(luò)逆模型代替仿真軟件求解與目標(biāo)參數(shù)對(duì)應(yīng)的結(jié)構(gòu)參數(shù)，以簡(jiǎn)化設(shè)計(jì)[1]。在神經(jīng)網(wǎng)絡(luò)逆向建模中，直接將神經(jīng)網(wǎng)絡(luò)的輸入和輸出互換，經(jīng)過(guò)訓(xùn)練就可以直接得到逆向模型[2]，它可以立即綜合出與系統(tǒng)響應(yīng)相應(yīng)的元件結(jié)構(gòu)參數(shù),建模速度加快，其缺點(diǎn)是輸入與輸出之間存在多值映射關(guān)系,不能確定它的收斂性和唯一性[3]。Krishna 等人[4]和Kabir等人[5]均提出一種建立子逆模型的逆向建模方法。該方法按照一定的規(guī)則將訓(xùn)練數(shù)據(jù)分成若干個(gè)小組，利用每一小組的數(shù)據(jù)分別訓(xùn)練不同的子逆模型，然后用事先訓(xùn)練好的正向模型把各個(gè)子逆模型合并成一個(gè)完整的逆模型，如果合并得到的逆模型精度達(dá)到要求就結(jié)束，否則繼續(xù)進(jìn)行數(shù)據(jù)分組、訓(xùn)練直到滿足逆模型的精度要求為止。Mareddy等人[6]提出一種采用共軛梯度FRCG(Fletcher Reeves Conjugate Gradient)算法的逆向神經(jīng)網(wǎng)絡(luò)建模方法，首先交換原模型中的一個(gè)輸入和一個(gè)輸出得到一個(gè)逆模型，依次類推建立一系列的候選逆模型；然后計(jì)算每個(gè)候選逆向模型的測(cè)量誤差E，將具有最小誤差的候選逆模型作為理想逆模型，采用FRCG算法優(yōu)化電參數(shù)，將理想逆模型與精度不高的原模型互補(bǔ)得到精確模型。神經(jīng)網(wǎng)絡(luò)逆向迭代算法方面，Linden等人[7]首次提出基于梯度下降法的神經(jīng)網(wǎng)絡(luò)逆向迭代算法，即不再調(diào)整權(quán)值，而是通過(guò)更新輸入?yún)⒘渴咕W(wǎng)絡(luò)的實(shí)際輸出和目標(biāo)輸出間的誤差最小。孟少奇[8]分析了帶動(dòng)量項(xiàng)的神經(jīng)網(wǎng)絡(luò)逆向迭代算法的收斂性，該算法可以提高收斂速度，但不具有稀疏性。Xu等人[9]提出比L1/2正則項(xiàng)更具稀疏性的非凸罰L1/2正則項(xiàng)迭代算法。呂煒等人[10]證明了帶L2正則化項(xiàng)的神經(jīng)網(wǎng)絡(luò)逆向迭代算法是確定性收斂的。黃炳家等人[11]提出的帶光滑L1/2正則化項(xiàng)的神經(jīng)網(wǎng)絡(luò)逆向迭代算法，保證了輸入向量序列在訓(xùn)練過(guò)程中的穩(wěn)定性及稀疏性。宋雷等人[12]提出貝葉斯正則化算法能縮小BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的規(guī)模，使網(wǎng)絡(luò)的輸出更加平滑，可有效增強(qiáng)網(wǎng)絡(luò)的泛化能力。李洋等人[13]指出貝葉斯正則化算法通過(guò)修正神經(jīng)網(wǎng)絡(luò)的訓(xùn)練性能函數(shù)來(lái)提高其推廣能力。

針對(duì)以上逆向建模方法過(guò)程復(fù)雜、計(jì)算時(shí)間長(zhǎng)、精度不夠理想等缺點(diǎn)，本文保持訓(xùn)練后正向模型的權(quán)值和閾值不變，通過(guò)迭代更新輸入使規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)的貝葉斯正則化的評(píng)價(jià)函數(shù)達(dá)到最小，該逆向模型建成后，可以提高設(shè)計(jì)精度和運(yùn)行速度。應(yīng)用到Doherty功率放大器的設(shè)計(jì)中，驗(yàn)證了此逆向建模方法的高效性。此外，貝葉斯正則化算法可以提高逆向神經(jīng)網(wǎng)絡(luò)輸入?yún)⒘坑?xùn)練過(guò)程中的穩(wěn)定性。

2 貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向迭代算法

2.1 貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)

貝葉斯正則化算法是指用貝葉斯方法估計(jì)正則化參數(shù)，當(dāng)比例系數(shù)大于0.5時(shí)，不僅能保證網(wǎng)絡(luò)訓(xùn)練誤差盡可能小，而且使網(wǎng)絡(luò)的權(quán)值盡可能少，這實(shí)際上相當(dāng)于自動(dòng)縮小了網(wǎng)絡(luò)的規(guī)模，使網(wǎng)絡(luò)的輸出更加平滑，有效增強(qiáng)網(wǎng)絡(luò)的泛化性能，減少網(wǎng)絡(luò)過(guò)擬合的可能[12 - 14]。一般神經(jīng)網(wǎng)絡(luò)的性能函數(shù)為F=E,而正則化方法是在網(wǎng)絡(luò)誤差函數(shù)E后面加入一個(gè)懲罰項(xiàng)Ew，那么貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)的性能函數(shù)F[13]為:

F=αEw+1-αE

(1)

其中,E為訓(xùn)練輸出y與目標(biāo)輸出t之間的均方誤差，α∈0,1為比例系數(shù)。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，貝葉斯正則化算法能夠自適應(yīng)地調(diào)節(jié)α的大小，使其達(dá)到最優(yōu)。

2.2 基于貝葉斯正則化的BP神經(jīng)網(wǎng)絡(luò)逆向迭代算法

神經(jīng)網(wǎng)絡(luò)逆向建模的目標(biāo)就是求出與目標(biāo)參數(shù)相對(duì)應(yīng)的結(jié)構(gòu)參數(shù)，與正向建模修正權(quán)值不同的是，逆向建模在正向模型的基礎(chǔ)上需要調(diào)整輸入?yún)?shù)的值，以使評(píng)價(jià)函數(shù)達(dá)到最小，此時(shí)保持權(quán)值和閾值不變，更新后獲得的模型輸入與目標(biāo)輸入之間非常接近，這樣可以簡(jiǎn)化逆向建模的學(xué)習(xí)過(guò)程。輸入?yún)?shù)的更新過(guò)程是：

(2)

其中,xn+1、xn為輸入?yún)⒘浚菫閷W(xué)習(xí)速率。

正則化方法常見(jiàn)的規(guī)則化函數(shù)是L0，L1，L2范數(shù)。L0正則化模型是應(yīng)用最早的變量選擇和特征提取的正則化方法，可以產(chǎn)生稀疏的解，但需要求解一個(gè)NP組合優(yōu)化問(wèn)題來(lái)給出最優(yōu)的變量選擇結(jié)果。L1正則化模型較易求解，但不能總是產(chǎn)生最稀疏的解。L2正則化模型是最常用的方法，能產(chǎn)生光滑解，但不具備稀疏性，其網(wǎng)絡(luò)剪枝能力較弱[11，15，16]。L1/2正則化模型易于求解且解的稀疏性較好，應(yīng)用到貝葉斯正則化BP神經(jīng)網(wǎng)絡(luò)逆向建模中能夠有效縮短網(wǎng)絡(luò)的運(yùn)行時(shí)間。當(dāng)貝葉斯正則化的比例系數(shù)α較大時(shí)，可以增加網(wǎng)絡(luò)輸出的平滑性，有效提高逆向建模過(guò)程中網(wǎng)絡(luò)的穩(wěn)定性。

本文選用BP神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)，假設(shè)輸入層有N個(gè)神經(jīng)元、隱含層有P個(gè)神經(jīng)元、輸出層有M個(gè)神經(jīng)元，如圖1所示。隱含層的激活函數(shù)為logsig函數(shù)，輸出層激活函數(shù)為線性purelin函數(shù)。

Figure 1 BP neural network structure圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

根據(jù)圖1可得，隱含層神經(jīng)元的輸出為：

(3)

其中，zpk表示第k組數(shù)據(jù)的第p個(gè)隱含層神經(jīng)元的輸出，xnk是第k組數(shù)據(jù)的第n個(gè)輸入值，vpn代表第n個(gè)輸入與第p個(gè)隱含層神經(jīng)元之間的權(quán)值，θ1p為第p個(gè)隱含層神經(jīng)元的閾值，f為隱含層激活函數(shù)f=1/(1+e-x)。所以zpk對(duì)xnk的偏導(dǎo)為：

·zpk1-zpk

(4)

輸出層神經(jīng)元的輸出為：

θ2m

(5)

其中,ymk為第k組數(shù)據(jù)的第m個(gè)輸出層神經(jīng)元的輸出，wmp代表第p個(gè)隱含層神經(jīng)元與第m個(gè)輸出之間的權(quán)值，θ2m為第m個(gè)輸出層神經(jīng)元的閾值。

規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)的神經(jīng)網(wǎng)絡(luò)逆向建模方法的評(píng)價(jià)函數(shù)為：

F=αEx+1-αED

(6)

在這里，由于逆向神經(jīng)網(wǎng)絡(luò)建模方法修正的是輸入值而不是權(quán)值，故將Ew替換為Ex。

那么式(6)評(píng)價(jià)函數(shù)F對(duì)第n個(gè)輸入xn的偏導(dǎo)為：

(7)

其中，

(8)

將式(7)中的誤差EDk對(duì)隱含層輸出zpk求偏導(dǎo)得：

(9)

假設(shè)式(9)中的第一項(xiàng)由ξpk表示：

(10)

而式(9)中的第二項(xiàng)可以表示為:

(11)

把式(10)和式(11)代入式(9)可得：

·wmp

(12)

式(7)中誤差函數(shù)EDk對(duì)輸入xnk的偏導(dǎo)為:

(13)

將式(4)和式(12)代入式(13)可得式(14)：

·

wmp·vpn·zpk1-zpk]

(14)

由式(7)、式(8)和式(14)可得：

(15)

將式(15)代入式(2)中完成輸入?yún)?shù)xn的更新過(guò)程，實(shí)現(xiàn)逆向建模的過(guò)程。

Figure 2 Model of Doherty power amplifier in ADS圖2 Doherty功率放大器在ADS中的模型

3 逆向建模步驟

3.1 神經(jīng)網(wǎng)絡(luò)逆向建模步驟

本文將規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)的貝葉斯正則化方法應(yīng)用到BP神經(jīng)網(wǎng)絡(luò)逆向建模中，可以有效提高逆向建模過(guò)程中網(wǎng)絡(luò)的穩(wěn)定性并增強(qiáng)網(wǎng)絡(luò)的泛化能力，提高模型中結(jié)構(gòu)參數(shù)的精度，縮短建模的運(yùn)行時(shí)間，具體實(shí)現(xiàn)步驟如下：

步驟1提取訓(xùn)練數(shù)據(jù)；

步驟2訓(xùn)練正向模型，獲取權(quán)值和閾值并保存；

步驟3保持權(quán)值和閾值不變，在建立好的正向模型中分別輸入?yún)⒘浚\(yùn)行得到輸出參量；

步驟4計(jì)算正模型輸出參量與目標(biāo)參量之間的評(píng)價(jià)函數(shù)F；

步驟6若達(dá)到設(shè)定的迭代次數(shù)或評(píng)價(jià)函數(shù)F滿足要求，則結(jié)束,否則轉(zhuǎn)到步驟3。

3.2 Doherty功率放大器逆向神經(jīng)網(wǎng)絡(luò)建模過(guò)程

將本文提出的逆向建模方法應(yīng)用到Doherty功率放大器中，圖2和圖3是在ADS中搭建的Doherty功率放大器模型，圖4為該Doherty功率放大器的實(shí)物圖。

Figure 3 Carrier amplifier model of Doherty power amplifier in ADS圖3 Doherty功率放大器在ADS中的載波放大器模型

Figure 4 Physical map of Doherty power amplifier圖4 Doherty功率放大器的實(shí)物圖

如圖2所示是Doherty功率放大器的模型，它由一個(gè)主功放即載波放大器和一個(gè)輔功放即峰值放大器組成，主輔功放通過(guò)λ/4微帶線進(jìn)行連接。載波放大器輸出端的λ/4傳輸線起著阻抗變換的作用，而峰值放大器輸入端λ/4傳輸線則起著相位補(bǔ)償?shù)淖饔茫靡云胶廨d波放大器和峰值放大器的相位。在低功率的時(shí)候，載波功放導(dǎo)通，峰值功放關(guān)閉，隨著輸入功率的提高，載波功放開(kāi)始出現(xiàn)壓縮，這時(shí)峰值功放開(kāi)始工作，補(bǔ)償載波功放的壓縮。這兩個(gè)功率放大器的輸出功率經(jīng)過(guò)λ/4阻抗變換網(wǎng)絡(luò)合成后，得到一個(gè)合成功率的輸出，這樣可以提高功率放大器的效率，尤其是功率回退時(shí)的效率。當(dāng)主輔功放電路諧振在中心頻率處時(shí)，S11應(yīng)達(dá)到最大，S21應(yīng)幾乎接近于零點(diǎn)。但是，在實(shí)際設(shè)計(jì)中，微帶線兩端的阻抗并不相同，因此頻率會(huì)產(chǎn)生偏移。設(shè)計(jì)者使用ADS軟件調(diào)節(jié)輸出功率和頻率f得到需要的效率、S11和S21是非常耗時(shí)的。如圖3所示是Doherty功率放大器的載波放大器模型，其輸出功率與效率、輸出匹配端頻率f與回波損耗S11和插入損耗S21之間的關(guān)系如圖5a～圖5c所示。

Figure 5 Relationship between output power and efficiency, output matching f and S11、f and S21圖5 輸出功率與效率、輸出匹配端f與S11和f與S21的對(duì)應(yīng)關(guān)系

圖5a為載波放大器效率隨輸出功率的變化曲線圖，圖5b、圖5c分別為載波功率放大器輸出匹配仿真結(jié)果圖，其中S11,S21的單位是dB。由圖5a可知，當(dāng)輸出功率為44.92 dBm時(shí)，效率最大可達(dá)65.96%。圖5b和圖5c顯示在頻率3.5 GHz時(shí)，S11為-45.20 dB，S21為-0.12 dB，達(dá)到了良好的匹配效果。從該圖可以看出，相同的效率對(duì)應(yīng)多個(gè)輸出功率值，相同的S11和S21也分別對(duì)應(yīng)多個(gè)f值。為解決以上設(shè)計(jì)耗時(shí)和各參數(shù)呈非線性映射關(guān)系的問(wèn)題，可以利用本文提出的逆向建模方法求解與所需效率、S11和S21分別對(duì)應(yīng)的最佳輸出功率值和f值，以簡(jiǎn)化設(shè)計(jì)步驟，具體建模過(guò)程如圖6所示。

Figure 6 Flow chart of the reverse modeling method圖6 逆向建模方法流程圖

4 實(shí)驗(yàn)驗(yàn)證及仿真分析

為了驗(yàn)證所提出的逆向建模方法具有高精度和運(yùn)行時(shí)間更少的特性，以Doherty功率放大器中載波放大器的輸出匹配端為例，將本文逆向建模方法與ADS仿真方法、直接逆向建模方法的結(jié)果作比較。

直接逆向模型就是將輸入輸出參量互換，建成網(wǎng)絡(luò)后，只要輸入目標(biāo)參量，就可以獲得相應(yīng)的結(jié)構(gòu)參量。在載波功率放大器中提取出輸出功率與效率、輸出匹配端S11與f和輸出匹配端S21與f的數(shù)據(jù)，每個(gè)參數(shù)均提取3 688組，從中分別選取1 000組為訓(xùn)練數(shù)據(jù)，另分別取150組數(shù)據(jù)為測(cè)試數(shù)據(jù)。規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)的貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向建模方法使用和直接逆向模型相同的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，按照第3.2節(jié)的實(shí)現(xiàn)過(guò)程訓(xùn)練模型。在Matlab 2013b中實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試，直接逆向建模方法和本文逆向建模方法均采用結(jié)構(gòu)為1-30-1的BP神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)速率η取0.01，誤差限設(shè)定為1e-6，迭代500次。另外，本文逆向建模方法評(píng)價(jià)函數(shù)中的比例系數(shù)取0.65。針對(duì)150組測(cè)試數(shù)據(jù)，利用這兩種方法求得的與效率相對(duì)應(yīng)的輸出功率值和ADS軟件中的輸出功率值的擬合情況如圖7所示，與S11相對(duì)應(yīng)的頻率f值和ADS軟件中的f值的擬合情況如圖8所示，與S21相對(duì)應(yīng)的頻率f值和ADS軟件中的f值的擬合情況如圖9所示。

Figure 7 Comparison of output power圖7 輸出功率的對(duì)比圖

Figure 8 Comparison of frequency valuescorresponding to S11圖8 與S11相對(duì)應(yīng)的頻率f值的對(duì)比圖

Figure 9 Comparison of frequency valuescorresponding to S21圖9 與S21相對(duì)應(yīng)的頻率f值的對(duì)比圖

從圖7～圖9可以知道，直接逆向建模方法求得的值與ADS中的值基本上都不擬合。由圖5可以知道，輸出功率與效率、S11與f和S21與f的對(duì)應(yīng)關(guān)系是一對(duì)多的，直接逆向建模方法無(wú)法給出最優(yōu)值，因此不能用來(lái)描述載波功率放大器的特性。而本文逆向建模方法求得的值與ADS中的值擬合效果比直接逆向建模方法要好很多，在精度方面，該方法能夠滿足實(shí)際的設(shè)計(jì)需求。

在這里，分別利用直接逆向建模方法和本文逆向建模方法，在已知效率的情況下綜合出輸出功率、已知S11、S21時(shí)分別綜合出相對(duì)應(yīng)的頻率f，比較這兩種逆向建模方法的建模時(shí)間和均方誤差，如表1所示。本文逆向建模方法求得與S11相對(duì)的f、與S21相對(duì)的f和輸出功率的運(yùn)行時(shí)間分別比直接逆向建模方法減少了9.30%、9.00%和8.83%，均方誤差分別減少了99.40%、99.23%和99.34%。由表1可知，規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)的貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向建模方法不僅可以提高網(wǎng)絡(luò)的穩(wěn)定性和泛化能力，而且可以縮短網(wǎng)絡(luò)的運(yùn)行時(shí)間。

Table 1 Performance comparison ofthe two modeling methods

5 結(jié)束語(yǔ)

本文提出了一種基于貝葉斯正則化的神經(jīng)網(wǎng)絡(luò)逆向建模方法，該方法采用的規(guī)則化函數(shù)為L(zhǎng)1/2范數(shù)，能夠使網(wǎng)絡(luò)稀疏化，進(jìn)而縮短網(wǎng)絡(luò)模型的運(yùn)行時(shí)間。當(dāng)貝葉斯正則化方法的比例系數(shù)α較大時(shí)，可以平滑輸出，提高逆向建模過(guò)程中網(wǎng)絡(luò)的穩(wěn)定性和網(wǎng)絡(luò)的泛化能力。將該方法應(yīng)用到Doherty功率放大器中，并在Matlab中與直接逆向建模方法的仿真結(jié)果作比較，驗(yàn)證了該方法的高精度和高速度，表明該方法適用于射頻微波器件的設(shè)計(jì)。