基于AdaBelief殘差神經(jīng)網(wǎng)絡(luò)的超材料結(jié)構(gòu)逆設(shè)計

馮可豪，李白萍*，蔡藝軍，周遠(yuǎn)國

(1.西安科技大學(xué) 通信與信息工程學(xué)院，西安 710000； 2.廈門理工學(xué)院 光電與通信工程學(xué)院,廈門 361000)

引 言

2維材料是指單個或多個原子層晶體結(jié)構(gòu)，具有機(jī)械柔性和易于集成等特點，與硅(Si)或砷化鎵(GaAs)等3維材料相比，2維材料具有許多獨特的光學(xué)特性[1-2]。石墨烯作為一種2維等離子體材料，其高導(dǎo)電性和光學(xué)高透明度特性適用于透明電極和激光器[3-4]，另一方面可設(shè)計為光電探測器、光學(xué)傳感器等應(yīng)用[5-6]，其中多層石墨烯結(jié)構(gòu)可實現(xiàn)完美吸收等特性。利用石墨烯根據(jù)需求設(shè)計光子超材料結(jié)構(gòu)需要通過電磁模擬來解決復(fù)雜的逆問題，現(xiàn)階段的納米光學(xué)器件為實現(xiàn)更強(qiáng)大的功能使得其規(guī)模和復(fù)雜性不斷增加，通常采用迭代運算的傳統(tǒng)數(shù)值模擬方法,例如有限元法(finite element method，F(xiàn)EM)、時域有限差分法(finite-difference time-domain，F(xiàn)DTD)等方法[7-9]，依賴于數(shù)值模擬軟件，如COMSOL,HFSS等。但是由于逆問題的高度非線性，這些數(shù)值模擬已難以滿足光學(xué)結(jié)構(gòu)設(shè)計的需求，并且此類方法會造成大量的時間資源和計算資源的消耗。因此，采用優(yōu)化算法可以解決此類問題，包括拓?fù)鋬?yōu)化[10]、遺傳算法[11]、水平集方法[12]等，然而優(yōu)化算法受到搜索性質(zhì)的限制，隨著問題難度的增加，難以解決逆問題，且易陷入局部最優(yōu)值。

深度學(xué)習(xí)使用深層次的神經(jīng)網(wǎng)絡(luò)采用非線性轉(zhuǎn)換對模型的抽象化進(jìn)行數(shù)據(jù)處理與計算，在計算機(jī)視覺、語音識別、數(shù)據(jù)挖掘[13]等領(lǐng)域不斷發(fā)展的同時，已成功應(yīng)用于計算機(jī)科學(xué)以外的物理研究中，例如頻譜預(yù)測[14]、天線設(shè)計[15]、多層納米粒子[16]等，形成了革命性和有效性的方法。神經(jīng)網(wǎng)絡(luò)的基本思想是由預(yù)定義的訓(xùn)練模型來預(yù)測當(dāng)前問題，通過不斷地迭代更新權(quán)重參數(shù)來取得更優(yōu)的預(yù)測效果，其反向傳播算法適用于結(jié)構(gòu)繁雜且參數(shù)眾多的數(shù)據(jù)集。神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于電磁學(xué)的設(shè)計及預(yù)測問題中，以更高的精度與效率來解決此類問題，如濾波器、傳感器、超表面等結(jié)構(gòu)設(shè)計中。對于更為復(fù)雜的光學(xué)結(jié)構(gòu)設(shè)計，如光子晶體[17]、超材料[18]、硅光子器件[19]等仍處于起步階段，由于其性能的復(fù)雜性和設(shè)計的靈活性還未形成系統(tǒng)化的深度學(xué)習(xí)解決方案。

在本文中，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于石墨烯和氮化硅的多層交替薄膜超材料結(jié)構(gòu)的預(yù)測中，輸入為入射角等于85°的多諧振完美吸收光譜，得到輸出基于石墨烯的超材料結(jié)構(gòu)參量。神經(jīng)網(wǎng)絡(luò)通常采用1階梯度法訓(xùn)練，存在兩個分支：隨機(jī)梯度下降法(stochastic gradient descent,SGD),如動量隨機(jī)梯度法(momentum-SGD)、內(nèi)斯特羅夫加速梯度法(Nesteroff acceleration gradient,NAG)，以及自適應(yīng)學(xué)習(xí)率方法，如自適應(yīng)法(adaptive method,Adam)、自適應(yīng)梯度法(adaptive gradient,Adagrad)、自適應(yīng)約束法(adaptive bound,AdaBound)、均方根傳播法(root mean square propogation,RMSProp)等方法。然而相對于文本及圖像識別，納米結(jié)構(gòu)參數(shù)預(yù)測的采樣空間相對較小，且難以獲得大量樣本，常見的神經(jīng)網(wǎng)絡(luò)往往存在陷入局部最優(yōu)解以及測試集依賴于訓(xùn)練模型的缺陷。采用SGD作為網(wǎng)絡(luò)的優(yōu)化器進(jìn)行訓(xùn)練，無法得到穩(wěn)定且準(zhǔn)確的預(yù)測結(jié)果，采用多種自適應(yīng)學(xué)習(xí)率方法進(jìn)行訓(xùn)練，并對多種方法的預(yù)測結(jié)果進(jìn)行了比對，Adam優(yōu)化算法的預(yù)測結(jié)果較為穩(wěn)定和準(zhǔn)確，但預(yù)測精度仍然無法達(dá)到預(yù)期。自適應(yīng)信念法(adaptive belief,AdaBelief)在圖像分類和語言建模等應(yīng)用場景中比其它方法的收斂速度快、準(zhǔn)確率更高，表現(xiàn)出較高的穩(wěn)定性,并提高了樣本的質(zhì)量。本文中將AdaBelief優(yōu)化器運用于石墨烯基超材料的設(shè)計中，對采用Adam,AdaBelief,SGD優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行了對比與評估。預(yù)測結(jié)果表明，基于AdaBelief優(yōu)化器的殘差神經(jīng)網(wǎng)絡(luò)(residual neural network,RESNET)[20]收斂速度更快且預(yù)測精度更高，該網(wǎng)絡(luò)展現(xiàn)了在超材料和超器件設(shè)計中的強(qiáng)大能力。

1 方法與結(jié)構(gòu)

構(gòu)建基于石墨烯的超材料結(jié)構(gòu)來評估該改進(jìn)型神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)設(shè)計中的能力。如圖1所示，該結(jié)構(gòu)由多個無限寬的石墨烯和氮化硅交替層構(gòu)成，設(shè)計空間為每層氮化硅的厚度，用d1,d2,…,dn來表示從底部至頂部的各層氮化硅厚度。

Fig.1 Alternating multilayer film structure consisting of graphene and Si3N4

激發(fā)光以入射角θ及特定偏振進(jìn)入半球棱鏡與結(jié)構(gòu)體中，電介質(zhì)的光學(xué)厚度控制在可見光與紅外區(qū)域的亞波長范圍內(nèi)，其目的是產(chǎn)生所需光學(xué)響應(yīng)(如某一波長范圍的完美光吸收)。

單層石墨烯光子晶體的介電常數(shù)ε為：

ε=ε0+iσ/Δω

(1)

式中,ε0表示真空介電常數(shù)，Δω表示入射光的角頻率的變化量，石墨烯層表面電導(dǎo)率σ可用Kubo公式計算：

σ(ω,μc,Γ,T)=σintra+σinter

(2)

(3)

(4)

f(ξ,μc,T)={exp[(ξ-μc)/kBT]+1}-1

(5)

(6)

式中，δi=2πNidicosθi/λ為入射光的相位因子，其中Ni,di,θi,ηi分別表示第i層石墨烯的復(fù)折射率、厚度、入射光角以及傾斜光學(xué)導(dǎo)納,λ為波長。吸收光譜可由底層到空氣的光學(xué)導(dǎo)納Z=X/Y來表示，其中Y和X的矩陣如下：

(7)

因此，吸收光譜可如下表示:

(8)

式中,η0和ηc表示空氣和棱鏡的光學(xué)導(dǎo)納；*表示共軛。

使用改進(jìn)型殘差神經(jīng)網(wǎng)絡(luò)實現(xiàn)石墨烯超材料結(jié)構(gòu)的反設(shè)計，如圖2所示。通過特征矩陣法根據(jù)各項光學(xué)參數(shù)計算得到的吸收光譜樣本集H={hi,i=1,2,…,n},預(yù)測結(jié)構(gòu)體的厚度參數(shù)D={di,i=1,2,…,n}。該網(wǎng)絡(luò)底層映射表示為H(x),使得堆疊的非線性層適用于F(x)=H(x)-x,則原始映射被設(shè)置為F(x)+x。采用快捷方式跳過多層網(wǎng)絡(luò)進(jìn)行連接并執(zhí)行身份映射，輸出被添加到堆疊層的輸出中，通過反向傳播算法不斷更新參數(shù)進(jìn)行端到端的訓(xùn)練，降低了計算的復(fù)雜性，有效避免梯度彌散和梯度爆炸的現(xiàn)象。除了改善殘差神經(jīng)網(wǎng)絡(luò)以更好地實現(xiàn)超材料的反設(shè)計，還引入了AdaBelief優(yōu)化算法以實現(xiàn)網(wǎng)絡(luò)的快速收斂并保證訓(xùn)練的穩(wěn)定性，克服神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)解的缺陷，AdaBelief優(yōu)化算法與其它算法如自適應(yīng)約束法、控制自適應(yīng)法、自適應(yīng)權(quán)重法等算法進(jìn)行了廣泛的比較，如利用殘差神經(jīng)網(wǎng)絡(luò)和稠密連接網(wǎng)絡(luò)等在Cifar數(shù)據(jù)集進(jìn)行圖像分類與識別，以及在佩恩樹庫數(shù)據(jù)集上采用長短期記憶單元網(wǎng)絡(luò)進(jìn)行語言建模等實驗。結(jié)果證明,AdaBelief優(yōu)化算法的學(xué)習(xí)曲線的收斂速度和精確度均優(yōu)于其它優(yōu)化算法，算法細(xì)節(jié)如下所示。

Fig.2 Structural illustration of a residual neural network(the input depicts as the optical response, and the output depicts the material structural parameters)

2 AdaBelief優(yōu)化算法

首先定義參數(shù)gt,mt和st。

(9)

(10)

θt更新為：

(11)

(12)

Adabelief使用損失函數(shù)的曲率來改進(jìn)網(wǎng)絡(luò)的訓(xùn)練，當(dāng)gt與mt偏差很大時，優(yōu)化器采用較短的步長;當(dāng)gt接近預(yù)測值mt時，優(yōu)化器采用較大的步長。由以上分析可知,AdaBelief通過梯度的不斷變化來更新方向。

3 結(jié)果和討論

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目的是獲取基于石墨烯的超材料結(jié)構(gòu)參數(shù)。以85°入射角s偏振為例，采用特征矩陣法計算了50000個特定范圍內(nèi)的隨機(jī)厚度參數(shù)所對應(yīng)的吸收光譜訓(xùn)練樣本，每個樣本共有從t1～t256共256個采樣點，額外計算1000個隨機(jī)厚度的測試樣本，定義了吸收光譜的預(yù)測誤差函數(shù)P以評估算法的有效性和精確性，如下所示：

(13)

式中,n,hi,xi分別代表預(yù)測樣本總數(shù)、目標(biāo)吸收光譜和預(yù)測吸收光譜的離散值，該公式為每個樣本所得預(yù)測誤差，總預(yù)測誤差值為各個樣本預(yù)測誤差的平均值，以該公式來評估AdaBelief,Adam,SGD 3種優(yōu)化算法在該實例中的預(yù)測結(jié)果。

圖3為AdaBelief神經(jīng)網(wǎng)絡(luò)、Adam神經(jīng)網(wǎng)絡(luò)、SGD神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)曲線。每時期的預(yù)測誤差是樣本總誤差的平均值，在200個時期中，SGD優(yōu)化器的網(wǎng)絡(luò)的預(yù)測誤差曲線在前10個時期下降至25%左右后并無繼續(xù)下降的趨勢，說明在輸入吸收光譜預(yù)測結(jié)構(gòu)體參數(shù)的小采樣空間的實例中，SGD優(yōu)化器的性能較差，無法取得理想的預(yù)測結(jié)果。Adam優(yōu)化器在200個時期中，預(yù)測誤差曲線并未持續(xù)下降，始終在5%左右振蕩，網(wǎng)絡(luò)不夠穩(wěn)定；而AdaBelief優(yōu)化器的預(yù)測誤差曲線在經(jīng)過30個時期的振蕩之后，呈穩(wěn)定下降趨勢，經(jīng)過200個時期的訓(xùn)練，預(yù)測誤差降至2.5%左右，這說明該優(yōu)化器在超材料結(jié)構(gòu)體逆設(shè)計中收斂更快、精度更高。

Fig.3 Learning curve of AdaBelief, Adam and SGD neural network

對采用AdaBelief優(yōu)化算法、Adam優(yōu)化算法、SGD優(yōu)化算法的網(wǎng)絡(luò)的預(yù)測光譜進(jìn)行了分析與比較。如圖4所示，采用特征矩陣法所計算的吸收光譜在761nm處的吸收率達(dá)到99%以上，采用SGD優(yōu)化算法的網(wǎng)絡(luò)預(yù)測氮化硅納米薄膜厚度參數(shù)，預(yù)測吸收光譜與目標(biāo)光譜在波段和吸收峰值中均產(chǎn)生了明顯偏差，無法實現(xiàn)結(jié)構(gòu)體的精確設(shè)計。而Adam優(yōu)化算法和AdaBelief優(yōu)化算法的預(yù)測結(jié)構(gòu)參數(shù)所生成的吸收光譜與目標(biāo)吸收光譜的重合度較高，并可明顯看出，引入偏差校正項的AdaBelief優(yōu)化算法的精度更高，說明該算法所預(yù)測光譜與特征矩陣法獲得的目標(biāo)光譜具有一致性。

Fig.4 Target absorption spectrum of a single absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

采用特征矩陣法構(gòu)造出了在紅外波段具有多完美吸收峰的吸收光譜，如圖5和圖6所示。在304nm和1764nm左右達(dá)到95%以上的吸收率，在250nm，455nm和2628nm處達(dá)到95%以上的吸收率，在雙吸收峰光譜和三吸收峰光譜的對比圖中，AdaBelief優(yōu)化算法的吸收光譜曲線和目標(biāo)吸收光譜曲線的重合度最高，Adam次之，SGD存在顯著偏差。

Fig.5 Target absorption spectrum of double absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

Fig.6 Target absorption spectrum of multi absorption peak and the prediction absorption spectrum based on AdaBelief, Adam and SGD networks

隨機(jī)抽取了其中一組預(yù)測結(jié)果進(jìn)行了分析和比較，如表1所示。表中給出了薄膜結(jié)構(gòu)體交替層中5層氮化硅的目標(biāo)厚度與3種算法網(wǎng)絡(luò)的預(yù)測厚度，由表中可以看出,采用AdaBelief的網(wǎng)絡(luò)所預(yù)測厚度的平均誤差低于其它兩種算法所預(yù)測結(jié)果，進(jìn)一步說明了AdaBelief算法在基于石墨烯的超材料結(jié)構(gòu)體逆設(shè)計中的高精度。

Table 1 Target structural parameters and prediction structural parameters and average error based on AdaBelief, Adam, SGD networks

4 結(jié) 論

首先構(gòu)建了基于AdaBelief優(yōu)化算法的改進(jìn)型殘差神經(jīng)網(wǎng)絡(luò),將其運用于基于石墨烯超材料的結(jié)構(gòu)設(shè)計中，其次使用特征矩陣法獲得多完美吸收峰的目標(biāo)光譜作為網(wǎng)絡(luò)的訓(xùn)練集與測試集。基于AdaBelief的神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)構(gòu)參數(shù)的平均誤差小于其它方法的平均誤差，并且所對應(yīng)光譜表現(xiàn)出與目標(biāo)光譜的高度一致性，預(yù)測結(jié)果表明,基于AdaBelief的神經(jīng)網(wǎng)絡(luò)有效地解決了在小采樣空間內(nèi)網(wǎng)絡(luò)易陷入局部最優(yōu)解使得預(yù)測誤差無法持續(xù)下降的問題，加快了網(wǎng)絡(luò)的收斂速度并保證超材料結(jié)構(gòu)參數(shù)預(yù)測的高精度。該方法為其它基于2維材料的光學(xué)結(jié)構(gòu)設(shè)計提供了新思路。