基于時間注意力機制的時滯混沌系統參數辨識模型

尹聰，胡漢平

（華中科技大學 人工智能與自動化學院，武漢 430074）

0 引言

混沌系統具有動力學特性復雜、誤差敏感、長期狀態不可預測等特性，在保密通信等領域應用廣泛［1］。而時滯混沌系統由于無窮維狀態空間等特性［2］，因此具有更加復雜的動力學特性。時滯混沌系統的參數及時滯辨識對保密通信系統的同步控制［3］及安全性分析［4］具有關鍵意義，而混沌系統中時滯的引入帶來的復雜的動力學特性在增強保密通信系統安全性的同時，也增大了系統參數辨識的難度。因此，對時滯混沌系統參數及時滯辨識問題的研究具有重要意義。

近年來，時滯混沌系統的參數辨識問題得到了廣泛關注，其中基于同步控制的方法和基于智能搜索算法的方法是兩種主流的辨識方法。基于同步控制的方法為混沌系統設計狀態觀測器，將系統參數視為狀態觀測器的狀態變量，并根據穩定性理論使觀測器的狀態變量收斂于系統參數。此類研究主要關注同步控制在理論上的可行性［5］和針對具體系統的狀態觀測器實現［6-7］。基于同步控制的方法中狀態觀測器的設計依賴系統本身的特性，因此實現難度較大。智能搜索算法將參數辨識問題視為優化問題，以系統在參數和時滯的估計值下輸出的狀態序列與實際采集到的狀態序列之間的誤差為目標函數，通過全局搜索和局部搜索實現目標函數的最小化。智能搜索算法包括多項選擇差分進化算法［8］、反饋教學優化算法［9］、人工雨滴算法（Artifitial Raindrop Algorithm，ARA）［10］、混合布谷鳥搜索算法（Hybrid Cuckoo Search，HCS）［11］、全局花 朵授粉算法（Global Flower Pollination Algorithm，GFPA）［12］、元胞鯨 魚算法（Cellular Whale Algorithm，CWA）［13］等。它們的優勢在于收斂性不依賴系統本身的特性，易于實現。但時滯混沌系統的系統參數和時滯與狀態序列誤差之間關系復雜，因此更容易陷入較差的局部最優，導致此類方法不能辨識出真實的系統參數。

隨著深度學習的迅速發展，深度神經網絡不僅在計算機視覺［14］、時間序列分析及預測［15］等領域取得了成功，而且在動力學系統的參數辨識領域也逐漸成為研究熱點。文獻［16-17］分別采用卷積神經網絡（Convolutional Neural Network，CNN）和循環神經網絡（Recurrent Neural Network，RNN）對Lorenz63 混沌系統和Tustin 二階系統進行參數辨識。該類方法利用系統的多步狀態序列或頻域信息，通過學習系統狀態序列與參數之間的函數關系實現對無時滯動力學系統的參數辨識，但并未考慮系統時滯對動力學特性的影響，不能用于時滯混沌系統在時滯未知時的參數及時滯辨識。因此，本文從代數方程求根的思想出發，提出基于時間注意力機制的參數辨識神經網絡（Parameter Identification Neural Network with Temporal Attention，PINN-TA）模型。該模型首先通過時間注意力機制提取系統狀態序列的關聯特征，分析系統當前狀態和時滯狀態的關聯性，從而實現對系統時滯的辨識及對系統時滯狀態序列的逼近；再利用RNN 隱式逼近系統微分方程，構造系統當前狀態、時滯狀態與未知參數之間的代數方程；最終將代數方程的根作為系統參數的估計值，實現系統參數辨識。對時滯Logistic 方程、Ikeda 微分方程、Mackey-Glass 混沌系統等典型時滯混沌系統的仿真實驗表明，相較于現有智能搜索算法，PINN-TA 模型得到的參數及時滯辨識結果在辨識精度和辨識速度方面均存在明顯優勢，能夠滿足時滯混沌系統參數辨識的精度和實時性要求。

1 系統方程

考慮由式（1）定義的時滯混沌系統：

其中：f為系統方程；τ為系統時滯；θ為系統參數。神經網絡具有萬能逼近性質，因此該系統可以由RNN 近似：

其中：δ為系統狀態序列的采樣間隔為RNN 對原系統方程的任意逼近。該網絡定義了狀態序列{xn}與系統參數θ之間的代數方程：

當時滯已知時，將系統當前的狀態和時滯狀態代入方程，此時系統未知參數θ即為式（3）所示的代數方程的根；而當時滯未知時，方程的構造則依賴時滯的辨識及系統時滯狀態的近似。因此，式（1）的參數辨識問題可以分解為兩個部分：時滯未知時對系統時滯τ的辨識，以及系統當前狀態序列和時滯狀態序列關于系統參數的代數方程的構造及求根。

2 參數及時滯辨識模型

本文模型通過時間注意力機制求得系統時滯狀態x(t-τ)（即xn-m）的近似值，同時根據注意力權值求出系統時滯τ的估計值；并利用系統近似的時滯狀態構建形如式（3）所示的代數方程，求得方程的根作為系統參數θ的辨識結果。因此，本文模型的輸入為系統的狀態序列，輸出為參數和時滯的估計結果。模型的整體結構如圖1 所示。

圖1 參數辨識神經網絡的總體結構Fig.1 General structure of parameter identification neural network

2.1 注意力網絡結構

本文模型對時滯的辨識基于時間注意力機制實現。注意力機制能夠提取輸入時間序列中不同元素與目標輸出之間的關聯性，并將目標輸出表達為輸入序列的加權和［18］：

其中：J為輸入序列的索引集；xj為輸入序列的第j個元素；ci為目標輸出序列的第i個元素；αij為注意力權值，該權值體現了ci與xj關聯性的強度。在混沌系統的時滯辨識問題中，目標輸出序列即為系統的時滯狀態xn-m的估計值由于系統時滯辨識的依據是混沌系統狀態的時間序列，且混沌系統為因果系統，因此本文模型中的注意力機制為時間注意力機制，且系統時滯不能為負，故式（4）可重寫為：

其中：M為系統時滯m的搜索上界。式（5）將系統的時滯狀態表達為從xn-M到xn的時間窗口內所有觀測值的加權和。

在本文模型中，時間注意力機制的權值向量αn=［αn，0，αn，1，…，αn，M］基于RNN 提取序列的自相關特征輸出。由于系統當前狀態與時滯狀態之間存在長距離相關性，且簡單的RNN 由于存在梯度消失等問題，難以學習序列中的長距離關聯特性，因此本文選擇具備長程信息記憶能力的長短期記憶網絡（Long Short-Term Memory，LSTM）［19］用于提取當前狀態序列與時滯狀態序列的長距離關聯性特征。在系統辨識問題中，系統狀態序列的時間雙向關聯［17］，因此將時間注意力機制中使用的LSTM 改為雙向LSTM（Bidirectional LSTM，BiLSTM）。

如圖1 所示，注意力網絡中的BiLSTM 以狀態序列｛xn｝與它的后向差分{xn-xn-1}為輸入，通過BiLSTM 提取每一時刻狀態的前向和后向關聯性特征{dn}。{dn}反映了系統在當前時刻的狀態如何受到過去時刻的影響，并如何影響系統未來的狀態。將{dn}分別由兩個前饋神經網絡（Feed Forward Neural Network，FFNN），即FFNNq和FFNNk投影到查詢向量空間{qn}和鍵值空間{kn}，并通過向量內積的方式和Softmax激活函數求得注意力權值向量αn。具體實現如下：

在注意力機制求解權值向量的過程中，LSTM 將序列的當前狀態觀測值及前后的各個觀測值通過非線性變換投影到高維空間，并由狀態序列在高維空間中的投影進行向量內積得出注意力權值。這一過程通過對來自給定系統的訓練集的學習，定義了某種適用于給定混沌系統的、不局限于線性相關性的廣義自相關函數：

輸出的權值向量αn即自相關函數中每一時刻系統狀態與自身平移個采樣間隔后的狀態在高維空間投影的內積的歸一化。權值的相對大小體現了系統當前狀態與各歷史狀態之間相關性的強弱，既表示了時滯取某一特定值的可能性大小，也給出了系統時滯狀態的近似求法。該模型采用多層FFNN 將權值向量轉換為系統時滯τ的辨識結果，并將系統歷史狀態的加權和作為系統時滯狀態的近似，記作

時滯τ為采樣間隔δ的整數倍（即m為整數）時，注意力權值向量應當為式（9）所示的獨熱（one-hot）編碼：

2.2 求根網絡結構

獲得系統時滯狀態的近似值后，由式（1）定義的原系統即可由RNN 逼近，形成關于系統狀態序列、時滯狀態序列和系統參數的代數方程，此時可求得代數方程的根作為系統參數的辨識結果。當待辨識參數＞1 時，若只有一組系統狀態和時滯狀態的觀測樣本，則代數方程一般有無窮多個根，因此僅憑一組觀測樣本無法求得唯一的參數辨識結果，此時需要聯立多組觀測樣本代入代數方程后組成的方程組才能求得系統參數的唯一解。考慮到計算機有限字長的問題，由RNN 直接逼近系統方程，并將連續的若干組樣本代入方程直接求根的方法可能會引入較大的舍入誤差，影響參數辨識精度。形如式（3）的代數方程的構造和求根實質上定義了系統參數與狀態序列之間的函數關系：

因此本文將代數方程的構造和求根問題轉化為對函數G的逼近，并采用LSTM 實現這一函數逼近，從而求得系統參數的辨識結果。求根網絡的具體結構如圖2 所示。

圖2 求根網絡的詳細結構Fig.2 Detailed structure of root-finding network

求根網絡中LSTM 的輸入為系統狀態序列{xn}與它的后向差分{xn-xn-1}，以及由注意力機制辨識得到的近似時滯狀態LSTM 不僅隱式地實現了對原始系統方程的逼近，而且能夠自適應地選取序列中的關鍵樣本信息，并將現有狀態序列信息下系統方程的最佳逼近和關鍵樣本信息作為網絡的隱含狀態hn輸出。hn由FFNNθ解碼后即可得到系統參數的辨識結果。由求根網絡隱式逼近系統方程并通過代數方程求根得到參數辨識結果的公式如下：

其中：由于注意力機制需要遍歷系統狀態序列的第（n-M）～n個樣本才能求出系統在第n個樣本對應的時刻下時滯狀態的近似值，因此系統時滯狀態的首個估計值需要在第M個樣本處才能求出，即求根網絡的輸入是從系統狀態序列的第M個樣本開始的。求根網絡在遍歷狀態序列的過程中更新系統方程的最佳逼近和關鍵樣本信息，并由FFNN 解碼得到系統參數的辨識結果。這一過程基于代數方程組構建和求解的思想實現，只需遍歷狀態序列一次，不需要對系統參數給出初始估計，避免了迭代式求解系統最優參數的過程，從而避免了智能搜索算法中的局部最優問題。

3 仿真實驗與結果分析

3.1 實驗設計

為驗證PINN-TA 模型在時滯系統參數及時滯辨識中的有效性，以時滯Logistic 方程［20］、Ikeda 微分方程和Mackey-Glass 混沌系統［2］等3 種典型的時滯混沌系統作為待辨識系統對PINN-TA 模型進行仿真實驗。它們的定義分別如式（12）～（14）所示：

在仿真實驗中，每組實驗的系統參數和時滯在表1 給出的取值范圍中隨機選取。

三個混沌系統的狀態序列采樣間隔δ分別取0.01、0.025 和0.5，每個參數-時滯組合仿真的時間長度為1 000δ。考慮到注意力機制存在如式（9）所示的性質，為避免端到端學習導致注意力網絡陷入較差的局部最優，實驗中為注意力網絡單獨生成訓練集，并在訓練求根網絡前首先訓練注意力網絡。由于當且僅當時滯τ取采樣間隔δ的整數倍時，時滯才能根據式（9）轉換為獨熱編碼，因此將注意力網絡訓練集的時滯τ取為采樣間隔δ的整數倍，并隨機選取參數θ，再仿真生成各參數-時滯組合對應的狀態序列。除注意力網絡訓練集外，實驗的求根網絡訓練集和測試集均通過表1 給出的取值范圍均勻隨機選取參數θ和時滯τ而成。考慮到呈收斂或發散形態的序列不是混沌序列，對保密通信等實際應用沒有意義，實驗剔除了各系統所有訓練集和測試集中呈收斂或發散形態的狀態序列，以及此類序列對應的參數-時滯組合，得到有效訓練集和測試集的參數-時滯組合數量如表2所示。

表1 各參數和時滯的取值范圍Tab.1 Value ranges of parameters and time delay

表2 各混沌系統的參數-時滯組合數Tab.2 Number of parameter-time delay groups of each chaotic system

為驗證PINN-TA 模型在不同的時滯混沌系統中的通用性，所有混沌系統采用的神經網絡參數及時滯辨識模型具有相同的結構，其中圖1 所示的神經網絡各個組成部分的神經元配置如表3 所示，dim（θ）表示待辨識參數的個數，括號中為神經元個數。

表3 神經元配置Tab.3 Settings of neurons

對各數據集的系統狀態序列及參數和時滯進行歸一化處理后，采用注意力網絡訓練集對注意力網絡進行訓練。訓練過程中將時滯τ根據式（9）換算成的獨熱編碼作為注意力網絡的期望輸出，采用注意力網絡輸出的權值向量與期望輸出之間的交叉熵（Cross Entropy，CE）［21］作為損失函數，該損失函數可表達為正確時滯的注意力權值的負對數的均值：

采用0.001 的學習速率和Adam 優化器，batch 的大小為512（即每次取512 個參數-時滯組合評估一次損失函數）進行訓練，對整個數據集迭代100 輪后網絡基本收斂，損失函數的下降曲線如圖3 所示。

圖3 注意力網絡訓練過程中的損失函數值Fig.3 Loss function value of attention network during training process

注意力網絡訓練完畢后，采用求根網絡訓練集對求根網絡和FFNNτ進行訓練，并微調注意力網絡的參數，以使注意力網絡能夠處理時滯不為采樣間隔整數倍的情況。訓練求根網絡時，損失函數選取為求根網絡和FFNNτ輸出的參數和時滯的辨識值與真實值之間的均方誤差（Mean Squared Error，MSE）：

優化器選取Adam，batch 的大小仍為512，求根網絡和FFNNτ的學習速率為0.001，注意力網絡的學習速率為10-5，對整個數據集迭代300 輪后網絡基本收斂，獲得對應混沌系統的參數和時滯辨識模型。

將系統狀態序列按照第2 章中給出的格式輸入PINN-TA神經網絡模型后，神經網絡在第M個采樣間隔后的每個樣本點都會輸出一組時滯τ和參數θ的估計值，如圖4 所示。本實驗取神經網絡對每組狀態序列輸出的參數θ的最后一個估計值和時滯τ的所有估計值的中位數，分別作為該序列的時滯τ和參數θ的辨識結果。

如圖4 所示，參數θ的估計值在接收到系統狀態序列的數個樣本后迅速收斂至真實值，并維持在真實值附近波動。注意力權值分布圖中，每個位置的顏色代表該時刻對應時滯的注意力權值，淺色表示高權值，深色表示低權值。圖中正確時滯對應的位置可見一條水平亮線，說明注意力網絡為正確時滯對應的采樣時刻分配了高權值，有效地捕捉了時滯狀態與系統當前狀態的關聯性。根據注意力權值求得的時滯τ的估計值在大多數時間內在時滯真實值附近波動，說明注意力權值向量可以作為辨識時滯的直接依據。

圖4 各混沌系統的參數及時滯辨識結果Fig.4 Identification results of parameters and time-delay of each chaotic system

3.2 結果比較

為驗證神經網絡在時滯混沌系統參數和時滯辨識中的優勢，本文將PINN-TA 模型的參數辨識結果與ARA、GFPA、HCS、CWA 等四種現有的參數辨識智能搜索算法進行比較，各智能搜索算法的搜索范圍與表1 中定義的參數及時滯取值范圍一致。所有智能搜索算法在100 次迭代后得到的最佳參數/時滯估計值作為智能搜索算法對系統狀態序列的參數及時滯辨識結果。ARA、GFPA、HCS、CWA 均為近年來在混沌系統參數辨識中成功應用的智能搜索算法，分別以自然界中雨滴下落、花朵授粉、布谷鳥遷徙和鯨魚捕獵過程為原型，設計全局搜索策略和局部搜索策略，以系統輸出誤差為需要最小化的目標函數，求得系統參數的辨識值。各智能搜索算法的參數配置如表4 所示，且目標函數均為系統在參數估計值下輸出的狀態序列與真實的狀態序列{xn}之間的均方誤差：

表4 各智能搜索算法的參數配置Tab.4 Parameter setting of each intelligent search algorithm

PINN-TA 模型與各智能搜索算法的參數及時滯辨識性能以參數和時滯的辨識結果與真實值之間的均方根誤差（Root Mean Squared Error，RMSE）為評價標準：

表5 給出了PINN-TA 神經網絡與各智能搜索算法的參數及時滯辨識結果。可以看出，PINN-TA 模型不僅具備良好的辨識精度，而且辨識速度優于現有的智能搜索算法。在時滯Logistic 方程的辨識實驗中，相較于目前最優的ARA，PINN-TA 對兩個參數的辨識均方根誤差分別降低91.86%和93.54%，對時滯的辨識均方根誤差降低98.27%。在Ikeda微分方程的辨識實驗中，相較于ARA，PINN-TA 對兩個參數的辨識均方根誤差分別降低90.81%和98.64%，對時滯的辨識均方根誤差降低94.29%。在Mackey-Glass 混沌系統的辨識實驗中，相較于ARA，PINN-TA 對兩個參數的辨識均方根誤差分別降低99.13%和99.36%，對時滯的辨識均方根誤差降低90.31%，且辨識耗時縮短至18.59～19.43 ms。現有的智能搜索算法將參數及時滯辨識問題描述為系統狀態誤差的最小化問題，側重于根據系統參數與誤差的關系，在參數的搜索空間中通過局部搜索及有限的全局搜索以求得使狀態誤差最小化的解。由于時滯混沌系統中參數和時滯與狀態誤差之間關系復雜，因此在搜索空間較大時容易陷入局部最優，導致各智能搜索算法的辨識誤差普遍偏高。而PINNTA 模型從系統參數與狀態序列的代數關系出發，基于代數方程求根的思想，在利用注意力機制挖掘狀態序列關聯性特征的前提下，利用LSTM 逼近系統參數與狀態序列代數方程的根，避免了智能搜索算法陷入局部最優的問題，取得了良好的辨識精度。

表5 PINN-TA與各種智能搜索算法對典型時滯混沌系統的辨識結果Tab.5 Identification results of typical time-delay chaotic systems obtained from PINN-TA and different intelligent search algorithms

4 結語

針對時滯混沌系統的參數及時滯辨識問題，本文提出了基于時間注意力機制的參數辨識神經網絡（PINN-TA）模型。通過基于BiLSTM 的注意力機制提取系統狀態序列的時間關聯特征，并利用LSTM 隱式地逼近系統方程，構造系統參數與狀態序列的代數方程，從而通過對隱式構造的代數方程近似求根得到系統參數的辨識結果。對三種典型時滯混沌系統的大量參數辨識實驗表明，相較于現有的智能搜索算法，PINN-TA 模型在辨識精度和辨識時間方面具有顯著優勢，能有效解決時滯混沌系統參數辨識問題，可應用于混沌同步控制、保密通信等工程應用。未來的研究將主要集中于以下兩個方面：一是拓展模型的適用范圍，使其能夠實現對多維狀態序列或多個時滯的混沌系統的參數辨識；二是改善模型的可解釋性，求出隱含在求根LSTM 參數和隱含狀態中的系統代數方程及關鍵樣本。