基于RLS在線學習算法的DeepESN動態軟測量建模方法及應用

岳文琦

（甘肅蘭晶光電科技有限公司）

對化工過程中難以直接測量的重要變量進行實時監控，一直是企業提高生產效率和控制產品質量的重要策略。 傳統的硬件傳感器，例如氣相色譜儀，不僅價格昂貴，維修保養不易，而且存在數據采集時間滯后等問題。 軟測量技術的提出［1～4］，給出了一種通過數據驅動建模來估計重要變量的新思路［5～7］，即通過對工業過程中易測輔變量和難檢主變量進行建模，得到輸入與輸出間的數學關系，來估算難以直接測量的主變量。

隨著神經網絡的出現和發展， 基于神經網絡的軟測量建模方法在工業應用中取得了很好的應用效果［6～11］，尤其是具有動態記憶能力和時間延遲特性的遞歸神經網絡， 有效實現了動態非線性映射，進一步提升了軟測量建模的預測精度［12，13］。 回聲 狀 態 網 絡（Echo State Network，ESN）［14，15］的 提出， 使得蓄水池計算的概念成為熱門研究方向，這種計算方法簡單有效，只需通過輸入輸出數據和網絡的內部狀態來訓練網絡輸出權值，不僅避免了因神經網絡參數求導而造成的計算量增大的問題，也容易實現在線學習。 ESN 的最大特點是網絡隱層由一種狀態蓄水池（State Reservoir，SR）單元組成，SR 內部則由稀疏連接的內部神經元組成， 神經元的數量可根據實際情況擇優選擇。SR 具有的回聲狀態特性（Echo State Property，ESP）［15］是保證ESN 穩定性的充分條件。ESP 表征了有效的ESN 動態特性，本質上說，蓄水池內部狀態必須呈現出阻尼特性，且僅取決于網絡的輸入信號，在受初始條件影響后，應隨著時間逐漸消失，以保證網絡輸出的穩定性。 此外，當內部神經元選擇為泄漏積分型神經元時，可以有效增強網絡的短期記憶能力。 深度回聲狀態網絡（DeepESN）是ESN 在深度學習領域的擴展，即利用ESN 的高效蓄水池計算方法，通過增加串聯的SR 層數，開發和增強深層循環體系結構中的動態層次， 并從多個時間尺度豐富網絡內部的動力學特性，進一步增加網絡的短期記憶容量、增強動態特性的學習能力。 DeepESN 作為一種新型深度遞歸神經網絡，已經成功應用到諸多領域［16～19］，現有文獻中只給出了DeepESN 嶺回歸離線學習算法，即通過Tikhonov 正則化方法求解網絡輸出權值，但是當DeepESN 中各SR 具有成千上萬個神經元且訓練數據集較大時，嶺回歸離線學習無疑面臨較大的計算成本，無法滿足工業過程中軟測量建模對被估計變量的實時監測要求。

由于DeepESN 具有多層串聯的蓄水池結構，對強非線性特點的化工過程具有更好的學習能力，因此筆者提出遞推最小二乘（RLS）在線學習算法［20］，通過遞推方式在線求解DeepESN 的輸出權值矩陣， 既能適用于大數據集的在線處理，也能更好地滿足化工過程動態建模的要求。 將基于RLS 在線學習算法的DeepESN 動態軟測量建模方法應用于煉油廠脫丁烷塔塔底丁烷（C4）含量的預測，在相同條件下，與文獻［21］基于ESN 和LiESN 的在線軟測量建模方法的預測效果進行比較，以評價該方法的有效性和應用潛力。

1 DeepESN 的基本原理及其結構

Jaeger H 等提出的ESN 網絡具有學習算法簡單、非線性動態系統逼近能力強的特點［14，15］，它的SR 結構和ESP 特性， 形成了蓄水池計算學習模式， 從一定程度上體現了大腦學習的特點，其基本結構如圖1 所示。

圖1 回聲狀態網絡的基本結構

在ESN 的基礎上，Gallicchio C 等提出DeepESN 結構，給出了離線學習算法。 DeepESN的最大特點是由多層蓄水池結構串聯組成的深度學習網絡，每個蓄水池中的神經元選擇泄漏積分型神經元，其泄漏積分特性能夠增強網絡對歷史信息的記憶能力，提高網絡的學習性能，因此對強非線性特點的化工過程具有更好的學習能力。 DeepESN 通過串連形式連接，只有第1 層SR的輸入為外部輸入信號， 從第2 層起SR 的輸入為均為前一層SR 的內部狀態。 與標準ESN 不同，DeepESN 中各層之間的狀態信息傳輸不存在時間延遲。 DeepESN 通過收集各層SR 的內部狀態矩陣，合并形成一個整體內部狀態矩陣，由此可見DeepESN 將輸入歷史嵌入到豐富的狀態表示中，以深度時間方式處理每個時間步驟的時間信息，最后利用合并的內部狀態矩陣來計算網絡的輸出權值。

DeepESN 的基本網絡結構如圖2 所示，網絡分為輸入層、隱含層和輸出層，隱含層由NL個SR串連組成。 同ESN 一樣，每個SR 中由一定數量相互隨機連接的泄漏積分神經元組成。 網絡初始化時，SR 中神經元之間的連接權值和輸入輸出權值隨機產生，學習過程中僅需訓練輸出權值即可完成學習過程。

圖2 深度回聲狀態網絡的基本結構

其中Wout為輸出權值。

2 DeepESN 的RLS 在線學習算法

RLS 是一種快速收斂的遞歸學習算法，源于遞歸最小二乘濾波器，以各時刻誤差平方和最小為代價函數，通過給定的第n-1 次權值向量最小二乘估計，利用新數據迭代求解第n 次的權值向量，滿足代價函數［20］。 DeepESN 輸出權值的求解本質上可以歸結為線性回歸問題，因此可以引入RLS 算法作為DeepESN 輸出權值的在線學習算法。 算法分3 個步驟。

第2 步，對每一個時刻n=1，2，…，t 迭代計算DeeESN 內部狀態矩陣x（n），定義維數為（NU+NL×NR）的列向量q（n）：q（n）=［x（n-1）；u（n）］，計算n時刻網絡的輸出y（n）為：

計算矩陣：

計算n 時刻的網絡輸出權值Wout（n）：

第3 步，當n=t+1 時，迭代計算完成，算法終止。

3 脫丁烷塔中丁烷含量的動態軟測量建模

為了驗證筆者方法的有效性，將該方法應用于某精煉廠脫丁烷塔塔底丁烷含量的預測中。 為了確保所設計軟儀表具有動態建模的特點，DeepESN 網絡的輸入采用具有非線性自回歸（NARX）模型的外部輸入，時間序列模型使得網絡輸入含有豐富的動態歷史信息，因此，該軟測量建模方法結合了時間序列建模和DeepESN 在線學習算法，屬于動態建模方法，能夠替代硬件傳感器，滿足企業生產對產品質量實時監測的要求。

模型性能的評價指標均方誤差EMSE的計算式為：

其中，y（n）為不同時刻的估計值，T0為起始時刻，T 為終止時刻。

脫丁烷塔是精煉廠石腦油分餾過程中的重要設備，主要作用是將丙烷（C3）、丁烷（C4）和戊烷（C5）從石腦油中分離出來，具體操作流程如圖3 所示。

圖3 脫丁烷塔的操作流程

在分離過程中，大量的C3、C4 和少量C5 從塔頂排出，大量的C5 和少量C4 從塔底排出。脫丁烷塔的分餾過程需要滿足脫丁烷塔塔頂餾出物中C5含量最大化和脫丁烷塔塔底部餾出物中C4 含量最小化的要求，以確保C5 的產品質量控制。 文獻［21，22］介紹了意大利某精煉廠脫丁烷塔傳感器的安裝情況和數據實測情況， 所測變量包括：TI040傳感器測量的塔頂溫度值u1，PRC011 傳感器測量的塔頂壓力值u2，PRC015 傳感器測量的塔頂回流量值u3，PRC018 傳感器測量的塔頂流量值u4，TRC004 傳感器測量的脫丁烷塔側面溫度值u5，TI036 傳感器測量的塔底一側的溫度值u6，TI037傳感器測量的塔底另一側溫度值u7。由于塔底C4的含量無法直接測量， 因此采用氣相色譜儀進行了間接測量，得到了實際測量的C4 含量濃度值y。因采樣周期的滯后問題，所測量數據集的輔助變量采樣周期為12 min，主導變量采樣周期為45 min，形成有2 394 組數據的數據集，對該數據集進行了歸一化處理。 鑒于硬件傳感器在變量采樣測量過程中的延遲問題，因此需考慮NARX 模型對網絡輸入數據進行時間序列建模來實現動態建模，達到對丁烷含量的在線實時預測。 根據文獻［21～23］的相關描述，NARX 模型如下：

其中，模型輸出y（k）表示k 時刻的C4 含量，f 為DeepESN 軟測量方法。 該模型共有16 維輸入，1 維輸出。

4 仿真驗證

用文獻［21］的數據集對筆者方法進行仿真驗證，經過NARX 建模，使得原數據集生成了2 389組數據，將全部輸入輸出數據作為網絡的輸入。

DeepESN 網絡初始化參數的設置如下：

SR 神經元個數 50

SR 的層數 5

SR 的泄漏率α 0.5

SR 中神經元連接稀疏度 5%

譜半徑ρ 0.9

SR 內部矩陣W（NL）［-1，1］均勻分布

RLS 算法的參數選擇如下：

正則化參數δ 1×10-6

遺忘因子λ 0.999 995

筆者方法在2 389 組數據集上的預測值與實際值的比較如圖4 所示，均方誤差為4.6×10-6。2 389組測試數據均在線訓練時，DeepESN 的歸一化均方誤差（NMSE）曲線如圖5 所示。 輸出權值的變化曲線如圖6 所示。 實驗結果表明，隨著數據的更新，輸出權值最終趨于收斂，NMSE 趨向于不斷變小。

圖4 脫丁烷塔塔底丁烷含量的預測值與實際值對比

圖5 訓練過程基于在線學習算法的NMSE 曲線

圖6 訓練過程DeepESN 輸出權值的變化曲線

進一步， 在同等條件下， 將筆者方法與文獻［21］ 的中ESN、LiESN 的RLS 在線軟測量建模方法進行對比，文獻［21］選擇了與筆者方法一致的NARX 模型作為網絡的輸入， 其中基于ESN 的RLS 在線軟測量建模方法的均方誤差為1.07×10-4，基于LiESN 的RLS 在線軟測量建模方法的均方誤差值為6.0×10-5； 筆者方法的均方誤差值為4.6×10-6。 可見，筆者方法的建模效果和預測精度更高。

5 結束語

針對化工過程中重要變量的實時監控問題，筆者提出了基于RLS 在線學習算法的DeepESN動態軟測量建模方法，將該方法應用于脫丁烷塔C4 含量的實時在線預測，RLS 算法通過迭代求解網絡輸出權值，DeepESN 能夠以深度學習的方式提取工業過程中的特征，時間序列建模豐富了網絡輸入的動態特性，使得在線學習過程具有很好的快速收斂特性和數值穩定性。 仿真結果顯示，筆者方法具有較好的建模效果，能夠有效替代硬件傳感器來實現生產過程中實時監控產品質量的實際生產需要，具有很好的建模有效性和實際應用潛力。