基于互信息和Just-in-Time優化的回聲狀態網絡

張 衡， 王河山

(鄭州大學 電氣工程學院，河南 鄭州 450001)

基于互信息和Just-in-Time優化的回聲狀態網絡

張 衡， 王河山

(鄭州大學 電氣工程學院，河南 鄭州 450001)

為了提高回聲狀態網絡(ESN)的適應性，提出基于互信息(MI)和Just-in-Time(JIT)的優化方法，對ESN的輸入伸縮參數以及輸出層進行優化，所得網絡稱為MI-JIT-ESN.ESN的優化方法分為兩部分：一是基于網絡輸入與輸出之間的互信息，對網絡的多個輸入伸縮參數進行調整；二是基于JIT優化的局部輸出層，對ESN的隱層輸出數據進行局部重新建模，從而提升ESN輸出層的回歸擬合精度.將MI-JIT-ESN應用于青霉素補料分批發酵過程建模.結果顯示,MI-JIT優化方法能提高模型的適應性，并優于其他比較方法.

回聲狀態網絡；互信息；Just-in-Time；優化；建模；青霉素發酵

0 引言

發酵過程廣泛應用于化工、制藥、食品、環境科學等行業，補料分批發酵是發酵工業代表性的操作方法[1].發酵過程機理復雜，又具有極強的非線性、時變性以及非確定性，同時缺少關鍵生物參數實時測量儀器.發酵過程的優化與控制需要對營養物和產物等重要參數進行精確預測.因此，數據驅動的建模方法廣泛地應用于補料分批發酵過程，并取得了一定的成果.常見的數據驅動方法包括偏最小二乘法[2-3]、支持向量回歸[4-5]、神經網絡等[6-7].遞歸神經網絡(RNN)能記憶歷史信息并能體現出動態特性，非常適用于發酵過程建模.

作為一種新型遞歸神經網絡—回聲狀態網絡(echo state network, ESN)[8]利用“動態儲備池”代替傳統神經網絡的隱層，提取輸入的……