基于KTA-LSSVM的青霉素發酵過程預測建模

豐娟，唐勇波，彭濤

（1宜春學院生命科學與資源環境學院，江西 宜春 336000；2宜春學院物理科學與工程技術學院，江西 宜春 336000；3中南大學信息科學與工程學院，湖南 長沙 410083）

基于KTA-LSSVM的青霉素發酵過程預測建模

豐娟1，唐勇波2，3，彭濤3

（1宜春學院生命科學與資源環境學院，江西 宜春 336000；2宜春學院物理科學與工程技術學院，江西 宜春 336000；3中南大學信息科學與工程學院，湖南 長沙 410083）

為解決青霉素發酵過程預測建模中存在的輸入變量選擇問題，提出了基于核目標度量（kernel target alignment，KTA）和最小二乘支持向量機（least squares support vector machines，LSSVM）的青霉素發酵過程預測模型。首先，在分析影響青霉素產物濃度相關因素的基礎上選取輸入變量，采用KTA對輸入變量進行尺度縮放，然后，利用Pensim仿真平臺數據，采用混沌粒子群算法對LSSVM的參數尋優，建立青霉素發酵過程的KTA-LSSVM預測模型。青霉素濃度預測的KTA-LSSVM模型均方根誤差為0.0179，LSSVM模型的均方根誤差為0.0276，實驗結果表明，本文提出的模型預測精度高，推廣性能好。

青霉素發酵過程；核目標度量；尺度縮放；最小二乘向量機；預測

青霉素發酵過程是一典型的生化反應過程，具有嚴重的非線性、時變性和不確定性，發酵過程機理復雜，精確機理模型往往難以建立，而且目前尚未能實現對重要過程參數的在線測量，如青霉素產物濃度等，造成青霉素發酵過程的自動化水平較低。因此，青霉素發酵過程預測建模是對其進一步實施控制和優化的前提，具有重要的理論價值和現實意義。

支持向量機[1]（support vector machines，SVM）以其堅實的理論基礎和優良的泛化性能，在解決小樣本、非線性、高維模式分類和回歸估計等問題中得到廣泛應用。最小二乘支持向量機[2-5]（least squares support vector machines，LSSVM）將SVM的不等式約束以等式約束代替，使求解SVM的凸二次優化問題轉化為解一組線性方程組，降低了計算復雜性，加快了求解速度，在青霉素發酵過程的預測建模中得到了廣泛應用，取得較好的效果。然而，劉毅等[3]僅采用溶解氧濃度作為輸入變量；常玉清等[4]采用溶解氧濃度、二氧化碳濃度、發酵液pH值、發酵罐溫度等進行預測建模；劉毅等[5]采用溶解氧濃度、二氧化碳濃度、培養基體積作為輸入變量對菌體濃度進行預測。上述文獻均沒有考慮特征選擇問題。

在分類和回歸估計問題中，不同的特征具有不同的取值區間，信息量小且數值大的特征變量將掩蓋或降低信息量大而數值小的特征變量在分類或回歸估計中的作用，因此，特征變量需要采用特征尺度縮放來避免這個問題。從SVM的幾何解釋可以看出，特征尺度縮放會影響支持向量的選擇，進而影響最優超平面。Chapelle等[6]從統計學習理論的角度展示了特征尺度縮放在SVM方法中的重要性。Wu等[7]提出了基于核目標度量（kernel target alignment，KTA）規則的特征尺度縮放方法，該方法并不剔除信息量小的特征而是以小尺度保留，這種策略使KTA尺度縮放方法不會太貪婪。并驗證了KTA尺度縮放對“非稀疏”問題的有效性。

因此，作者利用Pensim仿真平臺[8]，根據青霉素發酵過程的特點，選擇影響青霉素產物濃度的相關因素作為輸入變量，采用KTA方法對輸入變量進行尺度縮放后，利用LSSVM建立青霉素產物濃度的預測模型。鑒于LSSVM參數的選擇對預測精度有較大影響，采用混沌粒子群算法（chaos particle swarm optimization，CPSO）[9-10]對LSSVM參數尋優，并通過仿真實驗表明KTA-LSSVM建模的有效性。

1 KTA特征尺度縮放

KTA規則最早由Cristianini等[11]提出，用于度量兩個核函數之間或核函數與目標函數之間的相似性。KTA特征尺度縮放利用了核目標度量的概念。

設有數據陣X∈Rn×m和目標矩陣Y∈Rn×1。

式中，n為樣本數；m為特征變量數。

標準化為最常用的數據預處理方法，它使所有特征具有相同的歐幾里德范數，即

從尺度縮放的角度看，標準化的尺度縮放因子為式（3）。

然而，標準化并不總是能提高分類和回歸性能[12]。設特征向量xj所構成的核矩陣Kj為式（4）。

目標核矩陣KL為式（6）。

Kj與目標核矩陣KL之間的KTA度量值為式（7）。

采用KTA度量值來衡量由特征變量xj所構成的核矩陣Kj與目標核矩陣KL間的回歸估計信息，并使用KTA度量值來進行特征尺度縮放。KTA尺度縮放方法并不剔除少信息量的特征而是以小尺度保留它們，KTA度量值大的特征具有的信息量大，采用大的尺度；KTA度量值小，采用小尺度，即

采樣KTA尺度縮放策略的尺度縮放因子為

2 CPSO算法優化LSSVM

2.1 LSSVM算法

設有數據集{(xi,yi∈Rm×R，xi為m維輸入數據，yi為一維輸出數據，通過非線性變換φ(xi) 將m維輸入空間映射到高維特征空間，采用線性函數f(x)=wφ(x)+b來擬合，并允許出現擬和誤差。在優化目標中選擇的損失函數為誤差ξi的2范數，則LSSVM優化問題為式（10）。

其中，J為結構風險，C為誤差懲罰參數，ξi為容許誤差，wTw控制模型的推廣能力。引入拉格朗日函數

式中，αi為拉格朗日乘子。

定義核函數K(xi,xj)=φ(xi)φ(xj)，則求解優化問題（11）可轉化為求解線性方程，見式（14）。

求出ai和b，由此得到LSSVM回歸模型為式（15）。

核函數通常采用高斯徑向基核函數

式中，σ為徑向基寬度。

2.2 CPSO優化LSSVM參數

粒子群優化算法[13]（particle swarm optimization，PSO）是一種生物進化算法，算法原理簡單且易于實現、全局收斂。PSO采用速度-位置搜索模型，設粒子群由l個粒子構成，第i個粒子在d維解空間的位置為zi=(zi1,zi2,…,zid)，速度為vi=(vi1,vi2,…,vid)，采用適應度函數fitness(zi)來衡量粒子位置的優劣。個體極值pBesti為zi所經歷的最優位置，群體所經歷的最優位置為全局極值gBest。粒子跟蹤個體極值、全局極值和前一時刻的狀態調整位置和速度，迭代公式如式（17）、式（18）。

其中，k為迭代次數；c1和c2為學習因子，通常取為2；w為慣性權重；r1和r2為[0，1]間隨機數。

在迭代中，由于某些粒子出現停滯導致PSO算法早熟現象，且不具備遍歷特性，引入具有遍歷特性的混沌機制[9]，式（19）為混沌變量czi的一種演變算式。

zi∈(ai,bi)可由式（20）、式（21）與混沌變量czi∈(0,1)且czi?{0.25,0.5,0.75}往返映射。

LSSVM模型的學習精度、泛化能力很大程度上取決于懲罰系數C、核函數參數σ。通常采用交叉驗證法求取并不能獲得最優解，本文把CPSO優化算法引入LSSVM，對其參數進行優化，適應度函數采用均方根誤差ERMSE用于評價粒子的性能，見式（22）。

其中，yi為目標值，f(xi)為LSSVM的輸出值。

CPSO優化LSSVM參數對（C,σ）步驟如下。

（1）輸入訓練樣本集和測試樣本集，設定迭代次數k，學習因子c1和c2，群體規模l等CPSO算法參數。

（2）隨機產生各粒子的初始位置和速度zi，vi，對每一粒子，用訓練樣本集建立LSSVM模型，按式（15）計算測試樣本的預測值，按式（22）計算適應值fitness(zi)，pBesti=zi，比較得出gBest。

（3）zi按式（20）映射為混沌變量czi。

（4）粒子按式（17-18），計算速度vi，并調整至新位置zi，計算其適應值fitness(zi)。

（5）czi按式（19）作混沌運動變換為cyi。

（6）將cyi按式（21）變換，映射為普通變量ui，并計算其適應值fitness(ui)。

（7）比較fitness(zi),fitness(pBesti),fitness(ui)，以其中的最優值更新pBesti；比較各fitness(pBesti) 與fitness(gBest)，若優，更新gBest，否則保留原值。

（8）是否滿足終止條件（預設的運算精度或迭代次數），若滿足則終止算法，輸出結果；不滿足，k=k+1，返回到（3），繼續運行。

3 KTA-LSSVM的青霉素發酵過程建模

實驗數據來自Pensim仿真平臺，其內核采用Birol模型，研究結果表明該仿真平臺的實用性與有效性[8]。在Birol模型中，不僅考慮了攪拌功率、底物流速、溫度、pH值、空氣流量等控制變量對菌體及青霉素產量的影響，而且把反應熱、底物消耗量、二氧化碳、菌體生長、青霉素產量等因素也全面包含到模型中去，比較全面地反映了青霉素發酵過程。

青霉素發酵過程的輸入變量包括空氣流量、攪拌功率、底物流加量、底物溫度、冷熱水流量、酸流量、堿流量；輸出變量包括培養基體積、發酵罐溫度、反應熱、發酵罐pH值、溶解氧濃度、二氧化碳濃度、底物濃度、菌體濃度、產物濃度。底物濃度、菌體濃度、產物濃度由于檢測手段的局限性，目前在實際生產中未能進行在線測量，其中最為關注的是產物濃度，因此利用KTA-LSSVM方法建立青霉素發酵過程產物濃度在線預測模型。從控制的角度看，被控變量包括發酵罐的pH值和溫度，分別操作控制變量酸流量、堿流量和冷熱水流量進行恒值控制，但仍在恒值附近上下波動，對青霉素發酵過程產生影響，而且，底物的添加也會影響發酵罐的pH值和溫度。劉毅等[3]和熊偉麗等[14]都沒有考慮發酵罐的pH值和溫度的變化對發酵過程建模的影響。二氧化碳濃度、溶解氧濃度、反應熱和培養基體積在很大程度上反映了發酵的進程，但反應熱和培養基體積對發酵過程的影響沒有溶解氧濃度和二氧化碳濃度明顯[15]。空氣流量和攪拌功率對溶解氧濃度和二氧化碳濃度都會有影響，進而影響發酵過程。

因此，影響青霉素產物濃度的因素有空氣流量、攪拌功率、底物流加量、底物溫度、溶解氧濃度、培養基體積、二氧化碳濃度、發酵罐pH值、發酵罐溫度、反應熱、冷熱水流量、酸流量、堿流量，依次記為x1，x2，…，x13。選擇x1，x2，…，x13作為青霉素產物濃度KTA-SVM預測模型的輸入變量，結合第1、2節所述方法，KTA-LSSVM建模步驟如下。

（1）輸入訓練樣本集和測試樣本集，選擇x1，x2, …,x13為輸入變量，青霉素產物濃度y為目標變量。

（2）計算各輸入變量所構成的核矩陣Kj和目標核矩陣KL，j=1，2，…，13，n為樣本數。

（3）計算Kj與KL的KTA度量值

（4）計算各輸入變量的尺度縮放因子jμ

（5）對各輸入變量進行尺度縮放，得

（6）重新構造訓練樣本集和測試樣本集，采用CPSO優化LSSVM參數對（C,σ）。

（7）利用訓練樣本集，建立LSSVM回歸模型。

（8）輸入測試樣本集，求得預測值。

4 實例結果分析

Pensim的設定值與初始條件如Birol等[8]所述。選擇每批次的反應時間為默認的400h，每隔1h采樣1次，每批次得到400個樣本，共選取5批次數據，其中4批次作為訓練樣本，1批次作為測試樣本。預測結果采用平均絕對誤差EMAE和均方根誤差ERMSE作為性能指標來評價模型的預測能力，均方根誤差見公式（22），EMAE的計算式為式（23）。

將本方法簡記為KTA-CPSO-LSSVM，與劉毅等[3]僅采用x5，常玉清等[4]采用x5,x7,x8,x9，標準化x1，x2, …,x13作為輸入變量的LSSVM模型，分別記為LSSVM1、LSSVM2和LSSVM3，以及KTA尺度縮放x1，x2，…，x13的LSSVM模型（記為KTA-LSSVM）進行比較，LSSVM參數采用交叉驗證法選取，即C,σ∈{2-3,2-2,···,212}。圖1為這5種方法的青霉素產物濃度預測結果，表1為本方法在采樣時間56～65h的部分青霉素產物濃度的部分預測結果，由表1可見，考慮了影響青霉素發酵過程的各種參數，并采用KTA進行尺度縮放，不同的參數賦予不同的權值，在青霉素的生長時期，KTACPSO-LSSVM可以很好地跟蹤青霉素濃度的發展變化趨勢，平均絕對誤差為0.0025，滿足在線測量的需要。

圖1 青霉素預測結果

表2 模型預測性能的比較

圖2 青霉素預測誤差曲線

表1 本方法的青霉素濃度部分預測結果

各種模型預測結果的性能指標如表2所示。由圖1和表2可以看出，LSSVM1和LSSVM2由于采用較少的輸入變量，不能全面的反應青霉素發酵過程，預測結果差，其EMAE和ERMSE均大于0.0500。LSSVM3、KTA-LSSVM、KTA-CPSO-LSSVM這3種方法全面考慮了影響青霉素發酵過程的因素，模型能較好地跟蹤青霉素的發酵過程，EMAE和ERMSE均小于0.0300，預測結果比較理想。為更好地觀測和比較LSSVM3、KTA-LSSVM、KTA-CPSOLSSVM這3種方法的預測性能，圖2給出了這3種方法的預測誤差 （實際值與預測值的差值）。比較KTA-LSSVM和LSSVM3，由于采用了KTA特征尺度縮放方法，用KTA度量值來衡量各輸入變量與目標變量的回歸估計信息，對信息量大的特征選擇大尺度，信息量小的特征選擇小尺度，KTALSSVM預測模型的EMAE和ERMSE分別為0.0176、0.0210，比LSSVM3分別降低了19.27%、23.91%。KTA-CPSO-LSSVM采用CPSO算法對LSSVM參數優化，KTA-CPSO-LSSVM的EMAE、ERMSE分別為0.0145、0.0179，比KTA-LSSVM分別降低了17.61%、14.76%，比LSSVM3分別降低了33.49% 、35.14%，而且從圖2看，LSSVM3具有最大的預測誤差，表明KTA-CPSO- LSSVM建模具有較高的預測精度和泛化能力。

另一方面，以互信息[16]來表征變量間的相關性，計算輸入變量x1，x2，…，x13與目標變量的互信息依次為[8.1129，8.1067，7.3338，4.4163，7.0513，9.2039，10.0340，7.0281，1.3074，10.1630，10.0460，0.5956，1.4531] bit。可以看出，互信息較大（大于7bit）的變量有9個，即信息量大的變量占輸入變量集的比例大，預測屬于“非稀疏”問題。實驗結果也驗證了KTA特征尺度縮放方法對于“非稀疏”問題的有效性。

5 結 論

在分析影響青霉素發酵過程因素的基礎上，采用核目標度量規則的特征尺度縮放方法對輸入變量進行尺度縮放，有效地解決了輸入變量選擇問題，利用Pensim仿真平臺數據，采用混沌粒子群算法對最小二乘支持向量機的參數尋優，建立了青霉素發酵過程預測模型。實驗表明，本預測模型的均方根誤差和平均絕對誤差分別為0.0179、0.0145，低于LSSVM達30%以上，從而表明本預測模型具有較高的預測精度和泛化能力。

[1] Vapnik V N. An overview of statistical learning theory[J].IEEE Transactions on Neural Networks，1999，10（5）：988-999.

[2] 周云龍，張全厚，鄧艷秋. 基于PSO 優化LS-SVM 的氣液兩相流干度軟測量[J]. 化工進展，2013，32（2）：295-298.

[3] 劉毅，王海清. 采用最小二乘支持向量機的青霉素發酵過程建模研究[J]. 生物工程學報，2006，22（1）：144-149.

[4] 常玉清，鄒偉，王福利，等. 基于支持向量機的軟測量方法研究[J]. 控制與決策，2005，20（11）：1307-1310.

[5] 劉毅，王海清，李平. 局部最小二乘支持向量機回歸在線建模方法及其在間歇過程的應用[J]. 化工學報，2007，58（11）：2846-2851.

[6] Chapelle O，Vapnik V，Bousquet O，et al. Choosing multiple parameters for support vector machines[J].Machine Learning，2002，46：131-159.

[7] Wu Z P，Zhang X G. Feature rescaling of support vector machines[J].Tsinghua Science and Technology，2011，16（4）：414-421.

[8] Birol G，Undey C，Cinar A. A modular simulation package for fed-batch fermentation：Penicillin production[J].Computers and Chemical Engineering，2002，26（11）：1553-1565.

[9] Yang D X，Li G，Cheng G D. On the efficiency of chaos optimization algorithms for global optimization[J].Chaos，Solitons and Fractals，2007，34（4）：1366-1375.

[10] 唐勇波，桂衛華，彭濤. 代價敏感核主元分析及其在故障診斷中的應用[J]. 中南大學學報：自然科學版，2013，44（6）：2324-2330.

[11] Cristianini N，Shawe T J，Elisseeff A，et al. On kernel-target alignment[J].Advances in Neural Information Processing Systems，2002，14：367-373.

[12] Graf A B A，Smola A J，Borer S. Classification in a normalized feature space using support vector machines[J].IEEE Transactions on Neural Networks，2003，14（3）：597-605.

[13] Kennedy J，Eberhart R C，Shi Y. Swarm Intelligence[M]. San Francisco：Morgan Kaufman Publishers，2006.

[14] 熊偉麗，王肖，陳敏芳，等. 基于加權LS-SVM的青霉素發酵過程建模[J]. 化工學報，2012，63（9）：2913-2919.

[15] 劉毅，王海清. Pensim仿真平臺在青霉素發酵過程的應用研究[J].系統仿真學報，2006，18（12）：3524-3527.

[16] 唐勇波，桂衛華，彭濤，等. 基于互信息變量選擇的油中溶解氣體濃度預測[J]. 儀器儀表學報，2013，34（7）：1492-1498.

Prediction model of penicillin fed-batch fermentation based on KTA-LSSVM

FENG Juan1，TANG Yongbo2，3，PENG Tao3
（1School of Life Science and Environment，Yichun University，Yichun 336000，Jiangxi，China；2School of Physical Science and Engineering，Yichun University，Yichun 336000，Jiangxi，China；3School of Information Science and Engineering，Central South University，Changsha 410083，Hunan，China）

A new prediction method of penicillin fed-batch fermentation based on kernel target alignment （KTA） and least squares support vector machines （LSSVM） was proposed to deal with input variable selection. Firstly，input variables were selected by analyzing the factors which affected penicillin concentration，then，the KTA feature rescaling method was used to rescale input variables. Finally，the simulation data from Pensim simulation platform was used to establish the LSSVM model in the penicillin fed-batch fermentation by using chaos particle swarm optimization （CPSO） on the LSSVM parameters optimization. The root mean square error （RMSE） of the proposed method was 0.0179，whereas the RMSE of LSSVM was 0.0276，showing better prediction and generalization.

penicillin fed-batch fermentation；kernel target alignment；rescaling；least squares support vector machines；prediction

TP 301.6；TQ 465.1

A

1000-6613（2014）09-2438-06

10.3969/j.issn.1000-6613.2014.09.034

2013-12-28；修改稿日期：2014-03-11。

國家自然科學基金項目（61273169）。

豐娟（1981—），女，碩士，講師，研究方向為發酵工程。E-mail fengjuan1225@163.com。聯系人：唐勇波，博士，講師，研究方向為復雜工業過程建模、優化。E-mail tybcsu@163.com。