Ncut聚類與增量支持向量機(jī)的SMB智能建模

姜 暉，肖 迪

（南京工業(yè)大學(xué) 自動(dòng)化與電氣工程學(xué)院，江蘇 南京211816）

0 引 言

SMB通過周期性切換進(jìn)出料口的位置來模擬固定相和流動(dòng)相的對(duì)流運(yùn)動(dòng)［1］，是一個(gè)連續(xù)操作和間歇操作的混雜非線性系統(tǒng)。由于SMB吸附分離技術(shù)具有連續(xù)、高效、無污染、低能耗等優(yōu)點(diǎn)，其在吸附分離過程中備受青睞。由于SMB機(jī)理模型［2］復(fù)雜、分離參數(shù)眾多，建立生產(chǎn)過程的智能模型用于操作管理和指導(dǎo)生產(chǎn)有著極其重要的現(xiàn)實(shí)意義。模擬移動(dòng)床智能模型主要集中在使用神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)等方法建立模擬移動(dòng)床各操作參數(shù)與分離性能或者產(chǎn)品純度之間的關(guān)系。Klatt等使用人工神經(jīng)網(wǎng)絡(luò)對(duì)SMB非線性模型進(jìn)行了辨識(shí)，為了減少過程之間的耦合性，采用與各進(jìn)出口流量相關(guān)的4個(gè)因子作為網(wǎng)絡(luò)輸入，自定義的某時(shí)刻動(dòng)態(tài)濃度曲線與循環(huán)穩(wěn)態(tài)濃度曲線之間所夾的4個(gè)區(qū)域面積為網(wǎng)絡(luò)輸出，模擬SMB 動(dòng)態(tài)特性。Song等［3］也采用4－4輸入、輸出的MIMO 子空間辨識(shí)方法建立經(jīng)驗(yàn)?zāi)Ｐ停煌氖瞧渲苯硬捎盟膮^(qū)流量比作為輸入，而輸出量分別為抽取液純度、抽取液純度，生產(chǎn)率倒數(shù)及溶劑消耗量。Fu等［4］為了克服一般的軟測量模型難以適應(yīng)與過程變化，采用FCMISVM （模糊C 均值增量支持向量機(jī)）建立了PX 吸附分離裝置中各區(qū)流量、流速比、溫度、壓強(qiáng)和最終產(chǎn)品純度之間的智能模型。Chen等［5］采用偏最小二乘方法建立模擬移動(dòng)床的MIMO 模型，基于Klatt和Song的模型缺乏過程參數(shù)變化的更新機(jī)制，提出以一個(gè)周期到下一個(gè)周期的動(dòng)態(tài)窗口之家的過程數(shù)據(jù)作為驅(qū)動(dòng)，辨識(shí)模型顯示了很好的精度。李凌等［6］采用RBF神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的混合建模方法建立SMB色譜分離過程4區(qū)流量與組分純度的軟測量模型，但是該方法僅僅是對(duì)線性驅(qū)動(dòng)力模型模擬數(shù)據(jù)上加一定的擾動(dòng)得到的樣本數(shù)據(jù)進(jìn)行的訓(xùn)練，對(duì)實(shí)際工作情況考慮不足，難以實(shí)際應(yīng)用。本文將Ncut聚類和增量學(xué)習(xí)支持向量機(jī)相結(jié)合的方法建立模擬移動(dòng)床的智能模型，采用Ncut方法對(duì)數(shù)據(jù)樣本進(jìn)行聚類，得到樣本的聚類結(jié)果；其次將聚類后的樣本數(shù)據(jù)按反復(fù)記憶增強(qiáng)機(jī)制輸入向量機(jī)進(jìn)行增強(qiáng)－增量學(xué)習(xí)訓(xùn)練；最后將原始測試樣本輸入到訓(xùn)練好的模型中進(jìn)行檢驗(yàn)，從而建立了模擬移動(dòng)床的智能模型。

1 理論基礎(chǔ)

1.1 Ncut聚類

Ncut聚類是一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，Shi J等提出Ncut分割方法［7］。Ncut聚類是一種無監(jiān)督的機(jī)器學(xué)習(xí)方法，Ncut聚類的思想是從Ncut分割方法中的圖像分割理論演變而來的，首先求出樣本數(shù)據(jù)相似度的無向帶權(quán)圖：G ＝（V，E），從而將數(shù)據(jù)聚類的問題轉(zhuǎn)化為圖的劃分問題。

給定一個(gè)圖G＝（V，E），假設(shè)將圖分為不相交的兩個(gè)部分A1和A2（A1∪A2＝V），A1和A2之間的相似度用式（1）表示

其中，權(quán)重ω（i，j）表示節(jié)點(diǎn)i和節(jié)點(diǎn)j 之間的相似度。但是這種劃分易偏向小區(qū)域劃分，在Shi J等提出了正則化劃分準(zhǔn)則［8］即Ncut準(zhǔn)則

當(dāng)y 取實(shí)數(shù)值時(shí)，則式 （3）約簡為求矩陣方程的解

求取出式 （4）的第二小值對(duì)應(yīng)的特征向量，該特征向量就是最優(yōu)分割值，利用該特征向量對(duì)數(shù)據(jù)進(jìn)行聚類。

傳統(tǒng)的聚類方法：K－means和EM （expectation maximization）算法，這些方法均是建立在凸球形的樣本空間上，易陷入局部最優(yōu)解，實(shí)時(shí)性差。而Ncut聚類最大的優(yōu)點(diǎn)是不需要訓(xùn)練數(shù)據(jù)樣本，以及不需要預(yù)處理數(shù)據(jù)，最終可以在不同形狀的樣本空間上得到一個(gè)最優(yōu)解。

1.2 增量學(xué)習(xí)支持向量機(jī)

增量學(xué)習(xí)支持向量機(jī)是在支持向量機(jī)的基礎(chǔ)之上進(jìn)行的改進(jìn)：當(dāng)新的樣本出現(xiàn)時(shí)，判斷、訓(xùn)練以及學(xué)習(xí)新增樣本，需要不斷的更新樣本集和模型，逐步提高模型的精度，增量學(xué)習(xí)支持向量機(jī)比支持向量機(jī)需要的內(nèi)存少且耗時(shí)短。

當(dāng)新增新樣本加入時(shí)，支持向量機(jī)需要對(duì)新增樣本進(jìn)行判斷和學(xué)習(xí)，此時(shí)就需要數(shù)學(xué)中尋優(yōu)的一個(gè)重要定理即KKT （karush－Kuhn－tucker）條件，它在求解凸二次規(guī)劃時(shí)起著重要的作用。

定理1 KKT 條件［9］：

對(duì)樣本集訓(xùn)練得到分類決策函數(shù)

其中，ω和b 為待求參數(shù)，K（xi·x）為核函數(shù)，C 為常數(shù)，αi為Lagrange乘子是支持向量機(jī)KKT 條件的關(guān)鍵因素：①αi＝0→f（xi）≥1或者f（xi）≤－1，對(duì)應(yīng)的樣本位于分類間隔之外；②0＜αi＜C →f（xi）＝1或者f（xi）＝－1，對(duì)應(yīng)的樣本位于分類間隔之上；③αi＝C →－1≤f（xi）≤1，對(duì)應(yīng)的樣本位于分類間隔之中。

總結(jié)以上三點(diǎn)，滿足KKT 條件的樣本是在分類間隔之外且可以被正確分類的支持向量和樣本。

當(dāng)新增樣本（xi，yi）加入時(shí)，若新增樣本滿足KKT 條件的樣本則不會(huì)影響向量集，而那些不滿足KKT 條件的樣本則可能會(huì)發(fā)生以下3種變化：

（1）若新增樣本（xi，yi）位于分類間隔內(nèi)，與本類樣本在分類邊界的同側(cè)，則可以被原始分類器正確分類，0 ≤yif（xi）≤1。

（2）若新增樣本（xi，yi）位于分類間隔內(nèi)，與本類樣本在分類邊界的同側(cè)，則被原始分類器錯(cuò)誤分類，－1 ≤yif（xi）≤0。

（3）若新增樣本（xi，yi）位于分類間隔外，與本類分類樣本在分類邊界的異側(cè)，則被原始分類器錯(cuò)誤分類，yif（xi）＜－1。

假設(shè)初始樣本集為W0，W0經(jīng)過訓(xùn)練得到分類器Ω0，W0上的支持向量集為；W1為新增樣本，此時(shí)訓(xùn)練樣本集W0∪W1所得的分類器Ω1，對(duì)應(yīng)的新增支持向量集。

定理2 若新增樣本W(wǎng)1滿足Ω0的KKT 條件，則W1∩＝，即W1中不存在新的支持向量，則學(xué)習(xí)結(jié)束；相反，若W1中有樣本違背了Ω0的KKT 條件，則W1∩≠，即W1中一定存在部分或者全部轉(zhuǎn)化為新增樣本［10］。

以圖1為例，詳細(xì)的描述一下新增樣本加入時(shí)發(fā)生的變化，圖中V1、V2、V3、V4、V5表示初始支持向量，新增樣本X1、X2、X3加入，初始樣本集的最優(yōu)分類超平面為f（x）＝0，訓(xùn)練新增樣本后得到的最優(yōu)分類超平面為y（x）＝0。Z1為初始樣本集中的非向量集，加入新增樣本訓(xùn)練后的支持向量集為V1、X3、Z1。從圖中可以發(fā)現(xiàn)新增樣本X2、X3是被錯(cuò)分的樣本，違背了Ω0的KKT 條件。X3在訓(xùn)練后轉(zhuǎn)化成支持向量，原來的樣本集只有V1是支持向量，而V2、V3、V4、V5都轉(zhuǎn)化為滿足KKT 條件的樣本。Z1滿足KKT 條件，在訓(xùn)練后轉(zhuǎn)化成支持向量。

圖1 增加樣本后訓(xùn)練集可能發(fā)生的變化

1.3 增強(qiáng)學(xué)習(xí)

增強(qiáng)學(xué)習(xí)是一種機(jī)器學(xué)習(xí)［11］，支持向量機(jī)采取在線學(xué)習(xí)的方法，訓(xùn)練樣本按c1、c2，....ci（i表示類別數(shù)）次序排列進(jìn)行學(xué)習(xí)。

為了抑制向量機(jī)的遺忘機(jī)制，將數(shù)據(jù)按不同的類的次序輸入，向量機(jī)不斷地對(duì)各個(gè)類的數(shù)據(jù)進(jìn)行增強(qiáng)記憶的學(xué)習(xí)和訓(xùn)練，抑制了一類數(shù)據(jù)同時(shí)輸入時(shí)對(duì)其它類數(shù)據(jù)的遺忘。如此反復(fù)的學(xué)習(xí)，提高了向量機(jī)的學(xué)習(xí)能力。

2 算法的具體步驟

（1）采用Ncut聚類算法對(duì)樣本數(shù)據(jù)進(jìn)行聚類，算法首先建立各個(gè)樣本數(shù)據(jù)之間的相似度矩陣，隨后求出相似度矩陣的特征向量并且選擇合適的特征向量，從而實(shí)現(xiàn)了對(duì)樣本數(shù)據(jù)的聚類。

（2）為了增強(qiáng)向量機(jī)的學(xué)習(xí)過程將聚類得到的i類樣本按c1、c2，....ci（i表示類別數(shù)）次序排列進(jìn)行學(xué)習(xí)并建立模型，這種增強(qiáng)記憶的學(xué)習(xí)方法能夠更好的訓(xùn)練模型并提高模型的精度。

（3）采用網(wǎng)格搜索［12］和交叉驗(yàn)證為模型搜索最優(yōu)的參數(shù)徑向基核函數(shù)參數(shù)sig2和控制對(duì)錯(cuò)分樣本懲罰程度的可調(diào)參數(shù)gam。

（4）當(dāng)有新增樣本加入時(shí)，首先判斷新增樣本是否滿足KKT 條件，若滿足KKT 條件則不存在新的支持向量，結(jié)束學(xué)習(xí)；若不滿足條件則新增樣本中一定存在新的支持向量，需對(duì)新增樣本進(jìn)行訓(xùn)練學(xué)習(xí)并更新模型。

（5）當(dāng)新增樣本學(xué)習(xí)結(jié)束，為了回歸預(yù)測的擬合效果更好，在此引入閾值T，根據(jù)每個(gè)測試樣本的回歸預(yù)測值，比較測試數(shù)據(jù)真實(shí)值與預(yù)測值之間的差值，若差值大于T，則將此數(shù)據(jù)加入到訓(xùn)練集重新學(xué)習(xí)，若小于T，則結(jié)束學(xué)習(xí)。

3 仿真及結(jié)果分析

基于模擬移動(dòng)床吸附分離過程的工作原理［13］和分離過程現(xiàn)場的工藝操作經(jīng)驗(yàn)及生產(chǎn)過程檢測到的信息，可以發(fā)現(xiàn)與組分純度關(guān)系較為密切的參數(shù)有4 個(gè)區(qū)的流量，而4個(gè)區(qū)的流量是很難直接檢測的內(nèi)部流量。所以轉(zhuǎn)而考慮用外部易測流量來替代這些內(nèi)部流量發(fā)揮其同樣的作用，重要的外部流量有：進(jìn)料液流量QF、抽取液流量QE、解析劑流量QD及固相流量QS。

采集某工廠在分離對(duì)二甲苯達(dá)到周期穩(wěn)態(tài)時(shí)QF、QE、QD及QS的70組數(shù)據(jù)樣本作為模型的輸入，產(chǎn)品在其條件下的對(duì)應(yīng)抽取液純度Pur＿E、抽余液純度Pur＿R 作為樣本的輸出。確定了樣本數(shù)據(jù)之后，需要對(duì)樣本數(shù)據(jù)進(jìn)行一些預(yù)處理和Ncut聚類，將數(shù)據(jù)分為3組，一組用于訓(xùn)練支持向量。一組用于模型的預(yù)測樣本。一組作為增量數(shù)據(jù)集。

通過增強(qiáng)－增量的學(xué)習(xí)訓(xùn)練，建立了模擬移動(dòng)床在達(dá)到穩(wěn)態(tài)時(shí)吸附分離過程的軟測量模型，其抽取液純度和抽余液純度的變化曲線如圖2和圖3所示。

圖2 抽取液純度變化曲線

圖2和圖3分別是抽取液純度和抽余液濃度的變化曲線，在圖中共有4根曲線，其中一條曲線是測試值，其余3條曲線分別是在向量機(jī)、增量型向量機(jī)、Ncut和增量型向量機(jī)的結(jié)合這3種情況下的曲線，增量型向量機(jī)的訓(xùn)練數(shù)據(jù)按照相同類別一起輸入的方式，而Ncut和增量型向量機(jī)相結(jié)合的方式采取不同類別間隔輸入的順序。

圖3 抽余液純度變化曲線

為了衡量基于Ncut聚類的增量支持向量機(jī)模型和增量支持向量機(jī)以及普通向量機(jī)的預(yù)測性能，采用均方誤差作為衡量指標(biāo)，均方誤差越小說明擬合效果越好。

從表1中不難發(fā)現(xiàn)，均方誤差的值越來越小則擬合程度越來越好，基于Ncut聚類的增量支持向量機(jī)模型的均方誤差值最小擬合效果最好。這是因?yàn)橄炔捎镁垲愋Ч^好的Ncut聚類，為了增強(qiáng)向量機(jī)的學(xué)習(xí)能力，將聚好類的數(shù)據(jù)反復(fù)記憶增強(qiáng)機(jī)制輸入向量機(jī)進(jìn)行增強(qiáng)－增量學(xué)習(xí)訓(xùn)練，同時(shí)采取增量型支持向量機(jī)來建立模型，其預(yù)測精度明顯高于普通的支持向量機(jī)。

表1 抽取液和抽余液的均方誤差

4 結(jié)束語

由于模擬移動(dòng)床復(fù)雜的吸附分離過程，使得很難在線測得輸出各組分的純度變化。本文在支持向量機(jī)的基礎(chǔ)上，提出了基于Ncut聚類的增量支持向量機(jī)模型的建立，首先采用Ncut方法對(duì)離線采集的數(shù)據(jù)樣本進(jìn)行聚類，得到訓(xùn)練樣本的聚類結(jié)果；其次將聚類后的樣本數(shù)據(jù)按反復(fù)記憶增強(qiáng)機(jī)制輸入向量機(jī)進(jìn)行增強(qiáng)－增量學(xué)習(xí)訓(xùn)練；最后將原始測試樣本輸入到訓(xùn)練好的模型中進(jìn)行檢驗(yàn)。研究結(jié)果表明，通過與普通向量機(jī)和增量型向量機(jī)的比較，采用基于Ncut聚類的增量支持向量機(jī)的模型具有更好的預(yù)測精度，驗(yàn)證了該方法的有效性和優(yōu)越性。

［1］CHEN Chuanchuan，BAO Leyun，RUAN Xiaobo.Modeling and numerical analysis of simulated moving bed chromatography linear separation process ［J］.Chemical Engineering and Equipment，2010，7：15－17 （in Chinese）. ［陳川川，鮑樂云，阮小波.模擬移動(dòng)床色譜線性分離過程的建模和數(shù)值分析［J］.化學(xué)工程與裝備，2010，7：15－17.］

［2］XUE Tao，WANG Jianhong，WANG Jingde.Dynamic simulation of simulated moving bed in parex process［J］.Computer Simulation，2011，28 （5）：391－394 （in Chinese）. ［薛燾，王建紅，王璟德.模擬移動(dòng)床分離過程的動(dòng)態(tài)仿真 ［J］.計(jì)算機(jī)仿真，2011，28 （5）：391－394.］

［3］Song IH，Lee SB，Rhee HK，et al.Optimization－based predictive control of a simulated moving bed process using an identified model ［J］.Chemical Engineering Science，2007，61：6165－6179.

［4］Fu YF，Su HY，Zhang Y，et al.Adaptive soft－sensor modeling algorithm based on FCMISVM and its application in PX adsorption separation process ［J］.Chinese Journal of Chemical Engineering，2008，16 （5）：746－751.

［5］Chen Junghui，Kai－Ting Hsieh.PLS data－driven based approach to design of a simulated moving bed process［J］.Separation and Purification Technology，2009，65 （2）：173－183.

［6］LI Ling，YUAN Decheng.Modeling of simulated moving bed process based on data driven ［J］.Chinese Journal of Scientific Instrument，2009，30 （6）：622－624 （in Chinese）. ［李凌，袁德成.基于數(shù)據(jù)驅(qū)動(dòng)的模擬移動(dòng)床過程建模 ［J］.儀器儀表學(xué)報(bào)，2009，30 （6）：622－624.］

［7］XIE Hongmei，LIAN Yu，PENG Jinye.Ncut－based segmentation and SVM classifier for medical image classification ［J］.Journal of Data Acquisition ＆ Processing，2009，24 （6）：734－737 （in Chinese）. ［謝紅梅，連宇，彭進(jìn)業(yè).基于Ncut分割和SVM 分類器的醫(yī)學(xué)圖像分類算法 ［J］.數(shù)據(jù)采集與處理，2009，24 （6）：734－737.］

［8］ZHANG Yun，LIU Jianping.A estimating separate line algorithm for overlapping gastric adenocarcinoma cell image ［J］.China Journal of Image and Graphics，2007，12 （11）：2058－2061 （in Chinese）.［張?jiān)疲瑒⒔ㄆ?一種重疊胃腺癌細(xì)胞分離線估計(jì)算法 ［J］.中國圖象圖形學(xué)報(bào)，2007，12 （11）：2058－2061.］

［9］WEN Bo，SHAN Ganlin，DUAN Xiusheng.Research of incremental learning algorithm based on KKT conditions and hull vectors［J］.Computer Science，2013，40 （3）：256－258 （in Chinese）.［文波，單甘霖，段修生.基于KKT 條件與殼向量的增量學(xué)習(xí)算法研究［J］.計(jì)算機(jī)科學(xué)，2013，40 （3）：256－258.］

［10］CHEN Yuantao，XU Weihong，WU Jiaying.Incremental vector support vector machine learning algorithm ［J］.Journal of Nanjing University of Science and Technology，2012，36 （5）：873－878 （in Chinese）.［陳沅濤，徐蔚鴻，吳佳英.一種增量向量支持向量機(jī)學(xué)習(xí)算法 ［J］.南京理工大學(xué)學(xué)報(bào)，2012，36 （5）：873－878.］

［11］WANG Xuening，CHEN Wei.A survey of direct policy search methods in reinforcement learning ［J］.CAAI Transactions on Intelligent Systems，2007，2 （1）：16－24 （in Chinese）.［王學(xué)寧，陳偉.增強(qiáng)學(xué)習(xí)中的直接策略搜索方法綜述 ［J］.智能系統(tǒng)學(xué)報(bào)，2007，2 （1）：16－24.］

［12］NI Lin，ZHENG Hongying.Research of intrusion detection based on and SVM ［J］.Computer Applications，2007，27（10）：2440－2443 （in Chinese）. ［倪霖，鄭洪英.基于聚類和支持向量機(jī)的入侵檢測研究 ［J］.計(jì)算機(jī)應(yīng)用，2007，27（10）：2440－2443.］

［13］LI Ling，JING Yuanwei，YUAN Decheng.Simulated moving bed adsorption separation technology and its applications［J］.Computers and Applied Chemistry，2007，24 （4）：441－444（in Chinese）.［李凌，井元偉，袁德成.模擬移動(dòng)床吸附分離技術(shù)及其應(yīng)用 ［J］.計(jì)算機(jī)與應(yīng)用化學(xué)，2007，24 （4）：441－444.］