基于核熵成分分析的熱軋帶鋼自適應聚類分析

何飛，徐金梧，梁治國，王曉晨

(北京科技大學 國家板帶生產先進裝備工程技術研究中心，北京，100083)

帶鋼熱連軋生產過程需要保證的質量有：(1) 尺寸形狀質量：厚度精度、寬度精度、凸度及平直度等；(2) 表面質量：劃痕、裂紋等；(3) 力學性能質量：屈服強度、抗拉強度、伸長率等[1]。尺寸形狀質量可以由厚度測試儀、多功能凸度儀等測量得到。隨著高速工業拍攝技術的發展，基于機器視覺技術的表面質量在線檢測系統可以有效地在線測量表面質量狀況。力學性能則必須通過離線采樣的方式獲取。隨著計算機控制技術和傳感技術的發展，大量生產過程控制和實測數據被記錄，為生產過程和質量的分析提供了真實的數據來源[2-4]。目前利用統計回歸分析方法對帶鋼力學性能進行預報的研究，也取得了一些研究成果，但通常需要大量實際生產數據，而且預測精度不高，難以應用于實際生產過程。擬通過聚類方法對生產過程數據進行分析，事先了解生產狀態，對聚類性較差的數據進行重點的力學性能檢測。聚類分析前常需要對數據進行處理[5]，通常包括特征選擇和特征提取，常用的特征選擇方法有向前選擇、向后選擇、逐步選擇等，但無法提取特征間的關系。主成分分析、獨立成分分析等作為常用的特征提取方法，可以有效提取特征間的線性關系[6]。而在實際生產中，數據間往往呈現復雜的非線性關系，核函數的引入可以有效解決變量間非線性關系問題，但常用的核主成分分析是以數據服從正態分布為前提，以方差作為攜帶信息多少的衡量指標[7-8]。實際生產過程數據分布復雜，擬采用以信息熵為信息衡量指標的核熵成分分析作為特征提取方法，進行聚類分析。

1 信息熵

Shannon將熵的概念推廣到信息理論，提出了信息熵的概念，首次對信息進行了定量描述。信息熵作為系統狀態不確定性的定量評價指標，對于系統內在信息具有較強的刻畫能力，其定義如下[9]：

設p(x)是數據D=x1, …, xN的概率密度函數，則該數據的信息熵可表示為

作為信息熵的發展，則瑞利熵的定義為：

信息熵是數據不確定性和事件發生的隨機性的量度，從平均意義上表征數據總體信息測度的一個量，信息熵越大，信息量越多。

信息熵作為一種新的數據分析方法引起了人們廣泛的關注，使用信息熵進行數據攜帶信息的度量，或者利用信息熵作為數據分類或聚類優劣的評價指標。核熵成分分析方法是一種將核函數學習方法與信息熵進行有機結合的優良特征提取方法。

2 核熵成分分析

核主成分分析(Kernel principal component analysis,KPCA)的核心思想是將原始數據空間投影到高維特征空間，然后對核矩陣進行特征分解，選取前k個特征值最大的特征向量作為新的數據空間，特征值其本質含義代表了數據在特征向量上的方差信息[10]。核熵成分分析(Kernel entropy component analysis, KECA)是一種新的特征提取方法，其核心思想是將原始數據投影到高維特征空間。與核主成分分析相同，同樣需要對核矩陣進行特征分解，不同的是，不以特征值的大小來選擇特征向量，而是選取前k個對瑞利熵貢獻最大的特征向量，然后將原始數據向這些特征向量投影構成新的數據集[11]。與核主成分分析相比，是一種完全不同的成分選取方式。下面給出核熵成分分析的理論分析過程[12]：

在式(1)中，因對數函數是單調函數，所以只須考慮下式即可：

為了估計V(p)，進而估計H(p)，需進行Parzen窗的密度估計：

式(4)中最后一個等式由卷積理論知：高斯函數的卷積仍然為高斯函數。則符號簡化后可以得到選用常用的高斯核函數K(x,x′)=作為核函數，則可以選為即為核函數，式(4)可以寫為：

其中：N×N的核矩陣K中元素為k(xi, xj)，1為每個元素均取值為1的N×1的向量。至此，瑞利熵可以表達為核矩陣的形式。瑞利熵估計還可以通過核矩陣的特征值和特征向量計算得到，核矩陣可以分解為其中Dλ為由特征值組成的對角矩陣，E為對應的特征向量e1,…,eN組成的矩陣。同時核矩陣也是特征空間中一個矩陣的內積，如果假設Φx為由對應的特征空間的數據點構成的矩陣，則可以得到因此可以改寫式(5)：

KECA分析中選擇對瑞利熵估計貢獻最大的前 l個特征值及其對應的特征向量，可以得到特征空間中的數據進而得到特征空間中數據點的內積在KPCA分析中，選擇前k個最大的特征值及其對應的特征向量，進而可以得到特征空間的數據

經過以上的分析后給出KECA分析步驟：

(1) 給定核參數和核函數，計算核矩陣K；

(3) 由式(7)計算每個特征值所對應的瑞利熵，根據對瑞利熵貢獻的大小，選擇前l個特征向量和特征值；

在核熵成分分析中，發現各核熵成分間常呈現角結構，為此在角距離為相似性度量基礎上利用K-mean方法進行聚類分析。

3 核熵主成分自適應聚類

在核熵成分分析中，聚類數和核參數對聚類結果具有重要影響，提出自適應選取的準則，實現核參數和聚類數的自適應選取，首先根據常用的基于歐式距離的離散度概念，引入了基于角距離[13]的離散度：

類內離散度：

其中：C為聚類數。

類間離散度：

上述類內和類間離散度為各向量間余弦值的均值，取值在0到1范圍內。類內離散度表征了同類樣本基于角結構距離的相似程度，類間離散度表征了不同類別樣本間的相似程度。在聚類分析中，目標是使類內離散度盡可能大，類間離散度盡可能小，借鑒費希爾判別中使用類內和類間離散度的比作為準則函數[14]，但基于角結構的離散度取值在0到1，被除數有可能為0或非常接近于0，這里采用基于角結構的類內和類間離散度的差作為選取的準則函數：

準則函數越大表明類內離散度與類間離散度間的差別越大，不同類別間的差別越大，相同類別的相似性越強，所以在實際應用中應盡可能使準則函數取值最大化。

在核參數和聚類數選取過程中首先需給出初始選取范圍，然后使準則函數最大化選取合適的值。采用Shi等[15]提出的核參數常取值于原始數據空間各樣本歐式距離中值的10%～20%作為初始范圍；根據專家經驗給出聚類數初始范圍，若經驗不足，則可使初始范圍盡可能大些。

4 實驗與分析

熱軋帶鋼經過復雜的生產過程，每個生產過程均對最終的產品質量產生影響。為了進行生產過程的狀態和質量分析，共收集到實際生產過程中的3種鋼種的生產過程數據，包括化學元素(碳、硅、錳、磷、硫)含量，軋制過程溫度信息(粗軋出口溫度、精軋入口溫度、精軋出口溫度和卷取溫度)，軋制過程厚度信息(粗軋出口厚度和精軋出口成品厚度)共11個生產過程變量。3個鋼種采集到的樣本數分別為73，130和342。

具體的實驗步驟為：(1) 利用生產過程數據構成數據矩陣(2) 取各樣本歐式距離中值的10%～20%作為核參數初始范圍，并根據經驗給出聚類數范圍；(3) 在核參數和聚類數范圍內進行網格取值，分別進行KECA聚類分析，并記錄每次聚類分析中計算的準則函數值；(4) 取所有準則函數值中最大值所對應的核參數和聚類數值進行KECA分析，其中核主成分數取為聚類數；(5) 利用KECA所取得的核主成分進行以cos值為相似性判據的K-mean聚類分析。

在KECA分析中核主成分數取為聚類數，原因為KECA中利用核函數實現了從原始空間到高維特征空間的映射，使非線性問題線性化，實現了在高維特征空間中每個核主成分綜合提取每類樣本的特征信息。如在熱軋帶鋼鋼種的聚類分析中，KECA所保留的每個核主成分表示一個鋼種力學性能(屈服強度、抗拉強度、伸長率等)的綜合信息。

樣本空間中歐式距離的中值的 10%～20%對應的取值范圍為3.8到7.6，從而選擇核參數σ的初始范圍為3.8～7.6。初選聚類數的范圍為2～6。以核參數σ和聚類數為自變量的聚類實驗準則函數取值如圖 1所示。最后，選擇核函數σ和聚類數分別為4.2和3.0。

實驗中，K，Keca，Kpca和 cos值矩陣分別如圖 2(a)～(d)所示，cos值矩陣為兩兩樣本點之間的cos值組成的矩陣。圖 2(e)給出了標準化特征值和瑞利熵結果。KECA和KPCA中選取的前3個主成分的數據分布分別如圖2(f)～(g)所示。KECA可以給出明顯的角結構，而KPCA沒有提取出明顯的角結構。

圖1 帶鋼熱軋生產過程狀態聚類實驗準則函數Fig.1 Criterion function in hot strip rolling experiment

圖2 帶鋼熱軋生產過程狀態聚類實驗結果Fig.2 Clustering results of hot strip rolling process

利用上述的 KECA特征提取和角結構聚類分析后，表1給出了實際類別和聚類后的各類別的樣本數，3種類別樣本的聚類正確率分別為97.26%，99.23%和95.32%。利用KPCA分析，核參數也進行了優化選取，得到的聚類正確率分別為97.26%，88.46%和83.04%。KECA和KPCA的總體聚類準確率分別為：96.51%和86.23%，可以看到KECA具有更好的聚類結果。在帶鋼力學性能檢測中，聚類結果不正確的樣本將作為重點檢測對象，這將有利于提高質量檢測的針對性。

為比較KECA和KPCA的特征向量選擇過程，圖3給出了帶鋼熱軋生產過程數據的前8個主成分的圖。從圖3中可以看到：第1，3，8主成分各有一段所對應的樣本值不為零，而其他部分均基本為零，而且不為零的樣本點覆蓋了所有樣本點。如果使用KPCA進行數據的特征提取，按照特征值的大小會選取前3個主成分。第2個主成分不為零樣本與第1個主成分基本相同，均沒有體現第1類樣本的特征。可見KECA可以更加有效提取不同類樣本的差異性，有利于不同類樣本的區分。

表1 核熵成分分析帶鋼熱軋生產聚類結果Table 1 Results of hot strip rolling clustering based on KECA個

因3類樣本的聚類便于可視化表示，上述實驗只采用了3類樣本進行聚類分析。為了更全面了解更多鋼種的聚類效果，還進行了5類樣本的KECA聚類實驗。5種鋼種采集到的樣本數分別為73，130，342，88和86，所采用的變量與前面3類相同。利用相同的方法可以獲得最優的核參數4和聚類數5。

在KECA分析中，對瑞利熵值貢獻最大的5個主成分分別為第2，1，8，6和17主成分。保留前5個對熵貢獻最大的主成分，計算相應的角距離，得到對應的cos值矩陣如圖4所示，可以看到cos值矩陣具有明顯的分塊特性。

而在KPCA分析中會選擇特征值最大的前5個主成分，即第1～5主成分。首先給出對應特征值最大的第1，2，3主成分投影得到的數據，如圖5(a)所示。由圖5(a)可以看到：最大特征值對應的前3個主成分難以有效刻畫數據的本質特性，難以在空間中將數據有效分離。為了形象給出2種方法的差異性，選擇2種方法中差異的主成分，即給出了在第3，4，5主成分和第 8，6，17主成分投影得到的數據，分別如圖5(b)～(c)所示。從圖5可以看到：KECA分析中，第8，6，17主成分分別對應一類數據，具有明顯的角結構特性，可以有效地提取數據的本質特性，有利于數據的聚類分析，而KPCA分析中選用的主成分不能有效表現數據的類別特征。表2給出了實際類別和KECA聚類后各類別的樣本數，總體正確率為95.68%，聚類結果較為理想。而且，通過檢測聚類錯誤樣本的力學性能，發現均處于該鋼種所要求的邊界。在實際的生產中應盡可能避免這種情況的發生，因為其處于降級或改判為其他鋼種的邊緣。

圖3 帶鋼熱軋生產數據核主成分Fig.3 Kernel principal components of hot strip rolling

圖4 5類熱軋樣本KECA分析中cos矩陣圖Fig.4 Cosine matrix of hot strip rolling experiment with five class based on KECA

圖5 KECA和KPCA采用的不同主成分的對比Fig.5 Comparison of KECA and KPCA principal components

表2 核熵成分分析對5類樣本帶鋼熱軋生產聚類結果Table 2 Results of hot strip rolling clustering with five class based on KECA 個

5 結論

(1) 使用聚類方法分析熱軋帶鋼生產工藝過程數據，間接判斷熱軋帶鋼的鋼種信息，實現實時在線判斷力學性能是否滿足生產要求，對離群樣本進行重點的離線力學性能檢測，增強了控制的實時性和檢測的針對性。

(2) 采用KECA提取生產數據的有效特征，并采用最大化基于角距離的類內離散度和類間離散度的差作為準則自適應選取核參數和聚類數，實現生產過程數據的自適應聚類。利用現場實際生產數據進行驗證，3種帶鋼的聚類正確率為96.51%，與KPCA方法相比提高 10.28%。而 5種帶鋼的聚類正確率也達到95.68%，可以及時了解生產工藝狀態。

(3) 實際的離線檢測也發現聚類錯誤樣本的力學性能均處于該鋼種所規定范圍的邊界值，與聚類結果相吻合。在今后的研究中，努力找出導致該樣本處于邊界的主要工藝參數，如何調整可以改變其取值，最終達到力學性能的實時控制。

[1]孫一康. 帶鋼熱連軋的模型與控制[M]. 北京: 冶金工業出版社, 2007: 2-13.SUN Yi-kang. Model and control for hot steel strip rolling[M].Beijing: Metallurgical Industry Press, 2007: 2-13.

[2]Kano M, Nakagawa Y. Data-based process monitoring, process control, and quality improvement: Recent developments and applications in steel industry[J]. Computers and Chemical Engineering, 2008, 32(1/2): 12-24.

[3]Braha D. Data mining for design and manufacturing: methods and applications[M]. London: Kluwer Academic Publishers,2001: 2-40.

[4]Chiang L H, Russell E L, Braatz R D. Fault detection and diagnosis in industrial systems[M]. New York: Springer-Verlag,2001: 2-10.

[5]趙鳳, 焦李成, 劉漢強, 等. 半監督譜聚類特征向量選擇算法[J]. 模式識別與人工智能, 2011, 21(1): 48-56.ZHAO Feng, JIAO Li-cheng, LIU Han-qiang, et al.Semi-supervised eigenvector selection for spectral clustering[J].Pattern Recognition and Application Intelligence, 2011, 21(1):48-56.

[6]Duda R O, Hart P E, Stork D G. Pattern classification[M]. 2nd ed.New York: John Wiley & Sons, 2001: 1-10.

[7]Nakagawa Y, Nakagawa S, Kano M. Quality improvement of steel products by using multivariate data analysis[C]//SICE 2007 Annual Conference. Takamatsu, Japan: IEEE, 2007: 2428-2432.

[8]Sch?lkopf B, Smola A, Muller K. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998,10(5): 1299-1319.

[9]Principe J C. Information theoretic learning: Renyi’s entropy and kernel perspectives[M]. New York: Springer Verlag, 2010:47-88.

[10]Jenssen R, Eltoft T. A new information theoretic analysis of sum-of-squared-error kernel clustering[J]. Neurocomputing,2008, 72(1/2/3): 23-31.

[11]Jenssen R, Eltoft T, Girolami M, et al. Kernel maximum entropy data transformation and an enhanced spectral clustering algorithm[C]//Sch?lkopf B, John C P, Thomas H. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2006: 633-640.

[12]Jenssen R. Kernel entropy component analysis[J]. Pattern Analysis and Machine Intelligence, 2010, 32(5): 847-860.

[13]Girolami M. Orthogonal series density estimation and the kernel eigenvalue problem[J]. Neural Computation, 2002, 14(3):669-688.

[14]Baudat G, Anouar F. Generalized discriminant analysis using a kernel approach[J]. Neural Computation, 2000, 12(10):2385-2404.

[15]Shi J, Malik J. Normalized cuts and image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8): 888-905.