基于主成分分析和K-means聚類的平行坐標可視化技術研究

馬國峻，王水波，裴慶祺，詹陽

（1. 西安文理學院信息工程學院，陜西 西安 710065；2. 西安電子科技大學綜合業務網理論及關鍵技術國家重點實驗室，陜西 西安 710071）

基于主成分分析和K-means聚類的平行坐標可視化技術研究

馬國峻1,2，王水波2，裴慶祺2，詹陽2

（1. 西安文理學院信息工程學院，陜西 西安 710065；2. 西安電子科技大學綜合業務網理論及關鍵技術國家重點實驗室，陜西 西安 710071）

為了解決多維數據的維數過高、數據量過大帶來的平行坐標可視化圖形線條密集交疊以及數據規律特征不易獲取的問題，提出基于主成分分析和K-means聚類的平行坐標（PCAKP, principal component analysis and k-means clustering parallel coordinate）可視化方法。該方法首先對多維數據采用主成分分析方法進行降維處理，其次對降維后的數據采用K-means聚類處理，最后對聚類得到的數據采用平行坐標可視化技術進行可視化展示。以統計局網站發布的數據為測試數據，對PCAKP可視化方法進行測試，與傳統平行坐標可視化圖形進行對比，驗證了PCAKP可視化方法的實用性和有效性。

數據可視化；平行坐標可視化；主成分分析；K-means聚類

1 引言

在大數據時代的今天，人們身邊無時無刻不充斥著紛繁復雜的數據。從國家政治到社會民生，從尖端科學到百姓生活，從PC端到移動設備，數據時時刻刻都在產生，大數據已上升為一個國家重要的戰略資源。《Science》于2011年刊登了“Dealing with Data”[1]一文，該文章指出了如何利用數據資源來推動人類社會的發展。《大數據是國家戰略資源》一文指出了大數據的產業價值，以及大數據的價值挖掘[2]。在海量的數據中，如何迅速理解數據、如何挖掘數據中蘊含的價值信息、如何發現數據中的內在規律，是大數據時代發展中亟待解決的重要問題。

數據可視化技術作為一門新興學科技術，通過將數據映射為可視化圖形，為人們認識數據、理解數據、發現數據規律提供了一種方便、高效的途徑。從數據維度的角度出發，可將數據分為低維數據和多維數據。其中低維數據包括一維數據和二維數據，多維數據往往是指數據維數不低于三維的數據。對于低維數據，可以采用折線圖、柱狀圖、餅圖等基本圖表法進行可視化展示。多維數據可視化方法主要有基于幾何的技術[3]、基于圖標的技術[4]、基于層次的技術[5]以及基于降維映射的技術[6]等，其中最典型的多維數據可視化技術是基于幾何的技術中的平行坐標可視化技術。針對于多維數據的維數過高、數據量過大帶來的平行坐標可視化圖形線條密集交疊以及數據規律特征不易獲取的問題，本文提出基于主成分分析和K-means聚類的平行坐標可視化方法，并采用可視化案例加以測試驗證。

2 平行坐標可視化技術

平行坐標可視化技術是多維空間在二維平面的表示[7]。它的繪制過程如下：在二維平面中，根據多維數據的維數（假設為N維數據），繪制N條等間距豎直的平行坐標軸，每一條坐標軸分別表示多維數據中的一維屬性，然后將多維數據中的每一維屬性值分別映射到對應坐標軸上相應的刻度點上，將各個坐標軸上點依次連接形成一條折線。圖1所示是采用平行坐標可視化技術在平面的可視化展示6維數據。

圖1 平行坐標

為了在平行坐標可視化圖形中更好地展示數據的規律和特征，往往采用平行坐標交互技術對圖形進行操作從而發現隱藏的數據規律。常見的平行坐標交互技術主要有以下幾種。

1) 維度縮放技術

在數據比較密集時，采用維度縮放技術，對用戶關心的數據區域進行放大或者縮小觀察，從而發現具體區域數據的取值或數據在某一范圍內的變化趨勢。

2) 刷技術

在研究平行坐標圖形中，刷技術是研究特定屬性數據在特定數值范圍內的數據變化趨勢的一種技術，通過“刷取”關心的數據區域，便可得到該區域數據可視化線條，進而對該區域的數據特征規律進行研究。

3) 交換坐標軸

在平行坐標圖形中，當用戶想研究2個維度屬性之間的關系時，可以交換平行坐標軸的先后排列次序。將待研究的2個屬性坐標軸交換到相鄰的位置，觀察交換后的2個屬性之間的關系，從而發現兩屬性之間的內在關系。

4) 平行坐標維數控制

在采用平行坐標可視化圖形分析數據時，有時需要單獨研究某幾個屬性之間的關系。如果直接采用平行坐標圖研究數據，其他的屬性會對研究結果造成干擾和影響，故需要對暫時不研究的屬性刪除或者隔離。此時可以采取維數控制，即暫時刪除某些屬性坐標軸，只需將待研究屬性的線條展示出來，這樣既可以減小平行坐標圖的復雜度，又有利于用戶對特定數據進行分析，因此更容易觀察出數據變化的規律。

以上是平行坐標交互技術，通過這些交互技術的操作，用戶可以從平行坐標可視化圖中更好地理解數據以及發現數據的規律和特征。

3 PCAKP可視化技術研究

3.1 PCAKP可視化技術提出的背景

在多維數據的維數和數據量適當的情況下，采用平行坐標可視化技術能夠對多維數據的每一維屬性數據的取值和分布有一個定性和定量的認識。然而在現實生活中往往存在維數過高、數據量過大的多維數據，如證券市場數據、生物醫學特征數據、航空航天數據等。如果在有限寬度的二維平面內對這些數據采用平行坐標可視化技術進行可視化分析，則會出現相鄰兩條平行坐標軸間距過窄、兩條相鄰的坐標軸之間過于擁擠、可視化線條交織甚至發生重疊的效應，造成視覺錯亂，無法獲取數據特征和規律。圖2所示是數據維數較高、數據量較大的平行坐標可視化圖形，從圖中可以看出平行坐標軸的折線分布以及走勢的可視化效果較差，無法快速獲取數據特征和規律。

實際上，多維數據中的屬性與屬性之間往往具有線性相關性和相似性。本文先采用降維的思想對多維數據進行線性降維處理，然后對線性降維后的數據進行聚類處理，使同一類中的數據相似度較高，不同類之間的數據相似度較低。本文采用主成分分析法（PCA，principle component analysis）對數據進行降維處理，對降維后的數據運用K-means聚類算法進行聚類處理，最后對聚類后的數據進行平行坐標可視化展示，將這種技術稱為基于主成分分析和K-means聚類的平行坐標可視化技術，簡稱PCAKP可視化技術。

3.2 主成分分析法的基本原理以及數據處理過程

主成分分析對數據降維處理的前提是基于多維數據的屬性之間具有較強的相關性，如果屬性之間相關性很低或彼此獨立互不相關，那么采用主成分分析法對多維數據進行降維處理，則沒有意義，得出的結果沒有參考價值。如何知道數據樣本是否具有相關性以及相關性的大小？統計分析學中往往常用KMO和Bartlett的球形度相關指標數據來檢驗統計數據的相關性以及作為采用主成分分析判斷的重要依據[8]。本文借助統計學中的SPSS軟件計算KMO值以及Sig大小。

主成分分析法是一種常用的線性降維方法。PCA的基本思想是采用一組互相獨立的變量代表數據的統計性質，每一項變量都可能包含初始數據的多個屬性，并且表現數據的某種統計特性[9]，其結果充分反映數據之間的個體差異。PCA采用線性變換方法，將數據變換到新的坐標系中，使任何數據點投影到第一個坐標（第一主成分）的方差為最大，在第二個坐標（第二主成分）的方差為次大，以此類推。因此，PCA方法可以減少數據的維數并保持對方差累計貢獻最大的特征。

則有

在分析了PCA的基本原理之后，下面重點介紹PCA對數據處理的過程，PCA對數據的處理主要有以下7個步驟。

圖2 維數過高、數據量過大的平行坐標

Step2 對樣本矩陣進行如下標準化變換

對標準化矩陣Z，求出它的相關系數矩陣R。

Step6 計算單個主成分貢獻率和累計貢獻率，單個主成分貢獻率為

累計貢獻率為

3.3 K-means聚類算法

聚類是根據某種規則，用特定方法將數據集合劃分為不同類別，使同一個類別中的數據之間的相似度較高，同類中的數據之間的相差較大[10]。

在聚類中，常采用距離表現樣本數據之間的親疏關系或相似度，按照不同的計算方法，距離的分類有歐式（Euclidian）距離、絕對值距離、切比雪夫（Chebychev）距離、馬氏（Mahalanobis）距離等[11]，最常用的距離是歐式距離，圖3是二維空間的數據點①和數據點②之間的歐式距離，可用式(10)表示。

圖3 二維平面歐式距離

多維空間兩點i、j的歐式距離可以表示為

K-means聚類算法思路簡單且收斂速度快，也稱為快速聚類算法[12]，是一種最常見的聚類算法之一，它的主要思想是首先從n個數據樣本集合中選取k個數據樣本點作為初始聚類的中心點；計算剩余樣本點與初始中心點的距離，并將剩余的樣本點歸于距離它們最近的初始中心點一類中；重新計算每個聚類的平均值并作為聚類的中心點；重復執行這一過程，直到聚類中心不再變化為止。K-means聚類算法流程如圖4所示。

圖4 K-means聚類流程

K-means聚類算法基本步驟如下。

輸入：n個數據樣本的集合以及聚類的數目k

輸出：k個聚類結果

基本步驟如下。

Step1 在n個數據樣本集合中選取k個數據樣本點作為初始聚類的中心點。

Step2 計算各個樣本點到k個聚類中心距離。

Step3 將各個樣本點歸于距離各自最近的聚類中心一類。

Step4 重新計算各個聚類的平均值，并將聚類的平均值作為該類的聚類中心。

Step5 判斷各個聚類中心是否發生改變，如果聚類中心不再改變，表明聚類已經完成。如果聚類中心發生改變，則繼續執行Step2～Step4，直到每個聚類中心不再改變或收斂為止。

3.4 PCAKP可視化技術

3.2 節和3.3節中分別研究了主成分分析法以及K-means聚類算法，本節重點介紹基于PCAKP可視化技術。

首先對數據進行KMO和Bartlett的球形度檢驗，本文借助SPSS對數據進行相關性檢驗。假設數據滿足線性相關性，對數據進行主成分分析降維仿真處理，對降維后得到的主成分得分采用K-means聚類算法進行仿真，得到聚類結果。最后運用平行坐標可視化方法對不同聚類結果用不同的線型加以區分展示。本文對數據的主成分分析仿真和K-means聚類仿真均采用SPSS軟件。

為了突出PCAKP的高維處理效果，本文以國家統計局網站中《中國統計年鑒2016》城鎮單位就業人員中的數據為仿真實驗數據，該數據的特點是數據維度高，且數據來源具有真實權威性，結果可靠。圖5是全國按行業分，城鎮單位就業人員數表部分截圖。

圖5 城鎮單位就業人員數表部分截圖（來源：中國統計年鑒2016）

圖5所示的這張表中對就業人員按行業進行了詳細的劃分，一共有19個行業，分別是“農、林、牧、漁業”“采礦業”“制造業”“電力、熱力、燃氣及水生產和供應業”“建筑業”“批發和零售”“交通運輸倉儲和郵政業”“住宿和餐飲業”“信息傳輸和軟件技術”“金融業”“房地產”“租賃和商務服務業”“科學研究和技術服務業”“水林、環境和公共設施管理”“居民服務、修理和其他服務業”“教育”“衛生和社會工作”“文化、體育、娛樂”“公共管理和社會保障和社會組織”。本文選取北京、天津、河北等31筆省市數據進行可視化研究，每一筆數據都有19維數據。對于31筆19維省市數據直接采用平行坐標可視化技術展示，得到的可視化圖形如圖6所示，這幅平行坐標可視化圖形由于數據維數較多，出現了平行坐標軸較擁擠、可視化線條雜亂無章、可視化效果不理想、不能很快直接地從這幅圖中獲取數據的規律。

首先，本文借助SPSS軟件對數據KMO和Bartlett檢驗進行相關性檢驗，得到數據KMO值為0.845，Sig值為0，表明該數據非常適合PCA處理。然后，采用主成分分析法對數據進行處理，按照特征值大于1的提取方法提取3個主成分，3個主成分累計貢獻率達到85.35%，從成分矩陣中可以看出，第一主成分與“批發和零售”“交通運輸倉儲和郵政業”“住宿和餐飲業”“信息傳輸和軟件技術”“金融業”“房地產”“租賃和商務服務業”“科學研究和技術服務業”“水林、環境和公共設施管理”、“居民服務、修理和其他服務業”“教育”“衛生和社會工作”“文化、體育、娛樂”“公共管理和社會保障和社會組織”等14個變量相關性最高；第二主成分與“制造業”“電力、熱力、燃氣及水生產和供應業”相關性最高，第三主成分與“農林牧漁業”相關性最高。由此可知，第一主成分集中代表了第三產業的就業信息，第二主成分集中代表了第二產業的就業信息，第三主成分集中代表了第一產業的就業信息。不妨將第一主成分定義為第三產業，第二主成分定義為第二產業，第三主成分代表第一產業。對主成分的得分采用平行坐標技術進行展示，如圖7所示。

從圖7中可以看出可視化線條清晰，而且沒有交織的現象，有效解決了雜亂無章的可視化效果不理想的問題。

圖6 就業人員數平行坐標可視化圖形

完成主成分分析降維后，接下來，對降維后的主成分得分數據進行K-means聚類。本文將31筆省份數據聚為4類，即采用K-means算法聚類時設置聚類個數為4。經過K-means聚類算法處理，聚類結果如下。第一聚類包括：北京、上海2筆數據。第二聚類包括：江蘇、浙江、福建、廣東、海南、重慶、西藏、青海、寧夏等9筆數據。第三聚類包括：天津、河北、內蒙古、吉林、安徽、江西、山東、河南、湖北、湖南、廣西、四川、貴州、云南、陜西、甘肅16筆數據。第四聚類包括山西、遼寧、黑龍江、新疆4筆數據。對4個聚類數據繪制平行坐標可視化圖形時，分別用不同的線型表示不同的聚類，如圖8所示，經過K-means聚類后的數據在平行坐標圖中展示它的層次規律明顯，特點突出。

圖7 降維后的平行坐標可視化圖形

下面對4個聚類的可視化圖形分別做如下分析說明。

圖9是聚類1的數據平行坐標可視化圖形，可以看出，聚類1中的北京和上海數據在第二產業數值較小，在第三產業數值較大，表明北京和上海第三產業就業人員較多，第二產業就業人員較少，說明該地區第三產業比較發達。

圖10是聚類2的數據平行坐標可視化圖形，可以看出，聚類2中的數據在第三產業和第二產業取值較大，而且第三產業的數值較第二產業數值大，在第一產業取值較小，說明江蘇、浙江、福建、廣東等聚類2中的省份在第二產業和第三產業的就業人員較多，該地區第二產業最為發達。

圖8 PCAKP可視化圖形

圖11是聚類3的數據平行坐標可視化圖形，可以看出，聚類3中的數據在第三產業和第二產業取值較大，而且第二產業的數值較第三產業數值大，在第一產業取值較小，說明了天津、河北、內蒙古、吉林等聚類3中的省市在第二產業和第三產業的就業人員較多，第二產業人員數大于第三產業人員數，而在第一產業就業人員較少，表明該地區第二產業最為發達，而第一產業的發展滯后。

圖9 聚類1中的平行坐標可視化圖形

圖10 聚類2中的平行坐標可視化圖形

圖12是聚類4的數據平行坐標可視化圖形，可以看出，聚類4中的數據在第一產業取值較大，而且第二產業的數值較第三產業數值小，說明山西、遼寧、黑龍江、新疆等聚類4中的省市在第一產業就業人員較多，第二產業人員數和第三產業人員數較少，表明該地區的第一產業最為發達，第二、第三產業滯后。

以上就是對全國按行業就業人數采用的PCAKP可視化技術分析的結果。與圖5中的原始數據相比，經過PCAKP可視化技術得到的圖形直觀反映了圖5中數據的規律和特征；與直接采用平行坐標可視化技術得到的圖6比較，PCAKP可視化技術得到的圖形可視化效果更加理想。這一仿真實驗表明，通過PCAKP可視化技術得到的平行坐標可視化圖形，有效解決了多維數據的維數較高、數據量較大帶來的問題，用戶更容易從平行坐標可視化圖中獲取數據的整體規律和特征，證明了該技術的有用性和實效性。

圖11 聚類3中的平行坐標可視化圖形

圖12 聚類4中的平行坐標可視化圖形

4 結束語

本文首先研究了平行坐標可視化技術及其交互技術。針對多維數據的維數過高、數據量過大導致平行坐標可視化圖形效果不理想以及無法快速獲取數據規律特征的問題，本文提出了基于主成分分析和K-means聚類的平行坐標可視化技術。首先對多維數據采用主成分分析法進行降維處理，減小維度過高帶來的可視化線條擁擠、交疊等可視化不理想情況；然后對降維后得到的主成分得分采用K-means聚類算法進行聚類，從而幫助用戶快速獲取數據規律特征。本文以國家統計局網站中《中國統計年鑒2016》城鎮單位就業人員中的數據為仿真實驗數據，測試了PCAKP可視化技術的實用性和有效性。

[1] REICHMAN O J, JONES M B, SCHILDHAUER M P. Challenges and Opportunities of open data in ecology[J]. Science, 2011, 331(6018): 703-705.

[2] 懷進鵬. 大數據是國家戰略資源[J]. 中國經濟和信息化, 2013(8): 49-50.

HUAI J P. Big Data: national strategic resource[J]. China Economy & Information, 2013(8): 49-50.

[3] 高芳. 平行坐標可視化技術的度量模型研究[D]. 北京: 北京交通大學, 2009.

GAO F. Research on measurement model of parallel coordinates visualization technique[D]. Beijing: Beijing Jiaotong University, 2009.

[4] 胡俊, 黃厚寬, 任東懷. 一種基于圖標技術的可視化方法與應用[J]. 北京交通大學學報, 2006, 30(5): 10-14.HU J, HUANG H K, REN D H. An icon_based visualization approach and its applications[J].Journal of Beijing Jiaotong University,2006, 30(5): 10-14.

[5] ITOH T, YAMAGUCHI Y, IKEHATA Y, et al. Hierarchical data visualization using a fast rectangle-packing algorithm[J]. IEEE Transactions on Visualization & Computer Graphics, 2004, 10(3): 302-313.

[6] CHEN P, JIAO L, LIU F, et al. Dimensionality reduction of hyper-spectral imagery using sparse graph learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2016, PP(99):1-17.

[7] INSELBERG A. Parallel coordinates[J]. Encyclopedia of Database Systems, 2009, 43(4): 199-233.

[8] 解坤, 張俊芳. 基于KMO-Bartlett典型風速選取的PCA-WNN短期風速預測[J]. 發電設備, 2017, 31(2): 12-36.

XIE K, ZHANG J F. Short-term wind speed forecasting using PCA-WNN based on KMO-bartlett typical wind speed selection[J].Power Equipment, 2017, 31(2): 12-36.

[9] WANG J. Forecasting stock market indexes using principle component analysis and stochastic time effective neural networks[J]. Neuro Computing, 2015, 156(C): 68-78.

[10] HASHEMINEJAD S M H, JALILI S. CCIC: clustering analysis classes to identify software components[J]. Information & Software Technology, 2015, (57): 329–351.

[11] 段明秀. 層次聚類算法的研究與應用[D]. 長沙: 中南大學. 2009.

DUAN M X. Research and application of hierarchical clustering algorithm [D].ChangSha: Central South University. 2009.

[12] JAIN A K. Data clustering: 50 years beyond K-means[J]. Pattern Recognition Letters, 2010, 31(8): 651-666.

Research on parallel coordinate visualization technology based on principal component analysis and K-means clustering

MA Guo-jun1,2, WANG Shui-bo2, PEI Qing-qi2, ZHAN Yang2

（1. School of Information Engineering, Xi’an University, Xi’an 710065, China; 2. State Key Laboratory of Integrated Service Networks, Xidian University, Xi’an 710071, China）

In order to solve the problem that parallel coordinate visualization graphic lines are intensive, overlap and rules of data is not easy to be obtained which caused by high dimension and immense amount of multidimensional data. Parallel coordinate visualization method based on principal component analysis and K-means clustering was proposed. In this method, the principal component analysis method was used to reduce the dimensionality of the multidimensional data firstly. Secondly, the data of the dimension reduction was clustered by K-means. Finally, the data of the clustering were visualized by parallel coordinate visualization. The PCAKP visualization method is tested with the data published by the Bureau of Statistics as the test data, and compared with the traditional parallel coordinate visualization graph, the validity and effectiveness of the PCAKP visualization method are verified.

data visualization, parallel coordinate visualization, principal component analysis, K-means clustering

The National Natural Science Foundation of China (No.61373170)

TP301

A

10.11959/j.issn.2096-109x.2017.00189

馬國峻（1978-），男，安徽無為人，西安文理學院講師，主要研究方向為數字內容保護、智能移動應用開發、區塊鏈應用與安全。

王水波（1990-），男，湖北黃梅人，西安電子科技大學碩士生，主要研究方向為Web前端。

裴慶祺（1975-），男，廣西玉林人，西安電子科技大學教授、博士生導師，主要研究方向為信任管理、無線網絡安全、區塊鏈安全。

詹陽（1977-），男，陜西楊凌人，西安電子科技大學講師，主要研究方向為信息安全、區塊鏈應用。

2017-07-06；

2017-08-04。通信作者：馬國峻，1578291722@qq.com

國家自然科學基金資助項目（No.61373170）