多元時序的深度自編碼器聚類算法

摘 要：針對深度聚類算法對多變量時間序列數據（MTS）的特征提取能力不足等問題，提出一種新的深度聚類結構模型（MDTC）。為了提取MTS的關鍵特征并實現降維，提出一維卷積學習MTS的屬性和時序維度的特征表示與循環神經網絡等網絡層組成的自編碼器結構；為了提高模型對時序特征的表示能力，提出了MCBAM時序注意力模塊，用于增強MTS序列中不同時間段的表示特征。在九個公開UEA多元時序數據集進行了實驗，模型的自編碼器結構相較其他自編碼器在七個數據集上提升了2%～9%；模型的MCBAM模塊相較其他注意力模塊在六個數據集上提升了0.3%～2%。實驗表明MDTC模型結構和MCBAM模塊的有效性，同時模型對比其他聚類算法具有優異的表現。

關鍵詞：深度學習； 深度聚類； 注意力機制； 自編碼器； 一維卷積

中圖分類號：TP18文獻標志碼：A

文章編號：1001-3695（2023）08-022-2387-06

doi：10.19734/j.issn.1001-3695.2022.11.0635

Deep AutoEncoder clustering algorithm for multiple time sequences

Zhang Zijing， Zhang Jianxun， Quan Wenjun， Nan Hai

（School of Computer Science amp; Engineering， Chongqing University of Technology， Chongqing 400054， China）

Abstract：Aiming at the problem of insufficient feature extraction ability of deep clustering algorithm on multivariate time series data（MTS）， this paper proposed a new deep clustering structure model（MDTC）. In order to extract the key features of MTS and realize dimensionality reduction， one-dimensional convolution learned the attribute and temporal dimension feature representation of MTS and the AutoEncoder structure composed of network layers such as recurrent neural network. To improve the model’s ability to represent temporal features， this paper proposed MCBAM temporal attention module， which was used to enhance the representation features of different time periods in the MTS sequence. This paper conducted experiments on nine publicly available UEA multivariate time series datasets， compared with other autoencoders， the AutoEncoder structure of the model improved by 2%～9% on seven datasets. Compared with other attention modules， the MCBAM module of the model improved by 0.3%～2% on six datasets. Experiments show the effectiveness of the MDTC model structure and MCBAM module， and the model has excellent performance compared with other clustering algorithms.

Key words：deep learning; deep clustering; mechanism of attention; self encoder; one dimensional convolution

0 引言

時間序列是樣本在一系列時間點取得的觀測值，如果樣本含有多個屬性，那么單個樣本在一個時間點下有多個屬性的觀測值，稱此樣本為多元時序數據（MTS）。在時間序列的分析上，樣本通常都具有多個屬性，因此在多元時序數據中提取有用的數據進行分析和聚類不僅應用于機器學習、自然語言處理、語音識別等多個領域，還在行為分析、軌跡分析、生物技術等領域中發揮著巨大作用。盡管在時間序列數據聚類方面取得了進展，但MTS數據的噪聲、時間高維、多變量的存在給設計有效和高效的聚類算法帶來了挑戰，MTS數據聚類也是最具挑戰性的課題之一［1，2］。

自編碼器作為典型的無監督深度學習模型，通過編碼器的預訓練實現樣本的特征提取。文獻［3］表明自編碼器模型相比較主成分分析（PCA）等降維方法，自編碼器通過多層神經網絡可以將高維數據轉換成更好的低維向量。基于深度學習對多維時序數據聚類研究，在早期的多階段深度聚類方法中，Huang等人［4］訓練了一種深度自編碼器提取表示特征，表示特征可以通過K-means獲得聚類結果。為了聯合優化兩個任務，Yang等人［5］使用深度神經網絡（DNN）和K-means聚類共同訓練的方法，顯著地提高了聚類性能。

多元時序聚類存在高維度和隱含特征的挑戰，已有的深度學習聚類模型雖然在提取單維時序特征或者圖像等其他場景的非時序多維特征具有魯棒性，但是對于多維時間序列數據的特征提取能力不足［6］，存在MTS數據聚類效果較差的問題。

神經網絡具有強大的特征提取能力和數據降維能力，為了解決深度學習聚類模型針對MTS有效數據特征提取困難的問題，本文提出了一種多元時序自編碼器結構的深度學習模型（MDTC），該模型采用一維卷積神經網絡對MTS數據進行屬性的多通道卷積運算，在時序維度進行卷積滑動操作，再使用循環神經網絡和全連接網絡組成了編碼器和解碼器；為了進一步提升模型的特征提取能力，在解碼器中加入了本文提出的時序注意力機制（MCBAM），MCBAM在空間注意力中引入時序維度上的區域上的特征提取。使用KL離散度損失函數的深度嵌入聚類算法與自編碼器損失函數共同優化MTS的特征表示，得到MTS聚類結果。經實驗驗證，MDTC模型與其他聚類算法在MTS聚類的精確度上得到了提升，針對MTS數據聚類有著不錯的表現；時序注意力MCBAM對比其他卷積注意力模塊在MTS聚類精度指標上得到提升。

1 相關工作

針對多元時序數據的聚類主要有原始數據的相似性直接聚類、提取數據的間接特征進行聚類、間接的建立模型進行聚類。在時序距離相似度表示方面，通過歐氏距離、DTW等距離作為常用的時序相似度距離，文獻［7］提出將時間序列映射為短的趨勢符號序列，并利用一階連接性指數和塔尼莫特系數完成相似性度量；在時序形狀的相似度方面，文獻［8］通過應用互相關度量來考慮時間序列的形狀，提出了K-shape和K-multishapes方法。在間接特征上，Hallac等人［9］通過馬爾可夫隨機場提出一種基于Toeplitz逆協方差的聚類方法，該方法對多元時間序列進行分割，并連續聚類子序列；基于關系網絡，依靠社區檢測技術，Li等人［10］將多元時間序列映射到復雜網絡并可視化，實現了多變量時序聚類；在多視圖方向，Zhang等人［11］使用多元小形狀變換表示學習和局部結構學習，提出了一種用于學習多元子序列的自適應鄰域無監督學習模型。深度學習在數據的特征提取和聚類領域得到了發展，深度聚類算法可以聯合聚類算法與深度學習模型算法，Xie 等人［12］提出的DEC網絡結構讓聚類任務嵌入到深度神經網絡中，同時學習特征表示和聚類分配的方法，通過自定義KL離散度的聚類目標嵌入到神經網絡中聯合訓練損失函數；針對單維時序深度聚類算法，DTC［13］模型使用卷積網絡和最大池化結構以及雙向循環網絡的自編碼器結構提取時序的特征表示，與聚類模塊共同優化損失函數；Kim等人［14］利用CNN識別每個變量的特征，并根據GRU得出隨時間推移的趨勢特征，通過模糊C均值聚類特征表示，完成聚類結果。

針對深度學習中關于時序注意力和空間注意力結合的情況，文獻［15］提出一種時序模體的鄰接矩陣來構建注意力圖卷積網絡結構。在卷積注意力中為了加強通道空間的表示特征能力，通過全局平均池化獲得權重值再歸一化獲得權重系數，乘以原通道特征圖的SE模塊［16］；Woo等人［17］提出了卷積注意力模塊（CBAM），按照通道和空間兩個維度進行映射，同時對兩個維度進行注意力分配，增強了注意力機制對模型性能提升的效果。因為深度聚類算法中自編碼器預訓練結果的特征表示會作為聚類算法的初始化中心，所以深度聚類算法對于自編碼器的特征提取能力要求比較高。許多深度聚類算法設計的模型結構過于簡單，會產生針對MTS數據特征提取魯棒性不足的問題，構建合理的自編碼器結構可以有效提取MTS數據的特征表示；針對傳統的注意力模塊對時序數據不適用的情況，改進注意力模塊計算可以提升模型對MTS的聚類效果。

2 MDTC模型

本文提出的MDTC模型由自編碼器模塊和聚類模塊組成，整體結構如圖1所示。首先，輸入的數據經過數據預處理，通過模型自編碼器的預訓練，獲得MTS特征值傳入聚類層，其次在聚類層獲取初始聚類中心，最后在聚類層中建立損失函數與自編碼器損失函數聯合更新參數。因為MTS數據特征會影響聚類結果，所以自編碼器的訓練是模型非常重要的一步，合理的自編碼器結構會訓練出有效的MTS數據特征。

2.1 輸入預處理

因為MTS的每個樣本有多個屬性，每個屬性都包含了時序維度，為了保證特征提取的有效性，在模型訓練前需要對數據進行預處理。一個樣本中不同的屬性之間會存在數值范圍的差異，通過一維卷積運算的權值求和，數值較大的屬性會影響較大的權值，會忽略其他屬性的特征信息，所以在數據處理上針對屬性數值要制定一個統一的范圍；因為時序維度作為MTS的重要維度，所以還要保留每個屬性在時序上的數值變化趨勢。在數據預處理中，針對單個樣本每個屬性的時序數據進行歸一化；所有屬性的歸一化范圍均相同，避免因數據范圍影響模型的損失梯度。

2.2 MDTC模型的自編碼器結構

MTS屬性維度的特征表示計算完成后，為了提取MTS的時序特征，將一維卷積核在樣本的時序維度上進行滑窗卷積操作，一維卷積核的長度根據時序長度而定。通過一維卷積運算后，輸出的特征保留原時序維度大小，屬性維度數轉為一維卷積的濾波器數傳入網絡下一層。為了加強時序特征的感受野，在第二層選用一維卷積對第一層進行通道卷積和時序滑窗操作，在第二層卷積結構上增加一維卷積核的長度。通過兩層的一維卷積網絡結構學習MTS數據特征表示，傳入模型下一層。因為一維卷積層通過時序維度滑窗操作進行的卷積運算，所以為了學習一維卷積層后的時序上的特征，本文在模型第三層選用的循環網絡層（LSTM）提取時序特征。為了表示MTS數據前后的時序特征，在編碼器的最后部分使用一維的雙向BiLSTM層得到編碼器的輸出，完成編碼器部分。

因為解碼器需要對樣本的特征表示進行一個原始數據的還原，所以本文在解碼器的設計上與編碼器相對應，達到減少自編碼器的均方誤差（MSE）的目的，提取MTS樣本中有效的特征表示。解碼器結構如圖4所示，使用LSTM層作為解碼器接收的第一層，再通過兩層反卷積層獲得與編碼器相對應的通道維度，最后使用全連接層獲得MTS樣本的原維度尺寸，完成解碼器部分。通過解碼器的輸出與編碼器的輸入，使用自編碼器的損失函數不斷優化自編碼器的網絡參數，優化編碼器輸出的特征表示。為了驗證本文設計的自編碼器結構的有效性，將在3.2.2節與其他自編碼器結構進行了實驗對比，針對模型的有效性進行結果分析，在3.3節中展開。

2.3 MCBAM的注意力機制

2.4 MDTC聚類層

2.5 MDTC模型聚類算法

2.5.1 深度嵌入聚類目標函數

2.5.2 聚類損失

2.6 MDTC模型損失

3 實驗與分析

3.1 數據集描述

3.2 算法對比

3.2.1 性能指標

3.2.2 與其他自編碼器結構對比

3.2.3 MCBAM模塊比較

3.2.4 與經典聚類算法對比

3.2.5 與先進聚類算法對比

通過降低維度、多視圖、深度學習等方法提取MTS的關鍵特征再進行聚類是現階段的最新研究方向。在五個數據集上與近兩年的多元時間序列聚類方法進行比較，如基于降維的方法MC2PCA［22］、基于深度學習的方法DeTSEC［23］、多視角學習方法多視角光譜聚類（NESE）［24］。所有聚類算法都采用歸一化互信息（NMI）和蘭德指數（RI）作為指標，如表5所示。

3.3 實驗結果分析

a）從表2可知在五個數據集中，MDTC模型在七個數據集上取得了最優的效果，在NMI指標上提升了2%～12%；在RI指標上提升了3%～7%。相較其他自編碼器結構，MDTC結構在多元時序聚類任務上更具優勢，提取多元時序數據特征的魯棒性更強。

b）表3表示了MDTC與MDTC模型加入MCBAM注意力模塊和其他注意力模塊的指標對比，NMI和RI指標在六個數據集分別提升了0.3%～2%，表明MCBAM模塊可以進一步加強多元時序的特征提取。MDTC在不加入注意力模塊情況下獲得三個數據集的最好效果，如果不考慮時序維度，只對通道和空間維度進行特征加權會導致模型的擬合效果較差。

c）表4與其他經典聚類算法對比中，本文提出的MDTC聚類算法在五個數據集上提升了2%～19%，在九個數據集中取得了五個數據集的最優結果，表明了MDTC聚類算法在多元時序聚類任務上相較經典聚類算法在BasicMotions、StandWalkJump等五個數據集上有著明顯的提升，聚類效果更好。

d）在表5中，本文將提出的MDTC算法與近兩年的先進算法進行了對比，使用RI指標在三個數據集（BasicMotions、HandMovementDirection、UWaveGestureLibrary）提升了0.7%～9%；使用NMI指標在兩個數據集（BasicMotions、UWaveGestureLibrary）分別提升了0.1個百分點和7個百分點。其他先進算法分別取得了一次最優結果，表明MDTC算法針對多元時序數據的聚類具有不錯的表現。

3.4 模型評價

根據模型自編碼器的結構和注意力模塊進行了參數實驗分析，模型通過不同參數進行了性能對比。選用表1中的UWaveGestureLibrar數據集作為實驗數據，此數據集是一組由加速度計生成的八個簡單手勢，數據由每個運動的X、Y、Z坐標組成，總共440個樣本，每個樣本時序長度為315，該數據集的樣本量和時序長度以及特征維度相較其他數據集更具代表性。

3.4.1 編碼器參數實驗分析

針對編碼器網絡結構不同的參數進行對比，評價模型的卷積等結構。卷積核的長度會影響數據特征的時序感受野，根據數據集時序長度，選取不同的一維卷積尺寸進行實驗，如表6所示。

根據表6可知在選取一系列模型參數實驗中，選取第一層卷積長度為1、第二層為5的模型結構的聚類精度最高。第一層卷積核為1的卷積層對數據的屬性進行卷積特征提取，在第二層對數據的時序進行卷積特征提取，MDTC的模型通過兩層卷積分別有效地對屬性進行特征提取和時序特征提取。

3.4.2 注意力模塊實驗分析

在MCBAM模塊中時序的池化層的尺寸會影響時序維度上的權值計算，根據數據時序長度選用池化層的參數進行實驗，如表7所示，池化層參數選為1時為不對數據進行時序注意力的權值計算。通過表7可知，選取不同的時序池化長度會影響數據聚類的精度，在池化層選取長度為15的情況下對數據聚類精度最高。根據時序數據長度使用合適的時序注意力的池化層會提高數據的時序特征表示和聚類精度。

3.4.3 可視化分析

對UWaveGestureLibrary數據集進行多元時序聚類的可視化分析，通過t-SNE降維技術對數據集進行2維可視化，如圖6所示。采用MDTC模型對數據集進行聚類，獲得的聚類結果作為t-SNE的可視化標簽。

為了驗證模型的有效性，對UWaveGestureLibrary數據集進行聚類并記錄模型的loss和聚類結果的RI指標數據，實驗通過200個epoch，模型的預訓練為15個epoch，結果如圖7所示。在圖7中可以看出，隨著epoch的增加模型的loss值在不斷減小，RI指標的曲線雖在波動，但RI值的總體趨勢在增加，表明了模型針對多元時序聚類精度方面進行了有效的訓練。

4 結束語

本文提出了MDTC聚類算法模型用于解決MTS聚類問題。MDTC采用神經網絡自編碼器提取MTS特征，使用改進的注意力機制加強對特征的選取，通過深度聚類算法與自編碼器聯合優化損失實現聚類效果。對九個公開數據集進行實驗，實驗結果表明MDTC模型對MTS數據具有優異的特征提取能力，對MTS數據聚類任務具有優異的表現。針對UWaveGestureLibrary數據集進行了實驗，實驗表明自編碼器模型參數的選取會影響聚類精度，選取合適的卷積長度和通道數對提取MTS數據的有效特征具有重要研究意義；另外MCBAM需要對時序池化層進行超參數設置，不同長度的池化層會影響數據中該時序長度的特征權值。針對多元時序數據提取特征可能存在過擬合等問題，在未來進一步研究中可加入殘差網絡等結構對自編碼器結構進行優化，針對MTS這類數據具有更強的學習性。

參考文獻：

［1］Alqahtani A， Ali M， Xie X， et al. Deep time-series clustering： a review［J］. Electronics， 2021，10（23）： 3001.

［2］Rani S， Sikka G. Recent techniques of clustering of time series data： a survey［J］. International Journal of Computer Applications， 2012，52：1-9.

［3］Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006，313（5786）： 504-507.

［4］Huang Peihao， Huang Yan， Wang Wei， et al. Deep embedding network for clustering［C］//Proc of the 22nd International Conference on Pattern Recognition. Washington DC： IEEE Computer Society， 2014： 1532-1537.

［5］Yang Bo， Fu Xiao， Sidiropoulos N D， et al. Towards K-means-friendly spaces：simultaneous deep learning and clustering［C］//Proc of the 34th International Conference on Machine Learning. 2017： 3861-3870.

［6］Wei Li， Keogh E. Semi-supervised time series classification［C］//Proc of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2006： 748-753.

［7］肖瑞， 劉國華. 基于趨勢的時間序列相似性度量和聚類研究［J］. 計算機應用研究， 2014，31（9）： 2600-2605. （Xiao Rui， Liu Guohua. Dynamic network link prediction algorithm based on temporal motif attention graph convolution［J］. Application Research of Computers， 2014，31（9）： 2600-2605.）

［8］Paparrizos J， Gravano L. K-shape： efficient and accurate clustering of time series［C］//Proc of ACM SIGMOD International Conference on Management of Data. New York： ACM Press， 2015： 1855-1870.

［9］Hallac D， Vare S， Boyd S， et al. Toeplitz inverse covariance-based clustering of multivariate time series data［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2017： 215-223.

［10］Li Hailin， Liu Zechen. Multivariate time series clustering based on complex network［J］. Pattern Recognition， 2021，115： 107919.

［11］Zhang Nan， Sun Shiliang. Multiview unsupervised shapelet learning for multivariate time series clustering［J］. IEEE Trans on Pattern Analysis amp; Machine Intelligence， 2023，45（4）： 4981-4996.

［12］Xie Junyuan， Girshick R， Farhadi A. Unsupervised deep embedding for clustering analysis［C］//Proc of the 33rd International Conference on International Conference on Machine Learning. 2016： 478-487.

［13］Madiraju N. Deep temporal clustering： fully unsupervised learning of time-domain features［D］.［S.l.］：Arizona State University， 2018.

［14］Kim J， Moon N. CNN-GRU-Based feature extraction model of multivariate time-series data for regional clustering［J］. Advances in Computer Science and Ubiquitous Computing， 2021，3： 401.

［15］吳錚， 陳鴻昶， 張建朋. 基于時序模體注意力圖卷積的動態網絡鏈路預測算法［J］. 計算機應用研究， 2021，38（10）： 3143-3147. （Wu Zheng， Chen Hongchang， Zhang Jianpeng. Dynamic network link prediction algorithm based on temporal motif attention graph convolution［J］. Application Research of Computers， 2021，38（10）： 3143-3147.）

［16］Hu Jie， Shen Li， Albanie S， et al. Squeeze-and-excitation networks［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020，42（8）： 2011-2023.

［17］Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 3-19.

［18］Van Der Maaten L， Hinton G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008，9（11）： 2579-2625.

［19］Guo Xifeng， Gao Long， Liu Xinwang， et al. Improved deep embedded clustering with local structure preservation［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.Palo Alto，CA： AAAI Press， 2017： 1753-1759.

［20］Hartigan J A， Wong M A. Algorithm AS 136： a K-means clustering algorithm［J］. Journal of the Royal Statistical Society：Series C（Applied Statistics）， 1979，28（1）： 100-108.

［21］Song H， Lee J G， Han W S. PAMAE： parallel K-medoids clustering with high accuracy and efficiency［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2017： 1087-1096.

［22］Li Hailin. Multivariate time series clustering based on common principal component analysis［J］. Neurocomputing， 2019，349： 239-247.

［23］Ienco D， Interdonato R. Deep multivariate time series embedding clustering via attentive-gated autoencoder［C］//Proc of the 24th Pacific-Asia Conference on Knowledge Discovery and Data Mining. Cham： Springer， 2020： 318-329.

［24］Hu Zhanxuan， Nie F， Wang Rong， et al. Multi-view spectral clustering via integrating nonnegative embedding and spectral embedding［J］. Information Fusion， 2020，55： 251-259.