L1正則化的深度譜聚類算法

李文博，劉波*，陶玲玲，羅棻，張航

L1正則化的深度譜聚類算法

李文博1，2，劉波1，2*，陶玲玲1，2，羅棻1，2，張航1，2

（1.重慶工商大學 人工智能學院，重慶 400067； 2.智能感知與區塊鏈技術重慶市重點實驗室（重慶工商大學），重慶 400067）（?通信作者電子郵箱liubo7971@163.com）

針對深度譜聚類模型訓練不穩定和泛化能力弱等問題，提出L1正則化的深度譜聚類算法（DSCLR）。首先，在深度譜聚類的目標函數中引入L1正則化，使深度神經網絡模型生成的拉普拉斯矩陣的特征向量稀疏化，并提升模型的泛化能力；其次，通過利用參數化修正線性單元激活函數（PReLU）改進基于深度神經網絡的譜聚類算法的網絡結構，解決模型訓練不穩定和欠擬合問題。在MNIST數據集上的實驗結果表明，所提算法在聚類精度（CA）、歸一化互信息（NMI）指數和調整蘭德系數（ARI）這3個評價指標上，相較于深度譜聚類算法分別提升了11.85、7.75和17.19個百分點。此外，所提算法相較于深度嵌入聚類（DEC）和基于對偶自編碼器網絡的深度譜聚類（DSCDAN）等算法，在CA、NMI和ARI這3個評價指標上也有大幅提升。

深度聚類；譜聚類；L1正則化；深度學習；無監督學習

0 引言

計算機技術的廣泛應用產生了海量的數據［1］，如視頻數據、音頻數據和文本數據等，而這些數據大多數都沒有標記。如何處理這些無標記數據是目前機器學習面臨的巨大挑戰之一。聚類是無監督機器學習領域中最重要的方法。聚類通過某種度量方法將相似的數據分配到同一個聚簇，不相似的數據分配到其他聚簇［2］。

目前，聚類已經被廣泛應用于航路發現［3］、醫學圖像分析［4］、缺陷檢測［5］和左右軌道線檢測［6］等。聚類方法大致分為兩類：1）傳統的聚類方法。利用經典的機器學習理論進行研究，如基于分區的均值聚類（-means clustering，-means）［7］、譜聚類（Spectral Clustering，SC）［8］、基于層次的凝聚聚類（analysis of Agglomerative Clustering，AC）［9］和具有噪聲的基于密度的聚類方法DBSCAN（Density-Based Spatial Clustering of Applications with Noise）［10］等。2）深度聚類方法。這類方法利用深度神經網絡理論進行研究，如利用自編碼器實現聚類［11］，將深度學習與-means結合提升聚類性能［12］和將深度神經網絡與譜聚類結合的方法［13-14］等。相較于傳統聚類算法，深度聚類算法性能良好，但仍舊面臨很多問題，例如聚類結果不穩定和泛化性能差等問題。

針對上述問題，本文提出L1正則化的深度譜聚類算法（Deep Spectral Clustering algorithm with L1 Regularization，DSCLR）。首先，在深度譜聚類算法SpectralNet（Spectral Clustering using Deep Neural Network）算法［13］損失函數中加入L1正則化使拉普拉斯矩陣的特征向量稀疏化，從而增強模型的魯棒性和泛化性；其次，針對SpectralNet網絡結構容易過擬合的問題，將神經網絡模型的激活函數修改為參數化修正線性單元激活函數（Parametric Rectified Linear Unit， PReLU）［15］，使得深度神經網絡模型訓練更穩定；最后，在多個數據集上利用聚類評價指標與基準方法對實驗結果進行對比分析和可視化，驗證了所提算法的有效性。

1 相關工作

1.1　深度聚類

聚類是目前機器學習、數據挖掘領域研究的主要方法之一。基于劃分［7-8］、層次［9］和密度［10］聚類等傳統聚類方法雖然應用廣泛，但在聚類高維復雜的大規模數據時，性能都較差。近年，深度神經網絡因具有強大的表示學習能力而被應用到各個領域。深度學習與聚類結合（即深度聚類）使聚類性能大幅提升，如文獻［11-12］中使用自編碼器作為特征學習模塊，并通過同時最小化自編碼器和-means的損失函數實現聚類。文獻［13］中提出通過深度神經網絡模型獲得拉普拉斯矩陣的特征向量，并稱這種算法為SpectralNet；雖然這種模型簡單有效，但訓練過程不穩定、模型泛化性差。文獻［14］中利用對偶自編碼器模型生成具體判斷性和魯棒性的特征，并將這些特征作為深度譜聚類模型的輸入，從而構建更穩定的拉普拉斯矩陣。與之類似，文獻［16］中提出了一種基于卷積神經網絡的譜聚類算法，通過利用預訓練卷積神經網絡提取圖像邊緣并進行特征融合，以減輕算法對相似矩陣的依賴。文獻［17］中結合譜聚類、生成對抗網絡和貝葉斯框架，通過低秩模型估計聚類數，用譜聚類獲取隱藏空間結構，在此基礎上利用對抗學習完成聚類。這些模型的聚類效果通常較好，但它們的結構非常復雜，較難訓練。文獻［18-19］中結合自編碼器與子空間聚類提高樣本的非線性表達，以提升聚類效果。這類方法對噪聲較敏感且無法很好地表示樣本之間的關系。文獻［20］中提出將SpectralNet擴展到多視圖場景，每個視圖都用一個SpectralNet進行深度聚類；這種方法的缺點是計算量較大。文獻［21］中提出一種解決譜聚類局限的圖聚類方法，通過制定歸一化最小切問題的連續松弛并通過訓練圖神經網絡使得該目標最小化；但是該方法無法得到高階的連通性，并且經常無法恢復聚簇的結構。

1.2　L1正則化

特征選擇相關研究最先引入L1正則化，具體地，在特征選擇的損失函數中添加L1范數，讓學習到的模型具有稀疏解，以提高特征選擇的可解釋性［22］。文獻［23］中提出一種在回歸系數的絕對值之和小于一個常數的約束條件下，使殘差平方和最小化從而產生某些嚴格等于零的回歸系數，最后得到更具可解釋性的模型。文獻［24］中提出L1正則化的支持向量機（Support Vector Machine， SVM）聚類算法，實現了同時聚類和特征選擇功能。文獻［25］中提出了一種約束的譜聚類算法，通過引入L1正則化使模型具有稀疏性。文獻［26］中提出了一種具用全局特征選擇的神經模型，將L1正則化線性回歸的特征引入深度神經網絡模型，以實現深度神經網絡模型稀疏化。文獻［27］中提出了一種L1正則化對稱非負矩陣因子分解算法，解決高階協同聚類（High-Order Co-Clustering， HOCC）問題。文獻［28］中通過引入L1正則化減少噪聲，使模型更具魯棒性。文獻［29］中設計了一種平滑優化算法求解基于L1正則化的聚類目標函數，能夠得到較好的近似解。綜上所述，基于L1正則化的模型受到了廣泛的研究并取得了較好的應用。

2 DSCLR

2.1　SpectralNet算法

研究表明，SpectralNet在聚類時容易出現結果不穩定和泛化性差等問題。為了解決此類問題，本文提出了DSCLR。

2.2　本文算法的模型結構

DSCLR的模型整體框架主要由自編碼器模塊、正交模塊和特征映射（Feature Map）模塊這3個模塊組成，如圖1所示。由于正交模塊和特征映射模塊是共用網絡結構，因此在圖1中正交和特征映射模塊對應一個網絡結構。

圖1　DSCLR的模型整體框架

圖1中的自編碼器模塊用于從樣本中提取特征，然后利用這些特征構造拉普拉斯矩陣；正交模塊用于保證學習到的特征向量的正交性；特征映射模塊用于學習如何將樣本構成拉普拉斯矩陣的特征向量。

此外，為了得到聚類結果更穩定和擬合能力更好的模型，本文通過將深度神經網絡模型的激活函數改為PReLU激活函數［15］在幾乎不增加額外參數的前提下提升模型訓練的穩定性并減少模型的過擬合。具體各模塊詳細網絡結構設計如表1所示。

表1DSCLR的網絡結構

Tab.1　Network architecture of DSCLR

2.3　DSCLR

為了提高本文算法模型的穩定性和泛化能力，進一步在式（1）中引入L1正則化，從而得到如下的損失函數：

算法1 L1正則化的深度譜聚類算法。

5）重復執行步驟3）～6），直到算法收斂；

3 實驗與結果分析

3.1　實驗設置

3.1.1基準數據集

表2匯總了本實驗所用到的數據集的基本信息。

圖2　COIL20數據集的部分圖像

表2數據集詳情

Tab.2　Dataset details

3.1.2基準算法

將本文算法分別與以下6種具有代表性的傳統聚類算法和深度聚類算法進行比較。

2）AC算法［9］使用自下而上的方法進行層次聚類，最初每一個樣本都被認為是一個聚簇，然后根據度量策略合并這些聚簇，最后完成聚類。

3）DBSCAN算法［10］是一種基于密度的聚類算法，它將聚簇定義為密度相連的點的最大集合，能夠把具有足夠高密度的區域劃分為聚簇。

4）SC算法［8］是一種譜聚類算法。通過將樣本看作空間中的點，用邊連接這些點并給每條邊定義一個權值，權值大小與樣本之間的距離相關，距離較近的兩個樣本權值高，反之則低，從而構成了無向加權圖，然后通過對圖的劃分實現聚類。

5）DEC（Deep Embedding Clustering）算法［11］通過學習數據到潛空間的映射，然后通過優化目標對潛空間數據進行聚類。

6）SpectralNet算法［13］通過深度神經網絡顯式學習樣本與拉普拉斯特征向量之間的映射，然后用-means對這些特征向量進行聚類。

7）基于對偶自編碼器網絡的深度譜聚類（Deep Spectral Clustering using Dual Autoencoder Network，DSCDAN）算法［14］首先通過設計雙自動編碼器網絡，對潛在表示及其噪聲版本施加重構約束，將輸入嵌入潛在空間進行聚類，其次利用互信息估計，從輸入中提取更多的鑒別信息，最后采用深度譜聚類方法將潛在表示嵌入特征空間，并對它進行聚類。

8）深度嵌入譜聚類（Spectral Clustering with Deep Embedding， SCDE）算法［35］通過學習一個自編碼器估計聚簇的類別數并對它進行聚類。

3.1.3評價指標

為了評估聚類的效果，本文采用了3種常用的聚類評價指標，分別是聚類準確率（Clustering Accuracy， CA）［36］、歸一化互信息（Normalized Mutual Information， NMI）指數［37］和調整蘭德系數（Adjusted Rand Index， ARI）［38］。

3.1.4實驗環境與參數設置

1）實驗環境。

本文實驗在以下環境進行：Intel Xeon Platinum 8358 CPU@2.60 GB處理器、NVIDIA Corporation A100 80 GB顯卡，Ubuntu 18.04.1 LTS操作系統，PyTorch 1.10.0，Python 3.7.12。

2）參數設置。

3.2　實驗結果

為了驗證本文算法的有效性，在5個真實數據集上分別通過CA、NMI和ARI這3個聚類評價指標比較DSCLR與其他聚類算法的性能。在實驗中通過隨機將基準數據集按照8∶2劃分為訓練集和測試集進行訓練以評估所有算法的性能。

3.2.1聚類結果分析

由表3的CA評價指標可知，本文算法在MNIST、DIGISTS和FASHION數據集的聚類精度獲得最好的結果。在5個實驗數據集上，相較于SpectralNet，本文算法的CA分別提高了11.85、6.86、2.44、18.97和7.47個百分點；此外，在MNIST、DIGITS和COIL20這3個數據集上，本文算法的CA相較于DEC分別提高了1.20、12.57和8.44個百分點，相較于DSCDAN分別提升了8.00、5.57和21.84個百分點。

由表3的NMI評價指標可知，本文算法在DIGISTS、USPS、COIL20和FASHION數據集上的NMI指數獲得了最好結果，在MNIST數據集上僅比最優的DEC低1.68個百分點。在5個實驗數據集上，相較于SpectralNet，本文算法的NMI分別提高了7.75、0.59、0.74、23.31和0.76個百分點。在MNIST、DIGITS和COIL20這3個數據集上，相較于DEC和DSCDAN，本文算法同樣展現了顯著的提升。

由表3的ARI評價指標可知，本文算法在DIGISTS和COIL20數據集上的ARI達到了最好結果，在USPS數據集上僅比DEC低2.24個百分點。在MNIST、DIGITS和COIL20這3個實驗數據集上，相較于SpectralNet，本文算法的ARI分別提高了17.19、4.66、12.05百分點；相較于DEC，本文算法的ARI分別提高了1.32、10.8和5.93個百分點。

綜上所述，本文算法具有更好的聚類性能。其中在對比的基準數據集上本文算法明顯優于SpectralNet、DEC和DSCDA等深度聚類算法，這也驗證了L1正則化和PReLU激活函數對拉普拉斯特征稀疏化和模型訓練的穩定性起到了重要的作用。

表3各算法在不同數據集上的CA、NMI和ARI值 單位：%

Tab.3　CA，NMI and ARI values of different algorithms on different datasets unit：%

注：加粗數據為最優結果。

3.2.2T-SNE可視化分析

本文針對MNIST數據集利用t分布隨機鄰域嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）算法［38］分別對原始數據、自編碼器提取特征之后的數據、表3的SpectralNet算法的拉普拉斯矩陣數據和本文算法的拉普拉斯特征矩陣數據進行降維可視化操作。可視化結果如圖3所示。

圖3（a）為MNIST原始數據的可視化結果，圖3（b）為自編編碼器對MNIST提取特征之后的可視化結果，圖3（c）為SpectralNet聚類結果的可視化，圖3（d）為本文算法對MNIST數據集的可視化結果。從圖3可以看出，本文算法的聚類效果最優。具體地，SpectralNet明顯有3個聚簇邊緣是混合在一起的，本文算法聚簇之間都能較好地分開。

綜上所述，本文算法能夠通過深度神經網絡模型計算更稀疏的拉普拉斯矩陣的特征向量，稀疏的特征向量在聚類時表現了更好的魯棒性，從而得到更好的聚類結果。

圖3　MNIST數據集的t-SNE可視化結果

3.3　超參數分析實驗

圖4　MNIST數據集上不同的值對評價指標的影響

3.4　L1正則化與PReLU激活函數消融實驗

由圖5可知，采用PReLU激活函數策略的模型在聚類精度和訓練穩定性上顯著優于其他策略；未采用L1正則化算法的模型在聚類精度上明顯不如采用L1正則化的策略。

以上實驗結果充分驗證了L1正則化和PReLU對本文算法的有效性。

圖5　不同訓練策略對算法性能的影響

4 結語

本文提出了一種L1正則化的深度譜聚類算法，該算法通過L1正則化使學習到的拉普拉斯矩陣的特征向量稀疏化，通過調整深度譜聚類網絡結構和激活函數，使所提算法具有更好的泛化能力和更加穩定的聚類性能。今后的工作中，將進一步設計新的目標函數，強化特征向量的稀疏性，從而提升深度譜聚類的性能；同時考慮針對不同模態的數據引入新的網絡結構改進深度譜聚類模型。

[1] GUO X， LIU X， ZHU E， et al. Adaptive self-paced deep clustering with data augmentation［J］. IEEE Transactions on Knowledge and Data Engineering， 2019， 32（9）： 1680-1693.

[2] JAIN A K， MURTY M N， FLYNN P J. Data clustering： a review［J］. ACM Computing Surveys （CSUR）， 1999， 31（3）： 264-323.

[3] 劉海楊，孟令航，林仲航，等.基于軌跡點聚類的航路發現方法［J］. 計算機應用， 2022， 42（3）： 890-894.（LIU H Y， MENG L H， LIN Z H， et al. GU. Route discovery method based on trajectory point clustering［J］. Journal of Computer Applications， 2022， 42（3）： 890-894.）

[4] 祝承，趙曉琦，趙麗萍，等. 基于譜聚類半監督特征選擇的功能磁共振成像數據分類［J］. 計算機應用， 2021， 41（8）： 2288-2293.（ZHU C， ZHAO X Q， ZHAO L P， et al. Classification of functional magnetic resonance imaging data based on semi-supervised feature selection by spectral clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2288-2293.）

[5] 袁野，譚曉陽. 復雜環境下的冰箱金屬表面缺陷檢測［J］. 計算機應用， 2021， 41（1）： 270-274.（YUAN Y， TAN X Y. Defect detection of refrigerator metal surface in complex environment［J］. Journal of Computer Applications， 2021， 41（1）： 270-274.）

[6] 曾祥銀，鄭伯川，劉丹. 基于深度卷積神經網絡和聚類的左右軌道線檢測［J］. 計算機應用， 2021， 41（8）： 2324-2329.（ZENG X Y， ZHENG B C， LIU D. Detection of left and right railway tracks based on deep convolutional neural network and clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2324-2329.）

[7] KANUNGO T， MOUNT D M， NETANYAHU N S， et al. An efficient-means clustering algorithm： analysis and implementation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 881-892.

[8] VON L U. A tutorial on spectral clustering［J］. Statistics and Computing， 2007， 17（4）： 395-416.

[9] ACKERMANN M R， BL?MER J， KUNTZE D， et al. Analysis of agglomerative clustering［J］. Algorithmica， 2014， 69（1）： 184-215.

[10] ESTER M， KRIEGEL H P， SANDER J， et al. A density-based algorithm for discovering clusters in large spatial databases with noise ［EB/OL］. ［2022-10-20］. https：//cdn.aaai.org/KDD/1996/KDD96-037.pdf.

[11] XIE J， GIRSHICK R， FARHADI A. Unsupervised deep embedding for clustering analysis［C］// Proceedings of the 33th International Conference on Machine Learning. ［S.l.］： PMLR， 2016： 478-487.

[12] YANG B， FU X， SIDIROPOULOS N D， et al. Towards K-means-friendly spaces： simultaneous deep learning and clustering［C］// Proceedings of the 34th International Conference on Machine Learning. ［S.l.］： PMLR， 2017： 3861-3870.

[13] SHAHAM U， STANTON K， LI H， et al. SpectralNet： spectral clustering using deep neural networks ［C］// Proceedings of the 6th International Conference on Learning Representations. Vancouver： OpenReview.net， 2018， 1050： 10.

[14] YANG X， DENG C， ZHENG F， et al. Deep spectral clustering using dual autoencoder network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4066-4075.

[15] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］// Proceedings of the 2015 IEEE/CVF International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015： 1026-1034.

[16] 蘇常保，龔世才.一種基于卷積神經網絡的譜聚類算法［J］.安徽大學學報（自然科學版），2022，46（5）：20-26.（SU C B， GONG S C. A spectral clustering algorithm based on convolutional neural network［J］. Journal of Anhui University（Natural Sciences）， 2022，46（5）：20-26.）

[17] YE X， ZHAO J， CHEN Y， et al. Bayesian adversarial spectral clustering with unknown cluster number ［J］. IEEE Transactions on Image Processing， 2020， 29： 8506-8518.

[18] JI P，ZHANG T，LI H，et al.Deep subspace clustering networks［C］// Proceedings of the 30th Advances in Neural Information Processing Systems. Long Beach： Curran Associates Inc.， 2017：24-33.

[19] ZHOU L，WANG S，BAI X，et al.Iterative deep subspace clustering［C］// Proceedings of the 2018 Joint IAPR International Workshop Structural，Syntactic，and Statistical Pattern Recognition. Cham： Springer， 2018：42-51.

[20] HUANG S， OTA K， DONG M， et al. MultiSpectralNet： spectral clustering using deep neural network for multi-view data［J］. IEEE Transactions on Computational Social Systems， 2019， 6（4）： 749-760.

[21] BIANCHIF M， GRATTAROLA D， ALIPPI C. Spectral clustering with graph neural networks for graph pooling ［C］// Proceedings of the 37th International Conference on Machine Learning. ［S.l.］： PMLR， 2020： 874-883.

[22] TIBSHIRANI R. Regression shrinkage and selection via the lasso： a retrospective［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodology）， 2011， 73（3）： 273-282.

[23] TIBSHIRANI R. Regression shrinkage and selection via the lasso［J］. Journal of the Royal Statistical Society： Series B （Methodological）， 1996， 58（1）： 267-288.

[24] 劉建偉，李雙成，付捷，等.L1范數正則化SVM聚類算法［J］.計算機工程，2012，38（12）：185-187.（LIU J W， LI S C， FU J， et al. L1-norm regularized SVM clustering algorithm［J］. Computer Engineering， 2012，38（12）：185-187.）

[25] KAWALE J， BOLEY D. Constrained spectral clustering using L1 regularization［C］// Proceedings of the 2013 SIAM International Conference on Data Mining. Philadelphia，PA： SIAM， 2013： 103-111.

[26] LEMHADRI I， RUAN F， TIBSHIRANI R. LassoNet： neural networks with feature sparsity［C］// Proceedings of the 24th International Conference on Artificial Intelligence and Statistics. ［S.l.］： PMLR， 2021： 10-18.

[27] LIU K， WANG H. High-order co-clustering via strictly orthogonal and symmetric L1-norm nonnegative matrix tri-factorization［C］//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press ， 2018： 2454-2460.

[28] ZHAO M， LIU J. Robust clustering with sparse corruption via ?2， 1， ?1 norm constraint and Laplacian regularization［J］. Expert Systems with Applications， 2021， 186： 115704.

[29] BAGIROV A M， MOHEBI E. An algorithm for clustering using L1-norm based on hyperbolic smoothing technique［J］. Computational Intelligence， 2016， 32（3）： 439-457.

[30] DENG L. The MNIST database of handwritten digit images for machine learning research ［J］. IEEE Signal Processing Magazine， 2012， 29（6）：141-142..

[31] HULL J J. A database for handwritten text recognition research［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（5）： 550-554.

[32] COHEN G， AFSHAR S， TAPSON J， et al. EMNIST： extending MNIST to handwritten letters［C］// Proceedings of the 13th International Joint Conference on Neural Networks. Piscataway： IEEE， 2017： 2921-2926.

[33] XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2022-10-20］. https：//arxiv.org/pdf/1708.07747v1.pdf.

[34] NENE S A. Columbia object image library ［DB/OL］. ［2022-10-20］. https：//www1.cs.columbia.edu/CAVE/publications/pdfs/Nene_TR96.pdf.

[35] DUAN L， MA S， AGGARWAL C， et al. Improving spectral clustering with deep embedding， cluster estimation and metric learning［J］. Knowledge and Information Systems， 2021， 63（3）： 675-694.

[36] CAI D， HE X， HAN J. Locally consistent concept factorization for document clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 23（6）： 902-913.

[37] VINH N， EPPS J， BAILEY J. Information theoretic measures for clusterings comparison： is a correction for chance necessary？［C］//Proceedings of the 26th Annual International Conference on Machine Learning. New York： ACM， 2009： 1073-1080.

[38] VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9（11）： 2579-2605.

Deep spectral clustering algorithm with L1 regularization

LI Wenbo1，2， LIU Bo1，2*， TAO Lingling1，2， LUO Fen1，2， ZHANG Hang1，2

（1，，400067，；2（），400067，）

Aiming at the problems that the deep spectral clustering models perform poorly in training stability and generalization capability， a Deep Spectral Clustering algorithm with L1 Regularization （DSCLR） was proposed. Firstly， L1 regularization was introduced into the objective function of deep spectral clustering to sparsify the eigen vectors of the Laplacian matrix generated by the deep neural network model. And the generalization capability of the model was enhanced. Secondly， the network structure of the spectral clustering algorithm based on deep neural network was improved by using the Parametric Rectified Linear Unit activation function （PReLU） to solve the problems of model training instability and underfitting. Experimental results on MNIST dataset show that the proposed algorithm improves Clustering Accuracy （CA）， Normalized Mutual Information （NMI） index， and Adjusted Rand Index （ARI） by 11.85， 7.75， and 17.19 percentage points compared to the deep spectral clustering algorithm， respectively. Furthermore， the proposed algorithm also significantly improves the three evaluation metrics， CA， NMI and ARI， compared to algorithms such as Deep Embedded Clustering （DEC） and Deep Spectral Clustering using Dual Autoencoder Network （DSCDAN）.

deep clustering; spectral clustering; L1 regularization; deep learning; unsupervised learning

This work is partially supported by Science and Technology Research Program of Chongqing Municipal Education Commission （KJZD-K202200803）， Chongqing Natural Science Foundation （cstc2018jcyjAX0057）， Graduate Innovative Scientific Research Project of Chongqing Technology and Business University （yjscxx2022-112-68）.

LI Wenbo， born in 1998， M. S. candidate. His research interests include deep clustering， unsupervised learning， computer vision.

LIU Bo， born in 1977， Ph. D.， associate professor. His research interests include graph neural network， generative adversarial network， interpretability of deep learning， video analysis and understanding.

TAO Lingling， born in 1998， M. S. candidate. Her research interests include computer vision， image processing， generative adversarial network.

LUO Fen， born in 1975， M. S.，lecturer. His research interests include computer vision， medical image processing.

ZHANG Hang， born in 1998， M. S. candidate. His research interests include machine learning， computer vision， deep clustering.

TP311.5

A

1001-9081（2023）12-3662-06

10.11772/j.issn.1001-9081.2022121822

2022?12?06；

2023?02?20；

2023?02?27。

重慶市教委科學技術研究項目（KJZD?K202200803）；重慶市自然科學基金資助項目（cstc2018jcyjAX0057）；重慶工商大學研究生“創新型科研項目”（yjscxx2022?112?68）。

李文博（1998—），男，重慶人，碩士研究生，主要研究方向：深度聚類、無監督學習、計算機視覺；劉波（1977—），男，重慶人，副教授，博士，主要研究方向：圖神經網絡、生成對抗網絡、深度學習的可解釋性、視頻分析與理解；陶玲玲（1998—），女，重慶人，碩士研究生，主要研究方向：計算機視覺、圖像處理、生成對抗網絡；羅棻（1975—），男，重慶人，講師，碩士，主要研究方向：計算機視覺、醫學圖像處理；張航（1998—），男，重慶人，碩士研究生，主要研究方向：機器學習、計算機視覺、深度聚類。