樣本線性化與數據去重的極限學習機

張燦　代子彪　安鑫　李建華

摘 要： 對于多標簽分類中存在非線性的數據樣本和重復的樣本數據問題，本文提出了一種基于在線順序極限學習機（Online Sequential Extreme Learning Machine， OS-ELM）的改進算法—樣本線性化和數據預處理極限學習機（PDC-ELM）。PDC-ELM算法對線性不可分的數據樣本先利用核函數進行處理，使數據樣本具有線性可分的特征，對于處理后的數據樣本，利用在線順序極限學習機（OS-ELM）在計算之前對分類數據進行預處理，即從訓練和測試數據集中查找不一樣的特征標簽并保存類標簽中，實驗中新生成的標簽組將不具有重復的特征標簽，大大減少了訓練的對比次數。實驗表明，相比于其他沒有樣本線性化和數據預處理的極限學習機模型，計算的準確度得到很大的提升，計算時間也有所降低。

關鍵詞： 極限學習機; 核函數; 多標簽分類; 多標簽數據; 支持向量機

文章編號： 2095-2163（2021）07-0024-08中圖分類號：TP181文獻標志碼： A

Extreme learning machine for sample linearization and data deduplication

ZHANG Can， DAI Zibiao， AN Xin， LI Jianhua

（School of Computer Science and Information Engineering， Hefei University of Technology， Hefei 230009， China）

【Abstract】For the problem of nonlinear data samples and duplicate data in multi-label classification， this paper proposes an improved algorithm based on Online Sequential Extreme Learning Machine （OS-ELM） for sample linearization and data preprocessing extreme learning machine （PDC-ELM）.The PDC-ELM algorithm first uses the kernel function to process the linearly inseparable data samples， so that the data samples have linearly separable characteristics.For the processed data samples， the Online Sequential Extreme Learning Machine （OS-ELM） is used to preprocess the classified data before calculation.That is， different feature labels from the training and test data sets are searched and saved in the class labels，the newly generated label group in the experiment will not have repeated feature labels， which greatly reduces the number of training comparisons.? Experimental results show that compared with other extreme learning machine models without sample linearization and data preprocessing， the calculation accuracy is significantly improved and the calculation time is also reduced.

【Key words】extreme learning machine; kernel function; multi-label classification; multi-label data; support vector machine

0 引 言

極限學習機是Huang提出的一種訓練單隱層前饋神經網絡[1]的新型機器學習算法。在過去的20多年里，很多學者[2-5]已對單隱層前饋神經網絡展開深入研究。單隱層前饋神經網絡有2種主要架構。一種是帶有加性隱藏節點的架構，另一種是帶有徑向基函數隱藏節點的架構。對于使用單隱層前饋神經網絡的許多應用程序來說，訓練方法通常是批處理學習類型的。多數情況下，批處理學習是一個耗時的事情，因為其中可能涉及到對訓練數據的多次迭代。在大多數應用程序中，這可能需要幾分鐘到幾個小時，并且必須正確地選擇學習參數，以確保收斂。此外，每當接收到新數據時，批處理學習都會將歷史數據和新數據一起使用，并進行再訓練，因此會消耗大量時間。在許多工業應用中，在線順序學習算法比批處理學習算法更受歡迎，因為順序學習算法在接收新數據時不需要再訓練。

與此同時，許多研究者將經典的極限學習機擴展到核學習，證明了極限學習機不僅適用于Sigmoid網絡和RBF網絡[6]等經典的特征映射，還適用于多種類型的特征映射。在對類別分布不平衡的數據進行分類時，Priya等人[7-8]提出了一種統一的加權極限學習機方法（weighted ELM）來處理復雜的數據分布，即在其中對每個樣本點額外賦予一個權重。然而，上文論述的極限學習機方法并沒有將樣本線性化和數據預處理數據添加到操作中。

極限學習機算法在泛化性能上也有較高的效率和精度[9]。在線順序極限學習機[10-12]（OS-ELM）算法是基于極限學習機框架的在線學習版本。在線順序極限學習機不僅可以逐個地學習訓練數據，而且可以逐塊地學習，丟棄已經訓練過的數據。在以下意義上，這就是一個通用的順序學習算法。將訓練觀察結果按順序，逐個地或塊接塊，呈現給學習算法。在任何時候，只有新到達的單個或大塊的觀察，而不是整個過去的數據被看到和學習。一旦某一特定、單個或組塊，觀察的學習過程結束，就丟棄單個或一組訓練觀察。在線順序極限學習機起源于批量學習極限學習機[13-16]，為具有加性和徑向基函數節點的單隱層前饋神經網絡開發。在函數回歸和分類領域的一些基準問題上對極限學習機的性能進行了評估。結果表明，與其他基于梯度下降的學習算法（包括反向傳播 [17-18]算法）相比，極限學習機在更高的學習速度下提供了更好的泛化性能，許多應用的學習階段在秒內即可完成[19]。

需要一提的是，確定標簽子集時，在線順序極限學習機卻忽略了樣本的特征。一方面，由標簽子集轉換而來的類可能具有較低的可分離性;另一方面，一些標簽組合會導致分布高度不平衡[20]，導致現有的單標簽學習算法難以應用。這對這些不足，需要解決2個問題：

（1）如何挖掘樣本特征，設計有效的指標來評價標簽子集的質量。

（2）如何基于質量度量從大量候選子集中實現快速選擇。

針對問題（1），研究中采用基于線性判別比的測度來評價主標簽類的可分性，再使用聯合熵來描述數據的不平衡程度。由于核技術在特征空間中更容易分析可分性，因此可采用核支持向量機（kernel support vector machine， SVM）作為基礎學習器[21-22]。對于問題（2），應在極限學習機中預先從訓練和測試數據集中查找不同的標簽并保存類標簽中，如此一來，在時間和效率上都得到了很大的提升。

極限學習機算法在單標簽分類[23]中表現出更優異的性能。基于極限學習機算法的多標簽分類[24-25]研究相對較少。針對多標簽分類問題，Sun等人[25]提出了一種基于閾值法的極限學習機算法。此外，文獻[7]也提出了一種多標簽分類的核極限學習機算法。然而，現有的基于極限學習機的多標簽分類方法并沒有考慮到樣本線性化和樣本數據預處理。本文中介紹了一種新的基于在線順序極限學習機來處理多標簽分類問題的改進算法，即樣本線性化和數據預處理極限學習機（PDC-ELM）。本文對多標簽分類方案的主要貢獻如下：

（1）針對線性不可分的數據樣本，先采用核函數進行處理，使之線性可分。

（2）對于處理后的數據樣本，為了減少計算量，預先從訓練數據集和測試數據集中查找不一樣的標簽并保存類標簽中。

（3）將多標簽分類問題分解為單獨的單標簽分類問題，就是將多標簽問題轉化為一組單標簽問題。

（4）在極限學習機算法中，輸出權值由最小二乘法確定。

本文組織如下：首先，介紹了相關背景工作，包括多標簽分類和極限學習機的探討。其次，研究相關工作有在線順序極限學習機與核函數。然后，詳細分析了PDC-ELM相關操作與處理，包括動機、優化的預處理、算法分析和處理過程。接下來，給出了實驗相關數據和比較結果。最后，是本文的結論部分。

1 背景

1.1 多標簽分類

傳統的監督學習是著名的機器學習范式之一，其中每個例子由一個實例和一個標簽組成。 然而，在多標簽應用程序中，每個例子也由一個單獨的實例表示，同時與一組標簽相關聯，多標簽問題更符合現實世界的應用，同時也給監督學習領域帶來了挑戰[26]。

多標簽分類的目的是將一個實例x∈Rd映射到標簽集YL={1，2，…，k}，其中k是類的數量。多標簽分類的任務是根據訓練集D={（xi，yi）|i=1，2，…，n}構造一個函數f（·）： f（X）→Y。對于任何看不見的實例x∈X，多標簽分類器f（·）將f（x）y預測為x的正確標簽集。

1.2 極限學習機

一般情況下，給定一個由N個任意不同樣本組成的訓練集個隱節點的單隱層前饋網絡函數可以表示為：

其中，aj和bj表示隨機確定的學習參數;βj表示輸出權重矩陣連接第j個隱藏輸出節點;xi和ti分別是第i個觀測的特征和輸出;G（aj，bj，cj）是一個滿足極限學習機通用逼近能力定理的非線性分段連續函數。

2 在線順序極限學習機

在初始階段，假設有N0個任意的訓練樣本（Xi，ti），其中Xi=xi1，xi2，…，ximT∈Rn， ti=ti1，ti2，…，timT∈Rm。利用基本的極限學習機算法的思想，希望求得滿足‖H0β-T0‖最小的β0，運算時需用到：

此時，根據廣義逆的計算方法，可以計算出β0。

3 PDC-ELM

3.1 動機

相比于代表性的極限學習機模型（包括ELM，L21-ELM[27]），在線順序極限學習機有比較明顯的優勢，在線順序極限學習機不僅可以逐個地學習訓練數據，而且可以逐塊地學習，丟棄已經訓練過的數據。在以下操作上，這就是一個通用的順序學習算法。對此可做詳述如下。

（1）將訓練觀察結果按順序，逐個或塊接塊，呈現給學習算法。

（2）在任何時候，只有新到達的單個或大塊的觀察，而不是整個過去的數據，被看到和學習。

（3）如果某一特定單個或組塊的觀察學習過程完成，就丟棄單個或一組訓練觀察。

在線順序極限學習機雖然有以上的優勢，但卻未能很好地去處理非線性樣本。與之相對應，核函數的優勢恰在于此，對其特點可概述如下。

（1）核函數的引入避免了復雜維數，大大減小了計算量。而輸入空間的維數n對核函數矩陣并無影響，因此，核函數方法可以有效處理高維輸入。

（2）無需知道非線性變換函數的形式和參數。

（3）核函數的形式和參數的變化會隱式地改變從輸入空間到特征空間的映射，如此即會對特征空間的性質產生影響，從而改變各種核函數方法的性能。

（4）核函數方法能和不同的算法相結合，形成多種不同的基于核函數技術的方法，且這2部分的設計可以單獨進行，并可以為不同的應用選擇不同的核函數和算法。

綜上所述可知，若是將核函數的自身優勢與在線順序極限學習機相結合，不僅能夠減少計算量，而且在時間效率上也會獲得提升。

3.2 預處理分析

對于非線性數據樣本通過核函數處理使樣本線性化，降低后續在線順序極限學習機處理的計算量。通常訓練樣本數據較大，實驗樣本中很多處理后的特征值相同，文中采用比較和統計的方法，對分類的數據進行預處理，即從訓練集和測試集中找到不同的標簽，存儲到類標簽中，這樣操作即可把所有不同的標簽類存儲到一起，成為一個標簽組，而數量遠低于原來的數據樣本容量。

3.3 算法

為了解決樣本數據中比較重復的問題，研究提出一種新的基于在線順序極限學習機的算法來處理多標簽分類問題的改進算法、即樣本線性化和數據預處理極限學習機（PDC-ELM），以適應多標簽的應用。對于線性不可分的數據樣本，PDC-ELM算法先利用核函數進行處理，使數據樣本具有線性可分的特征，而對于處理后的數據樣本，可利用在線順序極限學習機在計算前對分類數據進行預處理，也就是從訓練和測試數據集中查找不同的特征標簽并保存類標簽中。形成一個新的和沒有重復的樣本標簽組，為后續的比較實驗提供便利。PDC-ELM算法的研發實現步驟可參考算法1。

算法 1 PDC-ELM 算法

輸入 訓練集{（xi，yi）xi∈Rn，yi∈Rn，i=1，2，…，N}，測試集{（xj，yj）xj∈Rn，yj∈Rn，j=1，2，…，N}，激活函數g（·），和隱藏層節點數p

輸出 訓練和測試的分類準確度和時間

Step 1 對樣本數據使用相關核函數算法。

Step 2 預處理分類數據，

for訓練集中第1個到第N個實例執行。

Step 3 從訓練和測試數據集找到不同標簽并保存在類標簽中。

Step 4 處理訓練目標和測試目標，生成隱藏層節點的輸入權重w_i和偏差b_i。

Step 5 計算隱神經元輸出矩陣H。

Step 6end for

對于實驗中的數據樣本處理，共設置了5個參數。其中，2個參數是從數據樣本中挑選出來的測試集和訓練集。數據樣本需要進行多次訓練、多次試驗，增加實驗的可靠性。再有一個參數是極限學習機訓練類型。分類則設置為1，在實驗中，0表示回歸，1表示分類，考慮到實驗就是處理分類問題，故設定為1;另外，還有一個參數是隱藏層節點數目、即p。隱藏層節點數目的不同會影響到訓練時間、測試時間、訓練準確度和測試準確度，在不斷的調試中找到最佳的隱藏層節點數目，使得實驗結果最好;最后一個參數是激活函數、即g（·），根據數據樣本需要設置好最恰當的激活函數。

4 實驗

為了更好地評價PDC-ELM模型的性能，本節從實驗環境、數據集、代表性的ELM模型比較、性能評估和實驗結果對比進行分析。為了更好地呈現模型的數據比較，在表與圖上分別從相關數據對比上進行研究。

4.1 運行環境

試驗運行環境為Windows 10企業版，處理器為Inter（R）Core（TM）i5-8400 CPU@2.80 GHz，內存16.0 GB，64位操作系統。實驗模型調試、運行、結果對比和圖形繪制在Matlab 2016中。

4.2 實驗數據集

本實驗在擴展iris、abalone、wine和yeast 4個數據集上進行。4組數據集將用于本文的優化模型PDC-ELM與代表性的ELM模型（包括ELM、L21-ELM [25]和OS-ELM [10]）的效果比較。

4.3 比較模型

本實驗擬與代表性的ELM模型（包括ELM、L21-ELM和OS-ELM）進行比較。其中，ELM是一種具有競爭力的機器學習方法，也是基于最小二乘的學習算法，可為分類和回歸應用提供高效統一的學習解決方案。ELM就是一種針對單隱含層前饋神經網絡的神經網絡的算法，訓練時的目的旨在尋得輸出層的權值求解。ELM的顯著特點就是輸入權值和隱含節點的偏置都是在給定范圍內隨機生成的，現已證得其學習效率高、且泛化能力強，并已廣泛應用于分類、回歸、聚類、特征學習等問題中。但是ELM魯棒性較差，穩定性也差。L21-ELM是一種低秩正則化極限學習機，將提取的特征與ELM上的相關特征進行低秩約束。首先，在低秩重構過程中通過對重構矩陣施加具有旋轉不變性的L_（2，1）模約束，可在挖掘目標域數據的關鍵特征的同時提高算法對不同姿態圖片分類的魯棒性。其次，在目標函數中引入結構的正則化，使得遷移時數據中的局部幾何結構信息得以充分利用，進一步提高了分類性能。最后，為解決源域數據較少帶來的欠完備特征空間覆蓋問題，在公共子空間中利用源域數據和目標域數據聯合構造字典，保證了重構的魯棒性。但卻很容易過擬合，求解效果欠佳。OS-ELM是一種快速、準確的在線序列學習算法，可以遞增地添加隱藏節點，并可按塊大小變化或固定的塊大小逐塊地輸入訓練數據。OS-ELM分為2個部分。一部分為通過少量的訓練樣本，利用ELM算法計算并初始化輸出權重;另一部分開始在線學習，每當一個新的數據樣本到來時，通過一個遞推公式得到新的輸出權重，從而實現在線且快速的訓練。OS-ELM具備了ELM的速度和泛化能力上的優點，并且可以隨著新數據的到來不斷更新模型，而不是重新訓練模型。但是對于樣本重復數據較多和非線性化樣本處理卻并未臻至完善。此外，為了與傳統方法進行仿真對比，還對SVM[21-22]模型進行了研究。其主要思想即為找到空間中的一個能夠將所有數據樣本劃開的超平面，并且使得樣本集中所有數據到這個超平面的距離最短，雖然通過使用核函數可以向高維空間進行映射，使用核函數對于解決非線性的分類是有著長足優勢的，不僅思想簡單，分類效果也較好，但是對于大規模數據訓練卻比較困難，也無法直接支持多分類，而只能使用間接的方法來做。

4.4 實驗結果與分析

在本節中，研究給出了PDC-ELM算法在多標簽分類應用中的仿真結果。研發所得數據詳見表1～表4。

圖1表示實驗模型PDC-ELM分別在iris和abalone數據集下的訓練準確度和測試準確度。圖1中，紅線表示訓練結果，藍線表示測試結果。由圖1可以看出，隨著隱藏層節點數目的增加，PDC-ELM的訓練準確性也有所增加。 隱藏層節點數越多，就能夠提取更多的特征，使得準確度更高。ELM模型對任何非線性函數都具有普遍的逼近能力。隨著隱藏層節點數目的增加，預測誤差趨于零。圖1給出了隨著ELM隱含層隱藏節點數增加分類精度的變化情況。在本實驗中，隱藏節點的數量從100增加到1 000，步長增幅為100。分析圖1可知，隨著隱藏層節點數目的增加，預測精度也逐漸提高。

耗時結果對比見表5所示。由表5可以看出，在這種情況下，PDC-ELM算法的學習速度比其他方法要快。分析可知，在預處理時進行了去重，也就是過濾了重復的特征標簽，減少了比較次數，但在數據較少時其優勢并不明顯。或者重復數據較少時，優勢也并不突出。在今后的工作中需繼續提高PDC-ELM的訓練性能。

本次研究中，在選取的各個數據集上進行實驗，仿真后得到的平均識別率如圖2～圖5所示。由圖2～圖5可知，PDC-ELM明顯優于其他代表ELM模型，證明了PDC-ELM采用預處理標簽數據的方法應用在多標簽分類上是有效的，也是有優勢的。隨著隱藏層節點數目的增加，PDC-ELM的準確性也在增加，一定程度上隱藏層節點數越多，越多的特征即被隱藏層提取在圖2和圖3中。當隱藏層節點數量小于300時，PDC-ELM的結果比其他ELM方法比較接近，究其原因即在于較少的神經元不能有效地提取良好的特征。PDC-ELM要優于OS-ELM方法，根本原因在于：一方面，PDC-ELM進行了樣本線性化處理;另一方面將特征選擇在測試集和訓練集進行了預處理，有明顯提升的效果。L21-ELM優于原始的ELM方法，根本原因在于L21-ELM將特征選擇融入到線性回歸模型中，這樣一來分類提取特征就比較方便，可以更好地描述輸入數據。但從圖4和圖5可以看出，當神經元數量超過600個時，L21-ELM的性能急劇下降，分析原因則可能是隱藏層節點太多導致了算法的過擬合。由圖2還可以看出，也許是因為數據及樣本容量的影響，與其他3組數據集比較而言，iris數據集的樣本容量相對來說較小，可能造成PDC-ELM模型無法充分地發揮自身優勢，數據樣本容量較少，樣本的特征較為分散，預處理的訓練集和測試集的特征效果也未得到很好的呈現，造成的后果就是多組訓練模型的測試結果較為接近，無法更好地突出自身的優勢。在隱藏層神經元較少的情況下，SVM優于大多數ELM方法，然而，隨著隱藏層神經元數量的增加，本文提出的PDC-ELM優于SVM，由圖4和圖5可以看出，當隱藏神經元數量大于為700時，只有本文研發的模型獲得了最好的結果。

5 結束語

在本文中，提出了一種基于在線順序極限學習機的多標簽分類改進方法、即PDC-ELM，對非線性樣本通過核函數進行線性處理，再進行樣本特征數據預處理，與其他ELM方法相比，不僅降低了計算量，還能提高準確率，在多標簽分類實驗中有明顯的效果。

參考文獻

[1]SHEN Guorui， YUAN Ye. On theoretical analysis of single hidden layer feedforward Neural Networks with relu activations[C]//2019 34rd Youth Academic Annual Conference of Chinese Association of Automation （YAC）.? Jinzhou， China： IEEE，2019：706-709.

[2]LEE D， KIM S， TAK S， et al. Real-time feed-forward Neural network-based forward collision warning system under cloud communication environment[J]. IEEE Transactions on Intelligent Transportation Systems， 2019，20（12）：4390-4404.

[3]ENE A， STIRBU C. A Java application for the failure rate prediction using feed forward neural networks[C]// 2016 8th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）. Ploiesti， Romania： IEEE， 2016：1-4.

[4]ENE A， STIRBU C. A Java simulation software for the study of the effects of the short-circuit faults in a feed forward neural network[C]// 2015 7th International Conference on Electronics， Computers and Artificial Intelligence （ECAI）.? Bucharest， Romnia：IEEE， 2015：1-4.

[5]VENKADESAN A， BHAVANA G， HANEESHA D， et al. Comparison of feed forward and cascade neural network for harmonic current estimation in power electronic converter[C]//2017 International Conference on Innovative Research in Electrical Sciences （IICIRES）. Nagapattinam， India：IEEE，2017：1-5.

[6]VIPANI R， HORE S， BASAK S， et al. Gait signal classification tool utilizing Hilbert transform based feature extraction and logistic regression based classification[C]//2017 Third International Conference on Research in Computational Intelligence and Communication Networks （ICRCICN）. Kolkata， India：IEEE， 2017：57-61.

[7]PRIYA S， MANAVALAN R. A hybrid classifier using weighted ELM with biogeography based optimization for hepatitis diagnosis[C]//2019 International Conference on Intelligent Computing and Control Systems （ICCS）. Madurai， India：IEEE， 2019：1463-1467.

[8]PRIYA S， MANAVALAN R. Optimum parameters selection using ACOR algorithm to improve the classification performance of weighted extreme learning machine for hepatitis disease dataset[C]// 2018 International Conference on Inventive Research in Computing Applications （ICIRCA）. Coimbatore：IEEE， 2018：986-991.

[9]MA Liancai ， LI Jun. Short-term wind power prediction based on multiple kernel extreme learning machine method[C]// 2020 7th International Forum on Electrical Engineering and Automation （IFEEA）. Hefei， China：IEEE，2020：871-874.

[10]CHUPONG C， PLANGKLANG B. Comparison study on artificial Neural Network and online sequential extreme learning machine in regression problem[C]//2019 7th International Electrical Engineering Congress （iEECON）. Hua Hin， Thailand：IEEE，2019：1-4.

[11]LIN Jun， ZHANG Qinqin， SHENG Gehao， et al. Prediction system for dynamic transmission line load capacity based on PCA and online sequential extreme learning machine[C]//2018 IEEE International Conference on Industrial Technology （ICIT）. Lyon， France：IEEE， 2018：1714-1717.

[12]CHEN Yita， CHUANG Yuchuan， WU A Y. Online extreme learning machine design for the application of federated learning[C]//2020 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems （AICAS）.Genova， Italy：IEEE， 2020：188-192.

[13]VANLI N D， SAYIN M O，DELIBALTA I， et al. Sequential nonlinear learning for distributed multiagent systems via extreme learning machines[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017，28（3）：546-558.

[14]LU Xinjiang， LIU Chang， HUANG Minghui. Online probabilistic extreme learning machine for distribution modeling of complex batch forging processes[J].IEEE Transactions on Industrial Informatics， 2015，11（6）：1277-1286.

[15]TANG Jiexiong， DENG Chenwei， HUANG Guangbin. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems， 2016，27（4）：809-821.

[16]CILIMKOVIC M. Neural networks and back propagation algorithm[D]. North Dublin：Institute of Technology Blanchardstown， 2015.

[17]PRIANDANA K， ABIYOGA I， WULANDARI， et al. Development of computational intelligence-based control system using backpropagation neural network for wheeled robot[C]// 2018 International Conference on Electrical Engineering and Computer Science （ICECOS）. Pangkal， Indonesia：IEEE， 2018：101-106.

[18]MOGHADAM M H， SAADATMAND M， BORG M， et al. Learning-based response time analysis in real-time embedded systems： A simulation-based approach[C]//2018 IEEE/ACM 1st International Workshop on Software Qualities and their Dependencies （SQUADE）. Gothenburg，Sweden：ACM， 2018：21-24.

[19]CAO Jiuwen， WANG Tianlei， SHANG Luming， et al. A novel distance estimation algorithm for periodic surface vibrations based on frequency band energy percentage feature[J]. Mechanical Systems and Signal Processing， 2018，113：222-236.

[20]WU Xiaohe， ZUO Wangmeng， LIN Liang， et al. F-SVM： Combination of feature transformation and SVM learning via convex relaxation[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018，29（11）：5185-5199.

[21]YAPP E K Y， LI X， LU W F， et al. Comparison of base classifiers for multi-label learning[J]. Neurocomputing， 2020：394：51-60.

[22]CAHYANI D E， NUZRY K A P. Trending topic classification for single-label using multinomial Naive Bayes （MNB） and multi-label using K-Nearest Neighbors （KNN）[C]//2019 4th International Conference on Information Technology， Information Systems and Electrical Engineering （ICITISEE）. Yogyakarta， Indonesia：IEEE，2019：547-557.

[23]鄭倫川， 鄧亞平. 一種獲取標簽相關信息的多標簽分類方法[J]. 計算機工程與應用，2016，52（14）：156-160.

[24]李鋒， 楊有龍. 基于標簽特征和相關性的多標簽分類算法[J]. 計算機工程與應用，2019， 55（4）： 48-55.

[25]SUN Xia， XU Jingting， JIANG Changmeng， et al. Extreme learning machine for multi-label classification[J]. Entropy， 2016， 18（6）： 225.

[26]JIANG Mingchu， LI Na， PAN Zhisong. Multi-label text categorization using L21-norm minimization extreme learning machine[M]//CAO J， MAO K， WU J， et al. Proceedings of ELM-2015 Volume 1. Proceedings in Adaptation， Learning and Optimization. Cham：Springer， 2015，6：121-133.

[27]HUANG Gao， HUANG Guangbin， SONG Shiji， et al. Trends in extreme learning machines： A review[J]. Neural Networks：The Official Journal of the International Neural Network Society， 2015，61：32-48.

基金項目： 國家自然科學基金青年基金 （61402145，61673156）。

作者簡介：張 燦（1995-），男，碩士研究生，主要研究方向：數據挖掘; 代子彪（1994-），男，碩士研究生，主要研究方向：情感語音合成; 安 鑫（1986-），男，博士，副教授，主要研究方向：情感計算、語音合成; 李建華（1985-），男，博士，副研究員，主要研究方向：鍵值存儲、預取。

通訊作者： 李建華Email：jhli@hfut.edu.cn

收稿日期： 2021-04-07