基于最遠總距離采樣的代價敏感主動學習

任杰 閔帆 汪敏

摘 要：主動學習旨在通過人機交互減少專家標注，代價敏感主動學習則致力于平衡標注與誤分類代價?；谌Q策（3WD）和標簽均勻分布（LUD）模型，提出一種基于最遠總距離采樣的代價敏感主動學習算法（CAFS）。首先，設計了最遠總距離采樣策略，以查詢代表性樣本的標簽;其次，利用了LUD模型和代價函數，計算期望采樣數目;最后，使用了k-Means聚類技術分裂已獲得不同標簽的塊。CAFS算法利用三支決策思想迭代地進行標簽查詢、實例預測和塊分裂，直至處理完所有實例。學習過程在代價最小化目標的控制下進行。在9個公開數據上比較，CAFS比11個主流的算法具有更低的平均代價。

關鍵詞：主動學習; k-Means聚類; 標簽均勻分布; 三支決策

中圖分類號：TP181

文獻標志碼：A

Cost-sensitive active learning through farthest distance sum sampling

REN Jie1， MIN Fan1*， WANG Min2

1.School of Computer Science， Southwest Petroleum University， Chengdu Sichuan 610500， China;

2.School of Electrical Engineering and Information， Southwest Petroleum University， Chengdu Sichuan 610500， China

Abstract：

Active learning aims to reduce expert labeling through man-machine interaction， while cost-sensitive active learning focuses on balancing labeling and misclassification costs. Based on Three-Way Decision （3WD） methodology and Label Uniform Distribution （LUD） model， a Cost-sensitive Active learning through the Farthest distance sum Sampling （CAFS） algorithm was proposed. Firstly， the farthest total distance sampling strategy was designed to query the labels of representative samples. Secondly， LUD model and cost function were used to calculate the expected sampling number. Finally， k-Means algorithm was employed to split blocks obtained different labels. In CAFS， 3WD methodology was adopted in the iterative process of label query， instance prediction， and block splitting， until all instances were processed. The learning process was controlled by the cost minimization objective. Results on 9 public datasets show that CAFS has lower average cost compared with 11 mainstream algorithms.

Key words：

active learning; k-Means clustering; label uniform distribution; Three-Way Decision （3WD）

0 引言

主動學習[1]是半監督學習[2]的一種方式，旨在通過人機交互減少專家標注的工作量。常用方法大致分為兩類：基于聚類的方法選擇具有代表性的對象，基于委員會的方法[3]選擇不確定性高的對象。Cohn等[4]提出了一種基于高斯模型和局部加權回歸模型的主動學習算法，應用模型以及回歸使主動學習所需的訓練樣本急劇減少。Wang等[5]提出了基于密度峰值聚類的主動學習算法，在相同的訓練樣本基礎上使得算法的分類精度進一步提高。目前主動學習已廣泛應用于文本分類[6]、信息提取[7]、圖像分類[8]、語音識別[9]等領域。

代價敏感主動學習[10]致力于平衡標注與誤分類代價。教師代價是專家標注樣本標簽的代價，誤分類代價是指將樣本錯誤分類的代價。該問題比經典的主動學習更有實際意義，也更具一般性。Min等[11]利用k最近鄰（k-Nearest Neighbors， kNN）將總體根據代價分成3個部分，提出了基于kNN的三分代價敏感主動學習算法，該算法重復三分區過程從而減少了總代價;但該算法并未考慮塊內采樣數目。Wu等[12]建立了標簽均勻分布模型，在代價的基礎上利用標簽均勻分布（Label Uniform Distribution， LUD）模型計算每塊內最優的采樣數目，進一步降低了代價;但其采樣策略沒有考慮樣本點的信息量，使得代價依然有可優化的空間。

本文提出一種基于最遠總距離采樣的代價敏感主動學習算法（Cost-sensitive Active learning through the Farthest distance sum Sampling， CAFS）。該算法有如下特點：

1）利用三支決策（Three-Way Decision， 3WD）的思想，使學習過程更加完善。算法迭代地進行標簽查詢、實例預測和塊分裂，直至處理完所有實例。方案在查詢過程中進行分類，不需要引入其他的分類器。

2）提出了最遠總距離策略以獲得需查詢標簽的樣本。針對隨機采樣采樣的不足，該策略綜合考慮了某塊內已查詢的所有樣本和信息量，可獲得更具代表性樣本。

3）采用LUD模型計算塊內需要查詢的樣本數，并設置閾值，對過小的塊進行總體查詢，使得采樣數目在此情況下達到最優。該模型對不同的數據集有較好的適用性。

4）采用了高效的k-Means聚類算法。該算法使用距離函數表達對象的相似性，與最遠總距離采樣策略配合可以獲得很好效果。

本文在9個數據集上與11個主流算法進行了比較，結果表明，CAFS算法在平均代價方面優于對比算法。

1 相關工作

1.1 三支決策

三支決策（Three-Way Decision， 3WD）[13]是一種符合人類認知的決策模式。它是實現二支決策的一個中間步驟，在實際決策的過程中，對于具有充分把握接受或拒絕的事物能夠立即作出快速的判斷，對于那些不能立即作出決策的事件，則進行延遲決策。三支決策是一種包含三個部分或三個操作的分治方法，也是決策理論粗糙集的延伸。

很多理論和應用使用了三支決策的方法及思想。其中三支形式概念分析和三支認知計算衍生出了概念學習和多粒度認識操作。通過決策粗糙集理論和屬性約簡方法將三支決策理論粗糙集與代價敏感相結合[14]，在樣本上得出最優測試屬性，并依據最優測試屬性在測試集上計算，使得分類結果具有最小誤分類代價和測試代價。基于三支決策的多粒度粗糙集理論[15]通過分析三支決策與概率粗糙集、決策粗糙集間的關系以及在屬性約簡的相關知識，給出了在醫學、工程方向的應用和三支決策未來的發展方向。三支鄰域粗糙集模型[16]根據錯誤率和多粒度構建不同的鄰域系統，證明了可變精度粗糙集和多粒度粗糙集是鄰域系統粗糙集模型的特例。

1.2 代價敏感主動學習

代價敏感主動學習在主動學習的基礎上，考慮了在學習過程中的代價敏感性，為不同的類別提供了不同的代價權重以及教師代價，在代價函數的約束下進行學習。

由于代價敏感學習更具實際意義，從而受到很多學者的關注，如文獻[10]中引入了代價敏感主動學習，并提出在未標記數據下的分類概率和基于分類概率的抽樣和決策。Settles等[17]分析了4個真實的文字和圖像領域的教師代價，給出了某些具體領域的教師代價的特征。Liu等[18]將聯系教師代價與距離，使代價敏感主動學習在空間數據上展開。Zhao等[19]通過優化兩種代價處理不平衡URL檢測任務的問題，使代價敏感主動學習在URL檢測問題上優于一般檢測學習算法。Chen等[20]提出了最大預期代價和代價加權邊際最小策略，使多類代價敏感主動學習表現更加突出。Demir等[21]通過在遙感圖像分類中，使用成本函構建教師代價利用了遙感圖像的特性，使代價的定義更為全面。Huang等[22]通過非度量多位縮放將代價信息嵌入到特殊隱藏空間中的距離中，從隱藏空間的距離定義樣本的不確定性，使學習過程選擇更有效的樣本。

1.3 標簽均勻分布模型

目前，數據集中大量標簽未知是造成多種學習任務結果不理想的重要原因之一，主動學習算法正是此類問題的合理解決方案。對于大量標簽未知的數據，我們很迫切地需要知道數據的結構以及分布，所以很容易基于現實模型或者簡單的理論分析來假設一種分布模型，應用數據本身的結構在滿足任務目標的前提下降低學習過程中的代價。

基于最遠總距離采樣的代價敏感主動學習CAFS算法應用簡單的均勻分布統計模型，利用概率和均值估計二分類數據中的正反例的個數。同時為了減少總教師代價，在均勻分布的基礎上，利用期望數目和代價函數計算最優采樣數目。

CAFS算法采用標簽均勻分布模型，即在總體分布未知的情況下，假設二分類總體中抽到正反例的概率相同。其概率如下：

p（R*=i）=1n+1; 0≤i≤n（1）

在標簽均勻分布模型中，如果在總體X中隨機選取R個正例和B個反例，那么在總體中有R*個正例的概率則為：

b（R*R，B;n）=ARR*·ABn-R*∑ni=RARiABn-i（2）

在上述假設以及概率公式成立的情況下，正反例在總體X中期望的數目為：

b（n，R，B）=（n，B，R）=∑n-Ri=RiARiABn-in∑n-Ri=RARiABn-i（3）

當在連續抽出正例或反例時候，出現另一個對立的實例對于期望的影響很大，有如下公式成立：

（n，R，0）>（n，2R-1，1）（4）

2 代價敏感主動學習問題描述

為介紹CAFS算法，表1列出了本文使用的符號以及含義。

2.1 數據模型

CAFS算法使用如下數據模型。

定義1 教師誤分類代價敏感決策系統（Teacher-and-Misclassification-Cost-sensitive Decision System， TMC-DS），是七元組：

S=（U，C，d，V，I，m，t）（5）

其中：U是有限的實例集合，C是條件屬性的集合，d是代價屬性，V=∪a∈C∪g0ggggggVa，Va是屬性a的屬性值，I：U×（C∪g0gggggg）→ V是信息函數，m：Vd×Vd → R+∪{0}是誤分類代價函數，t∈R+∪{0}是教師代價。

2.2 問題定義

問題1 代價敏感主動學習。

輸入：一個代價敏感決策系統七元組TMC-DS;

輸出：專家查詢的實例集合Ut，預測標簽lU-Ut。

優化目標：min cost=（tUt+∑Ui=1m（li，yi））/U

輸入的是不含標記的代價敏感決策系統TMC-DS。輸出包含兩個部分：其一是實例子集Ut其中的標簽是查詢或者由專家給出;其二是剩余實例的預測標簽lU-Ut。

優化目標是通過減少教師代價和誤分類代價使平均代價達到最小，其中t×Ut是總教師代價，∑Ui=1m（li，yi）是總的誤分類代價。其中教師代價和誤分類代價是在獲得Ut之后計算得到的，Ut并不是用戶指定的。而隨著Ut大小的增加，教師代價呈線性增長，誤分類代價可能會減少，本文的CAFS算法找到了一個教師代價與誤分類代價的相對平衡點。

3 CAFS算法

本章將詳細介紹CAFS算法的執行過程，其中包括CAFS算法總體流程、根據LUD模型以及代價函數計算出最優采樣數目的lookup方法、根據最遠總距離采樣策略利用k-Means聚類對塊進行分裂并迭代學習的splitAndLearn方法。

3.1 算法框架

基于最遠總距離采樣的代價敏感主動學習CAFS的算法框架如算法1所示，其中第2）行是為了在塊中尋找最遠總距離的代表點，之后的步驟會確定當前塊是否需要分塊迭代學習。

算法1 基于最遠總距離采樣的代價敏感主動學習算法（CAFS）。

輸入：樣本總體U，算法2（lookup）最優采樣數目s;

輸出：預測標簽集合lU-Ut。

有序號的程序——————————Shift+Alt+Y

程序前

1）

for（xi∈U && （R or B）

2）

SLf ← findFarthest（Ut）;/*結合已經查詢的實例結合中尋找最遠距離點*/

3）

if（ySLf== y0）/*判斷最遠的代表樣本點是否與初始樣本點的標簽相同*/

4）

Ut ← SLf

5）

continue

6）

else

7）

splitAndLearn/*分裂迭代學習算法3 */

8）

end if

9）

end for

10）

return lU-Ut

程序后

算法2是CAFS算法中根據LUD模型計算要查詢標簽個數的lookup方法，其中f是根據LUD模型以及代價函數所確定的正反例期望查詢數目，如式（6）所示：

f=

m（-，+）N（1-（N，R，0））+tR， 已標記實例為正例

m（+，-）N（1-b（N，0，B））+tB，已標記實例為反例（6）

算法2 最優標簽查詢數目計算算法（lookup）。

輸入：數據塊的大小n，第一個抽出的樣本標簽y0;

輸出：最優采樣數s。

有序號的程序——————————Shift+Alt+Y

程序前

1）

for（xi∈X）

2）

SLf ← boughti/*記錄已購買的標簽*/

3）

i（r*，b*）← f/*根據式（6）計算期望查詢數目 */

4）

end for

5）

i* ← lookup（y0）

6）

s ← （i*-SL.legth）

7）

return s

程序后

算法3介紹塊分裂條件以及如何迭代學習的過程。在選取最遠總距離代表點后，需要得知該代表點與之前查詢的塊標簽是否一致。如果一致，繼續利用最遠距離采樣策略采樣直至達到最優采樣數s，否則利用k-Means聚類算法分裂該塊并迭代學習的過程。

算法3 塊分裂迭代學習算法（splitAndLearn）。

輸入：數據塊X;

輸出：數據塊的X的預測標簽合集li∈X。

有序號的程序——————————Shift+Alt+Y

程序前

1）

if（SL.length

2）

SLnew ← findFarthest（Ut）

3）

if（ySLnew≠yX0）

4）

X1，X2 ← kMeansCluter（X）

5）

lX1 ← CAFS（X1）

6）

lX2 ← CAFS（X2）

7）

end if

8）

else

9）

end if

10）

return li∈X

程序后

3.2 CAFS時間復雜度分析

基于最遠總距離采樣的代價敏感主動學習算法（CAFS）的時間復雜度如表2所示。

在實際算法過程中，時間復雜度會隨著數據集變化而變化。在最優情況下，數據集中的實例個數趨于無窮時且為同一標簽時，時間復雜度為Ο（n log n）。在最壞的情況下，且不同標簽數據分布極為密集時，算法需要遞歸循環log n次。即：

log n×（Ο（n log n）+Θ（n log n）+Ο（n））=Ο（n2）

4 CAFS運行實例

CAFS算法首先掃描塊內已經標注的實例，查看該塊是否需要分裂，之后計算需要查詢的個數，以最遠總距離采樣策略選取代表點并查詢標簽，在滿足最優采樣數目s后預測其他未標記數據。為了更好地展示CAFS算法的學習過程，以下將利用小型的數據集描述CAFS算法的學習過程。

如圖1運行實例，首先，對數據進行初始化圖1（a），并記錄數據中的第一個實例，然后如圖1（b）采用最遠總距離樣本采樣策略選取代表性樣本點查詢。如圖1（c），很明顯兩個實例的標簽不同，此時利用k-Means聚類對數據塊進行分裂處理。對分裂后的數據塊采樣同樣的策略迭代學習，如圖1（d） （e）。由于本次運行實例采用極具代表性的數據，所以在數據塊的最優查詢數目s的前提下兩個塊中的樣本標簽相同，根據CAFS算法的策略，如圖1（f）會對剩余的實例進行預測，即完成本次過程。

5 實驗與結果分析

實驗運行在64位16GB RAM的Windows10的個人電腦上，其中處理器為i7-7700HQ 2.80GHz，并利用Java在Eclipse上實現。

5.1 實驗數據集

實驗數據集來源于UCI機器學習倉庫和IDA基準倉庫，表3列出了數據集的基本信息，這些數據集一部分是人造數據集，大部分來源于現實生活，涵蓋了生物學、金融學、計算機、通信、植物學、醫療和質譜分析等領域。

實驗選取11個相關的算法進行了對比，并根據CAFS算

法特點分成了三組進行了相關實驗：1）與同類的代價敏感學習算法進行對比;2）與代價敏感的主動學習算法進行對比;3）代價敏感學習與非代價敏感學習算法對比，而且為了將非代價敏感學習與代價敏感學習進行代價方面的對比，利用實驗中的代價誤分類代價設置，將非代價敏感學習的結果統一成代價進行比較。

5.2 實驗代價設置

m表示誤分類代價矩陣，m（+，-）=4表示將正例預測成反例的代價為4，m（-，+）=2表示將反例預測成正例的代價為2。另外設置t=1是指查詢一個實例的教師代價是1。實驗中的平均代價計算公式則為：

AverageCost=（M1m（+，-）+M2m（-，+）+tT）/n（7）

其中：M1實驗結果中將正例預測成反例的個數，M2為將反例預測成正例的個數，T為向專家查詢實例的個數。

5.3 與代價敏感學習算法的對比實驗

本節將CAFS算法與代價敏感邏輯回歸算法（Cost Sensitive Logistic Regression algorithm， CSLR）[23]、代價敏感決策樹算法（Cost Sensitive Decision Tree algorithm， CSDT）[24]和代價敏感隨機森林算法（Cost Sensitive Random Forest algorithm， CSRF）[25]在9個公開數據集上進行了對比，并以平均代價（根據式（7）計算）為唯一參照，結果如表4所示。其中“—”表示CSLR在Arcene數據集上運行超過5h也沒有產生結果;平均排名則指算法在所有數據集上表現排名的均值。從表4中看出，CAFS的平均代價相對于CSLR、CSDT、CSRF分別降低了56%、27%、32%。

5.4 與其他代價敏感主動學習算法的對比

本節實驗選取了5個代價敏感主動學習算法進行比較。其中：ALCE（Active Learning Embed Cost algorithm）[25]為代價嵌入主動學習算法，CWMM（Cost Weight Minimum Margin algorithm）為代價權重最小邊緣算法，MEC（Maximum Expected Cost algorithm）為最大期望代價算法，TALK（Tri-partition Active Learning through K-nearest neighbors algorithm）為基于k近鄰的三支決策主動學習算法，CADU（Cost-sensitive Active learning algorithm with a label Uniform Distribution model）為基于密度聚類的代價敏感主動學習算法。

對ALCE、CWMM和MEC進行了5次重復實驗，以保證實驗結果的準確性;而且由于數據順序不影響TALK、CADU和CAFS的結果，即實驗的結果穩定，所以只進行1次實驗。其中CAFS和CADU不需要已經標記的初始訓練集;而且采樣數目是CWMM和MEC的參數，為了保證實驗結果的有效性，將采樣數目設置為CAFS、TALK CADU的計算值。

表5顯示在9個數據集上，CAFS在大部分數據集上表現優異，其中平均代價相對于ALCE，CWMM，MEC，TALK，CADU算法分別降低了30%、37%、35%、27%、10%，在平均排名上也取得了最好的成績。

5.5 與非代價敏感學習算法的對比實驗

最后，為了實驗的完整性，CAFS與3個非代價敏感學習算法——投票熵采樣算法（Vote Entropy Sampling algorithm， VES）、一致熵采樣算法（Consensus Entropy Sampling algorithm， CES）和最大分歧采樣算法（Max Disagreement Sampling algorithm， MDS）進行對比。三種算法選取了不同的采樣方案，其中VES是投票熵采樣算法，CES是一致熵采樣算法，MDS是最大分歧采樣算法，并且有3個基本分類器組成，分別是決策樹[26]、隨機森林[27]和帶徑向基函數（Radial Basis Function， RBF）內核的支持向量機（Support Vector Machine， SVM）[28]。因為某些算法在單次實驗中會有結果的偏差，所以進行了5次實驗。實驗結果如表6所示，由于非代價敏感學習算法不考慮代價因素，所以在為保證實驗結果的統一性，計算平均代價時會根據學習結果與代價設置進行代價計算。由表6可以看出，CAFS算法在4個算法中平均排名最好，并且平均代價對應于VES、CES、MDS算法分別降低了13.8%、14.34%、19.67%。

5.6 實驗結果分析

綜合以上實驗結果，有如下結論：

1）CAFS算法與主流的代價敏感學習CSLR、CSDT和CSRF相比，平均代價是最低的。

2）CAFS與同類的代價敏感主動學習算法CWMM、MEC、TALK和CADU相比，實驗結果是最優的。

實驗結果表明CAFS算法能夠有效地降低總代價。

6 結語

本文提出的基于最遠總距離采樣的主動學習算法，建立了LUD模型，并提出了最遠總距離采樣的策略。利用3WD思想使得學習的過程更加完善。標簽均勻分布模型在給定的代價以及假設的均勻分布的條件下，可獲得最優的采樣數目。最遠總距離采樣策略，綜合考慮了信息量和樣本的總體特性，使得選擇的樣本更具代表性。下一步的主要工作包含兩個方面：其一是將LUD模型推廣到多類別的學習任務中;其二是設計更加合適的樣本采樣策略，進一步減小算法的代價，提高預測精度。

參考文獻 （References）

[1]SETTLES B. Active learning [J]. Synthesis Lectures on Artificial Intelligence and Machine Learning， 2012， 6（1）： 1-114.

SETTLES B. Active Learning [M]. San Rafael， CA： Morgan and Claypool Publishers， 2012： 1-114.

[2]ZHU X， GOLDBERG A B. Introduction to Semi-Supervised Learning [M]. San Rafael， CA： Morgan and Claypool Publishers， 2009： 130.

[3]SEUNG H S， OPPER M， SOMPOLINSKY H. Query by committee [C]// COLT 1992： Proceedings of the 5th Annual ACM Conference on Computational Learning Theory. New York： ACM， 1992：287-294.

[4]COHN D A， GHAHRAMANI Z， JORDAN M I， et al. Active learning with statistical models [J]. Journal of Artificial Intelligence Research， 1996， 4（1）： 129-145.

[5]WANG M， MIN F， ZHANG Z H， et al. Active learning through density clustering [J]. Expert Systems with Applications， 2017， 85： 305-317.

[6]TONG S， KOLLER D. Support vector machine active learning with applications to text classification [J]. Journal of Machine Learning Research， 2001， 2（1）： 45-66.

[7]THOMPSON C A. Active learning for natural language parsing and information extraction[C]// ICML 1999： Proceeding of the 16th International Conference on Machine Learning. San Francisco， CA： Morgan Kaufmann Publishers， 1999： 406-414.

[8]ZHANG C， CHEN T. An active learning framework for content-based information retrieval [J]. IEEE Transactions on Multimedia， 2002， 4（2）： 260-268.

[9]YU D， VARADARAJAN B， DENG L， et al. Active learning and semi-supervised learning for speech recognition： a unified framework using the global entropy reduction maximization criterion [J]. Computer Speech and Language， 2010， 24（3）： 433-444.

[10]MARGINEANTU D D. Active cost-sensitive learning [C]// IJCAI 2005： Proceedings of the 19th International Joint Conference on Artificial Intelligence. San Francisco， CA： Morgan Kaufmann Publishers， 2005： 1622-1623.

[11]MIN F， LIU F L， WEN L Y， et al. Tri-partition cost-sensitive active learning through kNN [J]. Soft Computing， 2017， 23（5）： 1557-1572.

[12]WU Y X， MIN X Y， MIN F， et al. Cost-sensitive active learning with a label uniform distribution model [J]. International Journal of Approximate Reasoning， 2019， 105： 49-65.

[13]YAO Y. Three-way decision： an interpretation of rules in rough set theory [C]// Proceedings of the 2009 International Conference on Rough Sets and Knowledge Technology， LNCS 5589. Berlin： Springer， 2009： 642-649.

[14]李華雄，周獻中，黃兵，等.決策粗糙集與代價敏感分類[J].計算機科學與探索，2013，7（2）：126-135.（LI H X， ZHOU X Z， HUANG B， et al. Decision-theoretic rough set and cost-sensitive classification [J]. Journal of Frontiers of Computer Science and Technology， 2013， 7（2）： 126-135.）

[15]劉盾，李天瑞，李華雄.粗糙集理論：基于三支決策視角[J].南京大學學報（自然科學版），2013，49（5）：574-581. （LIU D， LI T R， LI H X. Rough set theory： a three-way decisions perspective [J]. Journal of Nanjing University （Natural Science）， 2013， 49（5）： 574-581）

[16]楊習貝，楊靜宇.鄰域系統粗糙集模型[J].南京理工大學報，2012，36（2）：291-295.（YANG X B， YANG J Y. Rough set model based on neighborhood system [J]. Journal of Nanjing University of Science and Technology， 2012， 36（2）： 291-295.）

[17]SETTLES B， CRAVEN M， Friedland L. Active learning with real annotation costs [C]// NIPS-CSL 2008： Proceedings of the NIPS workshop on cost-sensitive learning. Neural Information Processing Systems， 2008： 1-10.

SETTLES B， CRAVEN M， Friedland L. Active learning with real annotation costs [EB/OL]. [2018-12-13]. https：//www.researchgate.net/publication/228770726_Active_learning_with_real_annotation_costs.

[18]LIU A， JUN G， GHOSH J. Spatially cost-sensitive active learning [C]// SDM 2009： Proceedings of the 2009 SIAM International Conference on Data Mining. Philadelphia， PA： SIAM， 2009： 814-825.

[19]ZHAO P L， HOI S C H. Cost-sensitive online active learning with application to malicious URL detection [C]// KDD 2013： Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2013： 919-927.

[20]CHEN P-L， LIN H-T. Active learning for multiclass cost-sensitive classification using probabilistic models [C]// TAAI 2013： Proceedings of the 2013 Conference on Technologies and Applications of Artificial Intelligence. Washington， DC： IEEE Computer Society， 2013： 13-18.

[21]DEMIR B， MINELLO L， BRUZZONE L. Definition of effective training sets for supervised classification of remote sensing images by a novel cost-sensitive active learning method [J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（2）： 1272-1284.

[22]HUANG K-H， LIN H-T. A novel uncertainty sampling algorithm for cost-sensitive multiclass active learning [C]// ICDM 2016： Proceedings of the 2016 IEEE 16th International Conference on Data Ming. Piscataway， NJ： IEEE， 2016： 925-930.

[23]BAHNSEN A C， AOUADA D， OTTERSTEN B. Example-dependent cost-sensitive logistic regression for credit scoring [C]// ICMLA 2014： Proceedings of the 2014 13th International Conference on Machine Learning and Application. Washington， DC： IEEE Computer Society， 2014： 263-269.

[24]BAHNSEN A C， AOUADA D， OTTERSTEN B. Example-dependent cost-sensitive decision trees[J]. Expert Systems with Applications， 2015， 42（19）： 6609-6619.

[25]BAHNSEN A C， AOUADA D， OTTERSTEN B. Ensemble of example-dependent cost-sensitive decision trees [J]. arXiv preprint arXiv：1505.04637.

BAHNSEN A C， AOUADA D， OTTERSTEN B. Ensemble of example-dependent cost-sensitive decision trees [EB/OL]. [2018-12-13]. https：//arxiv.org/pdf/1505.04637v1.pdf.

[26]QUINLAN J R. Induction of decision trees [J]. Machine Learning， 1986， 1（1）： 81-106.

[27]LIAW A， WIENER M. Classification and regression by random forest [J]. R News， 2002， 2/3： 18-22.

[28]CRISTIANINI N， SHAWE T J. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods [M]. Cambridge， Eng.： Cambridge University Press， 2000： 46-71.

This work is partially supported by the Scientific Innovation Group for Youths of Sichuan Province （2019JDTD0017）， the Applied Basic Research Project of Sichuan Province （2017JY0190）.

REN Jie， born in 1996， M. S. candidate. His research interests include active learning， data mining.

MIN Fan， born in 1973， Ph. D.， professor. His research interests include granular computing， recommender system， active learning.

WANG Min， born in 1980， M. S.， associate professor. Her research interests include data mining， active learning.