基于集成學習的三支決策模型

中圖分類號：TP18 文獻標志碼：A DOI：10.13705/j. issn.1671-6841.2024095

文章編號：1671-6841（2025）06-0042-09

Abstract： Three-way decision model is an effective way to deal with complex decision problems by categorizing objects into three distinct decision regions.However，the existing three-way decision models often rely on a single decision criterion，limiting their efectiveness in handling complicated decision problems.To enhance the robustnessand accuracy of the decision-making process，a novel three-way decision model based on ensemble learning was proposed.Firstly，diffrent decision criteria were adopted in the decision-making process to obtain diferent three-way decision results. Then，inspired by the idea of pessimistic multi-granular rough sets，the consensus sets of the three decision regions were acquired by using basic operations between sets，respectively. Next，the k -means algorithm was utilized to divide the objects in the inconsistent set into three disjoint subsets according to their similarities. These subsets were then added to their respective consensus sets to obtain the final three-way decision results. The effcacy of this newly proposed model were substantiated through extensive experiments on diffrent datasets.Based on experimental results across various datasets，the newly proposed model achieved higher classification accuracy and comprehensive evaluation index.Additionally，the new three-way decision model occupied a smaller boundary region compared with other traditional three-way decision models.

Key words： three-way decision; ensemble learning； cluster ensemble; cluster analysis

0 引言

隨著數據規模的不斷增加，當今決策者面臨著更加復雜的決策環境。決策者如何快速做出正確決策是一項值得研究的問題。Yao[為了降低決策過程風險，提出了三支決策模型，其基本思想是將整體劃分為三個互不相交的子區域，對每個區域采取不同的決策行為。三支決策對決策問題的求解方法與人類的認知過程相符合，因此常用于復雜問題的分析和求解[2-4] 。

自三支決策模型提出以來，眾多研究者已經對其進行了不斷完善和發展。Qian等5考慮將多視角思想與三支決策模型相結合，提出了多粒度序貫三支決策，并給出了五種不同的粒度聚合策略。Jia等[將三支決策與多屬性決策相結合，利用多屬性決策的評估矩陣計算損失函數，降低了決策過程的主觀性。Zhan等[]將傳統三支決策中的等價關系替換為優勝關系，提出了一種新的三支決策方法，并將其應用在多屬性問題的求解中。Wang等8將決策者的心理狀態加入決策過程中，并以此提出了基于前景理論的三支決策模型。Li等[9]提出根據決策者對風險的偏好來計算三支決策的閾值和條件概率，以此給出了基于決策風險偏好的三支決策模型。錢進等[10]利用概念層次樹構建了多層次決策表，并以此提出了多粒度層次序貫三支決策模型

集成學習是機器學習中常用的一種重要方法，其主要思想是將多個弱分類器集成到一起，以此創建一個強分類器，從而提高分類模型的精度。眾多學者已經將集成思想應用在了其他領域，希望以此提高原始模型的性能[11]。Yang等[12]在屬性約簡中利用集成選擇器同時選擇多個候選屬性，并通過集成投票的方式從多個候選屬性中選擇最合適的一個屬性加入屬性約簡子集中。Yang等[13]提出將多個專家給出的決策閾值組合為一組決策閾值，以此提出了多代理三支決策模型。Agbodah[14]考慮將多組不同的損失函數聚合為一組代表性的損失函數，并將其應用在三支決策的決策過程中。李明等[15]設計了一種基于集成學習的啟發式算法，并以此提出了基于特定類別的屬性約簡算法。

通過上述討論可知，盡管有一些研究已經將集成思想與三支決策理論相結合[13-14]，但都沒有直接考慮將多個不同三支決策結果集成起來。本文的主要貢獻在于同時使用損失、效益、前景和后悔四個決策標準獲得四種不同的三支決策結果，之后利用悲觀多粒度粗糙集的思想獲得三個決策區域的共識集合，然后根據相似度的大小，利用 k -means算法將剩余的對象劃分為三個互不相交的子集。最后將這三個互不相交的子集加入三個決策區域各自的共識集中，從而獲得最終的三支決策結果。

1相關理論

本節將簡要介紹三支決策的基本知識以及集成學習的相關理論[16-17] 。

1. 1 三支決策模型

定義1（概率上下近似）決策表 S=（U，C∪ D，V，f） ，其中：論域定義為 U={x₁，x₂，…，x_m} ； C= {c₁，c₂，…，c_n} 為條件屬性集合； D 為決策屬性； V 表示屬性集合的值域； f 是一個信息函數。對于需要近似的概念 X?U ， Yao^[1] 所定義的概率上、下近似為

其中： 表示 [x] 屬于近似概念 X 的條件概率；閾值 α 和 β 滿足 0?βlt;α?1. 0

根據決策粗糙集和貝葉斯最小化風險理論可知，三支決策的決策規則可表示為

（P₁） ：若 P（X∣[x]）?α ，則 x∈POS（X） ： （B₁） ：若 β ; （N₁） ：若 P（X∣[x]）?β ，則 。

1. 2 集成學習

集成學習是機器學習中一種常用的方法[2] 。聚類集成是集成學習的一個重要分支，其獲得的最終聚類結果在分類效率和分類質量上都優于單個聚類方法。

本文考慮將不同的三支決策方法獲得的決策結果當作聚類集成模型中的基礎劃分，每個三支決策結果中的正域、負域以及邊界域視為對應基礎劃分里的不同聚類。因此，本文的主要目的是設計一個與共識函數作用相似的集成策略，將三支決策的不同結果進行集成，從而獲得最終的三支決策結果。

2基于集成學習的三支決策模型

本小節將詳細描述基于集成學習的三支決策模型的求解過程。首先引入 k -means算法的介紹，之

后為了衡量等價類近似目標概念的能力，給出了相似度的定義，最后給出所提模型的實現算法和流程。

2.1 k -means聚類分析

聚類是解決分類問題的一種常用方法[18]k -means算法是最常見一種聚類算法[2]。為了獲得更好的聚類質量， k -means算法通常會與其他方法結合來求解問題。

2.2 樣本相似度

由Palak粗糙集可知，不同對象的等價類對目標概念的近似能力是不同的。等價類的條件概率是目前最常用的衡量不同等價類近似目標概念能力的參數。

例1若決策表 S={U，C∪D，V，f} ，其中 U= {x₀，x₁，x₂，x₃，x₄，x₅，x₆，x₇}，C={c₁，c₂，c₃，c₄} ，決策屬性為 d ，具體信息如表1所示。假設需要近似的概念記為X={xo，χ1，χ6}。

表1決策表

Table1 Adecisiontable

由決策表1可知，條件屬性集合將論域 U 劃分成三個不相交的等價類集合，記為 "。若使用條件概率衡量對應等價類近似目標概念的能力，則可以得到

根據上述的計算結果，等價類 X_r 和 X₂ 有相同的條件概率。但使用條件概率來衡量等價類對目標概念的近似能力有時是不合理的，具有相同條件概率的等價類可能對目標概念有不同的近似能力。

定義2（距離）決策表 S={U，C∪D，V，f} U/IND（C）={X₁，X₂，…，X_N} 。對于任意等價類

X_i（i=1，2，…，N） ，其與目標概念 X 之間的距離定義為

其中： x_i={x_i1，x_i2，…，x_in}（i=1，2，…，N） 表示對應等價類的條件屬性值， x_j={x_j1，x_j2，…，x_jn}（j=1 ，2，…，∣X∣ ）代表對象 x_j 的條件屬性值， d（x_i，x_j） 為對象之間的歐氏距離。

定義3（相似度）假設由條件屬性劃分的等價類表示為 U/IND（C）={X₁，X₂，…，X_N} ，需要近似的目標概念記為 X ，則對于任意等價類 X_m? U/IND（C） （ m=1，2，…，N） ，其與目標概念的相似度定義為 R（X_m） ，具體計算方法為

定義3給出的相似度公式可以用來重新衡量不同等價類對目標概念的近似能力。

例2根據例1的計算結果，等價類 X₁ 和 X₂ 的條件概率相同，但不同等價類與目標概念之間的距離可由定義2計算，計算結果為D（X₁，X）=d（x₀，x₀）+d（x₀，x₁）+d（x₀，x₆）=6.162， （2號D（X₂，X）=d（x₁，x₀）+d（x₁，x₁）+d（x₁，x₆）=4.732， （20D（X₃，X）=d（x₄，x₀）+d（x₄，x₁）+d（x₄，x₆）=4.894

由計算結果可知，盡管某些等價類有相同的條件概率，但他們與目標概念之間的距離并不相同由定義3可知，不同等價類與目標概念之間相似度的計算結果為

由上述相似度的定義可知，等價類 X_i 和 X₂ 雖然有相同的條件概率，但兩者與近似目標概念之間的相似度不同，與 X₁ 相比， X₂ 對目標概念的近似能力更強。

2.3基于集成學習的三支決策模型構建

2.3.1求解集成決策區域的共識集在日常決策問題中，如果大多數決策者均支持某一項提議，則該提議最終很有可能會被接受。Qian等[根據這一思想提出了基于悲觀策略的多粒度粗糙集模型。受該悲觀多粒度思想的啟發，給出了三個集成決策區域共識集consen_set（EPOs）、consen_set（EBND）和consen_set（ENEG）的定義，其中將所提模型獲得的最終決策區域分別記為EPOS、EBND和 ENEG 。

定義4（集成決策區域的共識集）假設將 Z 種不同的三支決策方法獲得的正域、負域以及邊界域組成的集合分別記為 、?_NEG={NEG_?1，NEG_?2，…，NEG_?Z} 和 Φ_BND={BND_?1 ，BND₂，…，BND_z}，POS_i，BND_i 和 NEG_i 分別表示使用第 i（1?i?Z） 種三支決策方法求解得到的正域、邊界域和負域，則三個決策區域的共識集分別定義為

cons conse （號 （204號

2.3.2劃分不一致集本文將共識集外的對象集合定義為不一致集，記為inconsistent_set Σ=ΣUΣ-Σ consen_set（EQ），其中 Q 表示對應的正區域、負區域以及邊界區域。若inconsistent_set Φ=Φ{x₁，x₂，… x_g} ，對于任意 x_i∈ inconsistent_set，由定義3可知，等價類 [x_i] 與 X 的相似度為 s_i ，則不一致集中所有對象的相似度可以記為S={s，s2，，sg

定義5給定不一致集合inconsistent_set Ψ={Ψx₁ ，x₂，…，x_g} ，對象等價類與目標概念 X 之間的相似度求解結果記為 S={s₁，s₂，…，s_g} ，則使用 k -means算法，根據相似度集合 s 將不一致集合inconsistent_set劃分為三個互不相交的對象子集，

對于定義5求解的三個集合，若只考慮對象等價類與目標概念之間的相似度，則三個對象子集之間滿足 。

2.3.3最終三支決策結果求解為了獲得集成決策的三個區域，首先將正域、負域以及邊界域的共識集分別當作初始的集成決策區域，即 EPOS= consen_set（EPOS） .EBND=consen_-set（EBND） 和 。之后使用 k -means算法將不一致集合inconsistent_set劃分為三個對象子集 H -set、M-set和 L-set 。然后將 H -set加入EPOS中； L -set加入ENEG; M -set加人EBND中。綜上所述，基于集成學習的三支決策模型的三個集成決策區域可以表示為

圖1給出了求解集成決策區域 EPOS，EBND 和ENEG的具體流程。

圖1集成決策區域的求解過程

Figure1Thesolutionprocessforensemble decisionregions

2.3.4模型實現流程 算法1詳細闡了述本文模型的構建過程。

算法1基于集成學習的三支決策模型算法

輸入：決策表 S=（U，C∪D，V，f） ， Z 種不同三支決策的方法 M={M₁，M₂，M₃，…，M_z} ，目標概念X，K 設置為3。

輸出：集成決策區域 EPOS，EBND 和 ENEG 。

1）初始化

ENEG=? ，以及 s=? ：2）for M_i in M do3） M_i 的決策區域 ;4） 將 π_i 加入 π ;5）end for6）計算

和 _consenset（ENEG） ;7）令

consen_set（EBND）和 ：8）計算不一致集合inconsistent_set;9）for x_i in inconsistent_set do10） 計算 x_i 與 X 的相似度 s_i ：11） 將 s_i 加人 s 中；12）end for13）根據 s ，利用 k -means算法將 inconsistent_set

劃分為 H -set Ω，MΩ -set和L-set;14）將 H -set加人EPOS;15）將M-set加入EBND;16）將L-set加入ENEG;17）返回EPOS、EBND和 ENEG 。

算法1首先需要將相關變量初始化為空集；然后使用不同的三支決策方法獲得不同的決策結果，利用悲觀多粒度粗糙集的思想計算三個集成決策區域的共識集，利用 k -means算法將不一致集合劃分為三個互不相交的對象子集；最后，將三個對象子集分別加入對應的共識集中。基于集成學習的三支決策模型的具體實現流程如圖2所示。

圖2集成三支決策模型結構圖

Figure 2The structure of the ensemble three-way decision model

3 實驗結果及分析

3.1實驗數據集和評價指標

為了驗證所提模型的有效性，本文選擇六個UCI標準數據集進行實驗分析，數據集的具體信息如表2所示。本文進行實驗的環境為Intel（R）Core（TM）i9-13900HX2.20GHz，16GB內存，Windows11操作系統。

表2實驗數據集

Table2The experimentdataset

本文使用分類綜合評價指標 （f） 、分類精度 （p） 以及邊界域占比 Π（w） 這三個評估參數來驗證所提模型相較于其他傳統的三支決策模型的優越性。

定義6（分類綜合評價指標和分類精度）假設需要近似的目標概念為 X，POS（X） 表示三支決策結果中的正域，則分類綜合評價指標和分類精度分別定義為

其中： 表示分類召回率。

定義7（邊界域占比）若論域為 U ，三支決策結果中的邊界域記為 BND（X） ，則邊界域占比可以定義為

3.2對比算法及參數設置

本文將使用四種不同的三支決策模型作為對比算法：基于貝葉斯理論的三支決策模型（3WD）[6]基于效用理論的三支決策模型（U3WD）、基于前景理論的三支決策模型（P3WD）[8]、基于后悔理論的三支決策模型（R3WD）。表3～5給出了不同三支決策模型所需的實驗參數， Z_P 表示參考點 Ω，μ，ν 用于衡量感知效用函數的敏感性遞減程度， θ^P 表示損失規避系數， σ^?P，δ 為權重影響因子， θ^R，δ^R 分別為風險系數和后悔規避系數。 L_PP/U_PP，L_BP/U_BP，L_NP/U_NP 分別表示當對象屬于近似目標概念時，做出接受決策、延遲決策以及拒絕決策所造成的損失或效用函數值， L_PN/U_pN，L_BN/U_BN，L_NN/U_NN 分別表示當對象不屬于所需近似目標概念時，做出接受決策、延遲決策以及拒絕決策所造成的損失或效用函數值。同樣地，對于表4和表5中的參數 Z_ij^P 和 Z_ij^R（i，j=P，B，N） 有相似的解釋，可以解釋為不同狀態下做出不同動作所得到的前景值函數以及感知效用函數。

表4前景值函數參數

Table 4 The parameters of prospect value functions

表5感知效用函數參數

表3損失和效用函數參數

Table 5The parameters of perceived unity functions

3.3實驗結果及對比分析

3.3.1分類綜合評價指標對比分析結果圖3給出了五種三支決策模型的分類綜合評價指標的實驗對比結果。由圖3可知，本文所提出的模型在六個數據集上獲得的分類綜合評價指標均大于其他四種三支決策模型。因此，本文提出的基于集成學習的三支決策模型能夠提高分類質量，獲得更好的三支決策分類結果。

圖3分類綜合評價指標對比結果

Figure 3 The comparative results of f

3.3.2分類精度對比分析結果為了進一步驗證所提方法與其他四種三支決策方法的性能差異，本文使用分類精度來衡量不同三支決策模型的分類效果。不同三支決策方法獲得的分類精度如圖4所示。根據圖4可知，本文所提方法在六個數據集上獲得的分類精度均大于其他三支決策模型，因此本文所提出的模型能夠提高三支決策的分類精度。

圖4分類精度對比結果

Figure 4 The comparative results of p

3.3.3邊界區域占比對比分析結果Yao[16]提出 策的能力越弱。本文對五種三支決策的邊界域占比邊界域中的對象越多，三支決策模型做出確定性決 進行比較分析，實驗結果如圖5所示。由圖5可知，

本文所提方法能夠有效降低三支決策的邊界區域的大小。雖然在某些情況下，本文所提模型獲得的邊界域比其他一種或兩種方法求得的邊界區域大，但并不能說明本文所提模型相較于其他三支決策模型表現較差。以ContraceptiveMethodChoice數據集為例，在案例2和案例3上，所提模型的邊界域大于P3WD的邊界域，但由圖3和圖4可知，本文所提模型的分類綜合評價指標，以及分類精度均大于

P3WD模型。

3.3.4運行時間對比結果表6給出了所提模型相較于其他傳統模型運行時間的對比結果。表中的運行時間為模型運行10次所用時間的平均值。由表6可知，本文所提模型與其他四種傳統的三支決策模型相比需要較長的運行時間。因此，本文所介紹的基于集成學習的三支決策模型比較適用于對時間成本沒有嚴格要求的場景。

表6運行時間對比結果

Table6 The running time comparison results

3.3.5與其他集成三支決策對比分析結果本節中將所提模型與KobinaAgbodah所提模型（KA-Mean）進行對比，即將多個不同的損失函數進行集成，本文取不同損失函數的平均值作為集成損失函數。圖6展示了在六個數據集上，兩種模型平均分類綜合評價指標、平均分類精度和平均邊界域占比的實驗對比結果。由圖6可知，在大多數數據集上，本文所提模型與Kobina Agbodah所提模型相比[14]，分類綜合評價指標和分類精度更高，同時邊界域的占比也更小。

圖6與KA-Mean對比結果 Figure6The comparison with KA-Mean

結束語

本文提出將集成思想應用于三支決策模型中。

具體來說，首先使用不同的三支決策方法獲得不同的三支決策結果，根據悲觀多粒度粗糙集的思想獲得集成決策區域的共識集；然后，使用 k -means算法依據對象的相似度將不一致集合中的對象劃分為三個互不相交的對象子集；最后，將這三個對象子集分別加入各自的共識集中，以此獲得最終的集成決策區域。根據實驗結果可知，本文所提出的模型能夠改善三支決策模型的分類綜合評價指標，提高分類精度以及減小邊界區域占比，從而獲得分類質量更好的三支決策結果。

參考文獻：

[1] YAOYY. The superiorityof three-waydecisions in prob-abilistic rough set models[J].Information sciences，2011，181（6）：1080-1096.

[2] WANG P X，YAO Y Y. CE3：a three-way clusteringmethodbased on mathematical morphology[J].Knowl-edge-based systems，2018，155：54-65.

[3] 毛華，牛振華，馬經澤，等．基于模糊三支區間集半概念知識提取方法研究［J]．鄭州大學學報（理學版），2024，56（1）：81-87.MAOH，NIUZH，MAJZ，etal.Researchonknowl-edgeextraction method based on fuzzy three-way interval-set semiconcept[J]. Journal of Zhengzhou university（natural science edition），2024，56（1）：81-87.

[4] 錢進，鄭明晨，周川鵬，等．多粒度三支決策研究進展［J]．數據采集與處理，2024，39（2）：361-375.QIANJ，ZHENG MC，ZHOUCP，et al.Recent ad-vancement in multi-granulation three-way decisions[J].Journal of data acquisition and processing，2024，39（2） ：361-375.

[5]QIANJ，LIU C H，MIAO DQ，et al. Sequential three-way decisions via multi-granularity[J]. Information sci-ences，2020，507：606-629.

[6]JIA F，LIU P D.A novel three-way decision model undermultiple-criteria environment[J].Information sciences，2019，471： 29-51.

[7]ZHANJM，JIANG HB，YAO YY. Three-way multiat-tributedecision-making based on outranking relations[J]．IEEE transactions on fuzzysystems，2021，29（10）： 2844-2858.

[8]WANG T X，LI H X， ZHOU X Z，et al. A prospect the-ory-based three-way decision model[J]. Knowledge-based systems，2020，203：106129.

[9]LI H X， ZHOU X Z. Risk decision making based on de-cision-theoretic rough set： a three-way view decision mod-el[J].International journal of computational intelligencesystems，2011，4（1）：1-11.

［10］錢進，湯大偉，洪承鑫．多粒度層次序貫三支決策模型研究［J]．山東大學學報（理學版），2022，57（9）：33-45.QIANJ，TANG D W，HONG C X. Research on multi-granularity hierarchical sequential three-way decisionmodel[J]. Journal of Shandong university（natural sci-ence），2022，57（9）：33-45.

［11］董紅瑤，申成奧，李麗紅．基于鄰域容差熵選擇集成分類算法［J]．鄭州大學學報（理學版），2023，55（6）：15-21.DONG HY，SHEN C A，LI L H. Ensemble classifica-tion algorithm selecting based on neighborhood-toleranceentropy[J]. Journal of Zhengzhou university （natural sci-ence edition），2023，55（6）：15-21.

[12]YANGXB，YAO YY.Ensemble selector for attributereduction[J]. Applied soft computing，2018，70：1-11.

[13]YANG X P，YAO JT. Modelling multi-agent three-waydecisions with decision-theoretic rough sets[J]. Funda-menta informaticae，2012，115（2/3）：157-171.

[14]AGBODAH K. The determination of three-way decisionswith decision-theoretic rough sets considering the lossfunction evaluated by multiple experts[J]. Granular com-puting，2019，4（2）：285-297.

［15］李明，甘秀娜，王月波．基于集成學習的決策粗糙集特定類屬性約簡算法[J]．計算機應用與軟件，2021，38（6） ： 262-270.LIM，GAN X N，WANG Y B. Class-specific attributereduction algorithm for decision-theoretic rough sets basedon ensemble learning[J]. Computer applications andsoftware，2021，38（6）：262-270.

[16]YAO Y Y. Three-way decisions with probabilistic roughsets[J]. Information sciences，2010，180（3）：341-353.

［17］毛華，牛振華，馬經澤，等．三支區間集半概念的代數結構及覆蓋粗糙近似算子[J]．鄭州大學學報（理學版），2024，56（6）：84-90.MAOH，NIU ZH，MAJZ，et al.Algebra structure andcovering approximation operators of three-way interval-setsemiconcepts[J]. Journal of Zhengzhou university（natu-ral science edition），2024，56（6）：84-90.

［18］康凱，胡軍．基于三支聚類的協同過濾推薦方法［J].鄭州大學學報（理學版），2022，54（3）：22-27.KANG K，HU J. Collaborative filtering recommendationmethod based on three-way clustering［J].Journal ofZhengzhou university（natural science edition），2022，54（3）：22-27.

[19]QIANYH，LISY，LIANGJY，et al.Pessimisticrough set based decisions：a multigranulation fusion strat-egy[J]．Information sciences，2014，264：196-210.