一種新的基于多樣性賦權證據推理的集成學習方法

作者簡介：湯凱（1999－），男，安徽宿州人，碩士研究生，主要研究方向為人工智能、證據推理規則；李康樂（1978－），女，黑龍江哈爾濱人，副教授，碩士，主要研究方向為證據推理理論、安全狀態評估；孫國文（1996－），男，甘肅蘭州人，碩士研究生，主要研究方向為證據推理理論、置信規則庫；李紅宇（1973－），女（通信作者），黑龍江哈爾濱人，副教授，碩導，碩士，主要研究方向為數據挖掘、大數據技術（hsdlihy@163.com）；張昳哲（1996－），男，湖南長沙人，碩士研究生，主要研究方向為證據推理理論、集成學習；賀維（1980－），男，黑龍江哈爾濱人，副教授，碩導，博士，主要研究方向為證據推理、深度學習、置信規則庫.

摘 要：在集成學習中使用平均法、投票法作為結合策略無法充分利用基分類器的有效信息，且根據波動性設置基分類器的權重不精確、不恰當。以上問題會降低集成學習的效果，為了進一步提高集成學習的性能，提出將證據推理（evidence reasoning，ER）規則作為結合策略，并使用多樣性賦權法設置基分類器的權重。首先，由多個深度學習模型作為基分類器、ER規則作為結合策略，構建集成學習的基本結構；然后，通過多樣性度量方法計算每個基分類器相對于其他基分類器的差異性；最后，將差異性歸一化實現基分類器的權重設置。通過多個圖像數據集的分類實驗，結果表明提出的方法較實驗選取的其他方法準確率更高且更穩定，證明了該方法可以充分利用基分類器的有效信息，且多樣性賦權法更精確。

關鍵詞：集成學習；深度學習；證據推理理論；多樣性

中圖分類號：TP181 文獻標志碼：A 文章編號：1001－3695（2023）04－009－1012－07doi： 10.19734/j.issn.1001－3695.2022.08.0429

Abstract：Using the average method and the voting method as a combination strategy can’t make full use of the effective information of the base classifiers in ensemble learning， and the weights of base classifiers set with the volatility are imprecise and inappropriate. The above problems will reduce the effect of ensemble learning. In order to further improve the performance of ensemble learning， this paper proposed an ensemble learning method， which used evidence reasoning （ER） rules as a combination strategy and used diversity empowerment method set up the weights of the base classifiers. Firstly， the model used multiple deep learning models as the base classifiers and the ER rules as the combination strategy to construct the basic structure of ensemble learning. Then， it calculated the differences of each base classifier with respect to other base classifiers by the diversity measure method. Finally， it used the results of the differences normalization of the base classifiers as the weights of the base classifiers. Through the classification experiments of multiple image datasets， the experimental results show that the proposed method is more accurate and stable than other methods， which proves that this method can make full use of the effective information of the base classifiers， and the diversity weighting method is more accurate.

Key words：ensemble learning; deep learning; evidence reasoning rules; diversity

0 引言

單個學習器會由于誤選從而導致泛化能力不佳，集成學習用某種策略結合多個弱學習器得到一個強學習器，以此提高模型的泛化能力并提高模型的準確率，使得集成學習模型比單一的學習器有更好的性能。

目前常用的集成學習模型主要包括Bagging、Boosting和Stacking，且基分類器之間的差異性越大，集成效果越好［1］。泛化誤差用來衡量模型的泛化能力，通常使用偏差—方差分解來解釋學習算法的泛化能力，其中Boosting通過減小偏差來降低泛化誤差；Bagging和Stacking通過減小方差來降低泛化誤差以達到提高準確率的效果。Bagging算法采用放回抽樣得到多個包含特定數量的數據集，每個數據集訓練一個基分類器，通常使用投票法對基分類器的輸出結果進行結合，對不穩定的分類器集成效果較好，但對于穩定的分類器集成效果不理想［2，3］。Boosting算法通過改變數據的概率分布，增大被錯誤分類樣本的權重，使這些樣本在下次訓練時受到更多關注，最后將基分類器的預測值加權平均得到最終集成結果［4］，但Boosting算法易受到噪聲的影響而產生過擬合現象，且在集成過程中多個次級學習器只能根據上一級學習器的結果順序生成，訓練效率較差。Stacking算法是一個分層結構，第一層的分類器稱為基分類器，第二層的分類器稱為元分類器，將多個基分類器的輸出作為元分類器的輸入，融合多個基分類器的特點，達到提高分類準確率的效果［5］，但是元分類器的選取直接影響著集成的效果，且集成效果對元分類器的參數比較敏感［6］。隨著學習器的訓練程度加深，學習器的擬合能力加強、偏差降低，但方差增大。經過充足的訓練后，方差逐漸主導泛化錯誤率，此時應著重降低方差；如果學習器學習到了數據自身、非全局的特征，將出現過擬合現象［7］。例如深度學習模型由于強大的擬合能力，通常存在過擬合現象，經常采用正則化來緩解過擬合現象。而集成學習作為正則化方法之一，當深度學習模型充足訓練之后應著重降低方差以得到泛化能力強的模型。Stacking或Bagging算法通過降低方差來減小泛化誤差，但Bagging算法對分類問題通常使用投票法、回歸問題使用平均法作為組合策略來結合多個基分類器，無法有效挖掘基分類器輸出結果的可利用信息［8］。Stacking集成學習方法引入元分類器的概念，對多個基分類器輸出結果再次訓練，充分利用基分類器的輸出信息。此外，當訓練一個模型對特定問題求解時，通常因為選擇模型或參數調優的過程生成了多個版本的學習器，且組合策略計算成本通常很小，所以構建的集成學習模型與單個學習器的計算成本差別不太大［9］。

基于以上分析，Stacking算法使用元分類器充分利用多個基分類器的輸出信息，但是需要合適的元分類器及恰當的參數達到更好的集成效果。證據推理（ER）規則作為一種優秀的信息融合方法，由Yang等人在考慮了證據的權重及可靠性的基礎上提出，是一種概率推理過程，能夠有效地處理數據的不確定信息，使得融合結果客觀、透明，可以有效地解決Dempster-Shafer證據推理中存在的證據沖突和指數爆炸等問題［10，11］。文獻［12］使用ER規則解決多源不確定性故障特征信息的融合決策問題。文獻［13］在群組推薦系統中的群組偏好融合階段使用ER規則，提高了推薦結果的準確性。文獻［14］基于ER規則提出一種新的模糊多屬性決策方法，并證明了所提方法的有效性。文獻［15］對于航天繼電器獲得的不精確、不確定信息，使用ER規則融合兩個主要指標處理數據的概率不確定與模糊不確定。ER規則中的可靠度是客觀、絕對的，而權重表示了證據之間的相對重要程度，是主觀、相對的［16］。因此對不同問題求解需要考慮數據源的特性找到適合的權重設置方法。綜上所述，ER規則能夠有效處理Stacking算法中基分類器輸出的不確定、非精確預測結果，且參數的設置具有實際意義，本文將其作為元分類器，對基分類器的預測結果進行集成。

ER規則可由多種方法完成權重的設置，不同的數據源下，最優的賦權方法不同。常見的求解權重的方法有熵權法、層次分析法、變異系數法等。文獻［17］采用了主觀和客觀賦權的方式組合賦權作為ER規則的權重以提升集成模型的準確率。文獻［18］通過構建離差最大化組合評價模型對熵權法與變異系數法組合賦權計算客觀權重。文獻［19］使用變異系數法設置權重以評估激光慣導系統的性能。文獻［20］使用熵權法設置權重提高了協作節點的檢測概率。文獻［21］使用層次分析法選擇權重因子，然后根據服務請求選擇合適的網絡。文獻［22］使用獎懲策略動態更新權重對卷積神經網絡評估。以上文獻多采用熵權法、變異系數法、層次分析法根據數據的波動性或主觀賦權方法，由于基分類器輸出結果受多個參數影響，所以主觀難以準確得到基分類器的相對重要程度。由于基分類器的輸出結果有很大的不確定性，所以根據波動性賦權使得對基分類器求取的權重不精確、不恰當。準確率與多樣性是影響集成學習效果的重要因素，而文獻［8，17］在使用ER規則集成時僅考慮了基分類器的準確率，而未考慮到多樣性在集成學習中的影響。文獻［8］使用熵權法作為ER規則的權重，文獻［17］使用熵權法、CRTIC法與層次分析法組合賦權作為證據的權重，使得權重的設置隨數據的波動、主觀性變化。集成學習中多樣性指基分類器之間的差異，基分類器之間的差異越大，集成的效果越好。在集成學習中一個基分類器相對于其他基分類器的差異越大，對其他基分類器預測錯誤的樣本集合而言，此基分類器可以預測正確的樣本數量越多，在ER規則中的權重應該越大，在融合過程中使其他基分類器預測錯誤的樣本得到此基分類器預測正確的樣本更大補償，以增大基分類器之間的互補效果。因此，提出一種新的基于多樣性賦權證據推理的集成學習方法，在使用ER規則的過程中同時考慮了基分類器的準確率與多樣性，且權重的設置客觀、不容易受數據特征波動的影響。多樣性度量的典型做法是考慮兩兩基分類器之間的不相似性或相似性，如不合度量（disagreement mea-sure）、Q-統計量（Q-statistic）、k-統計量（k-statistic）等。多樣性賦權法根據這些多樣性度量指標獲得單個基分類器與剩余基分類器的差異以實現ER規則權重的設置。

本文的創新點在于：a）針對基分類器輸出結果的不確定性提出使用ER規則作為元分類器，基于基分類器之間的差異性設置ER規則的權重；b）根據常用的多樣性度量方法改進表現形式，以更恰當地作為權重。

1 問題描述

Stacking集成學習算法使用元分類器融合上一層基分類器的預測信息，以此提高模型的泛化能力及準確率。使用Stacking集成學習模型需要解決兩個問題：

a）為了充分利用基分類器的輸出信息，提高分類器的泛化能力，需要構造恰當的組合策略［23］。組合策略直接影響著集成效果，一個良好的組合策略可以有效融合多個基分類器的預測結果，補償由于不正確的學習而導致的錯誤信息，提高預測的準確率。構建過程可以被描述為

2 基于ER規則的Stacking集成學習模型

Stacking算法將多個基分類器的輸出結果作為下一層分類器的輸入，融合不同基分類器的特點，從而構成一個強學習器，以此獲得更優的模型。ER規則明確地區分了證據的可靠性及重要性，使得在證據的融合過程中嚴格、可信［12］，可以較好地處理不確定性，且在多領域有著優秀的決策效果，因此使用ER規則作為Stacking算法的次級學習器。將多個基分類器的輸出作為ER規則的證據，通過多樣性度量方法計算基分類器的多樣性，再根據基分類器的多樣性轉換為每個基分類器相對于剩余基分類器的差異性得到ER規則的權重，可靠度由基分類器預測的準確率賦值。基于ER規則且考慮多樣性賦權的Stacking集成學習方法如圖1所示。

2.1 Stacking集成學習算法

Stacking算法是一種常用的集成學習算法，通常分為兩層：第一層的學習器通過訓練原始數據得到初級學習器，也稱做基分類器；第二層學習器的訓練數據為第一層學習器的輸出，訓練得到次級學習器，也稱做元分類器。Stacking算法通過引入元分類器的概念、融合多個基分類器的特點，進而提升模型的性能。

Stacking算法如果直接使用基分類器在訓練集的輸出結果訓練元分類器，會增加模型的過擬合風險。一般情況下采用交叉驗證的方法，使用未參與訓練的樣本產生預測結果作為元分類器的訓練集。本文針對圖像分類任務將數據集劃分為訓練集、驗證集和測試集。其中驗證集未參與訓練過程，而是用來評估模型的準確率及元分類器參數的確定。將多個深度學習模型作為基分類器，ER規則作為元分類器，首先使用圖像的訓練集訓練基分類器，之后使用訓練后的基分類器對驗證集的樣本作出預測，并將驗證集的預測信息作為元分類器的訓練集，以降低模型過擬合風險。本文的Stacking集成學習算法可分為三個階段：

a）假設Stacking模型第一層有m個深度學習模型。使用圖像數據集劃分的訓練集對這些基分類器進行訓練，得到訓練后的m個深度學習模型。

b）由第一階段得到訓練后的m個基分類器分別預測驗證集的樣本，得到m個基分類器預測的信息D：{D1，…，Dm}，其中Dm表示第m個基分類器的預測信息。驗證集的預測信息D與驗證集的標簽作為ER規則的訓練集，將Dm的每條預測信息最大值的類別作為這條樣本的預測類別。使用不合度量、Q-統計量、k-統計量計算基分類器的多樣性，根據這三種多樣性度量方法的特點，將得到的多樣性轉換為每個基分類器的權重，將基分類器的準確率作為ER規則的可靠度。

c）已訓練的基分類器預測圖像測試集樣本，得到預測信息Dp：{Dp1，…，Dpm}，其中Dpm的每條預測信息作為ER規則每個樣本的一條證據，將階段b）的基于多樣性得到的權重與根據基分類器預測的準確率作為ER規則的參數，融合Dp每個樣本中的m條證據，將融合結果最大值的類別作為集成后的預測結果。

2.2 基分類器可靠度的設置

可靠性是數據源的固有屬性，在ER規則中，可靠性表示信息源的屬性或指標在解決特定問題時提供精確評估或解答的能力［12］。由證據推理規則的可靠性定義結合本文所研究的問題，使用基分類器在驗證集上預測的準確率作為基分類器的可靠度。

2.3 基分類器的多樣性權重設置

在ER規則中，證據的權重表示證據的相對重要程度。權重的設定有兩種方式：一種是主觀賦權法，如層次分析法；另外一種是客觀賦權法，如熵權法、變異系數法等。由于將多個深度學習模型作為基分類器，深度學習模型的結果受到多個參數的影響，主觀難以評定基分類器的相對重要程度，所以剔除了主觀賦權法；客觀賦權法主要根據指標之間的波動性設置權重，由于基分類器的輸出結果有很大的不確定性，使得波動性賦權不精確，所以本文由Stacking模型中基分類器之間的差異作為賦權依據。若某個基分類器相對于剩余基分類器的差異越大，其權重應當越大，使其他基分類器在錯誤樣本上獲得此基分類器預測正確的樣本更多補償，可以達到基分類器之間互補的效果，且這種方法客觀、不容易受基分類器輸出結果影響。多樣性度量的典型做法是考慮兩兩基分類器之間的不相似性或相似性，可由以下度量方法表示，并對其作出修改以適應對權重的賦值。

3 案例分析

為了驗證本文提出方法的有效性和泛化性，本章首先使用第2章構建的Stacking模型的三個基于多樣性賦權方法確定的權重diversity-d、diversity-Q、diversity-k，與熵權法、變異系數法在五個數據集上驗證多樣性賦權法的有效性。其次在上述五個數據集上通過ER規則、投票法（voting）、K近鄰（KNN）、隨機森林（RF）四種方法的對比實驗，驗證了基于ER規則的Stacking集成學習方法具有較強的泛化能力。每個數據集按6∶1∶3比例劃分為訓練集、驗證集、測試集。基分類器在訓練集訓練，根據基分類器在驗證集上預測的結果得到元分類器所需要的權重和可靠度，對測試集數據進行評估和驗證。

3.1 基于場景識別數據集的實驗

本次實驗選用AI Studio平臺公開場景識別數據集，共計3 040張，四種場景分別為河流（769張）、草地（752張）、冰雪（762張）、沙漠（757張）。使用GhostNet、HRNet、RepVGG、ResNet-50、SpinalNet五種深度學習模型作為基分類器，ER規則作為元分類器對其進行訓練預測。實驗具體步驟如下：

a）將數據集按照6∶1∶3比例劃分為訓練集、驗證集、測試集，使用以上五種深度學習模型在訓練集上訓練。在以上五種已經訓練的深度學習模型中選擇三種，對驗證集和測試集的數據作出預測。深度學習模型最后一層的全連接層接softmax激活函數得到四種場景的類概率作為基分類器的輸出信息；每個深度學習模型在每條樣本的四個類概率作為ER規則的一條證據，因此ER規則每次集成融合三條證據。

b）每個深度學習模型在驗證集的準確率作為ER規則的可靠度。每個深度學習模型在驗證集上的輸出信息與驗證集的標簽作為求取ER規則中證據權重的數據源。將基分類器在驗證集上每條樣本輸出信息中最大值的類別作為基分類器的預測結果，以獲得同表1所示的每兩個基分類器預測結果的列聯表，并使用三種多樣性賦權方法得到ER規則的權重。

c）將選擇的三個深度學習模型在測試集的輸出信息作為ER規則的三條證據，從步驟b）計算的可靠度、權重作為ER規則的參數。ER規則對這三條證據融合，并將每個測試集的樣本融合結果最大值的類別作為集成學習后的最終結果。實驗結果如表2、3所示。其中GHV 表示GhostNet 、HRNet 、RepVGG 三個基分類器的組合，V表示RepVGG模型，R表示ResNet-50模型。

由表2、3可知，由熵權法、變異系數法確定權重的集成學習模型準確率在十種基分類器組合中優于單個深度學習模型的準確率。由diversity-d確定的權重比由熵權法確定權重在十種基分類器組合平均提升0.96%。基于多樣性賦權法三種確定權重方法均優于由熵權法、變異系數法確定的權重。

表4、5給出了在GHV組合下由不合度量確定權重的一個ER規則集成的樣本案例。由表3可知，雖然RepVGG預測的準確率最低，但權重最大，這是由于基分類器的準確率與多樣性本身存在沖突，基分類器在提高準確率的同時會降低模型的多樣性［7］。基于多樣性賦權可以將差異性大的基分類器賦值更大的權重，用來補償準確率高的基分類器預測錯誤的樣本；同時準確率高但差異性小的基分類器在ER規則的可靠度上的值較大，用來補償準確率較低但多樣性大的基分類器預測錯誤的樣本，進而總體上達到多個基分類器之間互補的效果，以提高集成學習模型的準確率。表5中的數值為各個分類器對不同類別的支持程度，數值越大，表明分類器對這個類別的支持程度越大。

分別使用投票法、隨機森林、K近鄰三種方法與以不合度量確定權重為代表的多樣性賦權的ER規則集成學習方法進行對比，在相同條件下隨機森林取10次實驗的平均準確率，實驗結果如圖3所示。

由圖3可知，KNN在HVR組合上高于其他方法，但其并不具有良好的泛化能力，過度依賴于訓練集的選取；而投票法丟棄大量未利用的信息，只根據基分類器的判別結果作出評價，因此其效果表現較差；隨機森林雖然在某幾種組合上要高于經過ER規則集成的效果，但其總體準確率及穩定性上仍不如由ER規則集成的效果好。由此可得，經過ER規則作為次級學習器的準確率及穩定性上優于其他對比方法。

3.2 基于天氣識別數據集的實驗

本次實驗選用AI Studio平臺天氣識別數據集，共計4 683張圖片，四種天氣分別為雪天（894張）、夜晚（1 605張）、霧天（1 104張）、雨天（1 080張）。使用GhostNet、HRNet、RepVGG、ResNet-50、SpinalNet五種深度學習模型作為基分類器，ER規則作為元分類器對其進行訓練預測。每次實驗在五種基分類器中選擇三個集成，基于多樣性賦權ER規則的集成學習方法與不同賦權方法的實驗對比如圖4所示，本文方法與其他方法的對比如圖5所示。

由圖4可知基于多樣性確定權重的三種方法準確率明顯優于由熵權法確定權重的準確率，在GHS、GRS、HVS、VRS組合上由diversity-d多樣性賦權方法略低于變異系數法確定權重的效果，但在此數據集下總體優于由變異系數法確定權重的準確率，由熵權法賦權的集成效果最差。

由圖5可知在此數據集下隨機森林的表現較差，由于深度學習模型的訓練過程不可解釋，同一類別中的不同圖像在同一模型下的預測結果有較大差別，隨機森林在集成過程中受訓練樣本質量及分布影響較大，導致隨機森林的訓練出現不穩定及效果差的情況。相比之下KNN算法雖然表現穩定，但預測精度不足，投票法依然表現較差。經過ER規則集成的效果在準確率及穩定性上都表現最好。

3.3 基于動物識別數據集的實驗

本次實驗選用AI Studio平臺公開動物識別數據集，共計5 522張圖片，四種動物分別為雞（2 102張）、牛（1 266張）、大象（990張）、貓（1 164張）。使用上文五種深度學習模型作為基分類器，ER規則作為元分類器對其進行訓練預測。每次實驗在五種基分類器中選擇三個集成，基于多樣性賦權ER規則的集成學習方法與不同賦權方法的實驗對比如圖6所示，本文方法與其他方法的對比如圖7所示。

由圖6可知，在此數據集上基于多樣性確定權重的三種方法的集成準確率相差不大，但均優于由熵權法、變異系數法確定權重的準確率，其中由diversity-d多樣性賦權方法效果最佳，效果明顯優于由熵權法、變異系數法確定權重。

由圖7可得，雖然隨機森林在HRS組合上的準確率超過由ER規則集成之后的準確率，但在其他組合中及總體上仍與ER規則集成后的效果有較大差距；其次ER規則的推理過程融合效果好且透明，其計算結果可追溯。另外在醫療影像分類領域要求集成過程可解釋性［24］，這是由ER規則集成的一個優點。

3.4 基于水果識別與桃子分揀數據集的實驗

為體現本文方法的泛化性，使用另外兩個數據集進行驗證。本次實驗選用AI Studio平臺公開水果識別與桃子分揀數據集，其中水果識別數據集共計3 043張圖片，四種水果分別為桃子（743張）、橘子（755張）、蘋果（780張）和香蕉（765張）。桃子分揀數據共計6 637張，四種類型分別為頭大且成熟（1 601張）、個頭大但不成熟（160張）、個頭中等（1 800張）和個頭小（1 635張）。使用五種深度學習模型作為基分類器，ER規則作為元分類器對其進行訓練預測。水果識別數據集上基于多樣性賦權ER規則的集成學習方法與不同賦權方法的對比如圖8所示，本文方法與其他方法的對比如圖9所示。桃子分揀數據集基于多樣性賦權ER規則的集成學習方法與不同賦權方法的對比如圖10所示，本文方法與其他方法的對比如圖11所示。

由圖8～11可知，在水果、桃子識別數據集上使用ER規則集成時，賦權方法對集成效果的影響不大，但diversity-Q、diversity-k多樣性賦權方法效果較佳。在水果識別數據集中ER規則在HVR組合表現較差，隨機森林的表現較ER規則集成的效果好。桃子分揀數據集上，不同集成方法的效果差異不大。

3.5 實驗結果分析

為了驗證本文所提方法的有效性，經過五個數據集上的對比實驗表明，基于多樣性賦權證據推理的集成學習方法可以提高模型的泛化能力及準確性，并得到以下結果分析：a）使用ER規則作為元分類器，由三種多樣性法確定ER規則的權重效果均優于由熵權法、變異系數法確定權重，由diversity-d多樣性賦權法相對于其他兩種多樣性賦權法效果較好；b）本文提出的基于多樣性確定權重的Stacking集成學習方法優于KNN算法，在與隨機森林的比較當中，在某些組合上隨機森林比本文方法的準確率稍高。考慮本文所提方法的穩定性及可解釋性，本文所提方法仍有良好的效果。

4 結束語

本文提出一種新的基于多樣性賦權證據推理的集成學習方法，經過充分實驗得到以下結論并提出了下一步工作：

a）本文根據基分類器輸出結果的不確定性提出使用ER規則作為組合策略，使用基分類器的差異性作為ER規則的權重，首先由根據三種多樣性度量方法轉換為單個基分類器與其他基分類器的差異，然后歸一化實現ER規則的權重設置。本文方法提高了模型的泛化能力及準確性。

b）由于三種多樣性賦權方法在不同數據集上最優的多樣性賦權方法不同，可以考慮融合這三種方法得到更加穩定、效果更佳的組合賦權方法。

c）在實驗的過程中發現，雖然基分類器在整體的準確率上相近，但不同的基分類器在不同的類別上的預測準確率存在著較大差異。下一步研究工作可以根據基分類器在不同類別上存在的不同優勢來調整ER規則的參數，以得到更優的模型。

參考文獻：

［1］姜正申，劉宏志，付彬，等. 集成學習的泛化誤差和AUC分解理論及其在權重優化中的應用 ［J］. 計算機學報，2019，42（1）： 1－15. （Jiang Zhengshen，Liu Hongzhi，Fu Bin，et al. Decomposition theories of generalization error and AUC in ensemble learning with application in weight optimization ［J］. Chinese Journal of Compu-ters，2019，42（1）： 1－15.）

［2］Breiman L. Bagging predictors ［J］. Machine Learning，1996，24（8）： 123－140.

［3］徐繼偉，楊云. 集成學習方法： 研究綜述 ［J］. 云南大學學報： 自然科學版，2018，40（6）： 1082－1092. （Xu Jiwei，Yang Yun. A survey of ensemble learning approaches ［J］. Journal of Yunnan University： Natural Sciences Edition，2018，40（6）： 1082－1092.）

［4］Freund Y，Schapire R E. A decision-theoretic generalization of on-line learning and an application to Boosting ［J］. Journal of Computer and System Sciences，1997，55（1）： 119－139.

［5］Wolpert D H. Stacked generalization ［J］. Neural Networks，1992，5（2）： 241－259.

［6］Ting Kaiming，Witten I H. Issues in stacked generalization ［J］. Journal of Artificial Intelligence Research，1999，10（1）： 271－289.

［7］周志華. 機器學習 ［M］. 北京： 清華大學出版社，2016. （Zhou Zhihua. Machine learning ［M］. Beijing： Tsinghua University Press，2016.

［8］朱海龍，徐聰，曲媛媛，等. 一種基于證據推理規則的集成學習方法 ［J］. 小型微型計算機系統，2021，42（8）： 1604－1609. （Zhu Hailong，Xu Cong，Qu Yuanyuan，et al. Research on the integrated learning method based on evidence reasoning rule ［J］. Journal of Chinese Computer Systems，2021，42（8）： 1604－1609.）

［9］Zhou Zhihua. Ensemble methods： foundations and algorithms ［M］. Boca Raton： Chapman and Hall/CRC，2012.

［10］Yang JianBo，Xu DongLing. Evidential reasoning rule for evidence combination ［J］. Artificial Intelligence，2013，205（12）： 1－29.

［11］周志杰，唐帥文，胡昌華，等. 證據推理理論及其應用 ［J］. 自動化學報，2021，47（5）： 970－984. （Zhou Zhijie，Tang Shuaiwen，Hu Changhua，et al. Evidential reasoning theory and its applications ［J］. Acta Automatica Sinica，2021，47（5）： 970－984.）

［12］徐曉濱，鄭進，徐冬玲，等. 基于證據推理規則的信息融合故障診斷方法 ［J］. 控制理論與應用，2015，32（9）： 1170－1182. （Xu Xiaobin，Zheng Jin，Xu Dongling，et al. Information fusion method for fault diagnosis based on evidential reasoning rule ［J］. Control Theory amp; Applications，2015，32（9）： 1170－1182.）

［13］王永貴，張鑒. 融合概率矩陣分解與ER規則的群組推薦方法 ［J/OL］. 計算機工程與應用.［2022－08－20］. http：//kns.cnki. net/kcms/detail/11.2127.TP.20220422.1205.004.html. （Wang Yonggui，Zhang Jian. Group recommendation method integration pro-bability matrix decomposition and ER rules ［J/OL］. Computer Engineering and Applications.［2022－08－20］. http：//kns.cnki. net/kcms/detail/11.2127.TP.20220422.1205.004.html.）

［14］Ding Haining，Hu Xiaojian，Tang Xiao’an. Multiple-attribute group decision making for interval-valued intuitionistic fuzzy sets based on expert reliability and the evidential reasoning rule ［J］. Neural Computing and Applications，2020，32（5）： 5213－5234.

［15］Wang Jie，Zhou Zhijie，Hu Changhua，et al. Performance evaluation of aerospace relay based on evidential reasoning rule with distributed re-ferential points ［J］. Measurement，2021，182（9）： 109667.

［16］Du Yuanwei，Wang Yingming，Qin Man. New evidential reasoning rule with both weight and reliability for evidence combination ［J］. Computers amp; Industrial Engineering，2018，124（10）： 493－508.

［17］Xu Cong，Zhang Yunyi，Zhang Wei，et al. An ensemble learning method based on an evidential reasoning rule considering combination weighting ［J］. Computational Intelligence and Neuroscience，2022，2022： article ID 1156748.

［18］白麗麗，白尚旺，黨偉超，等. 基于離差最大化組合賦權的煤礦安全評價研究 ［J］. 計算機應用與軟件，2021，38（4）： 82－87. （Bai Lili，Bai Shangwang，Dang Weichao，et al. Coal mine safety assessment based on maximum deviation combination empowerment ［J］. Computer Applications and Software，2021，38（4）： 82－87.）

［19］董昕昊，周志杰，胡昌華，等. 基于證據推理的激光慣組最優維護方法 ［J］. 測控技術，2020，39（12）： 63－68. （Dong Xinhao，Zhou Zhijie，Hu Changhua，et al. Optimal maintenance method of LIMU based on evidence reasoning ［J］. Measurement amp; Control Technology，2020，39（12）： 63－68.）

［20］Lin Haifeng，Du Lin，Liu Yunfei. Soft decision cooperative spectrum sensing with entropy weight method for cognitive radio sensor networks ［J］. IEEE Access，2020，8： 109000－109008.

［21］Luong D K，Ali M，Hu Y F，et al. Simulated annealing-based multilink selection algorithm in SDN-enabled avionic networks ［J］. IEEE Access，2021，9： 145301－145316.

［22］李紅宇，黃志鵬，張廣玲，等. 動態權重證據推理規則的CNN超參數質量評估 ［J］. 小型微型計算機系統，2021，42（5）： 1015－1021. （Li Hongyu，Huang Zhipeng，Zhang Guangling，et al. Quality assessment of CNN hyper-parameters based on dynamic weight evidential reasoning rule ［J］. Journal of Chinese Computer Systems，2021，42（5）： 1015－1021.）

［23］Zhang Le，Suganthan P N. Oblique decision tree ensemble via multisurface proximal support vector machine ［J］. IEEE Trans on Cybernetics，2015，45（10）： 2165－2176.

［24］趙清一，孔平，閔建中，等. 肺結節檢測與分類的深度學習方法綜述 ［J］. 生物醫學工程學雜志，2019，36（6）： 1060－1068. （Zhao Qingyi，Kong Ping，Min Jianzhong，et al. A review of deep learning methods for the detection and classification of pulmonary nodules ［J］. Journal of Biomedical Engineering，2019，36（6）： 1060－1068.）

［25］Skalak D B. The sources of increased accuracy for two proposed boosting algorithms ［C］// Proc of AAAI Integrating Multiple Learned Models Workshop. Palo Alto，CA： AAAI Press，1996： 1133.

［26］Ho T K. The random subspace method for constructing decision forests ［J］. IEEE Trans on Pattern Analysis amp; Machine Intel-ligence，1998，20（8）： 832－844.

［27］Partridge D，Krzanowski W. Software diversity： practical statistics for its measurement and exploitation ［J］. Information and Software Technology，1997，39（10）： 707－717.

［28］Yule G U. On the association of attributes in statistics： with illustrations from the material of the childhood society，amp;c ［J/OL］. Philosophical Transactions of the Royal Society of London，1900，194（252－261）. https：//doi.org/10.1098/rsta.1900.0019.

［29］Margineantu D D，Dietterich T G. Pruning adaptive boosting ［C］// Proc of the 14th International Conference on Machine Learning. San Francisco，CA： Morgan Kaufmann Publishers，1997： 211－218.