一種基于自適應證據推理規則的集成學習方法

摘 要：當前集成學習中的結合策略難以兼顧各個基學習器之間的信息和模型的可解釋性。使用證據推理（evidential reasoning，ER）規則作為結合策略，將各個基學習器結果作為證據參與融合，可以較好地解決以上問題。但傳統ER規則的證據參數是單一的，對不同的基學習器模型使用相同的證據參數顯然是不合理的。為此，提出一種基于自適應證據推理（adaptive-evidential reasoning，A-ER）規則的集成學習方法，該方法在每次證據融合前對證據的類別進行判斷，針對不同的證據類別自適應分配不同的證據參數。通過不同的分類案例表明，該方法與案例中其他方法相比具有更高的分類精度，證明了該方法使證據參數設置更加合理且具有更好的可解釋性和泛化能力。

關鍵詞：證據推理規則； 集成學習； 結合策略； 自適應

中圖分類號：TP181 文獻標志碼：A

文章編號：1001-3695（2023）08-006-2281-05

doi：10.19734/j.issn.1001-3695.2022.12.0824

Ensemble learning method based on adaptive evidential reasoning rule

Lai Weiwen He Wei

（1.College of Computer Science amp; Information Engineering， Harbin Normal University， Harbin 150025， China; 2.PLA Rocket Force University of Engineering， Xi’an 710025， China）

Abstract：Current ensemble learning combination strategies have difficulty in accommodating information and explainability of models among base learners. Using evidential reasoning （ER） rules as a combination strategy， the above problems can be solved by involving the results of each base learner as evidence in the integration. However， the evidence parameters of conventional ER rule are single， and it is obviously unreasonable to use the same evidence parameters for different base learner models. This paper proposed an ensemble learning method based on adaptive evidential reasoning （A-ER） rule. This method judged the type of evidence before each evidence fusion and adaptively assigned the different evidence parameters according to different types of evidence. Results from different classification cases show that the proposed method has a higher classification accuracy compared to other methods in the cases. It proves that this method has more reasonable evidence parameter settings and superior interpretability and generalization ability.

Key words：evidential reasoning rule; ensemble learning; combination strategy; adaptive

0 引言

集成學習通過訓練多個學習器構建基模型，并使用結合策略將這些基模型進行融合。在這個過程中，單個模型的誤差可能被其他模型補償，從而獲得比單個學習器更好的學習效果［1］。集成學習作為機器學習的熱門方向之一，曾被著名學者Dietterich列為機器學習的四個研究方向之首［2］。

近年來，集成學習方向的研究越來越受到各個領域學者的重視。Yu［3］提出了一種基于進化規則的非對稱加權最小二乘支持向量機集成學習方法，該方法在用于軟件知識庫挖掘時被證明能有效提高分類精度。Guo等人［4］提出了一種基于統計技術和機器學習技術的多階段自適應分類器集成模型，該方法根據基分類器在數據集中的表現自適應地從候選分類器庫中選擇基分類器。Zhang等人［5］提出了一種具有增強的離群點適應性的多階段合集模型，采用Bagging策略來增強局部離群點因子算法，構建一個離群點適應性訓練集來增強集成學習中基分類器的離群點適應能力。Hedeya等人［6］提出了一種解決車輛類型分類問題的超級學習集成方法，使用數據自適應方法學習融合權重，以獲得最佳基學習器組合。Agarwal等人［7］提出了一種考慮到數據集內在相似性的自適應集成學習方法，該方法被用于提取指紋圖像，并取得了良好的效果。Rizeei等人［8］提出了一種用于地下水含水層潛力測繪的集成多適應性邏輯回歸模型，通過與不同類型的機器學習模型的結果比較，證明這種模型在減少誤差和偏差方面比其他方法更有效。集成學習需要在基學習器完成學習后對所有模型進行融合，以上文獻中集成學習方法所使用的結合策略大多為投票法、平均法和學習法。其中，投票法和平均法只是對結果的簡單分析，不能有效地挖掘每個分類器的內部信息，不能清晰地反映每個分類器之間存在的關系；學習法雖然具有較好的組合效果，但其組合過程缺乏可解釋性。因此，迫切需要一種能夠有效融合各分類器的內部信息并具有一定可解釋性的結合策略。

2013年，Yang等人［9］提出了一種基于Dempster-Shafer（D-S）證據理論的ER規則，考慮了證據的權重和證據的可靠度，該規則可以有效解決D-S證據理論中的問題，為證據組合和信息融合提供有效的方法。作為D-S理論的進一步發展，ER規則已被廣泛應用于故障診斷［10，11］、多屬性決策［12，13］、模式分類［14］、事故分析［15，16］、風險狀態評估［17，18］ 等領域。由于ER規則具有強大的證據融合能力且推理過程清晰透明，在信息融合的研究中得到了深入的發展。在ER規則的基礎上，Liao等人［19］將經典ER方法擴展為基于語言信仰的ER方法，以處理多專家多標準決策問題，在肺癌診斷中驗證了該方法的實用性。Wang等人［20］提出了一種具有可靠度的連續概率分布的ER規則，并驗證了該方法的合理性。Chen等人［21］提出了一個具有不確定參數的ER規則，以構建一個非線性優化模型來評估航空航天子系統的性能。上述研究都反映了ER規則優秀的證據融合能力，而集成學習的根本是多種基學習器的融合，所以使用ER規則對各基學習器進行融合是非常合適的。

在ER規則中，證據的置信分布是證據的基本表達形式，是一種廣義的概率表達，既能夠表征局部無知性，也能夠表征全局無知性［22］。集成學習傳統的結合策略如投票法、平均法都只考慮了各個基學習器之間數值的關系而忽略了各個基學習器之間的信息。傳統ER規則中使用的證據權重和證據可靠度是單一的，而集成學習需要融合多個基學習器的訓練結果，這可能導致基分類器在整體的準確率上相近，但不同的基分類器在不同類別上的預測準確率存在著較大差異［23］。因此在融合前，對于訓練效果不同的基分類器模型使用相同的證據權重和證據可靠度顯然是不合理的?；谏鲜鰡栴}，本文提出了一種基于自適應證據推理規則（A-ER）的集成學習方法，該方法通過A-ER規則將各基學習器結果作為證據，采用正交和算子進行證據組合，通過嚴格的概率推理保證了證據組合過程的可追溯；此外，該方法針對不同的基學習器分配權重和可靠度，并將其融入到證據的置信分布中，使得各個基學習器也參與了融合過程，其推理過程清晰透明，具有可解釋性。

本文建立了一種針對分類任務的灰盒集成學習方法，該方法使用ER規則作為結合策略，與其他結合策略相比，ER規則對基分類器的融合過程更加清晰透明，且結果可追溯；提出了一種基于自適應權重和可靠度的A-ER規則，在集成學習的融合階段，對不同基學習器的證據權重和可靠度進行自適應選擇。

1 問題描述

1.1 問題描述

本文主要解決了以下問題：

問題1 集成學習的結合策略。集成學習的結合策略一般有投票法、平均法和學習法等。其中，投票法的基學習器效果不能相差太大，否則效果較差的模型可能會影響最終結果；平均法在大規模融合中可能導致過度擬合；學習法則普遍缺乏可解釋性。這些方法只是將基學習器的結果結合起來，各學習器之間的內部信息不能得到有效反映。針對該問題，本文以ER規則作為集成學習的結合策略，建立了一種用于分類任務的灰盒集成學習方法，模型的ER規則融合過程可以表示為

1.2 基于A-ER規則的模型結構

2 基于A-ER規則的集成學習模型

2.1 模型建模及構建過程

2.2 證據權重和可靠度

在A-ER規則模型中，對數據集中的每個類別都分別計算權重和可靠度。在通過ER規則融合證據之前，使用隨機森林算法確定證據類別，然后根據不同的類別分配權重和可靠度，參數集ε如圖3所示。其中，證據的權重是一個主觀因素，由熵權法計算；可靠度是一個客觀因素，由準確率統計轉換得出。

2.2.1 證據權重

2.2.2 證據可靠度

2.4 證據融合過程

3 案例分析

3.1 天氣數據集分類任務

本次實驗使用英吉利灣港口的天氣圖像數據集作為主要的案例進行詳細說明。該數據集是由加拿大不列顛哥倫比亞省溫哥華市Burrard大橋東側的一棟高層建筑上的網絡攝像頭所拍攝，它記錄了英吉利灣港口全年的不同天氣狀況。該數據集共有2 038張圖片，根據天氣狀況分為晴天、陰天、雨天和雪天四類。使用四種深度學習算法AlexNet、InceptionV3、AlexNet和VGGNet作為集成學習的基分類器預測天氣類別。數據集按6∶2∶2分為訓練集、測試集和驗證集，訓練集和驗證集被用做輸入數據，并使用四種深度學習算法對它們進行訓練。每種算法模型的主要超參數如表1所示。

如圖5所示，在不同的天氣條件下， ER規則模型與最初的四種基學習器模型相比準確率有小幅提高，這是由于集成學習對四種基學習器的分類結果進行融合，獲得了比單一基學習器更好的準確率；本文提出的A-ER規則模型在ER規則的基礎上，根據不同的基學習器自適應地選擇證據的權重和可靠度，使ER規則的參數設置更加合理，從而提高了模型準確率。各模型的總體平均準確率如表2所示，其中A-ER規則模型下的集成學習分類準確率相較于ER規則有明顯提高。

本文的主要研究內容是自適應ER規則，為驗證A-ER規則作為集成學習結合策略的有效性，本實驗在相同條件下使用加權投票法、加權平均法、模糊積分法、ER規則和A-ER規則作為結合策略進行對比。

加權平均法中權重的大小取決于每個模型在測試集上的表現，當基模型之間的效果差別過大時，模型很可能成為噪聲從而導致得到的權重不完全可靠。與加權平均法類似，加權投票法也有相關的權重問題，這兩種方法對于規模比較大的集成學習模型可能因為權重較多容易導致過擬合。模糊積分法對指標權重的確定主觀性較強，當指標集較大時，其相對隸屬度權系數往往偏小，從而導致權重與模糊矩陣不匹配，出現超模糊現象導致無法分類；模糊積分法還會隨著數據維度的增長導致模糊規則數量指數增加，從而難以處理高維數據。A-ER規則所使用的熵權法通過指標的變異程度來確定權重，其精度較高且客觀性更強，能夠更好地解釋所得到的結果。A-ER規則通過將權重和可靠度分配給辨識框架來表達不確定性，能將各個維度數據作為證據，采用正交和算子進行證據組合，能夠更好地處理多類別、高維度問題。對于平均法來說，需要根據基學習器性能選擇相應方法，如當性能相差較大時適合使用加權平均，性能相差較小時適合使用簡單平均。A-ER規則模型的證據推理構成聯合概率推理過程，對于基學習器的性能差距有較高的容忍度。此外，加權投票法相對于加權平均法更適用于分類問題，這與表3、7中的加權投票法準確率均高于加權平均法表現一致。A-ER方法并不局限于分類或回歸問題，對于其他如模式識別、風險分析等多類別權重計算均可使用。

最終分類精度如表3所示，ER規則作為結合策略與加權投票法、加權平均法和模糊積分法相比，準確率有較小幅度的提升，而A-ER規則相較于其他結合策略準確率有明顯提高。

分別對數據集中的三張不同天氣情況的典型圖像進行實驗結果分析，圖6中三張圖片分別為第86號晴天圖像、第669號陰天圖像和第1 982號雪天圖像。這三張圖像在四種基分類器中的詳細分類情況如表4所示。

表5為使用基分類器模型和使用ER規則、A-ER規則融合后的分類結果。其中，第86號圖像被四種基學習器正確分類。在該數據集實驗中，其他多數圖像的分類結果與第86號圖像的結果相同，即使用ER規則和A-ER規則的結合策略后，天氣分類結果依然正確，這表明ER規則和A-ER規則的融合結果都遵循前四種基學習器的準確性，當基學習器對同一圖片都得到正確的分類時，融合后的結果不變。與其不同，第669號圖像雖然在DenseNet和AlexNet模型中被正確分類，但在InceptionV3和VGGNet模型中卻被錯誤分類為晴天和雪天。在使用ER規則對四個結果進行融合后，結果被正確歸類為陰天，這表明ER規則的融合過程提高了結果的準確性，各基學習器的結果能通過融合有效結合起來。在對1982號圖片的分類中，有兩種基學習器模型將其正確分類為雪天，另外兩種錯誤地分類為陰天。經過融合后，ER規則模型也錯誤地將其分類為陰天。使用A-ER規則模型作為結合策略后，得到了該圖片的正確分類結果。這可能與A-ER規則的自適應過程有關，通過對每次證據融合前進行的預先類別判斷，選擇與傳統ER規則相比更為合適的證據權重和可靠度，提高了模型融合時的決策合理性，從而最終得到更準確的分類結果。

3.2 動物數據集分類任務

本次分類任務使用來自Kaggle數據集網站的動物數據集。該數據集中共3 000張圖片，其中貓、狗和熊貓各1 000張。其他實驗步驟和參數設置與3.1節天氣分類任務相同。

圖7為四種基學習器模型、ER規則和A-ER規則模型對三種動物分類準確率的比較。A-ER規則模型準確率相較其他模型有所提高。各模型的總體平均準確率如表6所示。可見A-ER規則無論是與四種基學習器模型相比還是與傳統的ER規則相比，分類精度都有較為明顯的提高。

本次實驗與3.1節實驗在相同的條件下使用加權投票法、加權平均法、模糊積分法、ER規則和A-ER規則作為結合策略對該動物數據集進行分類，最終分類精度如表7所示。結果表明，在該動物數據集中，以A-ER規則為結合策略的集成學習模型的分類效果更加優秀。

3.3 實驗分析

在以上兩個案例中，使用以A-ER規則為結合策略的集成學習模型與ER規則模型、其他結合策略模型進行對比，結果表明以A-ER規則為結合策略的集成學習模型有更加優異的效果，具體分析如下：

ER規則構成聯合概率推理過程，是D-S證據理論的延伸，而D-S證據理論是傳統貝葉斯理論的推廣，ER規則模型對于多種證據的融合有強大的理論基礎［22］。集成學習的根本是多種基學習器的融合，使用ER規則對各基學習器進行融合是非常合適的，因而在圖5、7的準確率比較中ER規則模型在大部分情況下與各基學習器模型相比效果要更好。A-ER規則模型是ER規則作為結合策略時針對多個基學習器融合問題進行的參數集完善，其同樣具有ER規則的特性。A-ER規則模型通過在每次融合前對參數集進行自適應選擇，解決了集成學習中面對不同基學習器卻使用相同權重和可靠度的問題，讓參數設置更加合理且提高了決策合理性，從而使在各種分類類別下的A-ER規則模型的效果均優于ER模型。

與其他結合策略模型相比，A-ER規則模型還具有以下特性：a）通過嚴格的概率推理，保證了證據組合過程的可追溯，推理結果為置信分布形式，具有更好的可解釋性和信息融合能力；b）證據推理可以是純數據驅動型，也可以融合定量信息和定性知識，通過一定的規則，證據推理能夠將各種形式的輸入轉換成統一的置信框架并進行證據的組合；c）對于多模型融合問題，A-ER規則能更精確地分配不同模型的參數，使結果更加精確合理；d）A-ER方法不局限于集成學習，對于其他如模式識別、風險分析等多類別權重計算均可使用。

4 結束語

本文以ER規則為結合策略構建了一種針對分類任務的灰盒集成學習模型，在此基礎上，提出了一個具有自適應證據權重和可靠度的A-ER規則集成學習方法，該方法面對不同的基分類器模型，可以依據類別自適應選擇證據權重和可靠度。通過對天氣數據集和動物數據集的案例研究分析得到以下結論：a）與傳統ER規則的集成學習模型相比，本文提出的A-ER規則模型的參數設置更加合理，分類結果更加準確；b）與其他結合策略的集成學習模型相比，基于A-ER規則的集成學習方法具有更好的可解釋性和信息融合能力，且分類效果優于其他常見結合策略；c）A-ER規則參數中的自適應類別為訓練后所得，下一步的工作中可以考慮采用不經過訓練的方法來計算A-ER規則的參數，以達到進一步提高模型可解釋性的效果；d）該方法理論上適用于如模式識別、風險分析等多種領域，但其應用效果還有待驗證。

參考文獻：

[1]Sagi O， Rokach L. Ensemble learning：a survey［J］.WIREs Data Mining and Knowledge Discovery，2018，8（4）：e1249.

［2]Dietterich T G. Machine learning research： four current directions［J］.AI Magazine，1997，18（4）：97-136.

［3]Yu Lean. An evolutionary programming based asymmetric weighted least squares support vector machine ensemble learning methodology for software repository mining［J］.Information Sciences，2012，191（5）：31-46.

［4]Guo Shanshan， He Hongliang， Huang Xiaoling. A multi-stage self-adaptive classifier ensemble model with application in credit scoring［J］.IEEE Access，2019，7：78549-78559.

［5]Zhang Wenyu， Yang Dongqi， Zhang Shuai， et al. A novel multi-stage ensemble model with enhanced outlier adaptation for credit scoring［J］.Expert Systems with Applications，2021，165（3）：113872.

［6]Hedeya M A， Eid A H， Abdel-Kader R F. A super-learner ensemble of deep networks for vehicle-type classification［J］.IEEE Access，2020，8：98266-98280.

［7]Agarwal S， Chowdary C R. A-Stacking and A-Bagging： adaptive versions of ensemble learning algorithms for spoof fingerprint detection［J］.Expert Systems with Applications，2020，146（5）：113160.

［8]Rizeei H M， Pradhan B， Saharkhiz M A， et al. Groundwater aquifer potential modeling using an ensemble multi-adoptive boosting logistic regression technique［J］.Journal of Hydrology，2019，579（12）：124172.

［9]Yang Jianbo， Xu Dongling. Evidential reasoning rule for evidence combination［J］.Artificial Intelligence，2013，205（12）：1-29.

［10]Ning Pengyun， Zhou Zhijie， Cao You， et al. A concurrent fault diagnosis model via the evidential reasoning rule［J］.IEEE Trans on Instrumentation and Measurement，2021，71：1-16.

［11]Tang Shuaiwen， Zhou Zhijie， Hu Changhua， et al. A new evidential reasoning rule-based safety assessment method with sensor reliability for complex systems［J］.IEEE Trans on Cybernetics，2020，52（5）：4027-4038.

［12]Yuan Jiahang， Luo Xinggang. Approach for multi-attribute decision ma-king based on novel intuitionistic fuzzy entropy and evidential reasoning［J］.Computers amp; Industrial Engineering，2019，135（9）：643-654.

［13]Tang Shuaiwen， Zhou Zhijie， Han Xiaoxia， et al. A new evidential reasoning rule considering interval uncertainty and perturbation［J/OL］.IEEE Trans on Cybernetics.（2021）.http：//doi.org/10.1109/tcyb.2021.3120558.

［14]Liu Zhunga，Pan Quan， Mercier G， et al. A new incomplete pattern classification method based on evidential reasoning［J］.IEEE Trans on Cybernetics，2014，45（4）：635-646.

［15]Dunham J， Johnson E， Feron E， et al. Unmanned systems health analysis through evidential reasoning networks［C］//Proc of the 39th AIAA/IEEE Digital Avionics Systems Conference.Piscataway，NJ：IEEE Press，2020：1-10.

［16]Huang Wencheng， Liu Yuankai， Zhang Yue， et al. Fault tree and fuzzy D-S evidential reasoning combined approach： an application in railway dangerous goods transportation system accident analysis［J］.Information Sciences，2020，520（5）：117-129.

［17]Wei Daojiang， Xu Dongsheng， Zhang Yong. A fuzzy evidential reasoning-based approach for risk assessment of deep foundation pit［J］.Tunnelling and Underground Space Technology，2020，97（3）：103232.

［18]Wang Ying， Zhan Limao. Feature-based evidential reasoning for probabilistic risk analysis and prediction［J］.Engineering Applications of Artificial Intelligence，2021，102（6）：104237.

［19]Liao Huchang， Fang Ran， Yang Jianbo， et al. A linguistic belief-based evidential reasoning approach and its application in aiding lung cancer diagnosis［J］.Knowledge-Based Systems，2022，253（10）：109559.

［20]Wang Jie， Zhou Zhijie， Hu Changhua， et al. A new evidential reasoning rule with continuous probability distribution of reliability［J］.IEEE Trans on Cybernetics，2021，52（8）：8088-8100.

［21]Chen Leiyu， Zhou Zhijie， Hu Changhua， et al. Performance evaluation of complex systems using evidential reasoning approach with uncertain parameters［J］.Chinese Journal of Aeronautics，2021，34（1）：194-208.

［22]周志杰，唐帥文，胡昌華，等.證據推理理論及其應用［J］.自動化學報，2021，47（5）：970-984.（Zhou Zhijie， Tang Shuaiwen， Hu Changhua， et al. Evidential reasoning theory and its applications［J］.Acta Automatica Sinica，2021，47（5）：970-984.）

［23]湯凱，李康樂，賀維，等.一種新的基于多樣性賦權證據推理的集成學習方法［J］.計算機應用研究，2023，40（4）：1012-1018.（Tang Kai， Li Kangle， He Wei， et al. New ensemble learning method for evidential reasoning based on diversity weighting［J］.Application Research of Computers，2023，40（4）：1012-1018.）