高維數據局部貝葉斯網絡結構學習

摘 要： 針對高維數據下貝葉斯網絡結構學習精度和效率低的問題，提出一種基于歸一化互信息和近似馬爾可夫毯的特征選擇（feature selection based on normalized mutual information and approximate Markov blanket， FSNMB）算法來獲取目標節點的馬爾可夫毯（Markov blanket，MB），進一步結合MB和Meek規則實現基于特征選擇的局部貝葉斯網絡結構（construct local Bayesian network based on feature selection， FSCLBN）算法，提高局部貝葉斯網絡結構學習的精度和效率。實驗證明，在高維數據中， FSCLBN算法與現存的局部貝葉斯網絡結構學習算法相比更具優勢。

關鍵詞： 貝葉斯網絡; 特征選擇; 互信息; 馬爾可夫毯

中圖分類號： TP 181

文獻標志碼： A

DOI：10.12305/j.issn.1001-506X.2024.08.15

Local Bayesian network structure learning for high-dimensional data

WANG Yangyang， GAO Xiaoguang^*， RU Xinxin

（School of Electronic Information， Northwestern Polytechnical University， Xi’an 710129， China）

Abstract： To address the issue of low learning accuracy and efficiency of Bayesian network structure learning under high-dimensional data， a feature selection based on normalized mutual information and approximate Markov blanket （FSNMB） algorithm is proposed to obtain the Markov blanket （MB） of the target node. The MB and Meek’s rule are further combined to implement the algorithm of construct local Bayesian network based on feature selection （FSCLBN）， which improves the accuracy and efficiency of local Bayesian network structure learning. Experiment results show that in high-dimensional data， the FSCLBN algorithm has more advantages than the existing local Bayesian network structure learning algorithms.

Keywords： Bayesian network; feature selection; mutual information; Markov blanket （MB）

0 引 言

貝葉斯網絡（Bayesian network， BN）是一種結合概率論和圖論的有向無環圖（directed acyclic graphical， DAG）模型，是目前處理不確定性知識表達和因果推理領域最有效的因果模型之一^［1-2］。BN已經在軍事威脅評估、生物醫學、系統評估等方面得到了廣泛應用^［3-4］。BN的研究主要分為3個方面：結構學習、參數學習^［5］和推理，其中結構學習是參數學習和推理的基礎。學習最優的BN結構已經被證明是一個非確定性多項式困難（non-deterministic polynomial hard， NP-hard）問題^［6-7］。

馬爾可夫毯（Markov blanket， MB）是概率圖模型中的一個重要概念，用于表示一個節點在給定其所有鄰居節點的情況下與其他節點之間的條件獨立性關系。利用MB學習BN結構是一種行之有效的方法^［8-9］。具體來說，對于每個節點，其MB中包括該節點的所有父節點和子節點以及配偶節點。Koller等^［10］已經證明，在忠實假設和存在正確的條件獨立性測試的情況下，目標的MB是唯一的、能夠充分解釋目標變量的最小特征集。因此，MB是研究BN建模的重要工具。目前，具有代表性的MB算法有：收縮-增長MB（grow-shrink Markov blanket， GSMB）^［11］，增量關聯MB（incremental association Markov blanket， IAMB）^［12］，最大-最小MB（max-min Markov blanket， MMMB）^［13］，HITON-MB^［14］和同步發現MB（simultaneous Markov blanket， STMB）^［15］等。GSMB算法包含增長和收縮兩個階段，是第一個比較完備的MB發現算法，但其效率不高，無法擴展到大規模節點。Tsamardinos等^［12］在GSMB算法的基礎上提出IAMB算法，與GS算法相比效率得到有效提升。MMMB算法是首個利用拓撲信息進行MB學習的算法，采用了一種分而治之的方法來進行MB求解。MMMB算法對原有算法進行改進后提出HITON-MB算法，該算法交錯地進行添加或刪除節點操作，這樣能夠盡早消除誤選節點，以減少運算復雜度。Gao等^［15］提出STMB算法以提升MB發現效率，借用配偶變量來輔助刪除父子（parents and children，PC）集中的誤報變量。MB的忠實性假設認為，在給定該節點的MB的情況下，節點與其他非鄰居節點之間不存在條件獨立性。上述MB算法均是基于忠實性假設開發的。然而，當數據的維度比較高或樣本量較少時，忠實性假設可能不再成立，同時原有的MB算法的學習效率和精度也會下降。

隨著大數據技術的發展，數據的維數（數據集中變量的個數）激增，高維數據（一般指維數大于50的數據集）呈現出普遍性，互聯網、軍事、醫療等領域已經積累了海量的高維數據^［16-17］。例如，在生物信息學領域，人類基因表達數據可以輕松超過1 000維。基于高維數據學習節點的MB是一個具有挑戰性的問題^［18］。首先，高維數據的“維度災難”使得MB的計算復雜度呈指數增長，算法無法在有限的時間內做出響應;其次，高維數據本身具有稀疏性，數據中存在許多與標簽不相關或冗余的特征，很難確定節點之間的依賴關系，導致原有的基于低維數據、表現良好的算法可能無法得到較好的建模精度、造成計算資源的浪費;最后，高維數據由于維度高、特征多，通常表現出小樣本的特性，無法滿足忠實性的假設^［19］，而傳統的BN結構學習算法對樣本量要求較高，這也成為高維數據BN結構學習的難點之一。

當僅僅需要考慮目標節點與周圍節點的因果關系時，學習目標節點的局部BN能夠提高學習效率、節省計算開銷。針對高維數據本身具有的高維數和稀疏性的特點，在保證其局部依賴關系的基礎上對其進行降維處理，是基于高維數據學習局部BN的有效方法。特征選擇是一種主流的數據降維方法，其從原始特征中選擇出一些最有效的特征來替代原始數據特征，使得系統的特定指標最優化，從而達到降低數據集維度的目的，進而提升模型的效果和性能^［20］。特征選擇得到的特征具有明確的物理含義，方便后續模型的因果推理。目標結點的MB求解過程的本質也是特征選擇的過程^［18］。因此，尋找有效的特征選擇方法來替代傳統的MB求解算法是突破高維數據處理壁壘、增加模型可解釋性、建立高質量BN模型的關鍵。

綜上，高維數據集的出現給現有的BN結構學習算法提出了挑戰。本文的主要工作包括：首先，比較了傳統MB算法與本文提出的MB算法的準確度和時間消耗;其次，基于真實數據集比較各個MB算法得到的特征子集的分類準確性;最后，比較了本文提出的局部BN算法與其他局部BN構建方法的準確度和運行效率。

1 預備知識

1.1 BN

BN的結構由DAG定義，可以用G（V，E）表示，其中V={V₁，V₂，…，V_n}是網絡中的節點集合，E為有向邊的集合，代表兩個節點之間的直接依賴關系。P為節點的概率分布，表示節點之間因果影響的強度。當存在邊V_i→V_j時，表示V_i是V_j的父節點，V_j是V_i的子節點。

1.2 互信息與歸一化互信息

互信息是信息論中的重要概念，用于衡量兩個隨機變量之間相關性的大小。對于一對離散隨機變量（X，Y），隨機變量X和Y的不確定性可以通過熵H（X）和H（Y）來度量。對于x∈X與y∈Y，聯合分布為p（x，y）=p{X=x，Y=y}，邊際分布為p（x）=p{X=x}，p（y）=p{Y=y}?；バ畔（X;Y）定義如下，log可取任意底數。

I（X;Y）=－∑x，yp（x，y）logp（x，y）p（x）p（y）（1）

隨機變量X和Y的總的不確定性可以用其聯合熵H（X，Y）來度量。在給定變量Y的條件下，變量X條件熵為H（X|Y）?；バ畔⒑挽刂g的關系如圖1所示。

由圖1可知，互信息還可以表示為

I（X;Y）=H（X）+H（Y）－H（X，Y）（2）

互信息越大，說明隨機變量X和Y之間的相關性越強。從式（2）可知：

0≤I（X;Y）≤min{H（X），H（Y）}（3）

Yu等^［21］采用對稱不確定性（symmetric uncertainty， SU）作為兩個變量之間的互信息度量，解決了互信息傾向于選擇取值較大的變量的問題。SU的表達式如下：

SU（X;Y）=2I（X;Y）H（X）+H（Y）（4）

Estevez等^［22］指出，互信息的上界受限于隨機變量中最小的熵，不同隨機變量的熵變化程度較大。將互信息做歸一化處理（將其嚴格限制在［0，1］內）能夠彌補多值特征中互信息的偏差。歸一化互信息（normalized mutual information，NMI）定義如下：

NMI（X;Y）=I（X;Y）min{H（X），H（Y）}（5）

需要指出的是，如果變量并非離散型隨機變量，那么互信息與NMI并不適用，需要對連續型變量進行離散化。常用的離散化方法有：等間距法、ChiMerge法^［23］、Hartemink法^［24］等。此外，基于最大信息系數（the maximal information coefficient， MIC）^［25］的度量方法也得到了廣泛應用，該方法可以直接計算兩個連續型變量之間的相關性，但該方法的本質依然基于離散化且運算復雜度較高。

1.3 MB

MB是BN中的重要概念，其數學定義為：目標節點T的MB為MB（T），則對于所有SíV＼MB（T）＼T，總有S⊥T|MB（T），表示在給定目標節點的MB時，S與T相互獨立。其中，數學符號“＼”表示集合的差集運算，“⊥”表示條件獨立。圖2顯示了目標節點T的MB（紅色虛線框），包括其父節點C和D，子節點F以及配偶節點G。MB的發現過程本質是一種特征選擇問題。對于特征集F和類變量C，特征子集MìF（f_i?M）為特征f_i的MB的條件為f_i⊥{F＼M＼f_i，C}|M。當給定特征變量f_i的MB的M時，M中包含了關于f_i對類變量C和其他特征F＼M＼f_i的所有相關信息。根據特征與分類節點之間相關性，文獻［26］把特征分為4類：強相關特征、弱相關非冗余特征、弱相關且冗余特征和無關特征，MB應當包含強相關特征和弱相關非冗余特征。當特征子集M存在時，f_i對分類沒有貢獻，被認為是冗余特征。由于目標結點的MB求解過程的本質也是特征選擇的過程，本文中的特征也可視為BN中的節點。

1.4 近似MB

對于特征集F中的第i個特征f_i和第j個特征f_j，如果滿足：

I（f_i;C）gt;I（f_j;C）

I（f_j;C）lt;I（f_i;f_j）（6）

則稱特征f_i是f_j的近似MB^［21］。

針對高維數據下忠實性假設可能不再成立的問題，為了提高MB的學習效率和精度，本文結合NMI和近似MB來求解目標節點的MB，這在一定程度上可以減少計算復雜度，增加模型泛化能力。結合NMI，將近似MB重新定義，對于特征f_i和f_j，如果滿足：

NMI（f_i;C）gt;NMI（f_j;C）

NMI（f_j;C）lt;NMI（f_i;f_j）（7）

則稱特征f_i是f_j的近似MB。此時，特征f_j對于特征f_i來說是冗余特征，需要被刪除。

2 MB發現算法

基于上述定義，本文提出了基于NMI和近似MB的特征選擇（feature selection based on NMI and approximate MB， FSNMB）算法，用于發現目標節點的MB。通過求解近似MB，理論上可以得到目標節點的PC節點（強相關性特性），但是無法保證得到的特征子集中包含配偶節點（弱相關但非冗余特征）。因此，需要通過繼續求解目標節點的所有PC節點的近似MB，來保證得到的特征子集包含目標節點的配偶節點。

FSNMB算法分為兩步執行。

步驟 1 去除不相關特征和冗余特征。根據式（5）計算特征f_i∈F與目標分類節點C之間的NMI（f_i;C）。比較NMI（f_i;C）與給定的閾值ε，如果存在NMI（f_i;C）gt;ε，則認為特征f_i與類別C具有強相關性，應當被保留。否則，認為該f_i是不相關特征，應當從F中刪除。將得到的特征子集按照NMI的大小進行降序排列。根據式（7），如果分類節點C與特征f_i之間的相關性NMI（f_i;C）大于分類節點C與特征f_j之間的相關性NMI（f_j;C），并且f_i與f_j之間的相關性NMI（f_i;f_j）大于f_j與C之間的相關性NMI（f_j;C），說明特征f_j對于f_i來說是冗余特征，應當從F中刪除。此時F中剩余的特征均為強相關特征，可視為分類節點C的PC節點集，記為PC_C。

步驟 2 查找弱相關非冗余特征。為了能夠獲得節點C的配偶節點，需要繼續求得節點temp∈PC_C的PC節點。對節點temp重復步驟1，得到其PC節點集PC_temp。取A∈PC_temp。需要注意，這時節點A可能是節點C的配偶節點，需要進一步通過條件獨立性進行判斷。具體來說，如果?Y∈PC_C使得A⊥C|Y且使得A⊥C|{Y，temp}不再成立，說明A是C的配偶節點，記為AíSP_C（temp）。

經過上述兩步處理，刪除了不相關特征和冗余特征，并增加了弱相關非冗余特征，最終得到MB的最優特征子集。將上述兩個實現步驟分別實現為算法1，即基于特征選擇的PC節點集的查找（feature selection to find parents and children， FSPC）算法和算法2（FSNMB算法）。其中，算法1用于獲取目標節點的PC節點，算法2基于算法1來查找目標節點的配偶節點。

3 局部BN學習算法

基于分類節點的MB，可以推斷節點之間的條件獨立性關系，進而學習局部BN結構。將目標分類節點C對應的局部BN結構為G，記有向邊V_i→V_j為G（V_i，V_j）=1且G（V_j，V_i）=0，記無向邊V_i－V_j為G（V_i，V_j）=1且G（V_j，V_i）=1。FSNMB算法為局部BN結構的學習提供了便利。首先，對于\"_temp∈PC_C，無法確定節點C和節點temp邊的方向，所以其存在無向邊，記為G（C，temp）=1且G（temp，C）=1。其次，對于AíSP_C（temp），由第2節可知G（A，temp）=1，G（temp，A）=0且G（C，temp）=1，G（temp，C）=0。最后，可以進一步結合Meek規則^［27］對網絡結構G進行更新。

基于上述討論，本節提出一種基于特征選擇的局部BN結構（construct local BN based on feature selection， FSCLBN）算法，具體過程如算法3所示。

4 實驗驗證

4.1 實驗設置

表1展示了5個常見的標準BN的基本信息，包括：節點數量、邊數量、最大出入度等信息。本文從5個標準網絡中分別選擇一個目標節點（5個節點信息見表2），用于FSNMB算法和4種MB算法（IAMB、HITON-MB、MMMB和STMB），以及FSCLBN算法和其他3種局部BN學習算法（PCD_by_PCD^［28］、CMB（Casual MB）^［29］和MB_by_MB^［30］）的結果對比。實驗硬件配置為Windows 10操作系統，i5-12400F 2.50 GHz處理器， 32 G內存。基于貝葉斯網絡工具箱（Bayesian network toolbox，BNT）實現，針對每一個標準網絡，采用BNT中的“sample_bnet”函數生成30個測試數據集（包括50、500、5 000個樣本的數據集各10個），最終的實驗結果數據以均值±標準差的形式表示。對于MB學習算法，其結果評價指標主要包括F得分（F_score）、準確率precision、召回率recall和運行時間。采用T檢驗用于驗證不同算法的F得分之間是否存在顯著性差異。其中，F得分的計算方法如下所示：

F_score=2precision·recallprecision+recall（8）

對于局部BN結構學習算法，分別采用F得分、漢明距離、反向邊數量、丟失邊數量、多余邊數量和運行時間6個指標進行算法性能比較。

表3為從一網站^［31］獲取的5個真實數據集的基本信息，其涵蓋了不同的樣本數量、特征數量和類別數量。對5個數據集進行等間距離散化，基于 K最近鄰（K-nearest neighbor， KNN）、支持向量機（support vector machine， SVM）、隨機森林（random forest， RF）、決策樹（decision tree， DT）和樸素貝葉斯分類器（naive Bayes classifier， NBC）5種分類器，采用10倍交叉驗證法，進一步驗證FSNMB算法得到的MB在各個分類器上的分類精度以及平均分類精度。

4.2 實驗結果

表4～表6分別為FSNMB、IAMB、HITON-MB、MMMB和STMB 5種MB算法基于50、500和5 000個樣本的F得分、準確率、召回率和運行耗時結果。其中，粗體代表該指標下對應數據集的最佳結果，^*代表所提方法與對比方法相比在T檢驗下具有顯著性差異（取plt;0.05）。由表4～表6可知，FSNMB算法在多個數據集上取得了較高的F得分、準確率和召回率，耗時較少，在不同的樣本量下綜合性能表現最好。具體來說，FSNMB在50和500個樣本數據集上表現最好，在Alarm、Win95pts和Andes上均取得了最佳F得分，但是當樣本量為5 000時，其表現不如經典的MB算法。IAMB在部分數據集中取得了較高的F得分，運行效率高，但當樣本量不足時出現召回率過低的問題。HITON-MB算法在樣本充足時具有較高的F得分，當目標節點的MB規模較大時（如Pathfinder），存在計算效率較低的問題。MMMB和STMB算法具有較高的F得分，但實時性較差，不適合對時間敏感的應用場景。綜合來看，FSNMB算法相對于其他4種算法具有一定優勢，尤其在高維小樣本數量下能取得最優的運行結果，表現出較好的魯棒性，在F得分、精度、召回率和運行耗時等方面表現出色，具有較高的穩定性、準確性和效率。

表7展示了5種MB算法基于5種分類器的分類精度以及平均分類精度信息。對于Wine數據集，FSNMB算法在所有分類器中的平均分類精度為0.94，表現較好，接近于其他算法的最高精度0.95。IAMB的表現與其他4種算法具有較大的差距，僅為0.77。在Breast數據集中，FSNMB算法的平均分類精度為0.88，與其他算法表現相當，但在NBC上表現略差。其中，IAMB表現最好，尤其是在NBC上表現最佳。對于Ionosphere數據集，FSNMB算法的平均分類精度為0.85，僅次于MMMB的0.86。在Splice數據集上，FSNMB算法的平均分類精度為0.90，好于其他4種算法，在KNN、SVM、RF和DT這4種分類器上均取得了最佳分類效果。對于較高維的Semeionp數據集，FSNMB算法的平均分類精度為0.70，好于IAMB算法的0.39，而HITON-MB、MMMB和STMB算法均未在10 min內得到運行結果。綜合來看，FSNMB算法在多個真實數據上表現出優勢，兼顧了更高的平均分類精度以及運行效率。然而，在某些特定數據集上，其他算法可能具有更好的性能。因此，在選擇算法時，需要綜合考慮數據集特征和任務要求，確定最佳算法。

表8～表10的數據展示了4種局部BN學習算法（FSCLBN、PCD_by_PCD、CMB和MB_by_MB）基于5個標準網絡的運行結果。從F得分來看，FSCLBN在不同樣本量的Alarm、Hepar2和Win95pts網絡上均表現出色，但在Andes網絡上表現一般，丟失邊數量較多。PCD_by_PCD、CMB和MB_by_MB 3種算法的F得分對樣本量敏感，當樣本量充足時具有較高的F得分，但當樣本量不足時，表現明顯不如FSCLBN。在運行時間方面，FSCLBN的時間消耗與其他4種算法相比更具優勢。此外，4種算法在Pathfinder網絡上均未在有限時間內（10 min）得到運行結果。整體來看，FSCLBN具有較高的運算效率，受樣本量的影響較小，魯棒性好，能夠適應小樣本量的高維數據的網絡結構學習。

5 結束語

本文提出一種基于NMI度量和近似MB的特征選擇算法，來求解高維數據中目標節點的MB，同時將該算法結合Meek規則來求解目標節點的局部BN，這兩種方法為高維數據學習BN結構提供了新思路。實驗證明，本文所提出的MB算法在大多數情況下優于傳統的MB算法，所提出的局部BN結構學習算法綜合性能優于現有的結構學習算法，在一定程度上解決了傳統BN結構學習算法在高維數據中建模精度低和效率低下的問題。需要指出的是，并不能保證本文所提算法優于所有同類型方法，與最先進的方法對比并改進現有的算法是本文未來的研究方向。

參考文獻

［1］CHEN S H， POLLINO C A. Good practice in Bayesian network modelling［J］. Environmental Modelling amp; Software， 2012， 37： 134-145.

［2］SCANAGATTA M， SALMERON A， STELLA F. A survey on Bayesian network structure learning from data［J］. Progress in Artificial Intelligence， 2019， 8： 425-439.

［3］ZHANG Y， WENG W G. Bayesian network model for buried gas pipeline failure analysis caused by corrosion and external interference［J］. Reliability Engineering amp; System Safety， 2020， 203： 107089.

［4］WANG Y Y， GAO X G， RU X X， et al. Using feature selection and Bayesian network identify cancer subtypes based on proteomic data［J］. Journal of Proteomics， 2023， 280： 104895.

［5］茹鑫鑫， 高曉光， 王陽陽. 基于模糊約束的貝葉斯網絡參數學習［J］. 系統工程與電子技術， 2023， 45（2）： 444-452.

RU X X， GAO X G， WANG Y Y. Bayesian network parameter learning based on fuzzy constraints［J］. Systems Engineering and Electronics， 2023， 45（2）： 444-452.

［6］WANG X C， REN H J， GUO X X. A novel discrete firefly algorithm for Bayesian network structure learning［J］. Knowledge-Based Systems， 2022， 242： 108426.

［7］CHICKERING M， HECKERMAN D， MEEK C. Large-sample learning of Bayesian networks is NP-hard［J］. Journal of Machine Learning Research， 2004， 5： 1287-1330.

［8］譚翔元， 高曉光， 賀楚超. 基于馬爾可夫毯約束的最優貝葉斯網絡結構學習算法［J］. 電子學報， 2019， 47（9）： 1898-1904.

TAN X Y， GAO X G， HE C C. Learning optimal bayesian network structure constrained with Markov blanket［J］. Acta Electronica Sinica， 2019， 47（9）： 1898-1904.

［9］BUI A T， JUN C H. Learning Bayesian network structure using Markov blanket decomposition［J］. Pattern Recognition Letters， 2012， 33（16）： 2134-2140.

［10］KOLLER D， SAHAMI M. Toward optimal feature selection［J］. Internationa Conference on Machine Learning， 1996， 28（96）： 284-292.

［11］MARGARITIS D， THRUN S. Bayesian network induction via local neighborhoods［J］. Advances in Neural Information Processing Systems， 1999， 12： 505-511.

［12］TSAMARDINOS I， ALIFERIS C F， STATNIKOV A R， et al. Algorithms for large scale Markov blanket discovery［C］∥Proc.of the 16th International FAIRS Conference， 2003： 376-380.

［13］TSAMARDINOS I， BROWN L E， ALIFERIS C F. The max-min hill-climbing Bayesian network structure learning algorithm［J］. Machine Learning， 2006， 65： 31-78.

［14］ALIFERIS C F， TSAMARDINOS I， STATNIKOV A. HITON： a novel Markov blanket algorithm for optimal variable selection［C］∥Proc.of the AMIA Annual Symposium， 2003.

［15］GAO T， JI Q. Efficient Markov blanket discovery and its application［J］. IEEE Trans.on Cybernetics， 2016， 47（5）： 1169-1179.

［16］BOMMERT A， SUN X D， BISCHL B， et al. Benchmark for filter methods for feature selection in high-dimensional classification data［J］. Computational Statistics amp; Data Analysis， 2020， 143： 106839.

［17］JIA W K， SUN M L， LIAN J， et al. Feature dimensionality reduction： a review［J］. Complex amp; Intelligent Systems， 2022， 8（3）： 2663-2693.

［18］YU K， LIU L， LI J Y. A unified view of causal and non-causal feature selection［J］. ACM Transaction on Knowledge Discovery from Data， 2021， 15（4）： 1-46.

［19］SUN L Q， YANG Y L， NING T. A novel feature selection using Markov blanket representative set and particle swarm optimization algorithm［J］. Computational and Applied Mathematics， 2023， 42： 81.

［20］施啟軍， 潘峰， 龍福海， 等. 特征選擇方法研究綜述［J］. 微電子學與計算機， 2022， 39（3）： 1-8.

SHI Q J， PAN F， LONG F H， et al. A review of feature selection methods［J］. Microelectronics amp; Computer， 2022， 39（3）： 1-8.

［21］YU L， LIU H. Efficient feature selection via analysis of relevance and redundancy［J］. The Journal of Machine Learning Research， 2004， 5： 1205-1224.

［22］ESTEVEZ P A， TESMER M， PEREZ C A， et al. Normalized mutual information feature selection［J］. IEEE Trans.on Neural Networks， 2009， 20（2）： 189-201.

［23］KERBER R. Chimerge： discretization of numeric attributes［C］∥Proc.of the 10th National Conference on Artificial Intelligence， 1992： 123-128.

［24］HARTEMINK A J. Principled computational methods for the validation discovery of genetic regulatory networks［D］. Cambridge： Massachusetts Institute of Technology， 2001.

［25］RESHEF D N， RESHEF Y A， FINUCANE H K， et al. Detecting novel associations in large data sets［J］. Science， 2011， 334（6062）： 1518-1524.

［26］LI J D， CHENG K W， WANG S H， et al. Feature selection： a data perspective［J］. ACM Computing Surveys， 2017， 50（6）： 1-45.

［27］GAO T， FADNIS K， CAMPBELL M. Local-to-global Bayesian network structure learning［C］∥Proc.of the 34th International Conference on Machine Learning， 2017： 1193-1202.

［28］YIN J X， ZHOU Y， WANG C Z， et al. Partial orientation and local structural learning of causal networks for prediction［C］∥Proc.of the Workshop on the Causation and Prediction Challenge， 2008： 93-105.

［29］GAO T， JI Q. Local causal discovery of direct causes and effects［C］∥Proc.of the 29th Annual Conference on Neural Information Processing Systems， 2015： 2512-2520.

［30］WANG C Z， ZHOU Y， ZHAO Q， et al. Discovering and orienting the edges connected to a target variable in a DAG via a sequential local learning approach［J］. Computational Statistics amp; Data Analysis， 2014， 77： 252-266.

［31］MARKELLE K， RACHEL L， KOLBY N. The UCI Machine Learning Repository［EB/OL］. ［2023-08-06］. https： archive.ics.uci.edu.

作者簡介

王陽陽（1988—），男，博士研究生，主要研究方向為特征選擇、貝葉斯網絡結構學習。

高曉光（1957—），女，教授，博士，主要研究方向為貝葉斯網絡學習、航空火力控制、作戰效能分析。

茹鑫鑫（1993—），男，博士研究生，主要研究方向為貝葉斯網絡參數學習。