聯合學習動態半參數概率圖模型*

黃飛虎，陳松燦

南京航空航天大學 計算機科學與技術學院，南京 211106

1 引言

無向概率圖模型是一類用于刻畫一組隨機變量之間條件相關性的強大統計工具，目前已被廣泛應用于機器學習、計算機視覺、生物信息學與社會學等領域[1-4]。高斯圖模型（Guassian graphical model，GGM）為一類流行的無向概率圖模型，能很好地刻畫一組正態分布隨機變量的條件相關性。具體地，假設隨機向量x=(x1,x2,…,xp)T∈Rp服從多元正態分布N(μ,Σ)，與之對應的無向圖為G(V,E)，其中V={x1,x2,…,xp}為頂點集，E=V×V代表邊集，那么對于任意(i,j)?E，xi⊥xj|x(i,j)表示隨機變量xi與xj條件獨立。對于(i,j)?E當且僅當(Σ-1)ij=0，即協方差矩陣逆（也稱為精度矩陣）的(i,j)元素為0。因此，精度矩陣的稀疏模式能刻畫圖模型的結構。由此可知，概率圖模型結構的估計可等價于稀疏精度矩陣的估計。目前已存在大量對于圖模型與精度矩陣估計的工作[5-9]，它們大致可分為三類：第一類通過利用其他變量來稀疏擬合每個變量而得到每個點的近鄰。例如，文獻[5]通過利用套索模型（Lasso[10]）擬合每個變量而提出了近鄰選擇估計器，該方法可視為一種偽似然估計方法。第二類通過直接最小化?1范數懲罰的負對數似然。例如，文獻[3,6]通過直接求解?1范數懲罰的負對數似然估計高斯圖模型。文獻[7]利用有效的塊坐標下降方法求解該?1范數懲罰的對數似然問題，提出了著名的圖套索（graphical Lasso）。第三類通過利用樣本協方差直接估計稀疏精度矩陣。例如，文獻[8]通過求解一系列稀疏線性規劃問題估計稀疏精度矩陣。文獻[9]提出了一個帶約束的?1范數最小估計器（constrained?1-minimization for inverse matrix estimation，CLIME）估計稀疏精度矩陣。

盡管GGM能很好地刻畫正態分布的數據，但其要求正態分布假設過于苛刻。事實上，人們所采集到的數據往往面臨兩類問題：（1）數據很少嚴格服從正態分布；（2）數據通常含有少量噪聲。為了處理問題（1），文獻[11]將正態分布推廣到非參數正態分布（non-parameter normal distribution，nonparanormal），進而提出了一類半參數概率圖模型。具體地，如果存在一些單變量的單調可微函數{fi}p i=1，有f(x)=(f1(x1),f2(x2),…,fp(xp))T服從多元正態分布N(0,Σ)，那么x=(x1,x2,…,xp)T服從非參數正態分布NPN(0,Σ,f)。同時，由單變量函數{fi}p i=1的單調可微性，稀疏精度矩陣Σ-1同樣刻畫了隨機變量(x1,x2,…,xp)的相關性，即給定其他變量xi與xj條件獨立當且僅當(Σ-1)ij=0。為了同時解決問題（1）與（2），文獻[12-13]采用基于非參排序的統計量（Spearman’s rho 或Kendall’s tau）估計相關矩陣，提出了魯棒的估計方法用于學習半參數概率圖模型。總之，這些半參圖模型的估計方法的基本流程為：首先利用基于截斷的正態計分（normal scoring[11]）或基于非參排序的統計量[12-13]估計出相關矩陣，然后把它代入現有圖模型估計器，學習出稀疏的精度矩陣，即得到相應的圖結構。

到目前為止，上述圖模型的建立均基于同一分布數據，因此不適合刻畫異構性或動態性的數據。例如，采集了包含正常與病狀的腦影像數據[14]，如果利用上述圖模型分別構建正常大腦與病狀大腦的各自腦網絡，則會忽略它們的共性結構；如果利用上述圖模型總體估計單個腦網絡，則會忽略它們之間的差異結構。因此，為了能更好地挖掘這些異構數據的結構信息，聯合學習多個圖模型已成為一個研究主題，典型的工作有文獻[14-20]。例如，文獻[15]利用層次稀疏結構懲罰能很好學習出多個圖模型的共性結構。文獻[16]通過利用組套索（group Lasso）[21]與兩兩融合套索（fused Lasso）[22]的結構懲罰學習多個圖模型的共性結構，提出了聯合圖套索（joint graphical Lasso）。同時，文獻[14]利用有序融合套索聯合學習多個有序的概率圖模型。為了使這些聯合圖模型能更好地勝任矩陣變量的數據，如腦功能性磁共振成像（functional magnetic resonance imaging，fMRI）數據及股票交易數據等，文獻[20]提出了聯合矩陣變量的高斯圖模型。另外，針對隨著時間光滑變化的異構數據，目前工作[23-25]提出了相應的動態GGM學習動態的條件相關性。總體上，這些工作均利用核光滑方法估計出相應的協方差矩陣，再把已估計的協方差矩陣代入已有的圖模型估計器得到相應的動態圖結構。

同樣地，盡管上述聯合或動態的圖模型能較好地分析異構數據的條件相關性，但是它們均建立在嚴格的正態分布假設下。由于當前高維的異構數據通常很難嚴格服從正態分布且常含噪聲，上述聯合的與動態的圖模型仍然很難勝任這些異構數據。例如，對于采集不同病狀下的腦影像數據，由于疾病的易變性通常使其服從一些尾部較重的分布。另外，在采集數據過程中由于儀器不穩定，再加上志愿者頭部的運動及呼吸心跳的影響，往往采集到的數據都帶有一定噪聲。為了處理上述問題，本文提出聯合半參數圖模型學習這些異構數據的條件相關性。同時，針對光滑變化的異構數據（如時序的fMRI數據），提出聯合的動態半參數圖模型。在建模上，將基于非參排序的相關矩陣估計方法與結構融合圖套索方法相結合，提出了半參數融合圖套索估計器。特別針對動態圖模型，提出了一種新的核光滑Kendall’s tau相關矩陣。總之，本文主要貢獻如下：

（1）提出了聯合的半參數圖模型用于學習非正態分布異構數據的條件相關性，且其較目前已有的聯合圖模型更靈活、魯棒。

（2）進一步針對光滑變化的動態異構數據，提出了聯合動態半參數圖模型。

（3）采用了有效的ADMM（alternating direction method of multipliers）方法對提出的模型進行求解。

（4）利用一些人工數據與真實數據（如腦影像、股票交易數據）同時驗證了模型的有效性。

2 相關工作

本文首先介紹非參數正態分布與半參數概率圖模型。存在一系列單值單調且可微函數{fi}p i=1與對稱正定矩陣Σ且diag(Σ)=I，那么稱隨機向量x=(x1,x2,…,xp)T服從非參數正態分布NPN(0,Σ,f)，當且僅當f(x)=(f1(x1),f2(x2),…,fp(xp))服從多元正態分布N(0,Σ)。文獻[12-14]證明矩陣Ω=Σ-1的稀疏模式能刻畫x=(x1,x2,…,xp)T的條件相關性（即Ωij=0?xi⊥xj|x{}i,j），且基于該非參數正態分布提出了半參數圖模型。

下面介紹半參數圖模型的估計方法。文獻[11]提出了基于正態計分的半參數圖模型估計方法，而文獻[12-13]提出了一類基于非參排序方法估計該半參數模型，其不僅比基于正態計分的方法具有更優的收斂率，且更加魯棒。具體地，首先利用基于非參排序的統計量（Spearman’s rho 或Kendall’s tau）估計相關矩陣Σ，然后將它代入已有圖模型估計精度矩陣Ω=Σ-1，即半參數圖稀疏結構。例如，基于非參排序的Kendall’s tau相關系數τkl估計如下：

然后相關矩陣Σ=(Σkl)通過Kendall’s tau相關系數矩陣Γ?=(τ?kl)估計得到[26-27]，其中：

3 聯合半參數圖模型

下面提出聯合半參數圖模型用于學習非正態分布異構數據的條件相關性。該問題等價于學習多個具有一些共性結構的半參數圖模型。事實上，本文研究聯合半參數圖模型的動機源于一些重要的應用。例如，利用一些來自同一種病多種亞型的腦影像數據[14]，通過聯合學習不同病狀的腦網絡可挖掘出疾病的發展情況。

具體地，給定K類獨立同分布樣本服從非參數正態分布NPN(0,Σk,fk)，[K]={1,2,…,K}。通常為了獲得稀疏的圖結構，求解下面的?1范數懲罰的負對數似然問題：

其中為的樣本協方差矩陣。函數為存在且未知的隱函數，因此不能直接求得相關矩陣那么類似于文獻[12-13]采用基于非參排序方法直接估計它。具體地，可通過上述Kendall’s tau統計量估計每類的相關矩陣

考慮到多個半參數圖模型共享一些結構，即精度矩陣共享一些稀疏結構，因此提出了半參數融合圖套索方法聯合估計這些圖模型。具體地，求解如下的結構正則化的負對數似然問題：

其中，為負對數似然項；為稀疏懲罰項，使得每個圖模型稀疏；P(Ω)=為有序融合套索懲罰項，使得相鄰的圖模型更相似。這里λ1與λ2為非負的正則化參數，其中λ1控制每個圖的稀疏率，而λ2控制相鄰的圖相似程度。當λ2=0時，問題（1）可解耦為K個稀疏正則化的負對數似然問題，那么該聯合模型退化為半參數圖模型[12-13]。

4 聯合動態半參數圖模型

下面提出聯合動態半參數圖模型用于學習光滑變化的非正態分布異構數據的條件相關性，其動機源于一些有意義的應用。例如，利用時序的fMRI數據學習人類不同年齡段的腦網絡[25]，以了解大腦發育情況。首先，定義一類新的動態半參數概率圖模型。

定義1（動態半參數圖模型）如果隨機變量對(X,T)服從動態半參數概率圖模型，其相應的動態圖為G(t)=(V,E(t))，那么其滿足如下條件：

（1）X|T=t～NPN(0,Σ(t),f)，其中T～g(t)為定義在[0,1]上的連續函數；

（2）動態圖G(t)=(V,E(t))包括固定點集合V，動態邊集合E(t)，其中邊的權重隨著時間變量t∈[0,1]變化，且其圖結構也可以隨之改變，即精度矩陣Ω(t)隨著時間t變化；

（3）xi⊥xj|{x{i,j},T=t}當且僅當 (i,j)?E(t)。

人們感興趣的時間變量T屬于有界區間，因此其可以轉化到區間[0,1]。不失一般性，本文均假設t∈[0,1]。接下來，為了估計該動態半參數圖模型，利用一種新的核光滑Kendall’s tau相關系數矩陣Γ(t)=(τkl(t))。具體地，當每個時間點t∈[0,1]（即每個分布）只采一個樣本時，核光滑Kendall’s tau相關系數τkl(t)估計如下：

其中，ω(t,ti,tj)=Kh(t-ti)Kh(t-tj)。

當每個時間點t∈[0,1]采m≥2個獨立同分布樣本時，核光滑Kendall’s tau相關系數τkl(t)估計如下：

這里，Kh(·)=K(·/h)為對稱核函數，其中h>0 為帶寬參數。例如，高斯核，其中帶寬參數h控制圍繞時間點ti的窗口。具體地，較小的h表明估計的圖模型隨時間變化的頻率較高，而較大的h表明估計的圖模型隨時間變化的頻率較低。然后，相關矩陣Σ(t)由核光滑Kendall’s tau相關系數矩陣Γ?(t)=(τ?kl(t))估計可得，具體為：

最后，把已估計出的相關矩陣代入已有的圖模型估計器（如graphical lasso[7]或CLIME[9]）可以得到稀疏精度矩陣Ω(t)，即動態圖結構。

考慮到動態圖模型隨著時間變化依然保持一定的共性結構，本文采用上文的聯合學習思想，提出聯合的動態半參數圖模型。具體為，把已估計出的相關矩陣 {Σ?(tk)}K k=1代入上文提出的半參數融合圖套索估計器（1），可以聯合估計多個時間點的精度矩陣即稀疏圖結構。

5 模型優化

本文利用交替方向乘子方法（ADMM[28]）求解問題（1）。ADMM是一類非常適用于求解帶等式約束問題的優化方法，可表示如下：

其中，λ為拉格朗日乘子；ρ為懲罰參數。首先給出上述問題（2）的增廣拉格朗日函數：

那么ADMM采用Gauss-Seidel迭代求解問題（2），在第t+1步迭代表示如下：

下面應用ADMM具體求解問題（1）。首先把問題（1）改寫為如下等式約束問題：

問題（3）的增廣拉格朗日函數可表示如下：

然后利用ADMM求解問題（3），在第t+1步迭代表示如下：

接下來，將分別介紹問題（4a）與（4b）的具體求解。首先對于問題（4a），其可以分解為K個獨立問題。對于k∈[K]：

然后對其目標函數微分得到：

易知Ωk與矩陣Ak=Σ?k-Λk-ρZk共享特征向量，且其特征值滿足如下關系：

其中，{αi}ip=1為矩陣Ωk的特征值；{βi}ip=1為矩陣Ak的特征值。因此，對矩陣Ak進行特征值分解為Ak=UkBkUk，那么可得Ωk=UkDkUk，其中Dk為特征值{αi}ip=1組成的對角矩陣。

同樣，問題（4b）可以分解p2個獨立的融合套索問題。

對于1≤i,j≤p：

且子問題（5）可用標準融合套索的近似算子求解[29]。由于{Zk}為對稱矩陣，只要求解個子問題（5）。由于問題（4a）與（4b）均可分解為獨立的子問題，可以考慮利用并行框架來加速本文算法。

6 人工數據實驗

下面利用一些人工數據驗證本文模型的有效性。具體地，對于學習異構數據的條件相關性，即學習多個半參數概率圖模型（semi-parameter probability graphical model，SPGM），本文的聯合半參數圖模型（joint semi-parameter graphical Lasso，JSPGL）將與標準的半參數圖模型[12-13]（semi-parameter graphical Lasso，SPGL）及聯合的GGM[14,16]（joint graphical Lasso，JGL）比較。對于動態的異構數據條件相關性，即學習多個動態半參數概率圖模型（dynamic semi-parameter probability graphical model，DSPGM），本文的聯合動態半參數圖模型（joint dynamic semi-parameter graphical Lasso，JDSPGL）將與動態半參數圖模型（dynamic semiparameter graphical Lasso，DSPGL）及動態的GGM[21-23]（dynamical graphical Lasso，DGL）比較。

在實驗中，為了突出本文模型的有效性，讓DGL與融合圖套索框架結合來參與比較。文中所有模型參數通過十重交叉驗證得到。同時，所有實驗均重復50次，下面報告的實驗結果為其平均值。另外，上述所有動態圖模型，均選擇帶寬參數h=1。最后，所有算法均在Matlab軟件平臺上運行，且在英特爾i5-3470處理器、16 GB內存的計算機上執行。

6.1 人工數據的生成

本節介紹一些人工數據的生成。不失一般性，本文只關注學習Erd?s-Rényi（ER）網絡。具體地，首先生成一個稀疏率92%的ER網絡，然后由生成的ER網絡復制K份，再對每個網絡隨機減少p/4個邊，最后得到多個具有一定相似結構的網絡，其相應的鏈接矩陣為為了使得這些鏈接矩陣符合精度矩陣，進行如下賦值：

其中，Ek,k∈[K]表示圖邊集合。最后，在矩陣的對角元素加上相應的正數以保證它們對稱正定。為了方便，令n=n1=n2=…=nK。接下來，讓每個正態分布生成n個數據點為了驗證本文模型對正態分布假設的放松，與文獻[12]類似，再對數據進行高斯累積分布函數轉化，如下：

其中為標準的高斯累積分布函數。因此，得到轉化數據服從非參數正態分布f)，k∈[K]。

下面介紹產生動態半參數圖模型的過程。同樣地，首先生成一個稀疏率92%的ER網絡，然后由生成的ER網絡復制n個，再對每個網絡隨機減少p/4個邊，最后得到多個具有一定相似結構的網絡，其相應的鏈接矩陣為為了使得這些鏈接矩陣符合動態結構，對其進行如下賦值：

其中，t∈[0,1]。同時在矩陣{Ω(tk)}n k=1的對角元素加上相應的正數以保證它們對稱正定。接下來，讓每個正態分布N(0,Ω(tk)-1)，k∈[n]生成1個數據點xk。因此，得到一些獨立非同分布的樣本{xk}n k=1，即每個樣本服從各自的分布。同樣地，與上述類似把它們轉化為獨立非同分布的樣本{yk}n k=1，即它們服從NPN(0,(Ωk)-1,f)。

6.2 評價標準

本節給出對圖模型結構恢復的真陽性率（TPR）與假陽性率（FPR）來評價所有模型的性能。假定為已估計出的稀疏精度矩陣為真實的精度矩陣，給出指標TPR與FPR的定義如下：

其中，為指標函數。同時，為了驗證本文模型的魯棒性，考慮對這些人工數據加一些噪聲。具體地，在每個樣本矩陣隨機選取[nr]個元素用5或-5代替，其中0≤r≤1為噪聲率。

6.3 實驗結果

在實驗中，利用4個半參數概率圖模型的學習作為評估模型效果，即K=4。同時，對于動態半參數概率圖模型的學習在n個時間點隨機選取4個時間點聯合估計作為評估模型效果。

由圖1可知，在學習非正態分布異構數據的相關性時，本文的JSPGL優于JGL與SPGL，也更加魯棒。由圖2可知，本文聯合模型在小樣本情況下依然優于JGL與SPGL。由圖3可知，在學習動態的非正態分布異構數據的相關性時，本文的JDSPG優于DSPGL與DGL，也更加魯棒。同樣地，由圖4可知，本文聯合動態圖模型在小樣本情況下依然優于其他方法。從圖3、圖4可知，JDSPGL并非很顯著地優于DSPGL。由于這兩種方法估計相關性矩陣Σ(t)均用核光滑方法，它們在估計相關性矩陣時已經把每個時間點的信息考慮進去了，即已經用了聯合學習思想。

Fig.1 ROC curves of estimating multiple SPGMs at different noise contamination levels(n=200 and p=200)圖1 多個半參數圖模型在不同程度噪聲污染下估計的ROC曲線（n=200與p=200）

Fig.2 ROC curves of estimating multiple SPGMs at different noise contamination levels(n=100 and p=200)圖2 多個半參數圖模型在不同程度噪聲污染下估計的ROC曲線（n=100與p=200）

Fig.3 ROC curves of estimating DSPGMs at different noise contamination levels(n=200 and p=200)圖3 動態半參數圖模型在不同程度噪聲污染下估計的ROC曲線（n=200與p=200）

Fig.4 ROC curves of estimating DSPGMs at different noise contamination levels(n=100 and p=200)圖4 動態半參數圖模型在不同程度噪聲污染下估計的ROC曲線（n=100與p=200）

7 真實數據實驗

本文利用真實的腦影像數據與股票交易數據分別驗證提出的聯合半參數圖模型（JSPGL）與聯合動態半參數圖模型（JDSPGL）的有效性。

腦影像數據（http://adni.loni.ucla.edu/）采集于32個老年癡呆（Alzheimer’s disease，AD）大腦、71個認知障礙（mild cognitive impairment，MCI）大腦與62個正常（normal control，NC）大腦，且所有數據包括116個特征，每個特征代表每個解剖興趣區域。對于腦影像數據，將利用JSPGL聯合構建三類大腦網絡，其為AD腦網絡、MCI腦網絡與NC腦網絡。通過估計這些腦網絡找到它們的共性與差異（見圖5）。

股票交易數據（http://finance.yahoo.com/）收集于標準普爾500指數公司從2003年1月到2008年1月每天股票交易數據。該數據包括452家公司的1 258條收盤價格。考慮到該股票交易數據隨著時間較光滑變化，本文利用JDSPGL學習這452家公司在股票交易中動態的條件相關性。

這些真實數據沒有已知的結構信息，因此本文類似于文獻[7]利用Kullback-Leible（KL）損失定量地驗證模型估計的性能。對于多類數據如腦影響數據，首先把每類數據[nk]劃分為M份{D1,D2,…,DM}，然后定義KL-loss如下：

其中，是在訓練樣本（[nk]減去Dm）上估計得到的；Sm為測試樣本Dm的樣本協方差矩陣。對于動態數據如股票交易數據，首先把所有數據[n]劃分為{D1,D2,…,DM}，然后定義KL-loss如下：

其中是在訓練樣本（[n]減去Dm）上估計得到的。

由表1可知，在腦影像數據實驗上，本文JSPGL的性能優于SPGL與JGL。同時，由圖5可知，NC腦網絡與MCI腦網絡的差異要小于NC腦網絡與AD腦網絡，因此JSPGL學習得到的腦網絡同時具有較好的解釋性。由表2可知，在股票交易數據上，本文JDSPGL的性能優于DSPGL與DGL。

Table 1 5-flod KL-loss on brain imaging dataset表1 圖模型在腦影像數據上的5重KL-loss

Table 2 5-flod KL-loss on stock trading dataset表2 圖模型在股票數據上的5重KL-loss

Fig.5 Brain networks estimated by joint semi-parameter graphical model圖5 聯合半參數圖模型估計的腦網絡

8 總結

本文提出了聯合半參數概率圖模型用于學習非正態分布異構數據的條件相關性。同時，針對光滑變化的異構數據，提出了聯合動態半參數圖模型。將基于非參排序的相關矩陣估計方法與結構融合圖套索方法相結合，提出了一類半參數融合圖套索方法來估計提出的模型。特別針對動態半參數圖模型，提出了一種新的核光滑Kendall’s tau相關矩陣。由于放寬了正態分布的假設，使得本文模型比當前聯合高斯圖模型更靈活。由于采用了基于非參排序的相關矩陣估計方法，使得本文模型更魯棒。在未來工作中，將提出的聯合動態圖模型推廣到混合變量的半參數圖模型[30]。

：

[1]Lauritzen S L.Graphical models[M].Oxford:Oxford University Press,1996.

[2]Liu Jianwei,Cui Lipeng,Luo Xionglin.Survey on the sparse learning of probabilistic graphical model[J].Chinese Journal of Computers,2016,39(8):1597-1611.

[3]Banerjee O,Ghaoui L E,d'Aspremont A.Model selection through sparse maximum likelihood estimation for multivariate Gaussian or binary data[J].Journal of Machine Learning Research,2008,9:485-516.

[4]Huang Shuai,Li Jing,Sun Liang,et al.Learning brain connectivity of Alzheimer’s disease from neuroimaging data[C]//Proceedings of the 23rd Annual Conference on Neural Information Processing Systems,Vancouver,Dec 7-10,2009.Red Hook:CurranAssociates,2009:808-816.

[5]Meinshausen N,Bühlmann P.High-dimensional graphs and variable selection with the Lasso[J].The Annals of Statistics,2006,34(3):1436-1462.

[6]Yuan Ming,Lin Yi.Model selection and estimation in the Gaussian graphical model[J].Biometrika,2007,94(1):19-35.

[7]Friedman J,Hastie T,Tibshirani R.Sparse inverse covariance estimation with the graphical Lasso[J].Biostatistics,2008,9(3):432-441.

[8]Yuan Ming.High dimensional inverse covariance matrix estimation via linear programming[J].Journal of Machine Learning Research,2010,11:2261-2286.

[9]Cai T,Liu Weidong,Luo Xi.A constrained?1 minimization approach to sparse precision matrix estimation[J].Journal of the American Statistical Association,2011,106(494):594-607.

[10]Tibshirani R.Regression shrinkage and selection via the Lasso[J].Journal of the Royal Statistical Society:Series B Methodological,1996,58(1):267-288.

[11]Liu Han,Lafferty J D,Wasserman LA.The nonparanormal:semiparametric estimation of high dimensional undirected graphs[J].Journal of Machine Learning Research,2009,10(3):2295-2328.

[12]Liu Han,Han Fang,Yuan Ming,et al.High-dimensional semiparametric Gaussian copula graphical models[J].The Annals of Statistics,2012,40(4):2293-2326.

[13]Xue Lingzhou,Zou Hui.Regularized rank-based estimation of high-dimensional nonparanormal graphical models[J].The Annals of Statistics,2012,40(5):2541-2571.

[14]Yang Sen,Lu Zhaosong,Shen Xiaotong,et al.Fused multiple graphical Lasso[J].SIAM Journal on Optimization,2015,25(2):916-943.

[15]Guo Jian,Levina E,Michailidis G,et al.Joint estimation of multiple graphical models[J].Biometrika,2011,89(1):1-15.

[16]Danaher P,Wang Pei,Witten D M.The joint graphical Lasso for inverse covariance estimation across multiple classes[J].Journal of the Royal Statistical Society:Series B Statistical Methodology,2014,76(2):373-397.

[17]Zhu Yunzhang,Shen Xiaotong,Pan Wei.Structural pursuit over multiple undirected graphs[J].Journal of the American StatisticalAssociation,2014,109(508):1683-1696.

[18]Lee W,Liu Yufeng.Joint estimation of multiple precision matrices with common structures[J].Journal of Machine Learning Research,2015,16:1035-1062.

[19]Cai T,Li Hongzhe,Liu Weidong,et al.Joint estimation of multiple high-dimensional precision matrices[J].Statistica Sinica,2016,26(2):445-464.

[20]Huang Feihu,Chen Songcan.Joint learning of multiple sparse matrix Gaussian graphical models[J].IEEE Transactions on Neural Networks and Learning Systems,2015,26(11):2606-2620.

[21]Yuan Ming,Lin Yi.Model selection and estimation in regression with grouped variables[J].Journal of the Royal Statistical Society:Series B Statistical Methodology,2006,68(1):49-67.

[22]Tibshirani R,Saunders M,Rosset S,et al.Sparsity and smoothness via the fused Lasso[J].Journal of the Royal Statistical Society:Series B Statistical Methodology,2005,67(1):91-108.

[23]Zhou Shuheng,Lafferty J D,Wasserman LA.Time varying undirected graphs[J].Machine Learning,2010,80(2):295-319.

[24]Kolar M,Xing E P.On time varying undirected graphs[C]//Proceedings of the 14th International Conference on Artificial Intelligence and Statistics,Fort Lauderdale,Apr 11-13,2011:407-415.

[25]Qiu Huitong,Han Fang,Liu Han,et al.Joint estimation of multiple graphical models from high dimensional time series[J].Journal of the Royal Statistical Society:Series B Statistical Methodology,2016,78(2):487-504.

[26]Fang Hongbin,Fang Kaitai,Kotz S.The meta-elliptical distributions with given marginal[J].Journal of Multivariate Analysis,2002,82(1):1-16.

[27]Kruskal W H.Ordinal measures of association[J].Journal of the American Statistical Association,1958,53(284):814-861.

[28]Boyd S,Parikh N,Chu E,et al.Distributed optimization and statistical learning via the alternating direction method of multipliers[J].Foundations&Trends in Machine Learning,2011,3(1):1-122.

[29]Hoefling H.A path algorithm for the fused Lasso signal approximator[J].Journal of Computational and Graphical Statistics,2010,19(4):984-1006.

[30]Fan Jianping,Liu Han,Ning Yang,et al.High dimensional semiparametric latent graphical model for mixed data[J].Journal of the Royal Statistical Society:Series B Statistical Methodology,2017,79(2):405-421.

附中文參考文獻:

[2]劉建偉,崔立鵬,羅雄麟.概率圖模型的稀疏化學習[J].計算機學報,2016,39(8):1597-1611.