隨機效應-最大期望回歸樹模型的模擬研究與評價*

廣東藥科大學公共衛生學院衛生統計學教研室(510310)

李偉南 林暢琪 廖海寧 潘敏儀 郜艷暉 周舒冬△

【提 要】 目的 介紹隨機效應-最大期望回歸樹模型(random effect-expectation maximization regression tree，RE-EM回歸樹)方法原理，比較RE-EM回歸樹與CART回歸樹在具有系統結構特征的縱向數據中的估計效果。方法 通過計算機生成不同參數設置的模擬數據，比較在不同隨機效應及殘差存在相關結構的縱向數據中兩種樹模型對特征空間的預測能力，并通過均方殘差指標對擬合效果進行評價。結果 本研究所構建的RE-EM回歸樹在不同參數設置下的預測性能均優于CART回歸樹。結論 RE-EM回歸樹具有較強的預測性能，能準確預測特征空間且數據擬合效果好，相對于CART回歸樹具有明顯的優勢。

在醫療衛生領域，重復測量數據(repeated measures data)和縱向數據(longitudinal data)十分常見，此類型數據往往具有系統結構特征，同一觀測對象的多次測量之間存在相關性[1-2]，并且數據中的隨機誤差分布于不同的層次，因此在進行數據分析時不宜采用常規的統計方法，如一般線性模型。而決策樹作為數據挖掘技術中的一種分類方法，為該問題提供了較好的解決方案。決策樹的思想主要源于Breiman等人在1984年提出[3]的CART(classification and regression tree)算法，其根據因變量的類型可以分為回歸樹和分類樹。30多年來，基于樹的方法已經在統計學和數據挖掘的相關文獻中得到廣泛研究和應用，因其輸出的結果簡潔直觀，具有較強的解釋性，且核心算法較為成熟，目前已是數據挖掘領域中使用最廣泛的算法之一[4]。但是對于具有系統結構特征的縱向數據，傳統的樹方法(如CART回歸樹)往往容易忽略其聚集性結構及殘差間的相關性，從而導致模型構建的準確性較低，偏倚較大[5]。因此為了解決傳統CART回歸樹擬合縱向數據的缺陷，從上世紀90年代開始，國外學者就將回歸樹在縱向數據中的應用進行了探索。例如學者Segal(1992)[6]和De′Ath(2002)[7]分別提出了應用于縱向數據的樹方法，但該樹模型要求研究對象在所有觀測時期都使用同一組自變量，即各個時期因變量的估計值都存在于同個節點上，這雖然防止了在第一個觀測時期后受到時依性變量的影響，但是容易導致信息的丟失，從而使預測性能較差。學者Galimberti和Montanari(2002)也創建了一種處理縱向數據結構的樹模型[8]，其基本思想是將隨機效應與殘差協方差矩陣獨立于程序外進行估計，該模型允許時依性協變量的存在，同一研究對象的不同觀測值可以出現在樹的不同節點上，但由于其分割函數較為復雜，目前該算法尚未整合于軟件中，因此其推廣性較差。而學者Sela和Simonoff(2012)也提出了與該樹方法類似的隨機效應-最大期望回歸樹模型(random effect-expectation maximization regression tree，RE-EM)，并將該模型算法整合于“REEMtree”R包中[9]。

RE-EM回歸樹是基于混合線性模型思想的樹方法。目前在國外，RE-EM回歸樹在醫學、教育學、生態學等領域都得到一定的應用，但尚未有研究就模型擬合的準確性對RE-EM回歸樹與CART回歸樹進行比較，因此在本研究中將對RE-EM回歸樹的原理進行探討，并通過模擬研究進一步驗證比較RE-EM回歸樹與CART回歸樹在具有系統結構特征的縱向數據中的估計效果。

原理與方法

1.混合線性模型結構

縱向數據是指對每個個體在不同時間進行觀測而得到的數據，即在t=1,…,p的不同時期上觀測同一組研究對象i=1,…,n，其相對應的一組因變量觀測值為yi=(yi1,…,yip)′，每個研究對象其自變量向量為Xi=(xi1,…,xip)′，其中xit=(xit1,…,xitq)，即Xi為一p×q維矩陣。在實際的縱向數據中，隨機殘差向量往往是不滿足一般線性模型的獨立性與方差齊性的條件，而混合線性模型則允許殘差項具有更加靈活的結構，包括相關性和方差不齊性，另外，在某些研究中，分組因素或回歸因子不是人為指定的，而是隨機的，因而其參數估計值含有隨機部分，并且隨機部分可能存在某種相關關系，為了將這種隨機部分分離出來以提高對總體預測的有效性，因此在模型中納入一個設計矩陣Zi和相應未知的隨機參數向量bi。模型的一般形式可表現為[10]：

yit=f(Xi)+Zibi+eit

(1)

2.回歸樹模型結構

回歸樹為一個if-then規則的集合[11]，由決策樹的根節點到葉節點的每一條路徑構建一條規則，建立回歸樹的過程大致可以分為兩步：

(1)將預測變量空間(即X1,X2,…,Xq的可能取值構成的集合)分割成J個互不重疊的區域R1,R2,…,Rj。

(2)對落入區域Rj的每個觀測值作同樣的預測，預測值等于Rj上訓練集的因變量的簡單算術均值。

因此回歸樹模型的形式如下：

(2)

3.隨機效應-最大期望回歸樹模型結構

基于混合線性模型的優勢及回歸樹模型的較強解釋性，學者Sela和Simonoff將(1)式和(2)式進行結合，使混合線性模型推廣到基于樹的方法，解決了傳統回歸樹對縱向數據估計的不足。RE-EM回歸樹是一種基于樹結構估計f函數的方法[9]，其中包含了隨機效應bi，在這種方法中，節點可以基于任何自變量進行分割，使同一對象的不同觀測可以放置在不同的節點中，RE-EM回歸樹可以對縱向數據或聚集性數據進行分析，并且可以在線性模型假設不成立的情況下進行建模。RE-EM回歸樹在進行預測的同時也考慮了時依性協變量的影響，能對因變量和自變量的潛在關系進行探索。

因為包含隨機效應的回歸樹在進行估計時，使用的是最大期望算法(expectation maximization algorithm，EM)，因此本研究構建的回歸樹稱為隨機效應-最大期望回歸樹或RE-EM回歸樹。

以下為RE-EM回歸樹的估計過程：

(1)將待估計的隨機效應bi初始化為零。

(2)通過以下迭代，直到估計的隨機效應bi收斂(基于似然值的變化或受限似然函數小于某個容差值)：

步驟①中回歸樹的擬合可以使用CART回歸樹的算法，通過樹的生長和修剪準則來實現。步驟②中混合線性模型的估計方法可以使用最大似然估計或受限最大似然估計。

模擬試驗

1.模擬方法及參數設置

以預測棒球運動員的薪水為例[12]，根據運動員效力于職業棒球聯盟的年份(Years)，以及一年所擊出的安打數(Hits)，分別以CART回歸樹和RE-EM回歸樹對運動員的薪水進行預測(薪水Salary以十萬美元為單位)。假定回歸樹模型如圖1所示，樹的根節點從年份(Years)開始分裂，表示當棒球運動員效力年份小于4.5年，那么年薪平均值為5.11(單位：十萬美元)。而當效力年份大于4.5年，一年的安打數小于117.5次，則年薪平均值為10。當效力年份大于4.5年且一年安打數大于等于117.5次，那么年薪平均值為12.74。該樹包含了三個特征空間或三個終端節點。

圖1 假定回歸樹模型

(1)回歸樹模擬數據集的生成

假定模擬人群共有3000人，每個研究對象共有12條觀測記錄，即基線(0年)到隨訪第11年，根據if-then規則生成模擬數據集：

特征空間1：ifYears<4.5thenSalary=μ1+Zibi+eit

特征空間2：ifYears>4.5andHits<117.5thenSalary=μ2+Zibi+eit特征空間3：ifYears>4.5andHits≥117.5thenSalary=μ3+Zibi+eit

模擬數據共有36000條觀測，數據結構如表1所示：

據報道，我國護理科研在心理護理、人文護理等的研究遠遠落后于發達國家，我國在對照顧者的護理方面與國外相比差距甚遠［4］。因此，重視患者照顧者的早期心理狀況，盡早介入照顧者的心理干預，能有效減輕照顧者的身心壓力，有助于促進患者的康復。

表1 模擬研究數據結構

(2)模擬研究參數設置

表2 模擬研究數據結構參數設置情況

當不存在殘差相關矩陣時，相關系數ρ=0。

2.評價指標

(1)預測特征空間

對于每種擬合情況，考察預測特征空間與假定特征空間的差異，判斷模型預測性能。

(2)均方殘差(mean-square error，MSE)

采用MSE作為模型的評價指標，評價CART回歸樹和RE-EM回歸樹對數據擬合的情況。

結 果

(1)預測特征空間

表3顯示，當模擬數據集中無隨機效應結構及無殘差相關結構時，傳統的CART回歸樹與RE-EM回歸樹的預測效果一致，而當存在隨機效應結構時，CART回歸樹的預測值與假定的回歸樹(圖1)相差較大，特別是當數據結構中包含截距項及年份兩個隨機效應時，傳統的CART回歸樹不能準確預測出特征空間，表中“—”表示模型無法預測出第三個特征空間，最終擬合出樹的結構只有兩個終端節點，以第5種參數設置為例，兩種樹結構如圖2和圖3所示。

(2)均方誤差

表3顯示，當模擬數據集中無隨機效應結構而觀測間存在相關時，雖然CART回歸樹與RE-EM回歸樹兩者間的預測特征空間與假定的模型特征空間相近，但是兩者間MSE相差較大。而當模擬數據中存在隨機效應結構時，兩種模型間差異進一步加大，RE-EM回歸樹對數據的擬合結果明顯優于CART樹。

表3 CART回歸樹與RE-EM回歸樹對模擬數據的擬合結果

圖2 CART回歸樹

圖3 RE-EM回歸樹

討 論

本文通過模擬研究從模型擬合準確性和偏倚兩方面對RE-EM回歸樹和CART回歸樹進行了比較，結果顯示，RE-EM回歸樹相較于CART回歸樹，在處理具有隨機效應及殘差間存在相關關系的縱向數據時更能反映數據的真實關系，建模準確性高。另外從模擬研究中可以發現，在不同的數據結構設定下，RE-EM回歸樹的MSE值始終較低，因此RE-EM回歸樹相較于CART回歸樹對于數據的擬合效果更具優勢。因此總的來看，RE-EM回歸樹在建模的準確性及靈活性上均明顯優于CART回歸樹。

RE-EM回歸樹是一種將CART回歸樹與混合線性模型進行結合的一種方法，其具有兩者的優點[12]：(1)解釋性強，RE-EM回歸樹在解釋性方面甚至比線性模型更加方便；(2)與傳統的統計方法相比，回歸樹更接近人的決策模式，其輸出結果簡潔直觀，非統計專業人士也可以輕松解釋(尤其當樹規模較小時)；(3)樹方法可以直接處理定性的預測變量而不需要創建啞變量；(4)在處理分析非線性數據時，回歸樹是一種較為理想的方法；(5)允許資料具有某種相關性以及協方差矩陣的多樣性；(6)允許研究中的處理因素具有隨機性質。

目前在國內的醫學研究中，尚未見RE-EM回歸樹的相關研究報道。而本研究驗證了RE-EM回歸樹對于擬合縱向數據的適用性，因此在對實際資料進行分析時我們可以同時采用RE-EM回歸樹與混合線性模型以提高分析效率。本研究的不足在于構建的RE-EM回歸樹只適用于連續型因變量，而對于離散型因變量還需進一步探討，另外對于RE-EM回歸樹能否進一步發展為隨機森林方法，還需后續更多的研究。

隨著R軟件在統計學中的推廣和應用，基于R軟件開發的RE-EM回歸樹開始受到學者們的關注，因此，本文通過模擬研究對RE-EM回歸樹的原理方法、數據結構、軟件實現、案例分析和模型評價進行探討，并希望該方法能為醫學縱向數據的分析提供一定的參考。