線(xiàn)性回歸中自變量重要性估計(jì)的平均秩序方差分解法*

賈孝霞伍立志沈其君，2△

線(xiàn)性回歸中自變量重要性估計(jì)的平均秩序方差分解法*

賈孝霞1伍立志1沈其君1，2△

19世紀(jì)以來(lái)，在自變量間存在多重共線(xiàn)性時(shí)估計(jì)自變量相對(duì)重要性的方法研究取得了較大地突破和快速地發(fā)展［1-2］。Lindeman于1980年［3］，Cox于1985年［4］和Kruskal于1987年［5-6］分別提出了基于平均秩序產(chǎn)生不同的方差分解法估計(jì)每個(gè)自變量對(duì)因變量的重要性。在1992和2000年，Soofi［7-8］等人提出了一個(gè)正式的判定方法和在一個(gè)統(tǒng)一準(zhǔn)則的基礎(chǔ)上提出了以最大化熵為基礎(chǔ)的平均所有次序的一般化的方法。近幾十年來(lái)，許多研究者從不同的角度重新改造和發(fā)展了這個(gè)理論，同時(shí)對(duì)每種方法以不同的名字命名。而實(shí)際上，這些方法的提出都是基于Shapely在1953年提出的對(duì)策理論的Shapley值的求解方法。

平均秩序的方差分解法

1.平均半偏相關(guān)系數(shù)平方法

平均半偏相關(guān)系數(shù)平方法也稱(chēng)LMG法［3］是由Lindeman、Merenda和Gold于1980年提出，于1987年由Kruskal［5-6］推廣而被廣泛關(guān)注［9］。該方法是分別取三位學(xué)者名字的首字母而命名。該方法對(duì)于p個(gè)自變量的所有P！可能的排序，估計(jì)Xk的貢獻(xiàn)公式為：

其中，序列記為r，r＝1，2…，p??；seqR2（｛Xk｜r｝）為在第r個(gè)排序中自變量Xk所在模型的連續(xù)平方和。

2.比例邊界方差分解法

比例邊界方差分解法也稱(chēng)Proportional Marginal Variance Decomposition（PMVD）［10-12］，是由Feldman于2005年在LMG方法上做了一個(gè)加權(quán)提出的一種方法。計(jì)算公式為：

3.分層劃分法

分層劃分法也稱(chēng)Hierarchical Partitioning［14］，是由Chevan和Sutherland于1991年提出，這種方法指出因變量y和xi間的相關(guān)系數(shù)的平方r2劃分為一個(gè)獨(dú)立成分Ii和一個(gè)聯(lián)合成分Ji。其關(guān)系表達(dá)式為：

文獻(xiàn)指出，如果用R2測(cè)量模型擬合優(yōu)度，那么為正，表明相關(guān)自變量含有關(guān)于y的冗余信息。有時(shí)為負(fù)，說(shuō)明相關(guān)自變量含有關(guān)于y的冗余信息有時(shí)是錯(cuò)誤的［15］。

4.優(yōu)勢(shì)分析法

優(yōu)勢(shì)分析也稱(chēng)Dominance Analysis（DA）［16-20］，是由Budescu和Azen于1993年提出，于2003年進(jìn)一步完善的自變量重要性的估計(jì)方法。優(yōu)勢(shì)分析中自變量xi的重要性計(jì)算公式為：

5.對(duì)策理論法

對(duì)策理論法也稱(chēng)Shapley Value（SV）［21-26］，是由Lipovetsky和Conklin于2001年提出［21］，Conklin［22］于2004年進(jìn)一步完善的自變量重要性估計(jì)方法。這種方法對(duì)自變量xi的重要性估計(jì)公式如下：

6.信息測(cè)量法

信息測(cè)量法也稱(chēng)Information Measures［27-28］，是由Theil于1987年，Theil和Chung于1988年利用平均次序的思想但是使用不同的統(tǒng)計(jì)信息理論測(cè)量方法提出的一種方法。R2的信息測(cè)量定義為p個(gè)自變量半偏相關(guān)系數(shù)平方的信息和，其關(guān)系式表達(dá)為：

其中，I（x）＝-0.5log（1-x），對(duì)于0≤x＜1。信息測(cè)量法計(jì)算自變量權(quán)重通過(guò)平均所有p！次序得出。

7.臨界值法

臨界值法也稱(chēng)Criticality［18］，是由Azen等人于2001年提出在多元回歸模型中測(cè)量自變量重要性的一個(gè)新的方法。自變量的臨界值定義為對(duì)于一個(gè)給定的總體中，自變量被納入到最佳子模型中的概率。確定自變量的臨界值有以下四步：

（1）用bootstrap法從原始數(shù)據(jù)中抽取一個(gè)大樣本。

（2）對(duì)抽取的每個(gè)數(shù)據(jù)集，根據(jù)同一準(zhǔn)則選擇最佳模型。

（3）根據(jù)選擇的最佳模型分別得出2p-1個(gè)子模型的相對(duì)頻率。

（4）得出每個(gè)自變量被納入最佳模型的概率即臨界值。

臨界值法測(cè)量自變量重要性不是依賴(lài)于原始數(shù)據(jù)組成的特定模型，而是平均了由原始數(shù)據(jù)的重復(fù)抽樣組成的最佳模型中某個(gè)自變量被納入出現(xiàn)的概率值作為該自變量的重要性值，因此也算作平均秩次方法。

前提條件與對(duì)策理論的基礎(chǔ)

線(xiàn)性回歸模型中，基于平均秩次的方差分解法估計(jì)自變量重要性的方法的前提條件是當(dāng)自變量之間存在多重共線(xiàn)性以及自變量的重要性排序獨(dú)立且未知的情況下，求解自變量重要性除臨界值以外都是以模型的選擇和模型的擬合優(yōu)度為條件，即基于平均秩次的方法將模型的R2分配給每個(gè)自變量的非負(fù)貢獻(xiàn)，也就是要求所有自變量的重要性的估計(jì)值之和必須等于模型的R2，且每個(gè)自變量的重要性估計(jì)值必須非負(fù)。而臨界值法的測(cè)量是不依賴(lài)模型的選擇而是考慮了所有可能的模型而不是自變量的次序。

基于平均秩次的方差分解法這個(gè)概念是由Lindeman、Merenda和Gold三人于1980年首先提出，后續(xù)的幾種方法除臨界值法都是在此方法上加以改變。但事實(shí)上，大量的文獻(xiàn)指出基于平均秩次的思想與Shapley在1953年提出在對(duì)策理論中計(jì)算效益分配問(wèn)題的思想是一致的。Cox于1985年推導(dǎo)出對(duì)策理論中求解Shapley value的數(shù)學(xué)公式和基于平均次序的方差分解法求自變量重要性是等同的［4］。Stufken指出分層劃分法中的獨(dú)立成分I也是等同于Shapley Value［29］。Feldman［10，30］和Ortmann［31］也指出PMVD是對(duì)策論中求解Shapley Value的一個(gè)實(shí)例。優(yōu)勢(shì)分析和LMG法本質(zhì)上和Shapley Value法是等同的，都是將模型的R2通過(guò)平均秩次的方法分配給每個(gè)自變量。所以對(duì)策理論的Shapley Value法提供了另一個(gè)通過(guò)平均秩次計(jì)算自變量相對(duì)重要性的具有深淵意義的理論方法。對(duì)策理論解決的問(wèn)題就是在一項(xiàng)多人參與工作中，找到一種方法將合作產(chǎn)生的效益公平、有效的分配給每個(gè)參與者，實(shí)際上就是對(duì)參與者貢獻(xiàn)的排序，這與線(xiàn)性回歸模型中求解自變量重要性的問(wèn)題是同構(gòu)的。對(duì)策理論的基礎(chǔ)是在一個(gè)n人參與的聯(lián)盟中，找到一個(gè)能夠代表每個(gè)聯(lián)盟貢獻(xiàn)的特征函數(shù)v，v（S）表示參與者聯(lián)盟S（聯(lián)盟中成員的個(gè)數(shù)為s）的貢獻(xiàn)，讓參與者i進(jìn)入聯(lián)盟S，計(jì)算參與者i的邊緣貢獻(xiàn)｛v（S∪i）-v（S）｝，考慮到參與者進(jìn)入聯(lián)盟的次序和組成聯(lián)盟的人數(shù)不同，平均參與者i組成的所有可能的子集的邊緣貢獻(xiàn)，在1953年，Shapley在文獻(xiàn)中基于四個(gè)公理給出了計(jì)算公式-v（S）］，后來(lái)Roberts也給出了詳細(xì)的數(shù)學(xué)推導(dǎo)，使得計(jì)算公式也作為公理而被廣泛應(yīng)用。

總結(jié)和展望

本文總結(jié)了幾種近年來(lái)在不同領(lǐng)域文獻(xiàn)中出現(xiàn)的當(dāng)自變量存在多重共線(xiàn)時(shí)基于平均次序的方差分解法估計(jì)自變量的重要性的方法。基于平均次序的方差分解法估計(jì)自變量的重要性方法的提出使得回歸模型的應(yīng)用更加廣泛。這種方法是基于Achen于1982年提出三種重要性中的離散重要性，即各自變量對(duì)因變量變異的貢獻(xiàn)［32-33］。這些方法都克服了傳統(tǒng)方法的一些缺陷，因?yàn)樗鼈兛紤]了所有可能的子模型。另外對(duì)策理論中的Shapley Value的求解是基于一些準(zhǔn)則和公理推導(dǎo)得出，這使得用Shapley value估計(jì)自變量的重要性更為準(zhǔn)確和可信［33］。但是，基于平均次序的方差分解法都是首先找到一個(gè)度量的方法，然后計(jì)算了自變量在不同組合序列中以不同的次序進(jìn)入模型求出其度量準(zhǔn)則然后求其平均，這就決定了平均次序方法對(duì)計(jì)算機(jī)的要求較高。平均次序方法對(duì)于中等的自變量的個(gè)數(shù)的相對(duì)權(quán)重的計(jì)算也需要較大的計(jì)算量，所以當(dāng)自變量的個(gè)數(shù)太多時(shí)，例如超過(guò)30，這種方法便不可用了。另外，在樣本中，如果自變量的個(gè)數(shù)超過(guò)觀測(cè)個(gè)數(shù)時(shí)，這種方法也不可用了［33］。當(dāng)自變量的個(gè)數(shù)較大時(shí)，計(jì)算量也增加的很快，這也限制了這種方法的進(jìn)一步使用［32-33］。因此，當(dāng)自變量存在多重共線(xiàn)時(shí)，如何在構(gòu)建統(tǒng)一的期望準(zhǔn)則下準(zhǔn)確、簡(jiǎn)單地估計(jì)自變量重要性的方法仍是一個(gè)有待研究的問(wèn)題。

1.代魯燕，張波，黃啟風(fēng).相對(duì)權(quán)重法在線(xiàn)性模型自變量相對(duì)重要性中的估計(jì)及其應(yīng)用.中國(guó)衛(wèi)生統(tǒng)計(jì)，2013，30（1）：19-22.

2.張波，代魯燕，黃啟風(fēng).logistic回歸中自變量相對(duì)重要性的相對(duì)權(quán)重估計(jì).中國(guó)衛(wèi)生統(tǒng)計(jì)，2012；29（2）：191-195.

3.Lindeman RH，Merenda PF，Gold RZ.Introduction to Bivariate and Multivariate Analysis：Scott，F(xiàn)oresman，1980.

4.Cox LA.A new measure of attributable risk for public health applications Management Science，1985，31（7）：800-813.

5.KruskalW.Correction to“relative importance by averageing over orderings”.The American Statistician，1987a，41：341.

6.KruskalW.Relative Importance by Averaging Over Orderings.The A-merican Statistician，1987b，41（1）：6-10.

7.Soofi ES.A generalizable formulation of conditional logitw ith diagnostics.American Statistical Association，1992，87：812-816.

8.Soofi ES.A framework formeasuring the importance of variables w ith applications to management research and decisionmodels.Decision Sciences，2000，31（3）：1-31.

9.孫紅衛(wèi)，王玖，羅文海.線(xiàn)性回歸模型中自變量相對(duì)重要性的衡量.中國(guó)衛(wèi)生統(tǒng)計(jì)，2012，29（6）：900-902.

10.Feldman B.Relative importance and value，2005.

11.Gr?mping U.Estimators of Relative Importance in Linear Regression Based on Variance Decomposition.The American Statistician，2007，61（2）：139-147.

12.Gr?mping U.Variable Importance Assessment in Regression：Linear Regression versus Random Forest.The American Statistician，2009，63（4）：308-319.

13.Gr?mping U.Relative Importance for Linear Regression in R：The package relaimpo.Journal of Statistical Software，2006，17（1）：1-27.

14.Chevan A，Sutherland M.Hierarchical Partitioning.The American Statistician，1991，45（2）：90-96.

15.Cuadras CM.Interpreting an Inequality in Multiple Regression.The A-merican Statistician，1993，47（4）：256-258.

16.Budescu DV.Dominance Analysis A New Approach to the Problem of Relative Importance of Predictors in Multiple Regreesion.Psychological Bulletin，1993，114（3）：542-551.

17.Budescu DV.Dominance Analysis SAS Macros.2003［cited 2012 jamuary 17］；Available from.

18.Azen R，Budescu DV，Reiser B.Criticality of predictors in multiple regression.British Journal of Mathematical and Statistical Psychology，2001，54：201-225.

19.Budescu DV，Azen R.Beyond GlobalMeasuresof Relative Importance：Some Insights from Dominance Analysis.Organizational Research Methods，2004，7（3）：341-350.

20.Azen R，Budescu DV.The dom inance analysis approach for comparing predictors in multiple regression.Psychological Methods，2003，8（2）：129-148.

21.Lipovetsky S，Conklin M.Analysis of regression in game theory approach.Applied Stochastic Models in Business and Industry，2001，17（4）：319-330.

22.Conklin M，Powaga K，Lipovetsky S.Customer satisfaction analysis：Identification of key drivers.European Journal of Operational Research，2004，154（3）：819-827.

23.Israeli O.A Shapley-based decomposition of the R-Square of a linear regression.The Journal of Econom ic Inequality，2006，5（2）：199-212.

24.Yongjun L，Liang L.A Shapley value index on the importance of variables in DEA models.Expert Systems with Applications，2010，37（9）：6287-6292.

25.Gr?mping U，Landau S.Do not adjust coefficients in Shapley value regression.Applied Stochastic Models in Business and Industry，2010，26（2）：194-202.

26.Weiner JL，Tang J.Multicollinearity in Customer satisfaction research：Roland Clifford，2005.

27.Theil H.How many bits of information does an independent variable yield in a multiple regression？Statistics＆Probability Letters，1987，6（2）：107-108.

28.Theil H，Chung C-F.Information-Theoretic Measures of Fit for Univariate andmultivariate linear regressions.The American Statistician，1988，42（4）：249-252.

29.Srufken J.On hierarchical partitioning.The American Statistician，1992，46：70-71.

30.Feldman B.The Proportional Value of a Cooperative Game.In：University BC，editor.First World Congress of the Game Theory Society（Games2000）；July 24-28，2000；Bilbao，Spain：Fundacion B.B.V.；July 24-28，2000.

31.Ortmann KM.the proportional value of a positive cooperative game.Mathmatical Methods of Operation Research，2000，51：235-248.

32.Johnson JW，Lebreton JM.History and Use of Relative Importance Indices in Organizational Research.Organizational Research Methods，2004，7（3）：238-257.

33.Jian B.A Review of Statistical Methods for Determ ination of Relative Importance of Correlated Predictors and Identification of Drivers of Consumer Liking.Journal of Sensory Studies，2012，27（2）：87-101.

（責(zé)任編輯：丁海龍）

*：國(guó)家自然科學(xué)基金（81172771）

1.寧波大學(xué)醫(yī)學(xué)院預(yù)防醫(yī)學(xué)系（315211）

2.浙江醫(yī)藥高等專(zhuān)科學(xué)校

△通信作者：沈其君，E-mail：shenqijun＠nbu.edu.cn