經典非參數回歸模型和貝葉斯非參數分位數回歸模型的比較

孔 航

（南京理工大學 馬克思主義學院，南京 210094）

0 引言

參數回歸是最早也是應用最為廣泛的一類主流模型，主要是基于抽樣方法對樣本進行統計研究，使用統計數據對模型中的參數進行估計[1]。但由于參數回歸對先驗信息的要求過高，如果先驗信息較少或錯誤，則直接導致估計結果不準確[2]。非參數回歸模型是計量模型的一次重大變革，該模型只要求知道樣本所屬類別，可以在先驗信息較少或很難獲取的情況下進行統計推斷，自Bleakley（2004）年首次應用該模型以來得到非常廣泛的推廣和應用[3]。

傳統非參數回歸模型雖然能對事物之間關系的基本規律進行較為準確地表述，但對事物發展過程中各個節點等同對待，無法區分部分節點的情況變化[4]。鑒于傳統非參數模型的局限性，本文試圖基于貝葉斯的基本原理對非參數函數進行分位數處理，從而分析該函數在每個分位點的基本特征，推介一種新的基于貝葉斯法的非參數分位數回歸模型，實證研究我國企業的核心競爭力問題。

1 三種非參數回歸模型的經典估計方法

1.1 核估計法

根據Kingne（2016）[5]的研究結果，假設所搜集的樣本集X和Y共n組，分別為：（Y1，X1），（Y2，X2），…，（Yn，Xn），第i組樣本中X和Y的函數關系可以表述為如下形式：

其中α表示Y的條件均值，ε是隨機擾動項，假設隨機擾動項服從標準正態分布，即ε～(0 ，σ2)。傳統方法認為可以以上述公式為基礎構建核密度函數K，假設帶寬是h，則有如下形式：

對構建的核密度函數進行加權平均處理后的結果為：

Nadaraya（2007）[6]認為可以使用如下形式對核密度函數進行估計：

這種非參數的核密度估計方法實質上就是傳統最小二乘法的加權處理。

1.2 多項式估計法

由于核估計是基于加權最小二乘法的估計方法，權重的相對固定性很容易使估計結果出現偏差[7]。多項式法試圖在核估計法的基礎上對權重進行動態處理，如果函數M在一定范圍內屬于n階可導，可以通過無限逼近的方法進行泰勒公式展開[8]。其表達式為：

通過最小化方法可以求出β的估計值：

上述公式向量化的表述公式為：

對上述公式進行最小化求解可以得到β的估計值：

其中X和Y的形式分別為：

1.3 近鄰估計法

假設存在正常數k，其范圍為大于1且小于n，可以用離觀測樣本最近的k個觀測值進行表述[9]。具體表述為如下形式：

其中Xi表示上述k個最近觀測值中的第i個，使用這種最近鄰估計法所得到的估計公式的表述形式為：

其中權重w的表述形式為：

近鄰估計法主要基于以上加權公式進行變量的測度。

2 三種經典估計方法的對比

利用上述三種經典估計方法進行例證分析，以驗證估計結果的精準性。

2.1 核估計法算例

根據前述核估計法的基本原理，構建如下非參數計量模型進行算例分析：

其中解釋變量X屬于均勻分布，隨機擾動項屬于正態分布，選取500組作為樣本數據輸入，進行800次模擬計算，計算結果見圖1，其中實線表示Y的實際值，虛線表示Y的估計值。從圖1估計結果可以看出，核估計法在一定程度上可以對Y值進行較為準確的估計，但是在很多地方出現較大的偏差，實際值和估計值的擬合度并不太理想。

圖1核估計法算例分析結果

2.2 多項式估計法算例

根據前述核估計法的基本原理，構建如下非參數計量模型進行多項式算例分析：

同樣解釋變量X屬于均勻分布，隨機擾動項屬于正態分布，為了保證估計結果的可比性，仍然選取500組作為樣本數據輸入，進行800次模擬計算，計算結果見圖2，其中實線表示Y的實際值，虛線表示Y的估計值。從圖2估計結果可以看出，多項式估計法在一定程度上也可以對Y值進行較為準確的估計，但是在很多地方也出現較大的偏差，實際值和估計值的擬合度也不是很理想。

圖2多項式估計法算例估計結果

2.3 近鄰估計法算例

根據前述核估計法的基本原理，構建如下非參數計量模型進行近鄰估計法算例分析：

同樣解釋變量X屬于均勻分布，隨機擾動項屬于正態分布，為了保證估計結果的可比性，仍然選取500組作為樣本數據輸入，進行800次模擬計算，計算結果見圖3，其中實線表示Y的實際值，虛線表示Y的估計值。從圖3估計結果可以看出近鄰估計法在一定程度上也可以對Y值進行較為準確的估計，但是在很多地方也出現較大的偏差，實際值和估計值的擬合度也不是很理想。

圖3近鄰估計法算例估計結果

通過對上述三種傳統的估計方法進行算例分析演算，認為傳統估計方法可以在很大程度上對被解釋變量進行較為準確的估計。但是由于傳統算法實質上就是加權最小二乘法的應用，對變量權重的設定相對固定，無法根據變量的重要程度調整權重，因此對模型中出現的動態變量適應性較差，在估計過程中出現實際值和估計值較大偏差現象。所推介的基于貝葉斯法的非參數分位數模型可以通過分位數的多次估計來解決上述問題。

3 貝葉斯法的非參數分位數模型推導

由于傳統非參數估計方法對變量權重的相對靜態設定，使該方法的應用出現很大局限，貝葉斯估計是基于貝葉斯定理對先驗信息的一種估計，而且貝葉斯估計法可以進行迭代處理，即可以利用根據貝葉斯定理得到的新信息迭代處理后得到進一步的信息，因此對數據的處理過程更科學[10]。但是貝葉斯法在處理過程中仍然面臨變量權重的問題，而根據不同的分位數設定不同的權重具有較強的合理性[11]。因此本文接下來基于貝葉斯原理進行分位數回歸來推導非參數模型。

3.1 貝葉斯非參數分位數模型的構建

傳統的非參數模型的基本公式表達方式為：

該公式可以對事物之間關系的基本規律進行較為準確地表述，但對事物發展過程中各個節點的情況無法把握，這里基于貝葉斯基本方法對非參數函數進行分位數處理，從而分析該函數在每個分位點的基本特征，拓展的分位數非參數模型的基本形式如下：

其中QYij表示Yij的分位數，x表示樣本個體的觀測值，α和β是個體向量，z是相應的協變量。這里需要對隨機擾動項ε進行以下基本假設：

如果能夠知道先驗信息p，則可通過以上分位數公式進行求解，先驗信息p的表達式為：

其中Vk是獨立同分布變量且服從Beta(ak，bk)分布，根據以上推導[9]構建如下非參數貝葉斯分位數模型：

3.2 簡化貝葉斯非參數分位數模型的求解過程

由于似然估計法根據似然最大化的基本原理對估計結果的精準性預測較高[12]，這里，使用似然函數的方法求解，其似然函數的公式為：

由于該公式包含(2M)N項需要計算，即使M和N很小，計算量也非常龐大，為了減輕計算負擔，對上述公式進行拓展研究，引入潛變量G和H，則可以把上述公式改寫為：

其中Cat表示變量的分布類型，此時上述公式的似然函數則可簡化為：

該似然函數公式從原來的(2M)N項減少為現在N項，大大減輕了計算壓力。基于貝葉斯的基本方法對非參數函數進行分位數拓展研究，可以大大提高運行速度。

4 模型的可信度：Gibbs抽樣算法校準

由于基于貝葉斯定理的分位數回歸模型對初始值的要求較高，如何選擇初始值對估計結果的準確性有較大影響[13]。可以通過選定初始值然后進行逐步校準，如果得到的校準結果可以通過顯著性檢驗表明所選定的初始值具有較高的可信度[14]。為了驗證所構建的拓展的非參數函數的可信度，通過Gibbs抽樣算法進行校準，對潛變量G和H進行推導，潛變量的條件密度函數為：

其聯合密度函數的形式可以表述為：

根據貝葉斯的基本原理可以分別得到潛變量G和H的條件后驗分布形式為：+B0b0，α的表達形式為：

由于構建的基于貝葉斯的非參數分位數回歸模型通過先驗信息V的方式進行計算，而不是直接計算，如果先驗信息V可靠，則可以得出較為可靠的結論[15]。先驗信息V的密度函數形式為：

上述密度函數的分布又可以寫成以下形式：

同時對?的形式設定如下：

把上述公式等價轉化后可得?的分布形式為：

以上推導表明所有潛變量和先驗信息均屬于較為常見的分布形式，因此，可以通過Gibbs抽樣算法進行逐步計算從而對模型的可信度校準，基本步驟為：首先，設定一個初始值 Θ0，利用β的分布形式π(β|y，Θ-β)求出β值，利用α的分布形式π(α|y，Θ-α)求出α值，利用G的分布形式π(G|y，Θ-G)求出G值，利用H的分布形式π(H|y，Θ-H) 求出H值，利用μ的分布形式π(μ|y，Θ-μ)分別求出μ1g和μ0g值，利用σ的分布形式π(σ|y，Θ-σ)分別求出σ1g和σ0g值，利用?的分布形式π(?2|y，Θ-?2)求出?2值，利用V的分布形式π(V|y，Θ-V)求出V值。根據以上步驟對新構建的基于貝葉斯的非參數分位數回歸模型進行抽樣校準，校準結果見表1。從表1的結果可以看出當初始值為0.1、0.5、1.0、1.5、2.0和2.5時t值都在0.01的顯著性水平下通過檢驗，表明所構建的基于貝葉斯的非參數分位數回歸模型具有較高的可信度，Gibbs校準效果較好。

表1 基于貝葉斯的非參數分位數回歸模型校準結果

5 數值樣例的演算和對比

為了論證本文所構建的基于貝葉斯定理的分位數非參數回歸模型的精準性，本文使用相同的樣本進行算例比較分析，由于不同的估計方法對數據的處理過程存在較大差異，通過對各變量消除度量單位進行無量綱化處理，以便于更為形象的比較。為了在比較過程中更為清晰地看出結果差異，用表格的形式把估計值列出來。

5.1 經典非參數回歸模型的演算

首先使用傳統的非參數估計方法再次進行算例分析，對我國企業的核心競爭力進行定兩測度，使用我國年營業額超過5000萬的大中型企業作為研究樣本，數據來源于2000—2017年《中國大中型企業競爭力發展報告》。核估計法、多項式估計法和近鄰估計法的測度結果見表2，從估計結果來看，大部分結果都通過了顯著性檢驗，但沒有一個結果在1%顯著性水平上通過檢驗，還有部分結果沒有通過顯著性檢驗，說明傳統非參數估計方法需要進一步改進。

表2 企業核心競爭力的傳統估計方法回歸結果

5.2 貝葉斯非參數分位數回歸模型的演算

與經典的非參數回歸模型不同，貝葉斯非參數分位數回歸模型的關鍵是選取初始值，這里通過蒙特卡洛模擬選取初始值，使用以下公式生成相應數據：，在蒙特卡洛模擬過程中對先驗信息的選取規則為N（0,100I），Gibbs抽樣次數為1000，進行500次蒙特卡洛模擬，模擬的均方差（MSE）為：，使用蒙特卡洛進行500次的模擬，從模擬結果來看0.3分位數的最優次數最多，初始值為0.6時為最佳選擇標準，所以本文最終選擇0.6為初始值進行實證研究。

根據Kjhege（2017）[10]的研究結論，企業的核心競爭力與其所處的發展階段具有非常密切的關系，他把這種現象稱為企業的生命周期，因此企業的核心競爭力和企業的發展階段不是線性關系，而是二次項形式，這里設定如下三種模型研究企業的核心競爭力：

模型1：普通非參數分位數回歸模型

模型2：帶截距的非參數分位數回歸模型

模型3：帶截距和斜率的非參數分位數回歸模型

使用蒙特卡洛模擬的最優分位數0.3和最佳初始值0.6為標準，分別使用三個不同模型對我國企業2000—2017年的核心競爭力進行非參數分位數回歸分析，企業標準化的核心競爭力回歸結果見表3，從回歸結果來看，所有模型在所有年份都通過了顯著性檢驗，表示使用所構建的非參數分位數模型的回歸結果較為理想。從數值大小來看，模型1的數值相對較大，模型3的數值相對較小，模型2的數值介于模型1和模型3之間，可能是因為模型2加入了截距變量，模型3加入了截距和斜率變量，從而更能接近實際。估計結果表明我國企業2000—2017年核心競爭力的發展趨勢，總體來看處于較為明顯的上升階段，表示我國企業的核心競爭力還有很大的發展空間，目前處于拐點左側的上升發展區間，在2008—2009年金融危機期間有小幅下滑。

表3 企業核心競爭力的非參數分位數回歸結果

5.3 結果對比分析

核估計法、多項式估計法和近鄰估計法的測度結果大部分都通過了顯著性檢驗，但沒有一個結果在1%顯著性水平上通過檢驗，還有部分結果沒有通過顯著性檢驗，說明傳統非參數估計方法在進行計量驗證時偏差相對較大需要進一步改進。本文所構建的基于貝葉斯的分位數估計方法在所有模型在所有年份都通過了顯著性檢驗，而且大部分是在1%顯著性水平下通過檢驗，表明使用所構建的非參數分位數模型的回歸結果和傳統估計方法相比估計結果的精度大大提高，該方法具有分位點差異性、高效性和可靠性等優點，用此方法進行計量分析所得結果較為理想。比較研究結果論證本文所構建的基于貝葉斯定理的分位數非參數回歸模型的精準性。

6 結束語

傳統非參數回歸模型雖然能對事物之間關系的基本規律進行較為準確地表述，但對事物發展過程中各個節點等同對待，無法區分部分節點的情況變化，本文基于貝葉斯的基本方法對非參數函數進行分位數處理，從而分析該函數在每個分位點的基本特征，構建一種新的基于貝葉斯法的非參數分位數回歸模型，并與傳統非參數回歸模型進行算例比較研究。比較研究結果認為基于貝葉斯法的非參數分位數回歸該模型具有以下優點：第一，分位點差異性。該模型有別于傳統非參數模型，可以對每個分位點的差異進行分析，可以根據需要設定分位點通過模型測度分位點的優劣，從而確定最優分位點。第二，高效性。該模型從傳統非參數模型的(2M)N項減少為現在N項，大大減輕了計算壓力，基于貝葉斯的基本方法對非參數函數進行分位數拓展研究，可以大大提高運行速度。第三，可靠性。通過Gibbs法對新構建的基于貝葉斯的非參數分位數回歸模型進行抽樣校準，發現校準結果較為理想，通過蒙特卡洛模擬選取初始值進行回歸的精度較高。