第二十九講 關于留一法PRESS統計量的應用討論

徐靜安 浦靜雯 吳 芳 許保云

應國家獎勵辦聘任，6月15日赴北京參加2016年科技進步獎化工組評審工作。因提前一天報到，帶了一本《六西格瑪管理統計指南——MINITAB使用指南》，再次閱讀有關統計量預測殘差平方和PRESS的相關內容。這段時間借用化機所小會議室作辦公室，更接近科研一線，有了更多機會和吳芳、浦靜雯碩士一起學習、討論PRESS的相關問題。

在實驗研究中，擬合選定統計模型后需要分析評估回歸模型的總效果：回歸模型的P值，兩個確定系數R2及擬合標準差S值，回歸方程各個項的P值等。現在殘差診斷引起重視，也關注DPS二次多項式逐步回歸計算后輸出的d值，MINITAB系統輸出的Cp值。

統計模型預測結果評估有效的方法是對預報進行重復驗證試驗。數理統計中也采用“留一法”求取PRESS值對模型預報能力作出整體估計。

一 PRESS的概念

PRESS是留一法模型預測的誤差平方和。對實驗數據樣本N留下一個——第i個實驗觀察點，用N-1個數據擬合回歸方程，把留下的第i個觀察點作為預測驗證值，求出殘差 。以此類推，可得

（1）DPS數據處理系統對留一法預測標準差的定義

N為樣本量；

P為統計模型中因子的項數。

（2）在MINITAB系統中，根據將回歸方程擬合的殘差平方和SSE變換成PRESS，公式，定義為總的偏差平方和。

設想在樣本量為N的實驗數據中，如果某個點的存在與否會強烈影響統計模型的結構，則該點為有特殊地位的“杠桿點”“離群點”等。一般來說，樣本中更多的是普通點，是以樣本訓練集的整體影響建立統計模型。普通點的個體、一個點對統計模型的結構影響是不顯著的，對一定結構模型的參數估計的影響也比較小。這樣輪番留一計算得到的殘差平方和PRESS用來對統計模型的預測作整體評估。PRESS（留一法預報的殘差平方和）通常要比擬合的殘差平方和）大些，“但如果大得不多，則表明數據點中有特殊地位的點不多……，用此回歸方程作預測結果也比較可信。”

查閱了幾本專著及一些留一法應用案例，均無明確判據，PRESS比SSE大多少才是大得不多，才是可信、可接受的。

（3）討論

在PRESS工程應用的討論中，涉及統計模型結構型式、樣本量大小、樣本點在實驗多維空間中分布的均勻性、樣本實驗點的質量（有否異常誤差）等，這些因素會影響PRESS值，影響預報質量。

對于隨機安排的實驗，如考察因子有M個，一般多項式統計建模要求樣本量N/M≥5。如果采用多項式逐步回歸及適合于小樣本的支持向量機回歸SVR，則樣本量可適當小些，但過小的樣本量會影響模型的穩定性。

樣本實驗點中如有可疑點，應在實驗過程中用重復試驗予以剔除，或以平均值來降低對統計模型的特殊影響。試驗結束后，采用數理統計方法進行“壞點”剔除時要慎重。

大多數試驗設計（如全因子設計、正交設計等）因子水平都有重復，可以用留一法計算PRESS。均勻設計中因子水平只做一次試驗，而且樣本量本就偏小，N/M≥2～2.5，且少一個點對實驗點的均勻性產生較大負面影響。

統計模型的結構選擇對預測質量的影響更大，經常出現模型擬合效果的統計檢驗良好，但PRESS過大預測質量不行的情況，為此要重視統計模型的優化選擇。

現在面對的問題是：

①PRESS計算時的主體模型如何選擇？

②PRESS比SSE大多少，才是可信可接受的？

二 應用案例

高溫假后上班第一天（8月1日），吳芳碩士推薦我閱讀《MATLAB神經網絡30個案例分析》。讀后即網購《MATLAB神經網絡43個案例分析》，其中“神經網絡遺傳算法函數極值尋優——非線性函數極值尋優”一文的實驗數據，可作為本案例的基礎數據。

其實驗考察因子X1為添加物1（kg），水平為0，10，30，50；X2為溫度（℃），水平為 0，5，10，15，20；X3為添加物 2（kg），水平為 1650，1700，1750；X4為反應時間（s），水平為 40，60，80。

三 二次多項式隨機模型求取PRESS

浦靜雯碩士采用“試錯”學習，在DPS中用二次多項式逐步回歸求取預報值yi，-i，已知表1的實驗值y可求得計算18個隨機模型的及PRESS=i見表2。

表1 實驗數據

顯然，采用隨機模型出現了NO.5為“離群點”，可能的原因之一是該點在實驗范圍內為某個區域的“孤獨點”，影響特殊。如在實驗過程中，對該工藝條件應予以重復驗證。經計算檢查，該隨機模型由二次多項式逐步回歸求出，擬合統計量全部良好顯著，就是預報ymax值及留一預測驗證的δi值完全不靠譜。可見用隨機模型求取PRESS放大了個別點的負面影響。

為此，根據DPS數據處理系統及MINITAB使用指導，求取PRESS需指定統計模型的主體結構。

四 （線性項+交互項）全回歸模型求取PRESS

在MINITAB系統中，本案例表1指定模型為：

從統計＞DOE＞因子＞分析因子設計窗口進入計算界面，全回歸方法計算結果輸出如下：

表2 隨機模型計算匯總表

表2 隨機模型計算匯總表

測試集序號 添加物1/kg 溫度/℃ 預報值/kg 實驗值/kg 1 0 0?257.036 258 0.929752684 2 10 0 274.549 272 6.498421445 3 30 0 313.502 312 2.257140104 4 50 0 358.618 363 19.20362982 5 0 5-11887.493 360 150001090.3 6 10 557.149 493 4115.077543 7 0 15 614.613 605 92.41534093 1650 40 10 10 15 1700 60 621.695 627 28.13777168 11 10 20 1750 80 276.174 406 16854.72292 12 30 5 1750 40 259.631 390 16996.13102 13 30 10 1650 80 515.400 519 12.96292384 14 30 15 1700 60 637.981 662 576.8948036 15 50 5 1650 80 377.315 456 6191.382285 16 50 10 1750 60 951.392 523 183519.6317 17 50 15 1700 60 670.732 712 1703.07129 18 50 20 1700 40 704.125 555 22238.24853時間/s 60 60 60 60 80 40 60 60 9 0 8 0 20 464.149 400 4115.073822添加物2/kg 1700 1700 1700 1700 1650 1700 1700 1750 10 10 11.428 464 204821.1033∑150462384

模型擬合質量尚可，留一法模型預報PRESS雖有大幅度改善，但趨于零，模型預報功能很差。此外，x1，x3，x1x2，x1x3，x2x4，x3x4等對響應 y 的貢獻均不顯著，進入模型后過擬合造成統計模型不穩定，提高了擬合效果，降低了預報質量，模型尚需改進。

五 （線性項+交互項）剔除不顯著項模型求取PRESS

在MINITAB系統中，對公式（1）剔除不顯著項，按四計算結果P≤0.05的項保留，指定模型為：

公式中添加物2即x3在公式（1）中P=0.94＞0.05是不顯著的，在MINITAB系統中因子設計的計算，其x2x3交互項是顯著的，要求公式（2）中保留主成分x3，否則另行指定模型，x2x3需進行線性變換。

MINITAB系統的計算輸出：

由于指定的模型結構變化，擬合、預報功能有了變化，PRESS進一步改善，但預報功能仍需改進。

公式（1）并非完整的二次多項式，加以公式（2）采用簡單剔除，可通過二次多項式逐步回歸求取優化模型，存在改進空間。

六、二次多項式優化模型求取PRESS

本文三中是對N=18組數據分別留一組數據N-1=17進行二次多項式逐步回歸，得到18個隨機模型及δi。此處是用N=18組數據進行二次多項式逐步回歸獲得實驗范圍內二次多項式的最優模型，以此優化模型的主體結構求取留一法的PRESS。

用DPS系統處理，輸出：

復相關系數R=0.982962；

決定系數R2=0.966214；

剩余標準差SSE=29.0229；

調整相關系數Ra=0.975775；

調整決定系數Ra2=0.952136。

分析評估回歸方程擬合的各項統計量均有顯著性意義。表1單因素考察因混雜而難以分析的數據，經二次多項式逐步回歸處理，統計規律具有顯著意義。剩下的工作是對模型的預報進行評估，把優化模型線性變換，作為指定的主體模型結構，計算求取留一法的PRESS。

方程引入的項分別有：X3，X2×X2，X3×X3，X1×X4，X2×X3。這5個引入項線性變換重新作為5個因子（分別記為進行統計分析，見表 3。

在DPS系統中，輸入表3實驗數據，從“多元分析＞回歸分析＞線性回歸”窗口進入，計算輸出。方差分析表

回歸方程

剩余標準差SSE=29.0229

預測誤差標準差MSPE=44.0679

表3 線性化處理后的實驗數據

本文用了大量計算解讀PRESS計算時的主體模型如何選擇。浦靜雯碩士同時使用DPS，MINITAB兩個軟件系統的不同模塊進行計算校核，限于篇幅不能一一展開。現把本文選擇主體模型計算PRESS的方法結果匯總于表4。

表4 方法結果匯總

從輸出PRESS=23303.7123可知，模型預報質量大為改善，預測誤差的標準差MSPE=44.1相當不錯。

七 PRESS統計量可接受判據

本案例留一法預報的殘差平方和PRESS通常比擬合的殘差平方和要大，所以

分子分母自由度為N-P-1=18-5-1=12，常用顯著性水平α=0.05，查單邊檢驗F分布表，臨界值F0.05（12，12）=2.69＞2.31，結論是 F 統計檢驗相對于 SSE，PRESS沒有顯著性差異。用留一法PRESS值來對統計模型的預測作整體評估，在本案例中是可信、可接受的。

在神經網絡、支持向量機中，也有類似留一法PRESS的LOO-CV方法，把所有樣本N均作為訓練集用于訓練模型，得到的模型最接近原始樣本的分布，然后再逐次留一作預報，評估結果比較可靠。吳芳碩士用MATLAB軟件對此進行了BP-LOO-CV、SVR-LOO-CV計算PRESS的工作，另作專題討論。

最近科技界有頗多的熱點。2016年3月Deep Mind團隊開發的Alpha Go在人機大戰中以4∶1的成績擊敗圍棋世界冠軍李世石，具有里程碑意義。人們對人工智能（AI）具有的潛在顛覆性有了新的認識。Alpha Go應用了13層的深度神經網絡、蒙特卡洛搜索樹計算技術以強化學習等。機器學習人工神經網絡技術值得我們學習、關注。

NgAgo基因編輯技術的可重復性、成功概率、細胞污染實驗誤差的可控制性引起科技界的一片爭議之聲。對此結合上海化工研究院的科研工作，編寫了2016年第7講“統計模型優化預報的驗證”以及本文“關于留一法PRESS統計量的應用討論。”

筆者在2012年曾和許保云博士對PRESS嘗試過計算解讀，本次學習研討有了進一步認識，也占用了年青朋友的一些業余時間。在此抄錄一段愛因斯坦語錄以作共勉：

人的差異產生于業余時間。業余時間能成就一個人，也能毀滅一個人。