線性回歸方法在實時測控系統參數估計中的應用*

王鵬宇 項樹林 張必彥

（91550部隊 大連 116023）

1 引言

實時測控系統在飛行試驗過程中，主要完成對各類遙測、外測裝備數據的采集、傳輸、處理，為裝備提供實時引導數據，為指揮人員提供直觀的飛行軌跡曲線、飛行器關鍵系統遙測參數及指令信息，以便于掌握飛行器狀態而做出指揮決策，完成航區安全控制［1～3］。

面對海量遙、外測數據，測控系統采集并記錄了試驗過程中飛行器的全部定位測元、動力及控制系統傳感器數據、運算單元性能參數、內外部環境等相關信息，這些信息不僅用于飛行品的質量評價，還為關鍵參數評估及故障預測提供豐富的數據源［4～5］。傳統測控系統實時軟件，僅利用以上數據源完成基于模型的參數估計，即通過建立精確的物理或數學模型實現結果參數的計算［6～7］，例如通過卡爾曼濾波預測飛行軌跡，完成對測量裝備的引導；在忽略復雜氣象條件下，通過積分方式完成飛行器落點經緯度參數的估計。當待估計參數與因變量之間關系非常復雜，無法事先通過精確模型進行推導，一般采用事后處理及人工輔助判決方式進行分析，例如飛行器發生故障且測控系統丟失原始測元時的落點估計；受百余個部件參數影響的某動力系統工作狀態估計。然而，尤其是在飛行器未按理論狀態完成飛行時，更需要實時處理系統為指揮員提供更多參數的估計信息，為判斷飛行狀態是否正常提供決策信息。如何充分利用實時數據（包括歷次飛行的歷史實時數據），挖掘更多有效信息成為當前實時測控系統的重點研究方向。

線性回歸模型是一種有效的數據處理方法，在工業、農業、軍事、生物醫療等領域被廣泛應用，是定量分析研究中最流行的估計預測方法［8～9］。本文結合飛行器試驗實際需求，設計了基于線性回歸方法進行參數估計的系統組成，建立回歸模型，并給出不同應用條件下的求解方法，通過實際應用，取得了良效果。

2 基于回歸模型的參數估計系統設計

在飛行器試驗中，本文已將基于回歸模型進行參數估計方法應用到以下兩方面。一是對飛行器軌跡進行預測，包括正常飛行情況下的引導外推軌跡估計及故障情況下測控系統丟失目標后的落點預測；二是某些復雜的飛行器控制或動力系統工作狀態參數由系統內上百個單元部件狀態共同決定，無法建立系統與各部件的精確模型，尤其是飛行器故障情況下，可通過回歸模型預測系統工作狀態，提前為指揮員提供決策依據。

基于回歸模型的參數估計系統組成如圖1所示。遙、外測分系統分別實時采集相應裝備的原始數據。外測處理分系統對測量裝備數據進行質量檢查，剔除異常值，并根據裝備布站幾何解算所有測量方案，優選精度最高的方案結果作為最終軌跡定位，輸出給顯示系統［10］。由于軌跡特征及外部環境不斷變化，對當前時刻t之后n1個時間戳軌跡的估計取決于t到t之前n2時刻的所有軌跡定位及氣象數據，回歸模型的參數不斷變化，所以需要對模型系數實時更新并解算，結果用于對裝備進行引導及對故障情況下的落點預測。而對于遙測處理分系統，估計飛行器某系統運行健康狀態，需要全面考慮系統內近百個傳感器的參數，這種因果關系具有一定規律但很難通過具體公式進行表達，僅依靠一次飛行中的實時數據也無法準確計算回歸模型的系數，本文將全部遙測數據存入數據庫，通過數據清洗、特征分析、構建訓練數據集對線性回歸模型進行訓練，通過訓練好的回歸模型對本次飛行器某系統狀態進行估計將具有較高的精度。

圖1 基于回歸模型的參數估計系統框圖

3 線性回歸模型的建立與求解

3.1 線性回歸方程的建立

線性回歸是利用最小平方函數對一個或N個自變量和因變量之間關系建模的一種回歸分析，由于該模型易于擬合，運算速度快，自變量和因變量間統計特性容易確定，工程實踐中廣泛應用于對目標參數的預測或者變量之間相關性強弱的判斷［11］。模型的一般形式如式（1）：

對式（1）的寫法進行簡化：

3.2 線性回歸方程的求解

εi服從均值為0，方差為σ的標準正態分布：

利用m個處理周期的數據求解系數θ，則θ的對數似然函數為

去除無關項后，求似然函數的最大值轉化為對新的目標函數J(θ)求極小值問題，J(θ)也可稱為損失函數，即尋找最優的θi組合使得損失最?。?/p>

求極值可采用兩種方法，一是J(θ)對θ求導，通過尋找駐點求解θ；二是通過梯度下降方式分別求解 θi。

J(θ)對θ求導方式如下：

解得θ=(XTX)-1XTY，其中X，Y是m個處理周期對應的x1，x2…xn， y的矩陣表達形式。對于特征較少、n較小的情況，XTX一般逆陣存在且計算速度快，可以通過實時完成計算；當特征維度達到幾十至上百時，工程應用中無法求解逆陣，一般通過梯度下降方式，利用歷史數據對回歸模型進行訓練，實時處理中直接使用訓練完成的模型對參數做估計。

梯度下降求θi方法如下：

式（7）中α為學習率，是一個超參數，需要根據實際需要進行設定，通過每個處理周期獲得的xi，yi帶入式（7）對每個系數 θi進行訓練，使得目標函數J(θ)沿梯度以最快速度向極值方向移動，當 J(θ)到達極值點時，每個θi的取值即為最優值。對于學習率α，設置過大訓練速度會明顯提升，但容易造成J(θ)無法到達極值點；如果設置過小，J(θ)一定會達到極值點，但極值點可能是局部最優點。通過歷史數據對模型訓練時，可以先設置較大α值，再減小α做精細化訓練。

3.3 添加懲罰因子的線性回歸模型

在實際應用中，傳統線性回歸極易產生過擬合現象，尤其是高階回歸模型中θi的取值會很大，造成模型復雜度提高。在建模過程中，可以通過對目標函數添加合適的懲罰因子避免過擬合發生，同時由于加入懲罰因子可以改變θi的求解公式，避免XTX矩陣不可逆造成方程無解問題。

1）Ridge回歸模型

該模型通過在傳統線性模型目標函數J(θ)項上添加系數θ的平方和作為懲罰因子，新的目標函數如下，β與式（7）中的α作用一樣，是一個超參數：

一般過擬合發生時某些系數θ的取值會很大。通過對目標函數的優化，當θ過大時，懲罰因子也也會很大，最終造成J(θ)過大。求解θ的過程是通過尋找最優系數組合使得損失函數J(θ)盡可能小，所以過擬合的系數組合不再為最優解。

經推導，Ridge回歸模型通過求導方式的解如下，I是一個單位陣：

通過對XTX添加βI正則項后，可以保證二者加和后的矩陣為正定陣從而逆陣可求，保證系數θ可解。

2）Lasso回歸模型

該模型通過在傳統線性模型目標函數J(θ)項上添加系數θ的絕對值和作為懲罰因子，同樣可以防止過擬合現象發生。

由于Lasso回歸的懲罰因子含有絕對值項，所以該損失函數導數不可求，求導方式或梯度下降方法的解算不適用該模型。工程中可采用坐標下降法求解，該方法首先選擇n個系數中的1個系數在其坐標方向上移動，同時固定其他n-1個系數不變，使損失函數J(θ)達到局部最優，而后再通過同樣方式選擇另一個系數移動，不斷迭代調優。該模型在實際應用中，調優過程較為復雜，但最終確定的模型具有特征選擇能力，即通過n個變量估計參數時，模型可以篩選掉某些與被估計參數無關的變量，從而排除干擾項，簡化模型的使用。

4 實驗驗證

本節仿真實驗數據來自某次飛行數據，y軸表示飛行器在地心系下Y方向的坐標，t軸代表該坐標對應的飛行時刻，為了脫密處理，對兩個坐標軸數據進行了坐標變換及縮放處理。本節分別用傳統回歸模型、Ridge回歸模型、Lasso回歸模型的不同階數建模，旨在說明不同模型用于參數估計的特點，為實時數據處理中針對不同應用場合的模型選定奠定基礎。

圖1 傳統線性回歸模型參數估計曲線

如圖1所示，圓點代表不同時刻下實測得到的Y方向的坐標值，使用實測值作為訓練集，建立1階、4階、7階傳統回歸模型，不同階數的模型分別對應3條曲線方程，目的是利用得到的模型估計五角星對應時刻的Y方向坐標值。圖中R2是用于評價模型在訓練集上對數據估計精度的指標，含義如式（11）所示：

傳統線性回歸1階模型相比高階模型能夠較好的對預測值進行估計，雖然R2指標不如4階和7階模型，但高階的傳統線性回歸模型在訓練集上發生了嚴重過擬合，對預測值的估計嚴重偏離真實值。

Ridge回歸模型對參數估計的仿真曲線如圖2所示，一階模型指標比傳統回歸模型略低，但高階模型的過擬合現象得到了明顯改善，4階模型能夠較好對參數進行估計，7階模型對參數的估計也出現了較大偏差。

圖2 Ridge回歸模型參數估計曲線

Lasso回歸模型對參數估計的仿真曲線如圖3所示，一階模型指標比傳統回歸模型和Ridge回歸模型略低，但高階模型沒有出現過擬合現象。高階模型能夠較好地對參數進行估計。其高階模型不但未發生過擬合，且具備因變量的特征篩選能力，在本實驗中，7階模型系數由低到高具體值如下：

傳統回歸模型：893.1019118，-2474.51590507，2700.65540618，-1524.84168369，484.33477594，-87.24870329，8.31906527，-0.3260465。

Ridge回歸模型：-6.65877795 ，-2.94753851，2.98787303，4.05447172，-5.40431877，2.16563164 ，-0.36345725，0.02215715。

Lasso回歸模型：-4.02115909，-2.00128272，0.28952598，0.06216481，0.00613826，0.00019961，-0.00007596，-0.00002436。

可見傳統回歸模型為了在訓練集達到較好的擬合效果，系數取值非常大，發生了嚴重過擬合；Lasso回歸模型排除了3階以上系數，能夠幫助分析人員在不能明確掌握模型表達式下，排除干擾自變量的影響。

圖3 Lasso回歸模型參數估計曲線

綜上，如果使用一階模型對參數進行估計，傳統線性回歸模型不但計算量小，且模型評價指標最高，在實際應用中，估計效果也是最好的。如果使用高階模型，Lasso回歸效果最好，但模型系數的確定需要較大運算量，不適于在實時處理中訓練模型。Ridge回歸相比Lasso回歸的模型訓練計算量小，可以應用在實時參數估計中，為了避免過擬合，不宜采用較高階數。

5 實時數據處理任務中模型的選擇

1）對引導參數的估計。對引導參數估計一般以t作為當前時刻，利用t-n1個時刻的軌跡結果數據預測第t+n2個時刻的軌跡。對軌跡預測的參數僅包含目標在地心下的坐標，這些參數的因變量可以取時間t的一階或多階組合，另外可考慮風速作為因變量。由于該模型因變量簡單，XTX在實際使用中不存在不可逆情況，選用傳統線性回歸，模型簡單、運算速度快，適用于模型的實時訓練與實時估計。為讓預測軌跡平滑，變量t可選取2～3階，訓練樣本n1根據實時飛行測量數據質量選取，如果某段飛行軌跡精度較高，可選取前40或更多個處理周期數據來訓練回歸模型。

2）對落點參數的估計。如果飛行器工作正常，必須采用高階回歸模型使估計軌跡平滑，一般3階以上。為避免出現過擬合，選取帶有懲罰因子的模型，由于Lasso模型需要耗時較多的迭代運算來計算回歸系數，難以通過實時運算對參數進行估計，所以選取Ridge模型。

如果飛行器出現異常，且測控系統丟失測量元素前飛行器面向地表飛行，則采取1階不帶懲罰因子的回歸模型，估計其到達地表時的經緯度。

3）對系統工作狀態的估計。飛行器某系統工作狀態是否正常，是由系統內大量部件協調工作決定的，由于很難推導精確的關系模型，相關部件參數值都可作為系統工作狀態的自變量。因為自變量較多，回歸模型復雜度高，所以采用事后處理方式訓練模型，通過綜合分析歷次記錄在數據庫中的數據，不斷優化模型，在實時處理中直接使用最優模型進行系統工作狀態估計。為了避免過擬合，采用帶有懲罰因子的回歸模型，Lasso模型經實際應用具有較好的特征選擇能力，可以排除沒有因果關系的部件參數，其對應的系數θ通常接近零值，在很大程度上可以幫助分析人員掌握產品特點。

6 結語

線性回歸模型在參數估計、分類預測等方向有著廣泛應用，尤其是機器學習、人工智能飛速發展，大量軟件平臺和第三方庫函數可以直接加以利用，用于對回歸模型進行訓練［12］。本文利用實測數據訓練回歸模型，針對系統的實時性要求給出了不同模型的求解與應用方法，并根據測控系統中不同應用場合，提出了模型選取方案。本文提出的方法，相比傳統實時測控系統，不僅實時性得到保障且在參數估計的準確性方面能夠獲得更好效果。