保精度-稀疏特性的最優上邊界回歸模型辨識

劉小雍，張南慶，李 青，閻昌國

（遵義師范學院 工學院，貴州 遵義 563006）

近年來，眾多復雜過程自動化概念的應用，如基于模型和數據的模型預測控制及故障診斷等，都需要實際被控系統或過程的靜態以及動態行為的精確數學模型［1-2］。然而，大多數物理系統包含復雜的非線性及耦合關系等因素，導致很難建立準確的數學模型。此外，對來自控制系統中的過程參數變化、外部干擾或傳感器失效也對控制系統的設計增加了諸多不確定性［3-4］。這些現象的存在更需要探索一種更有效的建模方法，能實現復雜的輸入-輸出映射及非線性函數逼近。因此，出現了基于數據或數據驅動的建模方法［5-6］，即通過傳感器或其他數據設備獲取被控系統的輸入-輸出數據，采用神經網絡（NN）［7-8］、T-S模糊模型［9］、支持向量機［10］以及相關向量機（RVM）［11］等方法建立復雜系統的數學模型。這些方法的共同特點是建立的數學模型一般從擬合精度角度出發來考慮，不受系統參數、測量噪聲或其他不確定性等因素的影響，具有一定的局限性：①基于訓練數據建立的數學模型結構復雜、泛化性能差；②確定的數學模型不能自適應系統的變化。

基于經驗風險最小化的數據建模方法得到了廣泛研究。例如在NN、TS模糊模型的參數辨識過程中，主要考慮如何最小化模型的預測輸出與實際輸出之間的偏差，其中L2-范數的經驗風險最小化準則［12-14］以及基于卡爾曼濾波的參數的估計方法［15-16］用得較多。然而僅從建模精度來看，經驗風險最小化準則確實可以以任意的精度逼近任意的非線性系統，但容易陷入局部最優，導致模型結構復雜［17］。因此，有必要引入對模型結構復雜性的控制。文獻［18］從模型稀疏角度出發，在前饋NN中引入稀疏描述概念，對模型的初始結構進行優化，用于正確選取最小化輸出殘差的重要隱神經元，權值及偏差項的調整仍然采用最小二乘標準。為了解決模型精度以及泛化性能之間的平衡，文獻［19］引入了結構風險最小化準則作為目標優化，極大提高了模型的泛化性能。

結構風險由經驗風險和控制模型結構的Vapnik-Chervonenkis（VC）維組成，其中VC維對模型結構起著至關重要的影響。隨著不敏感域損失函數的引入，支持向量機（SVM）被擴展到回歸問題，即支持向量回歸（SVR）［19］，已成功應用于最優控制、TS模型的初始結構選取、時間序列預測以及非線性系統建模等。鑒于SVR中的結構風險最小化原理在各種應用中的優越性，文獻［13］將Hammerstein系統的動態線性部分與靜態非線性部分辨識構造為最小二乘-SVR（LSSVR）架構，并對動態部分采用LSSVR辨識。在TS模型的后件參數辨識中，為了克服傳統的經驗風險最小化所帶來的缺陷，文獻［20］基于LSSVR分解建立了一種新的代價函數求解后件參數。從上述基于數據的建模方法來看，主要集中在確定性建模方法的研究，即獲取到的數學模型是確定的點輸出，其模型結構保持不變，同時也不受系統參數變化、測量噪聲以及其他不確定性因素的影響。然而，在眾多的實際應用中，獲取的信息往往呈現出不確定、不準確以及不完整等特征，若仍采用傳統的確定性數學模型建模，顯然不能更好地去捕捉這一類不確定性復雜系統的特征變化。因此，本文將基于SVR的結構風險最小化原理與逼近誤差的L1范數相結合，建立了保模型精度-稀疏特性的最優上邊界回歸模型建模方法。首先，建立滿足上邊界回歸模型的約束條件。其次，將結構風險的L2范數轉化為簡單的L1范數優化問題，并將回歸模型與實際測量數據之間的逼近誤差的L∞范數融合到結構風險的L1范數優化問題，再應用較簡單的線性規劃對雙范數的優化問題進行求解并獲取模型參數。所提出方法的最優性體現在：①上邊界模型的建模精度通過逼近誤差的L1范數得到保證；②模型結構復雜性在結構風險的L1范數優化條件下得到有效控制，進而提高其泛化性能。

1 支持向量回歸的L1范數優化問題轉化

支持向量回歸［17，21］（support vector regression，SVR）是將基于二范數的結構風險最小化作為優化目標，實現對回歸模型結構復雜性的控制，從而提高模型的泛化性能；然而，在文獻［22］中指出，SVR中的優化目標求解采用的是二次規劃，會產生模型的冗余描述以及昂貴的計算成本；同時，L2范數的優化問題不能直接用于本文提出的最優下邊界回歸模型辨識的優化問題，需要進行L2范數到L1范數的轉化。對于二次規劃-SVR（QPSVR）的優化問題，

其中：φ（·）表示從輸入空間到高維空間的非線性特征映射，即為松弛變量，分別對應超出正、負方向偏差值時的大小；常量γ大于0，反應非線性f與偏差大于ε時兩者之間的平衡。對于式SVR模型f有，

其中β＝（β1，β2，…，βN）T。對于式（2）的優化問題，范數的引入是為了控制模型的復雜度，根據范數的等價性可知［23］，在結構風險中引入其他范數也可以同樣對模型結構復雜性進行控制。因此，可考慮將QP-SVR的優化問題（1）變成

其中f（x）以式（2）形式描述，表示系數空間的L1-范數。因此，新的約束優化問題為［24］

從幾何的角度來看，ξk和之間的關系在SVR中滿足因此，在優化問題（5）中僅引入松弛變量ξk即可［22］，即

為了轉化上述優化問題為線性規劃問題，將βk和｜βk｜進行如下分解［25］，

其中α＋k，α-k≥0。考慮到α＋k和α-k不能同時大于0，對應3種不同情況的解，即（α＋k，0）、（0，α-k）、（0，0），因此式（7）的分解是唯一的。下面對線性規劃問題（6）在式（7）的分解下，α＋k和α-k不能同時大于0進行簡單證明。采用反證法，假設在優化問題（6）的最優解中存在某一個k，使得α＋k和α-k同時大于零，現取τ＝min（α＋k，α-k），將α＋k和α-k分別換成α＋k-τ和α-k-τ，仍然滿足α＋k-τ＞0和α-k-τ＞0，但是目標函數中的α＋k＋α-k將減少α＋k＋α-k-2τ，這顯然與最優解的假設相矛盾。因此，α＋k和α-k不能同時大于0，即α＋k·α-k＝0。

基于式（7），優化問題（6）進一步為

現定義向量

向量β的L1-范數表示為

α＋＝（α＋1，α＋2，…，α＋N）T，α-＝（α-1，α-2，…，α-N）T。以向量形式將優化問題（8）構造為標準的線性規劃問題如下：

其中：ξ＝（ξ1，ξ2，…，ξN）T；I為N×N的單位矩陣，y＝（y1，y2，…，yN）T

線性規劃問題（9）可通過單純型算法或原-對偶內點算法進行求解［26］。對于QP-SVR，在ε域之外的所有數據點將被選擇為支持向量（SVs）；而對于LP-SVR，即便ε域選擇為0時，由于軟約束在優化問題中的使用，LP-SVR仍然能夠獲取稀疏解。通常情況下，稀疏解往往通過設定非零的ε域來獲取。

2 基于L1-L∞范數的最優上邊界回歸模型辨識

在完成SVR的優化問題從L2范數到L1范數轉化之后，接下來將從保精度以及保稀疏特性的角度出發建立最優UBRM。如圖1所示，提出的方法將從2個重要指標來辨識最優UBRM，其中保模型辨識精度通過引入最小化所有模型輸出與實際輸出之間的逼近誤差最大值來實現，即逼近誤差的L∞范數優化問題。另一方面，辨識精度太高會導致模型結構復雜，出現模型過擬合問題，因此引入結構風險最小化對模型結構復雜性進行控制，即保模型的稀疏特性。接下來，先從保模型辨識精度討論逼近誤差的L∞范數回歸模型辨識問題。

圖1 最優上邊界回歸模型辨識方法流程

2.1 逼近誤差的L∞范數回歸模型辨識

假設通過傳感器或數據獲取設備獲取一組測量數據｛（x1，y1），（x2，y2），…，（xN，yN）｝，其中｛x1，x2，…，xN｝描述輸入測量數據，對應的輸出定義為｛y1，y2，…，yN｝。設測量滿足如下非線性系統模型

根據統計學理論可知［27］，存在以式（2）描述的非線性回歸模型f對測量模型g的任意逼近，當逼近精度越小時，需要的支持向量越少；反之，逼近精度越高，則支持向量越多。因此，對任意給定的實連續函數g及較小的正實數η＞0，存在如下回歸模型f滿足

由于下邊界回歸模型是基于獲取到的輸入-輸出數據來辨識的，其中集合S是指被建模對象的數據輸入集。值得指出的是，較小的η值，對應式（2）較多的支持向量。現討論回歸模型中式（2）的另一種參數求解方法。在非線性系統模型的逼近情況下，定義實際輸出與由式（2）定義的SVR模型輸出之間的偏差ek，

為了估計SVR模型的最優參數，考慮如下最大建模誤差的最小化：

Z表示整個輸入數據集。顯然，這是一個最小-最大（min-max）優化問題。在式（2）描述的回歸模型情況下，式（13）的最小化可通過2個階段完成：①核函數中的核寬度σ的參數尋優，通常采用經典的交叉驗證或其他方法來實現，其詳細過程在本文中不再討論；②式（2）的參數確定可通過min-max優化問題求解，即

定理1min-max優化問題中的參數可通過最小化λ，且滿足如下不等式約束的線性規劃求解，即

其中：β＝（β1，β2，…，βN）T和b為被求解參數；λ表示最大逼近誤差。

證明定義λ如下，

可直接得出如下不等式，

根據去絕對值運算，可知式（15）的約束條件成立。

2.2 基于L1-L∞范數的最優上邊界回歸模型辨識

假定不確定非線性函數或非線性系統屬于函數簇Γ由名義函數gnom（x）和不確定性Δg（x）兩部分組成，

其中不確定性Δg（x）滿足R＋。現考慮來自函數簇Γ的成員函數g，x∈Rd，對應輸入x上的測量輸出Y＝｛y1，y1，…，yN｝，即yk＝g（xk），g∈Γ，xk∈S，k＝1，2，…，N。UBRM建模的思想是，在滿足約束（11）的條件下，建模下界回歸模型f（xk），

在式（19）約束的意義下，來自函數簇的任一成員函數總能在UBRM上方中找到。顯然，這樣的UBRM有無窮多個，提出方法的目的就是根據提出的約束（11），確定盡可能逼近成員函數的上界。本文是通過將L∞范數、結構風險最小化理論以及線性規劃相結合，給出UBRM 更好的逼近。由式（3）給出UBRM的表達式，

UBRMf（x）可通過線性規劃對如下優化問題進行求解：

定理2對于UBRMf（x）的參數β，b的求解，對應min-max優化問題（2.12）可通過最小化λ，且滿足如下不等式約束的線性規劃求解，即

其中λ表示最大逼近誤差。

證明定理2可直接通過定理1推出。

從上述回歸模型辨識的思想來看，僅考慮上邊模型輸出與實際輸出之間的逼近誤差，而回歸模型本身的結構復雜性卻沒有被考慮，這樣一來，通過上述優化問題獲取的參數解有可能出現不全為零的情況，不具有稀疏特性，對應N個樣本數據可能都是支持向量，導致模型結構復雜。為了解決模型稀疏解的問題，在求解上邊界回歸模型的優化問題中，有必要將結構風險最小化的思想融合其中，在保證回歸模型逼近精度的同時，盡可能讓模型結構復雜性得到有效控制。基于此，將上邊界回歸模型優化問題（14）融合到基于結構風險最小化的優化問題（3）。因此，對于帶有稀疏特性的下界回歸模型f（x）的優化問題，有

其中：λ表示最大逼近誤差；參數α＋k、α-k、b、ε、ξk與第二節的定義一樣。

從優化問題（23）可知，作為典型的線性規劃問題，可用向量及矩陣形式表述如下：

其中：

I為N×N的單位矩陣；E＝1N×1；核矩陣K的元素定義為

σ為可調核參數。

顯然，應用內點法或單純性方法可以求解優化問題，進而得到下界回歸模型f（x）。

從應用提出方法來建立OLRMf（x）的整個過程來看，優化問題既包括了對模型結構復雜性控制的目標函數，又包括了如何獲取較好的模型精度所對應的逼近誤差作為目標函數，而且模型結構復雜性控制和模型精度之間的權衡可以通過規則化參數進行調整。總而言之，提出方法在保證獲取下界模型建模精度的同時，而且還對模型結構復雜性進行有效控制，從而提高下界回歸模型的泛化性能。

3 實驗分析

為了論證提出方法的合理性與優越性，將從保精度和保模型稀疏特性兩方面展開提出方法的實驗論證，其中保精度是通過均方根誤差（root mean squares error，RMSE）指標進行評估，定義如下：

其中：N表示所獲取測量數據的總數；y（k）為第k個實際測量數據；f（xk）對應提出方法的上界模型預測輸出，如式（25）定義。從提出的方法來看，對于UBRM，必滿足f（xk）-y（k）≥0，但滿足該條件的f（xk）有無窮多個。因此，在保證f（xk）-y（k）≥0恒成立的條件下，f（xk）與y（k）之間的偏差越小越好，即通過RMSE指標進行評估，若RMSE越小，UBRM建模精度越高，反之較低。

顯然，較高的建模精度，通常情況下會引起UBRM的結構更復雜，喪失模型結構的稀疏特性，泛化性能變差。為了對模型結構的稀疏特性進行有效評估，將采用在所有N個測量數據中，對模型結構本質上起貢獻作用的測量數據，即支持向量（support vector，SV）所占百分比，即SVs%，用于評估UBRM的稀疏特性，其定義如下：

其中Nk表示SV的個數，對應優化問題（24）的求解中，當被求解參數滿足條件α＋k-α-k≥δ時，則對應的k個輸入數據xk為SV，δ為較小的正數，在實驗仿真中，取δ＝10-8。當SVs%越小時，用于建立UBRM的SV個數就越少，對應模型較好的稀疏特性，但模型的辨識精度會降低。因此，根據不同建模需要，應從既能保模型精度，又能保模型稀疏特性之間取其平衡。

下面將從來自模型參數不確定性和測量數據不確定性兩個方面，應用提出的方法建立由不確定性所引起的UBRM。雖然基于數據的建模方法很多，包括T-S模糊模型、支持向量機、神經網絡等，但這些方法主要是從模型逼近和擬合的角度進行建模，而本文提出的方法是建模所有不確定性參數以及不確定性測量數據的上邊界模型f（x），且滿足條件f（x）≥y（k），同時對UBRM的建模精度以及模型結構稀疏特性進行有效控制。先考慮來自參數不確定性的UBRM 辨識的試驗分析。

其中被建模對象g（x）由名義函數fnorm（x）以及不確定性參數τ引起的不確定性兩部分構成，設τ的取值范圍［0，1］，x的定義域［-1，1］。為了建立UBRM，基于式（28）～（30）獲取樣本數據，不妨取xk＝0.021k，k＝-47，…，47。圖2給出了由不確定性參數τ引起的不確定性輸出，對應τ＝｛0，0.2，0.4，0.6，0.8｝。應用提出的方法建立不確定性輸出的UBRM如圖3所示，其中超參數集（ε，γ，σ）選擇為（0.004，100，40），建立的UBRM在滿足f（xk）-y（k）≥0條件下，僅用了4個支持向量（SVs），即從95個測量數據中，真正對UBRM起決定性作用的只有4個數據，SVs%為4.21%，同時表明UBRM具有較好的稀疏特性，對應模型結構簡單；然而UBRM 的建模精度變差，即RMSE為0.137 2，其建模誤差如圖4所示，紅色實線表示零水平線，所有的逼近誤差都在其上方，意味著f（xk）-y（k）≥0。當核參數σ為8.0時，如圖5所示，紅色實線表示提出方法建立的UBRM。

圖2 由不確定性參數τ引起的輸出

圖3 所建立的UBRM，其中紅色實心圓表示4個支持向量（SVs）

圖4 核參數σ為40時的逼近誤差

圖5 所建立的UBRM，其中紅色實心圓表示15個支持向量（SVs）

圖5的紅色實心圓描述的SV相比于圖3建模精度有較大改進，對應的RMSE為0.008 8；從稀疏特性角度來看，對應SVs%為16.84%，從95個測量數據中用于建立UBRM只用了15個數據。因此，無論是建模精度還是模型稀疏特性，UBRM均得到保證，建模誤差如圖6所示。為獲取UBRM保精度以及保稀疏特性之間的平衡，如圖7給出了SVs%和RMSE在不同核參數下的變化曲線，顯然，隨核參數的增大，SVs%在減小，表明稀疏特性越好；但RMSE隨核參數的增大而增大，σ越小，RMSE越小，表明建模精度越高，需要較大的SVs%來保證。因此，SVs%和RMSE之間互為矛盾體，可通過提出的方法可以對模型保精度-保稀疏特性之間取其平衡。

圖6 核參數σ為8.0時的逼近誤差

圖7 RMSE與SVs%在不同核寬度下的比較結果

繼上述來自參數不確定性所引起的不確定性輸出的UBRM分析之后，接下來考慮如下的非線性動態系統，

其中noise是均值為0，方差為0.25的高斯噪聲。為了建立UBRM，從受噪聲影響后的式（31）獲取201個測量數據。當核參數超參數σ選擇較大時，即σ＝25，對應超參數集（ε，γ，σ）為（2.0，1 000，25），建立的UBRM 如圖8所示，在滿足f（xk）-y（k）≥0條件下，對應逼近誤差如圖9所示，描述建模精度的RMSE為0.950 5，稀疏特性指標SVs%為0.034 8，表明從201個測量數據僅用了6個數據建立UBRM，這6個數據也就是SV，對應201個測量數據的第k個數據的αk＋-αk-≥10-8。

圖8 所建立的UBRM，其中紅色實心圓表示6個支持向量（SVs）

圖9 核參數σ為25.0時的逼近誤差

如圖10所示，對UBRM起貢獻作用的第k個數據以藍色實心圓表示，其他的數據對應｛α＋k-α-k｝≤10-8，對建立UBRM 的貢獻可忽略不計，UBRM表達式如下：

既要提高建模精度，又要保證模型的稀疏特性，不妨取核參數σ＝7.0，可得UBRM，如圖11所示，建模精度相比于圖7有較大改進，對應的RMSE為0.484 5；描述稀疏特性指標的SVs%為11.44%，從保精度-保稀疏特性來看，有著較好的輸出結果。進一步，當核參數σ為0.6時，RMSE為1.360 4×10-4，具有較高的建模精度，然而描述模型結構復雜的稀疏特性指標SVs%達到了100%，說明在滿足約束f（xk）-y（k）≥0條件下，建立UBRM的所有數據都在做貢獻，如圖12所示，完全喪失了模型的稀疏特性，出現了過擬合問題，逼近誤差如圖13所示。

圖10 對應UBRM的第k個展開項系數≥10-8

圖11 所建立的UBRM，其中紅色實心圓表示23個支持向量（SVs）

圖12 所建立的UBRM，其中紅色實心圓表示所有數據均為支持向量（SVs）

圖13 核參數σ為0.6時的過擬合逼近誤差

表1給出了在不同核寬度σ下的SVs%和RMSE，從中可以發現，UBRM隨核寬度σ的增加，SVs%在逐漸減小，表明建立UBRM所用到的SVs個數減小，模型結構簡單，對應較好的稀疏特性；相反，用于反映UBRM辨識精度的RMSE在增加，表明模型的辨識精度降低。因此，反映稀疏特性的SVs%和反映模型辨識精度的RMSE之間是一對矛盾體，在核寬度σ的選取上，應從建模的需要從兩者之間取其平衡，不能一味地追求某個指標。事實上，稀疏特性反映的是UBRM的結構復雜性，模型對應的SVs%越小，構造UBRM所需要的參數越少，模型結構相對簡單。因此，在保證模型精度的條件下，越稀疏的UBRM，則泛化性能越好。

表1 不同核寬度σ情況下的SVs%和RMSE（ε＝0.000 1，γ＝1 000）

接下來考慮用提出的方法對如下傳遞函數在前向通道恒增益參數發生異常時的故障檢測：

首先通過對系統的傳遞函數離散化，采樣時間為0.01 s，仿真總次數為200，離散后的模型如下

其中：a（1）、a（2）、b（1）、b（2）為離散化后的已知常數；u（k）為已知隨機輸入信號。基于式（33）構造UBRM的輸入向量為

對應輸出為y（k）。在系統無故障情況下，獲取對應的輸入／輸出數據，選擇參數集（ε，γ，σ）為（0.8，100，5.0），用于描述無故障上邊模型（φ（k-1））的稀疏特性SVs%都為1.52%，意味著從輸入輸出數據建立（φ（k-1））僅用了3個數據（SV，支持向量），表現很好的稀疏特性；此外，從辨識精度來看，（φ（k-1））的RMSE為0.049 9，顯然精度滿足要求，可用于傳遞函數在前向通道恒增益參數下的故障檢測。假設傳遞函數（33）沒有發生故障，則對應的實際輸出不會越過UBRM輸出，或通過條件（φ（k-1））-y（k）≥0來判斷。當系統（33）發生前向通道的恒增益參數在1.4～1.6 s范圍發生異常，對應離散時間k為140≤k≤160，如圖14所示，k＝140時發生故障，k＝141時檢測到故障，對應實際輸出越過UBRM輸出，實際上也可以通過y（k）-（φ（k-1））≥0來判斷故障是否發生，如圖15所示。

圖14 在k＝140時發生故障，k＝141時檢測到故障，對應實際輸出越過無故障的區間模型輸出

圖15 通過條件f（φ（k-1））-y（k）≤0的故障檢測

當前向通道恒增益參數無故障時，則UBRM如圖16所示，實際輸出在UBRM的下方，對應的逼近誤差如圖17所示，滿足條件（φ（k-1））-y（k）≥0。

圖16 系統正常運行時的故障檢測，對應實際輸出沒有越過無故障的UBRM輸出

圖17 UBRM無故障的逼近誤差，其中（φ（k-1））-y（k）≥0

4 結束語

針對來自模型結構參數以及傳感器測量數據的不確定性等因素，建立由這些因素導致的上邊界回歸模型尤為重要。從保模型辨識精度以及稀疏特性出發，通過將結構風險最小化理論與逼近誤差最小化思想相結合，提出了L1-L∞雙范數的最優UBRM辨識方法，其中雙范數中的L1范數是在結構風險最小化框架下對模型稀疏特性的控制。L∞范數的引入是基于模型逼近誤差對模型辨識精度的控制，將兩者融合到一個優化問題，可實現UBRM的保精度-保稀疏特性之間的平衡。最后，通過來自兩個不確定性的實驗分析，即測量數據的不確定性和模型參數的不確定性，從保精度-保稀疏特性兩個指標論證了提出的方法。