基于改進模擬退火算法的模糊回歸參數估計

彭宇文，郭莉莎，毛 超

（1.湖南師范大學 商學院，長沙 410000；2.湖南大學 工商管理學院，長沙 410082）

0 引言

在現實生活中，統計對象的某些特性使得一些統計數據往往難以準確的記錄或收集。例如，在測量河流水位高低時，會由于波浪使水位在一定范圍內波動，而不是停留在某個具體的數值上，樣本數據具有一定的模糊性。在研究對象的觀測值具有模糊性時，模糊集理論成為重要的方法。Zadeh(1965)首次提出了模糊集理論[1]，Tanaka等(1982)在此基礎上，提出了模糊數據回歸問題。模糊回歸在許多領域得到了廣泛的應用[2]。

國內外對模糊回歸的研究包括對線性和非線性回歸模型的研究，總體上可分為三類：第一類是變量之間關系是具有模糊性，即需求解的回歸系數是模糊的；第二類是因變量、自變量中的部分或者全部具有模糊性，即變量本身具有模糊性；第三類是變量與系數均具有模糊性。由于第三類較復雜，大多數研究集中在第一類和第二類。

第一類和第二類模糊回歸問題是第三類模糊回歸問題的特殊情形，因此，探索更具一般性的模糊回歸方法具有重要意義。本文討論第三類模糊回歸問題的參數估計，其變量與系數均具有模糊性的回歸模型。

1 模糊回歸模型

非線性回歸的目標是對下述模糊非線性模型的參數進行估計：

模糊非線性回歸模型可通過取對數轉化為模糊線性規劃模型如下：

2 基于模擬退火算法的模糊回歸參數估計

2.1 擬合效果的評價

與隸屬度關聯的總誤差可以表示為：

為簡化運算，將(8)式改寫為離散形式并將樣本值代入，可得：

2.2 算法設計

式(6)的最小值是一個無約束二次函數最值問題，但由于模糊運算的復雜性，無法直接求出其最優解。采用啟發式算法進行求解成為重要思路，模擬退火算法具有對初始可行解要求低，通過Metropolis接受準則避免陷入局部最優等優點[5]，本文對傳統模擬退火算法進行改進以獲得最佳的參數估計值。

(1)算法流程。參數估計的模擬退火算法具體步驟為：

①獲取一個初始可行解x0=，設定初始溫度t0，令當前解xi=x0，當前迭代步數k=0，當前溫度tk=t0。

②若在該溫度達到內循環停止條件，則轉第③步；否則，從鄰域N(xi)中隨機選擇一個鄰解xj，并計算兩個解對應的擬合效果之差ΔEij=E(xj)-E(xi)。若ΔEij≤0，則 xi=xj；否則，若 exp(-ΔEij/t)＞rand(0,1)(rand(0,1)表示一個0到1之間的均勻隨機數)，則xi=xj，重復第②步。

③k=k+1，tk+1=y(tk)(溫度控制函數)，若滿足終止條件，轉第④步；否則，轉第（2）步。

④輸出計算結果，算法停止。

內循環為第②步，它表示在同一個溫度下進行隨機搜索。外循環主要包括第③步的溫度下降變化，迭代步數的增加和停止準則。

(2)初始解的構造。為獲得初始解，本文用所有模糊樣本的左邊界、右邊界、以及隸屬度為1時的樣本取值分別進行回歸，將各參數的回歸系數中的最小值作為模糊系數的左邊界，最大值作為模糊系數的右邊界，中間值作為模糊系數隸屬度為1時的值。

(3)鄰域操作。為獲得更優的解，設計了多層次鄰域操作方法。以三角模糊數為例，各參數的形式為首先，隨機選取個系數作為需要調整的對象；其次，N個對象分別隨機選定中的一個作為要調整的部分；最后，確定需要調整的幅度：若調整，則調整的幅度為否則，調整幅度為其中，K的取值與的數量級相關，K由小到大依次確定解的粗調整、二次調整和微調整的幅度。可根據試探性運算的結果，確定k1值，使得當連續k1次目標函數值得不到改善時，改變K的取值，進入下一層鄰域操作。其他類型的模糊數同樣可按此思路進行多層次鄰域操作。

(4)終止準則與結果輸出。采用雙終止準則，第一，完成三層鄰域操作后，仍然出現了連續k2次目標函數值得不到改善，則終止程序，輸出結果；第二，溫度t下降到預先設定的某個值，則終止程序，輸出結果。為獲得該次運算的最優結果，在外循環中增加變量記錄每次目標函數得到了改進的解。

3 算例及結果分析

3.1 算例分析

為了說明擬合效果評價方法與求解算法的有效性，采用文獻[6]的算例作為模糊線性回歸算例，對文獻[4]的模糊非線性規劃算例的自變量模糊化，作為模糊非線性回歸算例。

3.1.1 線性回歸算例

文獻[6]設計的算例具有一個模糊因變量和兩個模糊自變量，共有15對樣本。采用本文的算法求解時，算法參數的設定對結果的優劣有一定的影響，本文通過多次調整和運算來獲取相對最佳參數，對模擬退火算法參數設定如下：馬爾科夫鏈長度取200，初始溫度取100，衰減因子為0.98。 K 值依次取500、1000、1500。初始解取：x0=((3 .0450,3.6524,4.0531),(0 .4937,0.4970,0.4986),(0.0089,0.0092,0.0097))。求解得到的模糊線性回歸方程為如下：

圖1為退火過程，圖2對擬合值與樣本值進行了比較。

圖1 算例1的退火圖

圖2 算例1的樣本值與擬合值比較

3.1.2 非線性回歸算例

對文獻[4]的模糊非線性規劃算例的自變量進行模糊化，得到模糊非線性回歸樣本值如表2。

表2 模糊非線性回歸樣本值

調用模擬退火算法，馬爾科夫鏈長度取200，初始溫度取100，衰減因子為0.98。 K 值依次取100、500、1000。分別對左邊界、中間值和右邊界進行非線性回歸，得到初始解：x0=((118.6336,124.0292,)125.8052,(0.2679,0.2705,0.2895))。

表3 不同模糊回歸方法的比較

求解得到的模糊線性回歸方程如下：

圖3對擬合值與樣本值進行了比較。

圖3 算例2的樣本值與擬合值比較

3.2 比較分析

本文采用 Tanaka等(1989)、Kao等(2003)、Mosleh 等(2010)共同用來說明各自模糊回歸方法的算例進行比較分析[4,7,8]。算例與計算結果見表3。

Tanaka等(1989)的最終回歸方程為：

Kao等(2003)的最終回歸方程為：

Mosleh等(2010)采用神經網絡方法獲得的最終回歸方程為：

各種方法的擬合效果比較見圖4。

圖4 Tanaka方法、Kao方法、Mosleh方法與SA方法的擬合效果

從圖4可以看出，基于多層次鄰域操作的模擬退火算法的模糊回歸方法擬合效果要優于Tanaka等(1989)、Kao等(2003)的方法，非常接近Mosleh等(2010)的方法。Mosleh等(2010)是通過構造模糊神經網絡，采用的梯度下降法進行求解的，雖然其結果較好，但其計算過程只適用于三角模糊數以及輸入為精確數的模糊回歸模型。而本文的方法可在獲得近似最優解的前提下，處理各種類型的模糊數據以及輸入、輸出和系數均為模糊數的回歸模型。

4 結論

模糊回歸分析是分析模糊數據之間關系的一種有效方法，其在處理一些無法獲得精確數，只能得到可能性數據的對象時發揮了重要作用。本文考慮了模糊數據的回歸中不同隸屬度下誤差的模糊性，認為不同隸屬度下的誤差對總誤差的貢獻不同，提出了與隸屬度關聯的擬合效果評價方法。從啟發式算法入手，采用模擬退火算法并進行相應的改進，達到了在獲得近似最優解的前提下，克服了以往僅考慮系數和變量中的一種具有模糊性的局限性，給出了能處理各類模糊觀測值以及系數和變量均具模糊性的線性和非線性回歸模型的啟發式求解思路。對擬合系數顯著性的檢驗、模糊回歸與時間序列分析的融合以及模糊樣條回歸方法等是模糊回歸的進一步研究方向。

[1]Zadeh L.A.Fuzzy Sets[J].Information and Control,1965,8(3).

[2]Tanaka H,Uejima S,Asia K.Linear Regression Analysis with Fuzzy Model[J].Ieee Trans.Sys.Man and Cyber.Smc.,1982,12(6).

[3]李竹渝,張成.模糊數據的回歸模型結構分析[J].統計研究,2008,25(8).

[4]M.Mosleha,M.Otadi,S.Abbasbandyb.Evaluation of Fuzzy Regression Models by Fuzzy Neural Network[J].Journal of Computational and Applied Mathematics,2010,234(3).

[5]康立山,謝云,尤矢勇等.非數值并行計算,模擬退火算法(第一冊)[M].北京:科學出版社,1997.

[6]Hsien-Chung Wu.Fuzzy Estimates of Regression Parameters in linear Regression Models for Imprecise Input and Output Data[J].Computational Statistics&Data Analysis,2003,42(1～2).

[7]H.Tanaka,I.Hayashi,J.Watada.Possibilistic Linear Regression Analysis for Fuzzy Data[J].European Journal of Operational Research,1989,40(3).

[8]C.Kao,C.L.Chyu.Least-squares Estimates in Fuzzy Regression Analysis[J].European Journal of Operational Research,2003,148(2).