基于云模型的模糊神經網絡算法研究

孟海東 趙晨蕾 宋宇辰

摘? 要： 針對模糊神經網絡不能同時處理隨機性和模糊性且人為影響嚴重等問題，提出采用云模型進行不確定性表達，建立云模糊神經網絡模型。針對黃金分割法的誤差問題，提出使用高斯擬合算法計算云模型的數字特征。利用云模型計算屬性的確定度，作為隸屬函數;使用改進的“軟與”算法完成云規則生成及匹配;通過云模型對BP算法進行優化，避免出現局部最優解;根據輸出數值及確定度判斷數據所屬類別。實驗結果表明，云模糊神經網絡對不確定性的處理具有更高的準確性。

關鍵詞： 模糊神經網絡; 數據挖掘; 云模型; 云規則生成; “軟與”算法; BP算法優化; 不確定性推理

中圖分類號： TN711?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）17?0082?05

Abstract： In allusion to the problems that the fuzzy neural network fails to treat the randomness and fuzziness simultaneously and that it is susceptible to human factor influence， a cloud model for uncertainty expression is proposed to establish a cloud fuzzy neural network model. In the model， the Gaussian fitting algorithm is used to get the digital feature of cloud model in view of the error of golden section method. The cloud model is used to calculate the degree of certainty of the attribute as the membership function. The improved "soft?and operation" algorithm is used to complete cloud rule generation and matching. The cloud model is used to optimize the BP algorithm to avoid the occurrence of local optimal solution. The category of data is judged according to the output value and degree of certainty. The experimental results show that the cloud fuzzy neural network is more accurate in dealing with the uncertainty.

Keywords： fuzzy neural network; data mining; cloud model; cloud rule generation; soft?and operation algorithm; BP algorithm optimization; uncertainty reasoning

0? 引? 言

數據挖掘是從大量的數據中提取知識和價值的過程，人工神經網絡因其具有學習能力和泛化能力，在數據挖掘中可以快速地進行分類和預測。傳統的神經網絡均為硬分類，不能對不確定概念進行分類和預測，然而自然界中很多問題具有不確定性，不確定性可以用隨機性和模糊性進行描述。1965年，L.A.Zadeh創設模糊思想，通過隸屬函數實現對精確數據的模糊表達，之后引入神經網絡，彌補其不能表達模糊信息的缺陷。模糊神經網絡（Fuzzy Neural Network，FNN）已經在模糊控制系統、故障預測、風險評估等多個領域取得了良好的應用效果。為了進一步改進FNN的有效性，通過多種算法與其結合：文獻[1]使用NSGA算法進行優化，提高模糊控制的性能;文獻[2]與小波變換結合，構建AFNN用于識別圖像;文獻[3]充分利用FNN的靈活性，完成環境安全評估;文獻[4]通過使用模糊粗糙集和聚類算法，構建新的預測模型。

云模型（Cloud Model）是一種可以實現定性概念和定量表示相互轉化的模型。通過云的三個數字特征和確定度實現對不確定性的分析，其理論包含了云生成算法、云推理規則和云變換算法等。云模型理論解決了人類對不確定性的表達，同時，可以對神經網絡的學習算法進行優化，在不確定推理、智能分類、故障檢測等領域中成功應用：文獻[5]實現云模型與灰色理論結合，構造具備不確定性和灰色性的算法，并在裝備維修中證明其算法的有效性;文獻[6]將云推理與強化學習結合，提高其學習效率;文獻[7]利用云推理實現刀具磨損的不確定性表達。

云神經網絡是通過云模型使神經網絡具備不確定性的一種方法，在處理時變數據和故障檢測中取得了良好的成果。文獻[8]通過云模型與過程神經網絡結合，使用個人家庭電力消耗數據進行仿真，證明了模型檢測時間序列的精確性;文獻[9]提出基于云模型的云覆蓋算法，并引入構造型神經網絡，應用于電磁環評估;文獻[10]通過自適應控制系統和云模型結合實現電荷頻率控制。

模糊神經網絡通過隸屬函數實現模糊分類或模糊推理，其隸屬函數由經驗確定或人為公式推導，模糊規則的制定和解模糊操作都是一個精確計算的過程，數據的模糊性無法進行傳遞。現有的研究成果中，很少將云模型與模糊神經網絡結合，“軟與”計算需靠經驗確定程度調節參數。針對以上問題，本文用云模型改進模糊神經網絡，提出一種基于云模型的模糊神經網絡——云模糊神經網絡。該模型通過云發生器計算確定度，使其作為網絡模型的隸屬函數，使用概念“軟與”方法進行軟計算和規則推理，在過程和結果中均體現隨機性和模糊性。

1? 云模型和模糊神經網絡

1.1? 云模型

云模型是一種認知模型，可以基于概率統計和模糊集理論實現定性概念與定量數據之間的雙向認知轉換。其主要反映客觀事物或人類知識中概念的兩種不確定性：模糊性和隨機性。云模型通過云的數字特征和云發生器構建定性與定量之間的映射，該模型不需要人為構建隸屬函數，而是通過云的數字特征計算確定度，即所屬類別的程度，從而降低人為因素的影響。云模型通過云發生器可構造不確定性推理，這一過程更加符合人類的思維方式，同時，大量的研究證明正態云模型具有普遍適用性。云模型定義[11]如下：

定義1：設[U]是精確數值表示的定量論域，[X∈U]，[T]是[U]空間上的定性概念，若元素[x（x∈X）]對[T]的隸屬確定度[μ∈[0，1]]是一有穩定傾向的隨機數，則概念[T]從論域[U]到區間[[0，1]]的映射屬于空間分布，稱為云（Cloud）。

云模型用三個數字特征來描述定性概念：期望[Ex]、熵[En]、超熵[He]。

期望[Ex]：一般為云模型的最高點，能夠對定性概念進行最有效的描述，是最典型的樣本點;

熵[En]：是概念的不確定表現，表現為云模型的寬度，代表定性概念的范圍;

超熵[He]：表示云的厚度，即云的離散程度。

1.2? 云的數字特征生成算法

云的數字特征是云模型生成的前提條件，在大量的研究成果中，數字特征生成方法一般為黃金分割法。在黃金分割法中，期望[Ex]和熵[En]均通過最大值和最小值的計算來確定，超熵He的值多根據經驗確定為0.01，其計算過程如下：

此方法雖然計算簡單，但適用范圍較小，只適用于有邊界的數值，即數據中有確定的最大值和最小值，同時，此方法在計算過程中忽略了中間數值，是對數據的一種硬性劃分方式，容易造成誤差偏大。針對上述問題，本文提出一種新的云數字特征生成算法——高斯擬合算法。數據整體呈正態高斯分布，高斯擬合的峰值即為云模型的期望，高斯擬合寬度即為云模型的熵[En]，計算高斯擬合的最小均方誤差，其結果作為云模型的超熵[He]。

高斯擬合多用于光譜分析，可通過積分或矩陣運算確定峰值。通過分析高斯函數表達式和參數所表示的意義，可發現其與云模型中確定度的計算公式形式相似。

式中：[b]表示曲線的峰值（中心），與云模型中期望[Ex]所表達的意義相同;[c]表示峰形寬度，與云模型中[En]所表達的意義相同;[En]為通過[En]和[He]生成的正態隨機數。因此，采用高斯函數進行曲線擬合，求解其峰值及寬度，作為云模型的數字特征是可取的。

1.3? 云模型的不確定性推理

云發生器是構成不確定性推理的基礎。在不確定推理過程中，規則可為一對一、一對多、也可為多對多。在實際應用中，一般為多屬性因素，涉及多條件單規則推理。其結構如圖1所示。

在圖1中，[CGAi]為[X]條件云發生器，當輸入[x=x1]時，激活相應規則，進行“軟與”操作，產生新的確定度。[CGB]為[Y]條件云發生器，對邏輯軟計算的不確定性推理結果進行輸出。在多規則推理過程中，云發生器和云規則均具有不確定性。

1.4? 改進的“軟與”算法

“軟與”是云模糊神經網絡進行軟計算的關鍵，傳統的“軟與”計算通過[X]條件云發生器產生的確定度，作為云規則的激活強度，然后進行規則匹配。在云模型的實際應用中，需要借助專家經驗來確定“軟與”的程度調節參數，削減了云模型的不確定性。柳炳祥曾提出投影映射法和神經網絡“軟與”法來減少人為影響，但其兩種方法都具有局限性，投影映射需多次“軟與”才能得出較好結果，神經網絡“軟與”則需要基于已有案例。因此，將兩種方法結合，并引入格論的上（下）確界，提出云規則確界的概念，生成一種新的“軟與”算法，避免大數據集云規則生成過多，造成規則災難，同時，保證神經網絡的學習效果。

2? 云模糊神經網絡模型

2.1? 云模糊神經網絡模型構建

云模糊神經網絡的構建思想為：將云模型引入到模糊神經網絡，使其可同時處理模糊性和隨機性，同時，確定度的計算過程是不確定的，使其替換人為確定的隸屬函數，降低人為因素的干擾。在進行邏輯軟計算時，利用云發生器構造不確定性推理，以解決模糊神經網絡推理過程中不確定性的傳遞問題。云模糊神經網絡結構分為六層：輸入層、云化確界層、規則層、隱含層、逆云化層、輸出層。其網絡拓撲結構如圖2所示。

3） 規則層：根據算法2進行“軟與”計算。

4） 隱含層：對“軟與”結果進行訓練，保證網絡模型的學習效率。

5） 逆云化層：對定性概念進行定量轉化，輸出推理結果及其對應的確定度，通過[Y]條件云發生器實現。

6） 輸出層：對逆云化層的計算結果進行平均并輸出。

2.2? 云模糊神經網絡學習算法

云模糊神經網絡的學習算法采用較成熟的BP算法。在網絡訓練過程中涉及到權值初始化和參數調整問題，傳統方法通過選取隨機的、盡可能小的數值進行權值初始化，易導致網絡訓練時間過長，迭代次數過多，易陷入局部最優解。針對以上局限性，網絡模型中的云模型可優化BP算法，使網絡快速收斂，獲取全局最優解。

設學習樣本的數量為[R]，第[r]個學習樣本的網絡輸出為[tr]，期望輸出為[yr]，網絡的目標學習函數定義為：

BP算法權值和閾值的初始化一般采用均值為0，方差為1的正態分布，由此可見，正態云模型可對BP算法進行初始化，期望[Ex]作為初始權值，熵[En]作為初始閾值。算法步驟如下：

算法3：云模型優化BP算法

1） 初始化：設置網絡的權值[Ex]和閾值[En];

2） 將[R]個學習樣本依次輸入;

3） 計算各層的輸出，求各層的反傳誤差;

4） 紀錄學習過的樣本，直到所有樣本學習結束;

5） 參數調整;

6） 更新權值并重復步驟3）～步驟6），直到誤差<0.000 1（或達到最大迭代次數）。

3? 實驗仿真及分析

實驗數據集采用UCI數據集中的Wine數據集，該數據集收錄了1 599個紅葡萄酒數據和4 889個白葡萄酒數據，每個樣本有12個屬性，其測試結果為葡萄酒的質量等級。實驗使用紅葡萄酒數據集（Wine?red）進行測試，對數據進行預處理，剔除重復數據，并歸一化，通過交叉驗證消除相關屬性，得到影響紅葡萄酒質量的5個條件屬性分別為：Volatile Acidity（VA），Chlorides（Cl），Total Sulfur Dioxide（TSD），Sulphates（Sul），Alcohol，其條件屬性作為云模糊網絡的輸入節點，決策屬性為Quality（Q）作為輸出節點。隨機選取1 000組數據，按照4∶3∶3的比例隨機劃分為訓練集、驗證集和測試集。

數據集中葡萄酒的質量大多集中在中等水平，最低評分為3，最高評分為8，根據評分劃分為低質量、中等質量和高質量三個等級。

選取Wine?red數據集中的部分數據，對云模糊神經網絡進行應用分析，實驗部分樣本數據如表1所示。

根據云模糊神經網絡算法，輸出代表葡萄酒質量的數值[xi]及其確定度如表2所示。

根據數據集輸出結果可知，CM?FNN預測的葡萄酒質量等級為某一質量區間內的隨機值，而不是嚴格按數字劃分，各等級之間無明確的邊界。CM?FNN的輸出結果為帶有確定度的云滴，即帶有確定度的質量等級。將所有預測結果生成預測云模型，并與葡萄酒質量等級云模型對比，預測云模型可作為質量等級的綜合云，如圖3所示。

由圖3可知，預測云模型為三朵質量等級云的概念躍升，當[xi∈（3，4）]且[μi∈（0，0.236）]時，葡萄酒質量等級為低質量;當[xi∈（4，6）]且[μi∈（0.236，1）]時，葡萄酒質量等級為中等質量;當[xi∈（6，8）]且[μi∈（0，0.80）]時，葡萄酒質量等級為高質量。

云模糊神經網絡可預測多種等級，例如，葡萄酒質量等級可劃分為低、較低、中等、高、較高，根據不確定概念進行區間劃分，最終生成預測云模型進行對比分析即可。

為驗證云模糊神經網絡是否具有優越性，與FNN和BP?NN進行對比分析，三種神經網絡的輸入節點數均為5，輸出節點數均為1，最大迭代次數均為1 000次，誤差設為0.000 1。通過多次實驗，選取其中10次實驗結果，對比算法的精確性，如圖4所示。

對實驗結果可做如下分析：在進行不確定性分析時，單一的模糊神經網絡有一定的局限性，通過與云模型結合可提高網絡性能;改進的“軟與”算法解決了傳統云推理專家經驗的影響，并減少了規則數量，避免大數據集的規則災難問題。云模糊神經網絡模型更加符合人類的思維方式，提高了模糊分類的準確性。其次，云模型本身具有隨機性，用云模型初始神經網絡的權值和閾值，提高了神經網絡的學習效率。

4? 結? 語

本文提出一種新的云數字特征的生成算法，通過高斯擬合降低計算誤差。在網絡結構方面，云模型的引入提高了模糊神經網絡對不確定性的處理能力，改進的“軟與”算法減少了人為影響，提高了對云規則生成的可行性，使網絡模型更適用于大數據的處理。此外，云模型對BP算法進行了優化，提高了算法的準確性。關于云模糊神經網絡中仍有許多地方可進一步研究，云發生器的誤差，算法優化和“軟與”的概念求解可作進一步優化。

參考文獻

[1] KHANDAKER A L， OMAR M T， GOPE M， et al. Optimizing fuzzy neural network controller based on NSGA?Ⅱ [C]// 2016 5th International Conference on Informatics， Electronics and Vision. Dhaka： IEEE， 2016： 460?465.

[2] KO C?N， LEE C?M. Image recognition using adaptive fuzzy neural network based on lifting scheme of wavelet [J]. Artificial life and robotics， 2015， 20（4）： 353?358.

[3] GLINSKIY V， SERGA L， KHVAN M， et al. Fuzzy neural networks in the assessment of environmental safety [J]. Procedia CIRP， 2016， 40： 614?618.

[4] 劉興杰，岑添云，鄭文書，等.基于模糊粗糙集與改進聚類的神經網絡風速預測[J].中國電機工程學報，2014，34（19）：3162?3169.

[5] 王雙川，賈希勝，胡起偉，等.基于正態灰云模型的裝備維修保障系統效能評估[J].系統工程與電子技術，2019，41（7）：1?11.

[6] 李晨溪，曹雷，陳希亮，等.基于云推理模型的深度強化學習探索策略研究[J].電子與信息學報，2018，40（1）：244?248.

[7] 郝偉，蔣琪，張宇.基于不確定性云推理的刀具磨損量預測方法[J].機床與液壓，2018，46（10）：1?6.

[8] 王兵，李盼池，楊冬黎，等.云過程神經網絡模型及算法研究[J].電子與信息學報，2015，37（1）：110?115.

[9] 馮彥卿，王倫文.基于構造型云神經網絡的電磁環境評估方法[J].計算機工程與應用，2017，53（16）：211?215.

[10] 吳忠強，張偉，李峰，等.基于云神經網絡自適應逆系統的電力系統負荷頻率控制[J].電力自動化設備，2017，37（11）：86?91.

[11] 李德毅，杜鹢.不確定性人工智能[M].2版.北京：國防工業出版社，2014.

[12] WANG Huizhong， XIAO Yingchun， LI Chunxia， et al. Research on cloud model RBF neural network motor fault diagnosis [J]. Journal of computational information systems， 2015， 11（1）： 1?8.

[13] 楊超，燕雪峰，張潔，等.基于權重的云推理算法[J].計算機應用，2014，34（2）：501?505.