基于模糊氣候聚類和改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的建筑氣候數(shù)據(jù)清洗方法

林康強(qiáng)，林育松

(1.廣州美術(shù)學(xué)院 建筑藝術(shù)設(shè)計(jì)學(xué)院,廣東 廣州 510006；2.香港中文大學(xué)(深圳)深圳高等金融研究院,廣東 深圳 518000)

建筑節(jié)能是綠色建筑的三大要素之一，也是當(dāng)前建筑領(lǐng)域的研究熱點(diǎn)，在設(shè)計(jì)初期對(duì)建筑能耗進(jìn)行動(dòng)態(tài)模擬分析，是實(shí)現(xiàn)建筑節(jié)能的關(guān)鍵.研究表明采暖能耗和空調(diào)能耗在建筑能耗中占據(jù)很大比重，而氣候變化是影響采暖和空調(diào)使用的主要因素[1]，因此對(duì)建筑氣候數(shù)據(jù)進(jìn)行分析，對(duì)精確構(gòu)建建筑能耗模型具有重要意義.然而由于歷史原因，我國早期氣象臺(tái)站氣候測量儀器較為老舊，同時(shí)采取人工紙記的方式獲得的氣候數(shù)據(jù)存在主觀性強(qiáng)、誤差大、精度低等問題，為使有限且寶貴的歷史氣候數(shù)據(jù)在能耗模擬和氣候研究等領(lǐng)域發(fā)揮更大作用，首先需要對(duì)其進(jìn)行清洗，以提升數(shù)據(jù)的正確性、完整性和實(shí)效性[2].

數(shù)據(jù)清洗是采用某種方法對(duì)數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)其中的錯(cuò)誤、冗余、不確定或不一致等“臟數(shù)據(jù)”并對(duì)其進(jìn)行解析、增強(qiáng)或歸并[3].文獻(xiàn)[4]針對(duì)數(shù)據(jù)集中存在的丟失值、錯(cuò)誤值和沖突值等問題進(jìn)行研究，提出一種基于網(wǎng)絡(luò)模式的數(shù)據(jù)清洗方法，利用文本之間依賴關(guān)系挖掘數(shù)據(jù)中的隱含信息，從而達(dá)到數(shù)據(jù)清洗的目的，基于網(wǎng)絡(luò)文本數(shù)據(jù)的實(shí)驗(yàn)驗(yàn)證了所提方法的有效性；文獻(xiàn)[5]針對(duì)數(shù)據(jù)集中的重復(fù)冗余問題，利用N-Grams算法對(duì)每個(gè)數(shù)據(jù)計(jì)算屬性鍵值，并生成哈希表和哈希值，最后利用哈希值對(duì)數(shù)據(jù)之間的相似程度進(jìn)行量化和判斷；文獻(xiàn)[6]針對(duì)存在計(jì)算流體力學(xué)關(guān)系的堤防工程數(shù)據(jù)集的清洗問題，定義了一種數(shù)據(jù)之間的函數(shù)依賴關(guān)系指標(biāo)，并以該指標(biāo)為基礎(chǔ)實(shí)現(xiàn)了對(duì)數(shù)據(jù)的清洗；聚類算法作為一種無監(jiān)督學(xué)習(xí)算法，能夠自動(dòng)將相似或相同的數(shù)據(jù)聚合到同一類中，由于原理簡單、容易實(shí)現(xiàn)等優(yōu)點(diǎn)被廣泛應(yīng)用于數(shù)據(jù)清洗領(lǐng)域：文獻(xiàn)[7]在基于密度聚類算法基礎(chǔ)上，提出一種空間成群聚類算法，通過對(duì)每個(gè)數(shù)據(jù)點(diǎn)的鄰域進(jìn)行區(qū)域查詢將數(shù)據(jù)點(diǎn)劃分至距離最近的簇中實(shí)現(xiàn)對(duì)數(shù)據(jù)的聚類清洗；文獻(xiàn)[8]針對(duì)建筑節(jié)能氣候的數(shù)據(jù)清洗問題，利用最小二乘法對(duì)K-MEANS算法進(jìn)行改進(jìn)，提升K-MEANS算法的離群點(diǎn)處理能力，獲得了93.6%的有效清洗率.

本文在上述研究的基礎(chǔ)上，針對(duì)建筑節(jié)能氣候數(shù)據(jù)存在的異常數(shù)據(jù)檢測和修正，缺失數(shù)據(jù)填充等問題，提出一種基于模糊氣候聚類和改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)清洗方法，首先利用K-MEANS算法對(duì)氣候數(shù)據(jù)進(jìn)行自適應(yīng)聚類，根據(jù)相似性將數(shù)據(jù)集劃分為不同模糊氣候子類，針對(duì)K-MEANS算法初始聚類中心和類別數(shù)設(shè)置困難問題，利用主分量分析(Principal Component Analysis，PCA)方法自動(dòng)獲得K個(gè)正交主分量作為初始聚類中心；然后對(duì)每種模糊氣候子類數(shù)據(jù)分別構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型，建立不同氣候之間的關(guān)聯(lián)關(guān)系，針對(duì)BP神經(jīng)網(wǎng)絡(luò)初值選取困難問題，利用遺傳模擬退火(Genetic Simulated Annealing，GSA)算法進(jìn)行優(yōu)化，最后根據(jù)網(wǎng)絡(luò)輸出值與真實(shí)值之間的差異實(shí)現(xiàn)異常檢測和數(shù)據(jù)校正，并利用網(wǎng)絡(luò)輸出值對(duì)缺失值進(jìn)行填充，最終完成數(shù)據(jù)清洗.

1 基于K-MEANS的模糊氣候聚類

1.1 K-MEANS算法

K-MEANS算法是當(dāng)前應(yīng)用最廣的一種基于劃分的聚類方法，由于理論簡單、計(jì)算效率高等優(yōu)勢被大量應(yīng)用于數(shù)據(jù)挖掘和模式識(shí)別等領(lǐng)域[9].本文采用K-MEANS算法對(duì)建筑氣候數(shù)據(jù)進(jìn)行聚類，根據(jù)數(shù)據(jù)之間的相似程度將其劃分為不同子類，對(duì)每個(gè)子類分別進(jìn)行清洗，K-MEANS算法步驟可以總結(jié)為[10]：

Step 2：計(jì)算數(shù)據(jù)集中剩余樣本與每個(gè)聚類中心的歐式距離，并將其劃分至距離最近的類別中，歐式距離的定義如式(1)所示;

(1)

Step 3：根據(jù)式(2)計(jì)算得到新的K個(gè)聚類中心，其中nk為第k個(gè)子類中的樣本數(shù)；

(2)

Step 4：按K個(gè)新聚類中心對(duì)樣本集進(jìn)行重新劃分，若連續(xù)兩次得到的劃分結(jié)果一致，則算法收斂，否則重復(fù)Step 2～ Step 3.

1.2 PCA自動(dòng)確定聚類個(gè)數(shù)

K-MEANS算法聚類個(gè)數(shù)和初始聚類中心的選取對(duì)最終聚類結(jié)果影響較大，如果選取不當(dāng)，會(huì)導(dǎo)致算法迭代復(fù)雜度增加，聚類性能下降等問題.PCA是一種經(jīng)典的數(shù)據(jù)分析方法，通過對(duì)隱含在數(shù)據(jù)中的相關(guān)性進(jìn)行分析，按相關(guān)性大小將數(shù)據(jù)劃分為不同的簇，將每個(gè)簇內(nèi)的信息合并成一個(gè)主分量的同時(shí)保證不同簇之間的信息盡量不相關(guān)，即PCA能夠自動(dòng)從數(shù)據(jù)提取K個(gè)主分量，這K個(gè)主分量相互正交并且包含了數(shù)據(jù)中的絕大部分有用信息[11].

(3)

其中:Rs和Rn分別為信號(hào)協(xié)方差和噪聲協(xié)方差矩陣;sk為信號(hào)對(duì)應(yīng)的主分量;sp為噪聲對(duì)應(yīng)的次分量;λk為特征值且λ1≥λ2≥…≥λK>λK+1≈λK+2≈…λM.PCA通常選擇占總能量90%的特征值個(gè)數(shù)為主分量個(gè)數(shù)K，即

(4)

本文將PCA得到的主分量個(gè)數(shù)K作為K-MEANS算法聚類個(gè)數(shù)，同時(shí)將K個(gè)主分量sk作為K-MEANS的初始聚類中心.

2 基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)關(guān)聯(lián)模型

2.1 BP神經(jīng)網(wǎng)絡(luò)

典型的BP神經(jīng)網(wǎng)絡(luò)模型由輸入層，隱含層和輸出層構(gòu)成，相鄰兩層神經(jīng)元節(jié)點(diǎn)之間通過權(quán)值實(shí)現(xiàn)全連接，同一層內(nèi)部的神經(jīng)元節(jié)點(diǎn)之間不連接.網(wǎng)絡(luò)的學(xué)習(xí)過程包含由輸入層通過權(quán)值映射到隱含層并產(chǎn)生網(wǎng)絡(luò)輸出值的正向傳播過程，以及輸出層誤差由隱含層向輸入層映射的反向傳播過程.通過正向傳播和反向傳播相對(duì)迭代的學(xué)習(xí)過程，不斷對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行優(yōu)化，使輸出值最終逼近于預(yù)期值[12].

對(duì)于具有n個(gè)輸入神經(jīng)元的BP神經(jīng)網(wǎng)絡(luò)模型，設(shè)第i個(gè)輸入樣本為xi,i=1,…,n，則由輸入層到隱含層的映射關(guān)系可以表示為

(5)

其中:wij為輸入神經(jīng)元和隱層神經(jīng)元之間的連接權(quán)值;θ為閾值;f(·)為Sigmoid激活函數(shù).

由隱含層到輸出層的傳播過程可以表示為

(6)

(7)

BP神經(jīng)網(wǎng)絡(luò)的反向傳播過程就是利用梯度下降法按照δ減小的方向?qū)?quán)值{wij,ωjk}和閾值θ進(jìn)行優(yōu)化的過程.

2.2 遺傳模擬退火優(yōu)化BP網(wǎng)絡(luò)模型

由于BP神經(jīng)網(wǎng)絡(luò)采用梯度下降法求解，因此權(quán)值和閾值初值的選取會(huì)對(duì)結(jié)果產(chǎn)生較大影響，初值選取不當(dāng)會(huì)導(dǎo)致算法收斂于局部最優(yōu)值[13]，因此需要一種全局優(yōu)化算法對(duì)BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閥值的初值進(jìn)行優(yōu)化，以保證模型最終能夠收斂于全局最優(yōu)解.

本文將遺傳模擬退火(Genetic Simulated Annealing，GSA)算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，利用GSA的全局尋優(yōu)能力優(yōu)化BP神經(jīng)網(wǎng)絡(luò).GSA算法包含遺傳算法(Genetic-Algorithm，GA)[14]和模擬退火(Simulated-Annealing，SA)[15]算法2部分內(nèi)容，綜合了GA全局搜索能力強(qiáng)和SA局部搜索能力強(qiáng)的特點(diǎn).GSA算法首先利用GA在全參數(shù)空間內(nèi)對(duì)BP網(wǎng)絡(luò)權(quán)值和閥值進(jìn)行尋優(yōu)，得到當(dāng)前狀態(tài)下的最優(yōu)解后，將其作為SA的初值，利用SA在初值附近進(jìn)行局部搜索，獲得滿足Metropolis要求的新解，再將該新解作為下一輪迭代中GA的初始種群，通過多次全局搜索和局部搜索的交替迭代，最終獲得全局最優(yōu)解，并將其作為BP網(wǎng)絡(luò)的初值.所提GAS對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的步驟如表1所示：

表1 GSA算法步驟

3 算法總結(jié)

典型的氣候數(shù)據(jù)包括氣壓，溫度，濕度，風(fēng)向，風(fēng)速，總云量，地表輻射強(qiáng)度，直接輻射強(qiáng)度，紅外輻射強(qiáng)度等多個(gè)維度，各個(gè)維度之間彼此相互關(guān)聯(lián)，相互作用，呈現(xiàn)出復(fù)雜的非線性關(guān)系，因此數(shù)據(jù)清洗前，需要對(duì)數(shù)據(jù)之間各個(gè)維度的關(guān)聯(lián)關(guān)系進(jìn)行挖掘與表征.BP神經(jīng)網(wǎng)絡(luò)作為當(dāng)前理論最為成熟，應(yīng)用最為廣泛的一種神經(jīng)網(wǎng)絡(luò)模型，具備任意非線性函數(shù)描述能力，因此適合于對(duì)氣候數(shù)據(jù)進(jìn)行建模與分析.但是建筑氣候數(shù)據(jù)具有高維、大數(shù)據(jù)量的特點(diǎn)，若直接利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行建模時(shí)會(huì)出現(xiàn)模型復(fù)雜度高、網(wǎng)絡(luò)訓(xùn)練時(shí)間長、運(yùn)算量大等問題，因此本文將K-MEANS聚類算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)果，首先利用K-MEANS對(duì)數(shù)據(jù)進(jìn)行分析，將高相似度的數(shù)據(jù)聚集到同一模糊氣候子類中，并使不同子類之間的差異盡量大，然后利用利用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)每一模糊氣候子類建模，降低模型復(fù)雜度.

圖1給出了所提數(shù)據(jù)清洗算法的流程圖，可以看出整個(gè)算法包含訓(xùn)練和測試兩個(gè)階段，其中訓(xùn)練階段的具體實(shí)現(xiàn)可以總結(jié)為：

圖1 算法流程

Step1：提取建筑氣候數(shù)據(jù)典型指標(biāo)(如氣壓，溫度，濕度等)構(gòu)成特征數(shù)據(jù)矩陣；

Step2：利用PCA對(duì)其進(jìn)行分析得到大特征值個(gè)數(shù)K；

Step3：將Step2得到的K作為K-MEANS算法的聚類個(gè)數(shù)，然后利用K-MEANS算法對(duì)特征數(shù)據(jù)進(jìn)行自適應(yīng)聚類，根據(jù)相似性將數(shù)據(jù)集劃分為K個(gè)子類；

Step4：根據(jù)表1所示步驟，對(duì)每個(gè)了類分別構(gòu)建GSA-BP神經(jīng)網(wǎng)絡(luò)模型，得到K個(gè)網(wǎng)絡(luò)用于對(duì)測試樣本進(jìn)行分析.

在測試階段，對(duì)于給定的待清洗測試數(shù)據(jù)，利用所提方法對(duì)其進(jìn)行清洗的具體實(shí)現(xiàn)步驟可以總結(jié)為：

Step1：子類劃分，計(jì)算待清洗數(shù)據(jù)到訓(xùn)練階段獲得的每個(gè)子類之間的歐式距離，并將其劃分至距離最小的子類中；

Step2：利用對(duì)應(yīng)子類已訓(xùn)練好的GSA-BP網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行分析預(yù)測；

Step3：根據(jù)預(yù)測結(jié)果，按以下準(zhǔn)則完成數(shù)據(jù)清洗：

(1)異常數(shù)據(jù)檢測和修正：當(dāng)測試點(diǎn)與左右相鄰點(diǎn)的均值差異超過30%，且與網(wǎng)絡(luò)輸出點(diǎn)的差異超過30%時(shí)，判定該樣本為異常數(shù)據(jù)，利用網(wǎng)絡(luò)輸出值和左右相鄰點(diǎn)的均值對(duì)其進(jìn)行修正；

(2)缺失數(shù)據(jù)填充：利用網(wǎng)絡(luò)輸出值對(duì)缺失數(shù)據(jù)進(jìn)行填充.

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提模糊氣候聚類和GSA-BP神經(jīng)網(wǎng)絡(luò)方法的數(shù)據(jù)清洗效果，采用Sandia生成的國內(nèi)某城市典型年14時(shí)的氣候數(shù)據(jù)(含氣壓，溫度，濕度，風(fēng)向，風(fēng)速，總云量，地表輻射強(qiáng)度，直接輻射強(qiáng)度，紅外輻射強(qiáng)度共9個(gè)維度)作為訓(xùn)練數(shù)據(jù)集(共400組數(shù)據(jù))，從國家氣象局網(wǎng)站讀取該城市2000年真實(shí)年14時(shí)的氣候數(shù)據(jù)作為測試數(shù)據(jù)(誤差精度為2，共365組)開展試驗(yàn).實(shí)驗(yàn)采用Matlab-R2016b軟件平臺(tái)，運(yùn)行環(huán)境為Windows-10操作系統(tǒng)，Inter-Core-I7處理器，3.4 GHz主頻，16 GHz內(nèi)存的ThinkPad便攜式計(jì)算機(jī).

4.1 模糊氣候聚類結(jié)果

根據(jù)圖1所示流程，首先利用PCA對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行分析得到大特征值個(gè)數(shù)K，圖2給出了計(jì)算得到的歸一化特征值譜圖，可以看出前4個(gè)特征值要遠(yuǎn)遠(yuǎn)大于剩余5個(gè)特征值，根據(jù)式(4)可以計(jì)算得到K=4.進(jìn)而利用 K-MEANS算法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行聚類得到的聚類結(jié)果如圖3所示，由于聚類結(jié)果的高維分布(9維空間)情況難以直觀觀測，圖3給出了將9維空間投影到溫度和濕度，溫度和氣壓，氣壓和濕度3種二維平面中，可以看出所提方法能夠根據(jù)數(shù)據(jù)之間的相似程度對(duì)其進(jìn)行合理分配，投影到二維平面后仍具有較好的聚類效果，能夠自動(dòng)將相似程度高的數(shù)據(jù)聚集為同1個(gè)子集中，子集內(nèi)的數(shù)據(jù)聚集性較好，不同子集間區(qū)別性較為明顯.

圖2 PCA歸一化特征值譜

圖3 高維特征聚類結(jié)果投影到二維平面

4.2 數(shù)據(jù)清洗結(jié)果

在完成聚類后，根據(jù)圖1所示流程對(duì)4個(gè)子類數(shù)據(jù)分別構(gòu)建如圖4所示BP神經(jīng)網(wǎng)絡(luò)模型，輸入層節(jié)點(diǎn)數(shù)為9個(gè)氣候數(shù)據(jù)指標(biāo)，隱層節(jié)點(diǎn)數(shù)根據(jù)文獻(xiàn)[8]所提方法設(shè)置為5，輸出層節(jié)點(diǎn)數(shù)可以設(shè)置1，即對(duì)每個(gè)氣候指標(biāo)分別清洗，也可以設(shè)置為多個(gè)，即對(duì)多個(gè)氣候指標(biāo)一起完成清洗，但會(huì)增加運(yùn)算時(shí)間，并且精度出現(xiàn)一定程度下降，因此本文設(shè)置輸出節(jié)點(diǎn)為1，對(duì)每個(gè)指標(biāo)分別進(jìn)行清洗，即本文所用網(wǎng)絡(luò)結(jié)構(gòu)為9-5-1.試驗(yàn)中GSA算法的初始種群設(shè)置為BP網(wǎng)絡(luò)初始參數(shù)集合C=[ω,w,θ]，試驗(yàn)中設(shè)置參數(shù)空間上下限分別為Cmax=[100,100,10]和Cmin=[0.1,0.1,0.01]，利用GSA算法最終得到的最優(yōu)參數(shù)完成BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

圖4 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖5中虛線給出了隨機(jī)選取初值構(gòu)建BP神經(jīng)網(wǎng)絡(luò)在算法迭代過程中反饋誤差隨迭代次數(shù)變化曲線，實(shí)線為將GSA獲得的最優(yōu)初值賦予BP神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代時(shí)反饋誤差隨迭代次數(shù)的變化曲線，可以看出，GSA-BP模型收斂時(shí)的反饋誤差更小，收斂速度更快.圖5所示結(jié)果驗(yàn)證了算法改進(jìn)的有效性.

圖5 不同初值選取方法反饋誤差變化曲線

圖6(a)～(i)分別給出了針對(duì)測試數(shù)據(jù)氣壓，溫度，濕度，風(fēng)向，風(fēng)速，總云量，地表輻射強(qiáng)度，直接輻射強(qiáng)度，紅外輻射強(qiáng)度9個(gè)維度進(jìn)行清洗得到的結(jié)果與真實(shí)值之間的殘差變化曲線，為了對(duì)比，圖6中給出了采用文獻(xiàn)[8]所示方法在相同條件下對(duì)測試數(shù)據(jù)進(jìn)行清洗得到的結(jié)果.從圖6可以看出，對(duì)于上述9個(gè)維度的數(shù)據(jù)清洗結(jié)果，所提方法相對(duì)于文獻(xiàn)[8]方法的網(wǎng)絡(luò)輸出值與真實(shí)值較為接近，殘差較小，表明所提方法數(shù)據(jù)清洗性能更優(yōu).同時(shí)溫度，濕度和總云量3個(gè)維度預(yù)測結(jié)果出現(xiàn)了少數(shù)誤差較大點(diǎn)，對(duì)其進(jìn)行分析可知其與左右兩側(cè)值之間的差距較大，且明顯與實(shí)際氣候情況不符，采用所提方法修正后數(shù)據(jù)曲線更加平滑，與實(shí)際情況接近.

圖6 9維數(shù)據(jù)清洗誤差變化曲線

表2給出了所提方法和文獻(xiàn)[8]方法數(shù)據(jù)清洗結(jié)果的均方誤差和有效清洗效率指標(biāo)，可以看出，對(duì)于本文所用試驗(yàn)數(shù)據(jù)，所提方法可以獲得更高的清洗效率和更小的均方誤差，即數(shù)據(jù)清洗性能更優(yōu).

表2 兩種方法對(duì)測試集的清洗結(jié)果

4.3 訓(xùn)練集大小對(duì)結(jié)果的影響

在實(shí)際工程應(yīng)用中，受限于訓(xùn)練數(shù)據(jù)集的獲取手段匱乏，有時(shí)難以獲得足夠的訓(xùn)練數(shù)據(jù)以保證模型得到充足的學(xué)習(xí)，因此小樣本情況下的數(shù)據(jù)清洗能力也是評(píng)估一種方法性能的重要考量指標(biāo).在本節(jié)內(nèi)容中，我們分別將訓(xùn)練數(shù)據(jù)容量減少為總量的20%，40%，60%和80%，分別對(duì)所提方法和文獻(xiàn)[8]方法的數(shù)據(jù)清洗性能進(jìn)行評(píng)估，圖7給出了2種方法的有效清洗率隨著訓(xùn)練樣本數(shù)的變化曲線，可以看出，隨著訓(xùn)練樣本數(shù)的減少，2種方法的數(shù)據(jù)清洗性能都出現(xiàn)了不同程度的下降，但是所提方法的性能均優(yōu)于文獻(xiàn)[8]方法，在訓(xùn)練樣本數(shù)減少至40%時(shí)，所提方法仍能獲得優(yōu)于90%的有效清洗率.

圖7 有效清洗率隨訓(xùn)練樣本數(shù)變化曲線

4.4 對(duì)不同測試集的泛化能力

在實(shí)際工程實(shí)踐中，數(shù)據(jù)清洗模型對(duì)不同測試數(shù)據(jù)的泛化能力是評(píng)估算法性能的一項(xiàng)重要指標(biāo).如果一種數(shù)據(jù)清洗模型在完成訓(xùn)練后，對(duì)不同的測試數(shù)據(jù)均能取得較好的清洗效果，則認(rèn)為該模型具有較強(qiáng)的泛化能力.

在前述試驗(yàn)的基礎(chǔ)上，采取每次從國家氣象局網(wǎng)站隨機(jī)讀取該城市2000年～2008年真實(shí)年14時(shí)的氣候數(shù)據(jù)構(gòu)建測試數(shù)據(jù)集的方式對(duì)所提方法的數(shù)據(jù)清洗性能進(jìn)行驗(yàn)證，每組測試數(shù)據(jù)集包含256組數(shù)據(jù)，重復(fù)進(jìn)行10次隨機(jī)抽取試驗(yàn)，并對(duì)結(jié)果求平均.表3給出了所提方法和文獻(xiàn)[8]方法數(shù)據(jù)清洗結(jié)果的均方誤差和有效清洗效率指標(biāo)，可以看出在測試數(shù)據(jù)集發(fā)生變化時(shí)，所提方法的性能依然優(yōu)于文獻(xiàn)[8]方法.同時(shí)將結(jié)果與表2進(jìn)行對(duì)比可知，在面對(duì)不同測試集時(shí)，所提方法的數(shù)據(jù)清洗性能與單一數(shù)據(jù)集的數(shù)據(jù)清洗性能非常接近，驗(yàn)證了所提方法的泛化能力.

表3 兩種方法對(duì)不同測試集的清洗結(jié)果

5 結(jié)論

(1)提出一種基于PCA聯(lián)合K-MEANS的模糊聚類算法，利用PCA獲得的主分量作為K-MEANS的初始聚類中心，提升算法的噪聲穩(wěn)健性以及小樣本情況下的適應(yīng)能力；

(2)提出一種GSA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型，利用GSA的全局尋優(yōu)能力對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，確保其收斂于全局最優(yōu)解，提升模型性能；

(3)提出一種基于模糊聚類和GSA-BP模型的數(shù)據(jù)清洗算法，利用GSA-BP神經(jīng)網(wǎng)絡(luò)的任意非線性函數(shù)逼近能力對(duì)復(fù)雜氣候數(shù)據(jù)之間關(guān)系進(jìn)行建模，同時(shí)針對(duì)神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)訓(xùn)練時(shí)間長和運(yùn)算量大的問題，利用模糊聚類算法將數(shù)據(jù)集劃分為不同子類，降低模型復(fù)雜度；

(4)基于實(shí)際數(shù)據(jù)開展試驗(yàn)，結(jié)果表明所提方法能夠獲得優(yōu)于94%的有效清洗率，并且在小樣本情況下仍然具備較高的穩(wěn)健性，以及對(duì)不同測試數(shù)據(jù)集的泛化能力，適合實(shí)際工程應(yīng)用.