基于k-means聚類方法的曲線按比伸縮置換缺失數(shù)據(jù)補(bǔ)全法

楊亞洲，錢秋明，梁鴨紅

(云南電網(wǎng)有限責(zé)任公司普洱供電局，云南 普洱 665000)

0 引 言

對于電力負(fù)荷的預(yù)測，很大程度上依靠對大量歷史用電負(fù)荷的歷史數(shù)據(jù)進(jìn)行分析處理。因此，電力負(fù)荷預(yù)測結(jié)果的準(zhǔn)確性，往往跟所提供的以往用電負(fù)荷歷史數(shù)據(jù)的可靠性以及有相關(guān)因素的資料的準(zhǔn)確性等因素緊密相關(guān)。目前，我國各級電力調(diào)度中心對歷史數(shù)據(jù)進(jìn)行采集的系統(tǒng)多為SCADA(數(shù)據(jù)采集與監(jiān)控)系統(tǒng)[1]。由于采集設(shè)備故障、通信網(wǎng)絡(luò)故障和程序錯誤等原因，在數(shù)據(jù)庫存儲的電力負(fù)荷歷史數(shù)據(jù)會出現(xiàn)空值，即發(fā)生數(shù)據(jù)缺失現(xiàn)象。數(shù)據(jù)缺失現(xiàn)象會對負(fù)荷預(yù)測的準(zhǔn)確性產(chǎn)生不良影響。研究缺失數(shù)據(jù)的補(bǔ)全方法具有重要的意義。

用于補(bǔ)全數(shù)據(jù)的方法主要分為統(tǒng)計(jì)法和分類法兩種。統(tǒng)計(jì)法包括傳統(tǒng)的數(shù)學(xué)方法和新興的機(jī)器學(xué)習(xí)算法。傳統(tǒng)的數(shù)學(xué)方法包括線性插值法補(bǔ)全法[2]和樣條插值擬合補(bǔ)全法等。王雁平直接將負(fù)荷按照前N天的平均負(fù)荷曲線對缺失數(shù)據(jù)進(jìn)行補(bǔ)全，該方法沒有充分考慮負(fù)荷變化規(guī)律[3]。傳統(tǒng)的統(tǒng)計(jì)算法補(bǔ)全數(shù)據(jù)計(jì)算量小，易于實(shí)現(xiàn)，但是補(bǔ)全的準(zhǔn)確度低。機(jī)器學(xué)習(xí)算法通過復(fù)雜的數(shù)據(jù)挖掘處理，能夠大幅提高數(shù)據(jù)補(bǔ)全的準(zhǔn)確度如神經(jīng)網(wǎng)絡(luò)[4]、貝葉斯神經(jīng)網(wǎng)絡(luò)[5]、k-鄰近算法[6]，但是這些算法計(jì)算成本高，實(shí)際應(yīng)用困難。已有研究表明，分類法相比于統(tǒng)計(jì)法在缺失數(shù)據(jù)補(bǔ)全上具有明顯優(yōu)勢。李曉飛提出了基于k-means算法的缺失數(shù)據(jù)填充方法，通過將數(shù)據(jù)聚類尋找特征數(shù)據(jù)，選擇出現(xiàn)最多的離散性數(shù)據(jù)進(jìn)行填補(bǔ)[7]。趙天輝基于統(tǒng)計(jì)模糊矩陣分析用電模式找到符合水平相似日，根據(jù)相似程度選擇權(quán)重，對異常數(shù)據(jù)利用加權(quán)平均值進(jìn)行修復(fù)[8]。林順富通過灰色關(guān)聯(lián)分析和模糊聚類找出與帶補(bǔ)全日負(fù)荷向量隸屬值最大的兩條特征負(fù)荷曲線，以隸屬度為權(quán)重進(jìn)行加權(quán)平均修復(fù)[9]。

針對現(xiàn)有數(shù)據(jù)補(bǔ)全法的不足，本文提出了一種基于k-means聚類方法的曲線按比伸縮置換法，通過把其日負(fù)荷向量所屬類的質(zhì)心向量的相應(yīng)數(shù)據(jù)按照一定的比例伸縮變換，替換到空缺數(shù)據(jù)部分，完成數(shù)據(jù)補(bǔ)全。該方法補(bǔ)全精度較高，受缺失數(shù)據(jù)量、缺失數(shù)據(jù)位置的影響小，而且計(jì)算成本相對較低。

1 基于k-means 聚類方法的曲線按比伸縮置換法數(shù)據(jù)補(bǔ)全原理

1.1 數(shù)據(jù)補(bǔ)全的目的與應(yīng)用

數(shù)據(jù)補(bǔ)全，即探尋數(shù)據(jù)內(nèi)部的規(guī)律，補(bǔ)全數(shù)據(jù)中缺失的數(shù)據(jù)。在電力系統(tǒng)中，數(shù)據(jù)補(bǔ)全是負(fù)荷預(yù)測中不可缺少的一步。目前，我國各級電力調(diào)度中心對歷史數(shù)據(jù)進(jìn)行采集的系統(tǒng)多為SCADA(數(shù)據(jù)采集與監(jiān)控)系統(tǒng)。由于采集設(shè)備故障、通信網(wǎng)絡(luò)故障和程序錯誤等原因，在數(shù)據(jù)庫存儲的電力負(fù)荷歷史數(shù)據(jù)會出現(xiàn)數(shù)據(jù)缺失現(xiàn)象。一方面，負(fù)荷預(yù)測的準(zhǔn)確度很大程度依賴于歷史數(shù)據(jù)的準(zhǔn)確度，缺失數(shù)據(jù)明顯會降低歷史數(shù)據(jù)的準(zhǔn)確度；另一方面，空置(不正常零值)比有誤差的歷史數(shù)據(jù)對預(yù)測算法準(zhǔn)確度的影響更大。因此，研究數(shù)據(jù)補(bǔ)全方法具有重要意義。

1.2 曲線按比伸縮置換原理

曲線按比伸縮置換的原理是：用和含有缺失數(shù)據(jù)曲線趨勢相似的曲線的相應(yīng)部分，根據(jù)其與原缺失數(shù)據(jù)的首尾差值按比例伸縮，置換原曲線的缺失部分，從而達(dá)到補(bǔ)全效果。

圖1(a)為待補(bǔ)全的數(shù)據(jù)向量，其中點(diǎn)a到點(diǎn)b的數(shù)據(jù)為缺失數(shù)據(jù)。圖1(b)為與圖1(a)趨勢相似的曲線，圖中c、d分別與a、b相對應(yīng)。補(bǔ)全數(shù)據(jù)的方法為將圖1(b)cd段曲線經(jīng)過伸縮變換，連接到ab段曲線補(bǔ)全數(shù)據(jù)。

假設(shè)待補(bǔ)全數(shù)據(jù)的個數(shù)為n，即ab之間有n個采樣點(diǎn)發(fā)生數(shù)據(jù)缺失，為填補(bǔ)待填補(bǔ)數(shù)據(jù)兩段的差值，cd曲線中的每一個點(diǎn)都要按比例伸縮一定步長，如式(1)所示：

(1)

那么，第i(i

y(i)=yb+(ya-yc)-step×i

(2)

填補(bǔ)結(jié)果如圖1(a)中虛線所示。

圖1 數(shù)據(jù)補(bǔ)全算法示意圖

1.3 基于k-means聚類方法的曲線按比伸縮置換法補(bǔ)全數(shù)據(jù)具體實(shí)施步驟

由于考慮到同一負(fù)荷在時間上具有一定的規(guī)律特性，即負(fù)荷在客觀條件如溫度和節(jié)假日屬性等相似的日期具有相似的負(fù)荷曲線，采用基于k-means聚類方法的曲線按比伸縮置換法，達(dá)到提高數(shù)據(jù)補(bǔ)全精度，減小數(shù)據(jù)補(bǔ)全精度受缺失數(shù)據(jù)位置、缺失數(shù)據(jù)數(shù)量影響的目的。

本文提出的基于k-means聚類方法的曲線按比伸縮置換法的具體步驟如下：

步驟一：以日負(fù)荷向量的形式輸入負(fù)荷數(shù)據(jù)。

步驟二：把日負(fù)荷向量分為完整向量和含有缺失數(shù)據(jù)的向量。含有缺失數(shù)據(jù)的向量為待補(bǔ)全向量。

步驟三：把完整的日負(fù)荷向量進(jìn)行聚類，并求出每一類的質(zhì)心向量。

步驟四：將待補(bǔ)全向量根據(jù)與各類質(zhì)心向量歐式距離最小進(jìn)行分類。

步驟五：將待補(bǔ)全向量所屬類的質(zhì)心向量作為與待補(bǔ)全向量具有相似負(fù)荷曲線的向量，根據(jù)本文2.2小節(jié)中給出的數(shù)據(jù)補(bǔ)全方法，將缺失數(shù)據(jù)補(bǔ)全。

2 算例分析

本文算例中電力負(fù)荷歷史數(shù)據(jù)采用某省某地產(chǎn)發(fā)展公司的用電功率數(shù)據(jù)。該數(shù)據(jù)共225天，每天采集96次，每隔15 min進(jìn)行一次采集。

同時，本文還收集了與電力負(fù)荷數(shù)據(jù)匹配的天氣數(shù)據(jù)——日平均氣溫和對應(yīng)日期的節(jié)假日屬性。

為了測試本文提出的數(shù)據(jù)補(bǔ)全方法的效果，本文構(gòu)造了20段缺失數(shù)據(jù)。具體做法如下：在已有數(shù)據(jù)中隨機(jī)選擇20天數(shù)據(jù)作為含有缺失數(shù)據(jù)的日負(fù)荷向量，缺失數(shù)據(jù)起始位置隨機(jī)，長度隨機(jī)1到30不等。

2.1 缺失數(shù)據(jù)補(bǔ)全

本文中每天96點(diǎn)數(shù)據(jù)構(gòu)成一個向量，共225個向量，其中完整的向量為205個。將這205個向量以不同分類類數(shù)到進(jìn)行試驗(yàn)，聚類結(jié)果如圖2所示。

圖2 k不同取值的聚類誤差和

圖2中：橫坐標(biāo)為類數(shù)k的取值，范圍為1到25；縱坐標(biāo)為依據(jù)該k值進(jìn)行分類，所有向量到其相應(yīng)分類的質(zhì)心向量的歐式距離之和。當(dāng)k從1增加到5，聚類效果明顯提升；當(dāng)k≥6，聚類效果提升效果趨于平緩。因此針對本文所使用的數(shù)據(jù)集，選擇k= 6。根據(jù)式(1)～式(4)分別對缺失數(shù)據(jù)進(jìn)行補(bǔ)全，補(bǔ)全誤差如表1所示。

表1 缺失數(shù)據(jù)補(bǔ)全誤差

圖3為某日數(shù)據(jù)補(bǔ)全結(jié)果，該日從第47個采集點(diǎn)到第62個采集點(diǎn)，共模擬丟失16個采集點(diǎn)的數(shù)據(jù)。可見，基于k-means聚類的曲線按比伸縮置換補(bǔ)全法補(bǔ)全的數(shù)據(jù)值更接近數(shù)據(jù)的實(shí)測值，比線性插值補(bǔ)全數(shù)據(jù)和日平均負(fù)荷曲線補(bǔ)全數(shù)據(jù)的效果好。

圖3 某日缺失數(shù)據(jù)補(bǔ)全結(jié)果

2.2 數(shù)據(jù)補(bǔ)全精度對基于支持向量機(jī)回歸算法的負(fù)荷預(yù)測的影響

利用網(wǎng)格尋優(yōu)算法對誤差懲罰系數(shù)C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化，結(jié)果為C=10.2，ε=0.01，g=2.7。

分別利用線性插值法和基于k-means聚類置換法補(bǔ)全的數(shù)據(jù)進(jìn)行支持向量機(jī)負(fù)荷預(yù)測，計(jì)算預(yù)測誤差，結(jié)果如表2所示。

表2 支持向量機(jī)預(yù)測結(jié)果對比

從表2結(jié)果可以看出，數(shù)據(jù)補(bǔ)全的準(zhǔn)確度對支持向量機(jī)預(yù)測結(jié)果有一定的影響。由于基于k-means聚類置換法補(bǔ)全的數(shù)據(jù)要比線性插值法補(bǔ)全準(zhǔn)確度高，因此應(yīng)用其數(shù)據(jù)的預(yù)測準(zhǔn)確都會提升。

3 結(jié)束語

本文提出的基于k-means聚類的曲線按比伸縮置換法，由于其應(yīng)用了電力系統(tǒng)輻射數(shù)據(jù)具有時間周期相似性的特點(diǎn)，明顯地提高了數(shù)據(jù)補(bǔ)全的準(zhǔn)確度。并且，該種方法具有受缺失數(shù)據(jù)長度、缺失數(shù)據(jù)位置影響較小的優(yōu)點(diǎn)。在一定程度上，提高數(shù)據(jù)補(bǔ)全準(zhǔn)確度可以提高預(yù)測的準(zhǔn)確度。數(shù)據(jù)補(bǔ)全對于負(fù)荷預(yù)測，乃至光伏發(fā)電和風(fēng)力發(fā)電等發(fā)電功率預(yù)測都起到至關(guān)重要的作用。

本文進(jìn)一步研究方向：一方面要優(yōu)化數(shù)據(jù)采集存儲系統(tǒng)，減少數(shù)據(jù)的丟失；另一方面，需進(jìn)一步研究電力負(fù)荷曲線的特征提取與利用，更好地完成缺失數(shù)據(jù)補(bǔ)全的任務(wù)。