基于動態(tài)盒形圖技術(shù)的電力異常數(shù)據(jù)清洗

李凱

【摘 要】電力負(fù)荷數(shù)據(jù)是指在一定時間間隔內(nèi)記錄的電能消耗量，它包含電力系統(tǒng)的重要信息。對電力系統(tǒng)分析、系統(tǒng)的可靠性、電力線損計(jì)算、電力系統(tǒng)規(guī)劃起著至關(guān)重要的作用。但電力數(shù)據(jù)在傳輸過程中，由于各種隨機(jī)故障因素，異常數(shù)據(jù)的出現(xiàn)是不可避免的，它包括損壞的數(shù)據(jù)和丟失的數(shù)據(jù)。本文介紹動態(tài)盒形圖技術(shù)進(jìn)行自動清洗損壞和丟失的數(shù)據(jù)。并在貴州某地區(qū)供電公司進(jìn)行實(shí)施，結(jié)果證明了方案的有效性。

【關(guān)鍵詞】動態(tài)盒形圖；電力異常數(shù)據(jù)；自動清洗

【Abstract】Electric load data refers to a certain time interval record electricity consumption， it contains important information of power system. For power system analysis， system reliability， power loss calculation， power system planning plays a vital role. The electric power data in the transmission process， due to various random failure factors， the abnormal data is inevitable， resulting in the load curve contains corrupted data and missing data. This paper introduces the dynamic automatic cleaning box for damage and loss of the data graph technology. In the implementation process， a man-machine conversation program is proposed to improve the performance of the program. Experiments on a regional power supply company in Guizhou have proved the effectiveness of the scheme.

【Key words】Dynamic box diagram； Abnormal data of electric power； Automatic cleaning

0 引言

電力負(fù)荷數(shù)據(jù)在現(xiàn)在的智能電網(wǎng)中起著越來越重要的作用，它關(guān)系到電力網(wǎng)的潮流計(jì)算、線路損耗計(jì)算、電力網(wǎng)規(guī)劃，調(diào)度運(yùn)行等，有效數(shù)據(jù)的采集為做出正確的決定提供可靠的支持。但現(xiàn)在供電部門清洗異常值的方法多為手動輸入，工作效率低下。本文提出的動態(tài)盒形圖技術(shù)對變化的電力負(fù)荷異常數(shù)據(jù)的清洗具有重要的意義，這種方法提供了檢測異常數(shù)據(jù)的基礎(chǔ)，量化置信區(qū)間，估計(jì)損壞數(shù)據(jù)的時間點(diǎn)，適合局部和全局的大量損壞數(shù)據(jù)的檢測，并且實(shí)現(xiàn)自動清洗，大大提高了工作效率。

1 電力異常數(shù)據(jù)處理研究現(xiàn)狀

數(shù)據(jù)采集和傳輸?shù)倪^程中常常出現(xiàn)丟失和損壞，正確的收集所有的數(shù)據(jù)是一個巨大的挑戰(zhàn)和艱巨的任務(wù)。導(dǎo)致這種情況的因素有很多原因，像測量問題、通信失敗、設(shè)備故障、數(shù)據(jù)丟失以及由于暫時的維修或者某些生產(chǎn)線的暫時中斷導(dǎo)致的電力臨時中斷等因素。這些偶然因素，導(dǎo)致電力負(fù)荷的巨大偏差，而且這些負(fù)荷的變化沒有規(guī)律，因此實(shí)際運(yùn)行的方式不能正確預(yù)測，損壞的數(shù)據(jù)指的就是與常規(guī)運(yùn)行方式的巨大差距，導(dǎo)致很難全部發(fā)現(xiàn)損壞的數(shù)據(jù)。低質(zhì)量的數(shù)據(jù)導(dǎo)致錯誤的系統(tǒng)分析，做出錯誤的決策。目前電力行業(yè)，多采用手工的方式，來處理損壞數(shù)據(jù)。隨著智能電網(wǎng)的發(fā)展，大量的數(shù)據(jù)是手工方式難以實(shí)現(xiàn)的。

異常數(shù)據(jù)檢測是與數(shù)據(jù)清洗問題相關(guān)領(lǐng)域，已經(jīng)在數(shù)據(jù)挖掘和統(tǒng)計(jì)學(xué)中進(jìn)行了深入研究，像K接近分類，K均值聚類，盒形圖技術(shù)[4]，基于密度估計(jì)[1]以及神經(jīng)網(wǎng)絡(luò)的經(jīng)常被應(yīng)用。但它們大都是針對靜態(tài)的數(shù)據(jù)，針對電力數(shù)據(jù)的變化，本文提出了動態(tài)盒形圖技術(shù)。

2 動態(tài)盒形圖原理

盒形圖實(shí)際上是以圖形來概括頻數(shù)分布的最重要的統(tǒng)計(jì)特征，以便更容易地理解和對比數(shù)據(jù)，從圖中可以看到數(shù)據(jù)的分布情況及辨識出超出一定范圍的異常值。

按從小到大的順序列出所有的數(shù)值，把所有數(shù)值的個數(shù)記為n。按順序這樣排號：M1是最小的數(shù)，M2是次小的數(shù)，直到最大的數(shù)Mn。中位數(shù)指的是一半數(shù)值大于它、一半數(shù)值小于它的那個點(diǎn)，如果整個數(shù)值的個數(shù)n是奇數(shù)，中位數(shù)就是中間的那個，即從一端數(shù)到第（n+1）/2個數(shù)，中位數(shù)就是M（n+1）/2。如果整個數(shù)值的個數(shù)n是偶數(shù)，中位數(shù)是中間兩個數(shù)的均值，從一端數(shù)到第n/2和n/2+1個數(shù)，中位數(shù)就是Mn/2 與Mn/2+1的均值。

四分位數(shù)就是把數(shù)據(jù)分為四個部分。找到四分位數(shù)即一半數(shù)據(jù)的中位數(shù)。如果整個數(shù)值的個數(shù)是偶數(shù)，找出從1到Xn/2的這些數(shù)值的中位數(shù)，這就是第1個四分位數(shù)。如果整個數(shù)值的個數(shù)是奇數(shù)，中位數(shù)是M（n+1）/2，再找出從1到中位數(shù)這些數(shù)值的中位數(shù)M（n+1）/4，這就是第1個四分位數(shù)。按照相同的方法在較大的數(shù)值部分找到第3四分位數(shù)。計(jì)算兩個分位數(shù)之間的距離即四分位距，四分位距就是第3四分位數(shù)減去第1四分位數(shù)。內(nèi)部范圍是指區(qū)分屬于特定分布內(nèi)和分布之外的數(shù)值，內(nèi)部上限就是第3四分位數(shù)與1.5倍的四分位距之和，內(nèi)部下限就是第1四分位數(shù)與l.5倍的四分位距之差。外部范圍就是處在該范圍的數(shù)據(jù)遠(yuǎn)遠(yuǎn)在分布之外，很值得特別注意，即遠(yuǎn)遠(yuǎn)偏離了正常值的范圍。外部范圍的上限是處在高于內(nèi)部上限1.5倍四分位距的位置，下限則處在低于內(nèi)部下限1.5倍四分位距的位置，即外部上限為內(nèi)部上限與1.5倍的四分位距之和，外部下限為內(nèi)部下限與1.5倍的四分位距之差。

由于電力數(shù)據(jù)隨時間的變化特性，不同的時間段可以設(shè)置不同上下限，即盒形圖的內(nèi)部范圍和外部范圍設(shè)置不同的上下限。這樣可以剔除大部分偏離正常值范圍大的數(shù)據(jù)，達(dá)到清洗異常值的目的。

3 應(yīng)用實(shí)例分析

運(yùn)用Matlab軟件，編寫計(jì)算程序。最終，用項(xiàng)目中得到的數(shù)據(jù)，放入編寫的程序，檢驗(yàn)這些方法的可行性。分別用常規(guī)盒形圖技術(shù)和動態(tài)盒形圖技術(shù)對電力數(shù)據(jù)處理，顯示出不同的運(yùn)行結(jié)果。

4 結(jié)束語

本文采用動態(tài)盒形圖技術(shù)辨識電力異常數(shù)據(jù)，并利用線性方法，用異常數(shù)據(jù)附近的平均值替換異常數(shù)據(jù)，為電力部門做出正確的決策提供了可靠的參考數(shù)據(jù)。但本文只是論述偏離正常值大的處理方法，很多偏離正常值小的處理方法如樣條曲線處理異常數(shù)據(jù)[2-3]還需要進(jìn)一步研究。

【參考文獻(xiàn)】

[1]陳亮.文福拴，童述林.基于密度估計(jì)的異常電力負(fù)荷數(shù)據(jù)辨識與修正[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，40（02）：124-129.

[2]J. Chen， W. Li， A. Lau et al. Automated Load Curve Data Cleansing in Power Systems[J]. IEEE Transactions on Smart Grid， 2010， 1（2）： 213-221.

[3]Z. Guo， W. Li， A. Lau et al. Detecting X-Outliers in Load Curve Data in Power Systems[J]. IEEE Transactions on Power Systems， 2012， 27（2）： 875-884.

[4]張良均，楊坦，肖剛，等.MATLAB數(shù)據(jù)分析與挖掘?qū)崙?zhàn)[M].北京：機(jī)械工業(yè)出版社，2015.