聚類關(guān)聯(lián)度分析法的異常數(shù)據(jù)流實(shí)時(shí)精準(zhǔn)檢測(cè)技術(shù)優(yōu)化

摘 要：為實(shí)現(xiàn)大規(guī)模用電數(shù)據(jù)流快速的異常檢測(cè)及用戶聚類，提升用電稽查的實(shí)時(shí)性和有效性，研究從“流”、“人”2個(gè)層面開展用電稽查，引入Holt-Winters模型，計(jì)算預(yù)測(cè)值與真實(shí)用電數(shù)據(jù)流的殘差項(xiàng)，利用DBSCAN聚類方法通過對(duì)殘差項(xiàng)的聚類、離群點(diǎn)的識(shí)別，完成大規(guī)模用電數(shù)據(jù)流異常的快速檢測(cè)；采用FCM聚類算法篩選異常用電用戶，且為優(yōu)化聚類效率，使用加權(quán)組合聚類評(píng)價(jià)指標(biāo)，來確定最優(yōu)聚類數(shù)，并引入歐式距離和相關(guān)系數(shù)的組合判據(jù)作為異常用戶檢測(cè)的閾值，以實(shí)現(xiàn)用電稽查用戶的自動(dòng)化分類，據(jù)此，便可利用FP-growth算法提取異常用電用戶的典型行為特征，為用電稽查提供有效支撐。

關(guān)鍵詞：FCM聚類分析；異常用電；DBSCAN聚類；用電稽查

中圖分類號(hào)：

TP311.13

文獻(xiàn)標(biāo)志碼：

A文章編號(hào)：

1001-5922（2024）01-0161-04

Optimization of the real-time and accurate detection technology of abnormal data flow based on clustering correlation analysis method

PAN Wei，ZHOU Xinxing，HAN Lili

（Guangdong Power Grid Co.，Ltd.，Guangzhou Power Supply Bureau，Guangzhou 510180，China）

Abstract：In order to realize fast anomaly detection and user clustering of large-scale power consumption data flowand improve the real-time and effectiveness of electricity consumption inspection，electricity consumption inspection was carried out from the two levels of “flow” and “person”，Holt winters model was introduced to calculate the residual term of the predicted value and the real power consumption data flow.DBSCAN clustering method was used to quickly detect the anomalies of large-scale electricity consumption data flow through the clustering and outlier identification of residual terms.FCM clustering algorithm was used to screen abnormal power users，and in order to optimize the clustering efficiency，the weighted combination clustering evaluation index was used to determine the optimal clustering number，and the combination criterion of Euclidean distance and correlation coefficient was introduced as the threshold value of abnormal user detection，so as to realize the automatic classification of electricity consumption inspection users.Based on this，the FP-growth algorithm could be used to extract the typical behavior characteristics of abnormal electricity users，which can provide effective support for electricity consumption inspection.

Key words：FCM clustering analysis;abnormal power consumption;DBSCAN clustering;electricity consumption inspection

用電稽查的重點(diǎn)在于排查異常用電行為，如何充分利用和挖掘這些數(shù)據(jù)源，輔助稽查人員快速掌控電力用戶用電狀態(tài)信息視為關(guān)鍵。現(xiàn)有研究中多采用聚類分析方法來對(duì)用戶用電數(shù)據(jù)進(jìn)行聚類分析，通過識(shí)別和提取典型用戶群體異常用電行為，來開展針對(duì)性的用電稽查，如針對(duì)K-means算法的不足，使用密度值優(yōu)化方法來優(yōu)化K-means算法，以獲取最優(yōu)聚類類別［1］；針對(duì)FCM算法需人工試湊的問題，引入改進(jìn)的自適應(yīng)FCM方法來自適應(yīng)調(diào)整最佳聚類數(shù)［2］；基于用電行為影響因素的多維性，引入一種融合K-means和SOM進(jìn)行二次聚類以及BP神經(jīng)網(wǎng)絡(luò)進(jìn)行反向調(diào)整修正的綜合聚類方法［3］。可見，聚類算法的改進(jìn)應(yīng)用已經(jīng)成為一種必然趨勢(shì)，單一的聚類算法無法適應(yīng)大規(guī)模海量電力數(shù)據(jù)的分類需求。故而，針對(duì)用電稽查大數(shù)據(jù)流快速、精準(zhǔn)的分類挖掘需求，結(jié)合FCM、DBSCAN聚類算法的應(yīng)用優(yōu)勢(shì)，針對(duì)其不足進(jìn)行重點(diǎn)優(yōu)化，以實(shí)現(xiàn)對(duì)大規(guī)模、異質(zhì)化異常用電用戶進(jìn)行快速、精準(zhǔn)的篩選、聚類，并利用FP-growth算法對(duì)典型異常用電行為的識(shí)別、提取，為用電稽查提供有效依據(jù)。

1 聚類關(guān)聯(lián)分析方法的優(yōu)化設(shè)計(jì)

1.1 異常用電數(shù)據(jù)流檢測(cè)的聚類算法

異常“流”的聚類算法改進(jìn)中，針對(duì)DBSCAN聚類算法運(yùn)算量大、準(zhǔn)確率低的問題［4］，引入Holt-Winters模型，根據(jù)大規(guī)模用電數(shù)據(jù)流的時(shí)序關(guān)系建模，以估算前后用電數(shù)據(jù)流的變化趨勢(shì)，得出變化的殘差項(xiàng)，再利用DBSCAN算法進(jìn)行聚類分析，完成異常用電數(shù)據(jù)流的快速檢測(cè)，整體的檢測(cè)流程如圖1所示。

（1）稽查區(qū)域目前用電量預(yù)測(cè)。Holt-Winters模型是針對(duì)非線性變化趨勢(shì)的時(shí)間序列，通過用電數(shù)據(jù)流前后變化的相似性，預(yù)測(cè)當(dāng)前用電數(shù)據(jù)流，并計(jì)算得出其與真實(shí)值的殘差項(xiàng)，據(jù)此，可定義每個(gè)稽查區(qū)域用電數(shù)據(jù)由時(shí)間序列數(shù)據(jù)組成，即時(shí)間序列長(zhǎng)度為T，此時(shí)，定義各稽查區(qū)域的用電量數(shù)據(jù)x=x1，x2，…，xT，將其逐時(shí)輸入Holt-Winters模型，可得相應(yīng)的預(yù)測(cè)序列y=y1，y2，…，yT，由此，構(gòu)建Holt-Winters模型［5-6］：

ti=αxi-pi-k+1-αti-1+ti-1ti=βsi-si-1+1-βti-1pi=γxi-si+1-γpi-1（1）

式中：i=2，3，…m，m為輸入序列的長(zhǎng)度；xi、si、ti、pi分別為第t時(shí)刻輸入數(shù)據(jù)及1、2、3次平滑值；k為周期；α、β、γ為相對(duì)應(yīng)的平滑系數(shù)，在0，1取值。

據(jù)此，根據(jù)前后時(shí)序用電數(shù)據(jù)流的相似性，可得第i+h時(shí)刻的預(yù)測(cè)值為：

yi+h=si+hti+pi-k+hmodk（2）

式中：h=1，2，3，…為預(yù)測(cè)時(shí)序步長(zhǎng)，因電力營(yíng)銷稽查需預(yù)算所有時(shí)間的用電數(shù)據(jù)，故而，此處h取值1，也即逐時(shí)間步預(yù)測(cè)。

設(shè)定k=2，由第3個(gè)時(shí)刻對(duì)電力營(yíng)銷稽查區(qū)域的用電量數(shù)據(jù)進(jìn)行預(yù)測(cè)，也即將前2個(gè)預(yù)測(cè)值記作：y1=x1，y2=x2。同時(shí)，因利用Holt-Winters模型對(duì)用電數(shù)據(jù)流預(yù)測(cè)時(shí)，α、β、γ采用人為設(shè)定方法存在主觀偏差［7］，故而，此處選用BFGS優(yōu)化方法，將MSE取值最小時(shí)的α、β、γ作為平滑系數(shù)，以縮減預(yù)測(cè)值與真實(shí)值之間的誤差［8］：

MSE=1n∑ni=1yi-xi（3）

式中：n為選取的用電稽查時(shí)間序列匯總包含數(shù)據(jù)點(diǎn)的數(shù)量；yi、xi為第i時(shí)刻的預(yù)測(cè)值與真實(shí)值。

（2）DBSCAN聚類算法的大規(guī)模數(shù)據(jù)流異常檢測(cè)。將基于Holt-Winters模型計(jì)算得出的電力營(yíng)銷稽查區(qū)域各時(shí)段用電量預(yù)測(cè)值與真實(shí)值求差，得出殘差項(xiàng)［9］：

Resi=yi-xi（4）

式中：yi、xi為第i時(shí)刻的預(yù)測(cè)值與真實(shí)值。此時(shí)，利用DBSCAN聚類算法對(duì)上式所得的殘差項(xiàng)進(jìn)行聚類分析，也即根據(jù)殘差項(xiàng)大小將大規(guī)模用電量數(shù)據(jù)劃分為數(shù)個(gè)簇和離散點(diǎn)，簇為正常殘差項(xiàng)的組合，表征前后用電數(shù)據(jù)量偏差不大，而離散點(diǎn)為非正常殘差項(xiàng)，表明用戶前后用電量數(shù)據(jù)偏差較大，存在異常用電的嫌疑，如此，便可從大規(guī)模用電數(shù)據(jù)流實(shí)現(xiàn)異常檢測(cè)。

1.2 異常用電用戶篩選的聚類算法

為提升異常用電用戶的快速、精準(zhǔn)篩選，本文從聚類數(shù)量、異常用戶分類閾值兩層面進(jìn)行創(chuàng)新：

（1）最優(yōu)聚類數(shù)量的確定。針對(duì)以往FCM聚類算法初始聚類中心的隨機(jī)性，易于陷入局部最優(yōu)解，為獲取最優(yōu)聚類數(shù)，提升異常用電用戶篩選的效率，將多個(gè)聚類評(píng)價(jià)指標(biāo)加權(quán)定義為［10］：

WCCVI=∑mi=1λiCVIi（5）

式中：m為FCM算法中聚類評(píng)價(jià)指標(biāo)的數(shù)量；λi為各聚類評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)，在0，1取值，∑m1λi=1［11］；CVIi為第i個(gè)聚類評(píng)價(jià)指標(biāo)。

為獲取WCCVI，選取CH、DB、Dunn、S等指標(biāo)進(jìn)行加權(quán)組合，但因?yàn)?個(gè)指標(biāo)單調(diào)性有遞減、遞增形式，故而，對(duì)單調(diào)性進(jìn)行統(tǒng)一化處理，將遞減的DB指標(biāo)取倒數(shù)1DB，同時(shí)，因?yàn)楦骶垲愒u(píng)價(jià)指標(biāo)的取值范圍差異較大，范圍過小的聚類指標(biāo)在加權(quán)中容易被忽略，故，對(duì)各指標(biāo)值進(jìn)行歸一化處理，讓每個(gè)數(shù)值對(duì)象均被映射至0，1內(nèi)［12-13］。最后，因預(yù)先無法確知各聚類指標(biāo)的重要性，為此，對(duì)WCCVI均分各指標(biāo)權(quán)重，也即λ1=λ2=…=λm，在WCCVI指標(biāo)取值最大時(shí)即為確定最優(yōu)聚類數(shù)。

（2）異常用電用戶的篩選。采用歐式距離與相關(guān)數(shù)組合判據(jù)來優(yōu)化異常用電用戶的篩選準(zhǔn)確性，2種聚類相似度度量公式為：

歐式距離（dx，y）=∑ni=1xi-yi（6）

式中：n為維度空間；x、y為n維空間的2點(diǎn)。

相關(guān)系數(shù)（r）=∑ni=1xi-x-yi-y-∑ni=1xi-x-2∑ni=1yi-y-2" （7）

因相關(guān)系數(shù)在-1，1之間取值，取值越大，相似性越大，與歐式距離正好相反，所以，對(duì)相關(guān)系數(shù)、歐式距離分別取絕對(duì)值、e-d，讓其在0，1內(nèi)取值［14］。將歐式距離與相關(guān)系數(shù)加權(quán)求和后的匹配度（Ma），設(shè)定為異常用電用戶篩選的閾值，其計(jì)算公式為［15］：

Ma=λ1r+λ2e-d=

λ1∑ni=1xi-x-2∑ni=1yi-y-2+λ2e-∑ni=1xi-yi（8）

式中：λ1、λ2分別為相關(guān)系數(shù)及歐式距離相似性度量的權(quán)重系數(shù)，且λ1+λ2=1，所以，匹配度Ma取值在0，1內(nèi)。通過計(jì)算，所得Ma閾值越大，則表明待篩選的用戶用電特征曲線與正常曲線的相似性越大，可歸類為正常用電用戶，相反，則歸類為異常用電用戶，由此鎖定用電稽查的范圍。

2 異常用電行為特征的關(guān)聯(lián)分析算法

針對(duì)Aprior算法需對(duì)數(shù)據(jù)進(jìn)行多次掃描，且若數(shù)據(jù)集中的元素較多，則運(yùn)算量巨大，故而，研究引入FP-growth算法來挖掘異常用電用戶與典型行為特征之間的關(guān)聯(lián)規(guī)則，以進(jìn)行針對(duì)性的用電稽查。選取用電稽查數(shù)據(jù)表中“95598投訴、檢修記錄、用戶類型、高耗用電”等數(shù)據(jù)字段進(jìn)行關(guān)聯(lián)性分析，分別設(shè)定為a、b、c、d。采用FP-growth算法進(jìn)行關(guān)聯(lián)分析時(shí)，其步驟為：

步驟1：構(gòu)建FP-tree：遍歷所有的數(shù)據(jù)集，統(tǒng)計(jì)各關(guān)聯(lián)項(xiàng)出現(xiàn)次數(shù)并按照最小支持度進(jìn)行過濾，而后，根據(jù)支持度對(duì)頻繁項(xiàng)目進(jìn)行由多至少的排序，并以此更新FP數(shù)，完成FP-tree樹的項(xiàng)建。

步驟2：FP-tree樹上頻繁項(xiàng)集的挖掘，若FP-tree樹包含單路徑，則組合該路徑中的節(jié)點(diǎn)，并生成頻繁項(xiàng)集；若包含多條路徑，則尋找各個(gè)元素的條件模式基，并以此構(gòu)建FP-growth 條件樹，在其上進(jìn)行遞歸挖掘［16］，最后，將后綴與條件樹生成的頻繁項(xiàng)集組合，即可得最終挖掘出的頻繁項(xiàng)集。

根據(jù)上述步驟，設(shè)定支持度閾值為20%，利用FP-growth算法獲得500、1 000各異常用電用戶的典型行為特征挖掘結(jié)果，具體如表1所示。

由表1可知，用電稽查中異常用電用戶與95598投訴、檢修記錄、客戶類型、高耗用電等典型行為特征存在強(qiáng)關(guān)聯(lián)性，且95598投訴與檢修記錄、客戶類型，檢修記錄與高耗用電、客戶類型均存在強(qiáng)關(guān)聯(lián)性。與400稽查用戶相比，1 000稽查用戶下，前者95598投訴與高耗用電強(qiáng)關(guān)聯(lián)，后者檢修記錄與高耗用電強(qiáng)關(guān)聯(lián)，且隨著稽查用戶數(shù)量的增加，異常用電用戶與典型行為特征的關(guān)聯(lián)分析更為精準(zhǔn)。

3 應(yīng)用分析

為分析上述聚類關(guān)聯(lián)算法在用電稽查中的應(yīng)用性，基于FCM聚類的便捷性直觀可見，故而以“流”異常檢測(cè)的Holt-Winters與DBSCAN融合聚類算法應(yīng)用為測(cè)試重點(diǎn)。選取2008年2月5日至2008年9月30日某智能電網(wǎng)的日用電量數(shù)據(jù)，且鑒于擬進(jìn)行用電稽查的各個(gè)區(qū)域用戶存在1 020個(gè)數(shù)據(jù)點(diǎn)，為測(cè)定異常用電數(shù)據(jù)快速、精準(zhǔn)檢測(cè)性，以人工標(biāo)注方法對(duì)用電量數(shù)據(jù)進(jìn)行處理。從該智能電網(wǎng)中隨機(jī)抽取8個(gè)用電稽查區(qū)域作為測(cè)算樣本，各個(gè)區(qū)域用電量數(shù)據(jù)序列步長(zhǎng)為906，并對(duì)原始數(shù)據(jù)時(shí)間序列進(jìn)行歸一化處理，以剔除量綱、量級(jí)影響。選取Holt-Winters與DBSCAN融合聚類算法、單一DBSCAN、K-means聚類算法進(jìn)行對(duì)比分析，以異常用電數(shù)據(jù)檢出率（DR）、誤報(bào)率（FPR）作為測(cè)評(píng)指標(biāo)，計(jì)算公式為：

DR=NadTfd×100%（9）

FPR=NfdTnd×100%（10）

式中：Nad、Tfd、Nfd、Tnd分別為異常數(shù)據(jù)檢出數(shù)量、異常數(shù)據(jù)總數(shù)、正常數(shù)據(jù)誤檢數(shù)量、正常數(shù)據(jù)總數(shù)。據(jù)此，可得計(jì)算結(jié)果如表2所示。

由表2可知，研究采用的Holt-Winters與DBSCAN融合聚類算法較單一的DBSCAN、K-means聚類算法的檢出率、誤報(bào)率均存在明顯優(yōu)勢(shì)，這是因?yàn)镠olt-Winters模型針對(duì)用電數(shù)據(jù)的時(shí)序，基于歷史與當(dāng)前用電數(shù)據(jù)的相似性，對(duì)當(dāng)前用電數(shù)據(jù)預(yù)測(cè)，且采用BFGS方法優(yōu)化選擇α、β、γ平滑系數(shù)，以更好的區(qū)別異常、正常數(shù)據(jù)的殘差項(xiàng)，使得用電數(shù)據(jù)預(yù)測(cè)的MSE均方差更小，如表3所示。由此可知，DBSCAN通過對(duì)殘差項(xiàng)的聚類分析，便可精準(zhǔn)識(shí)別非正態(tài)分布的離群點(diǎn)，實(shí)現(xiàn)異常用電數(shù)據(jù)的快速檢測(cè)。

同時(shí)，設(shè)定最小支持度為3，據(jù)此對(duì)異常用電典型行為特征數(shù)據(jù)進(jìn)行排序，讓單一元素的頻繁事務(wù)集合中元素的支持度均在最小支持度3以上，重構(gòu)事務(wù)集合，并對(duì)其進(jìn)行降序排序。通過支持度過濾和事務(wù)排序，來構(gòu)建FP-tree樹；而后，通過逐層的挖掘，得出4元素頻繁項(xiàng)，即可提取異常用戶的典型行為特征。對(duì)比Apriori 與FP -growth算法的關(guān)聯(lián)分析效率如表4所示，可見后者在各元素頻繁項(xiàng)挖掘時(shí)間上均有明顯縮短，可滿足用電稽查的高效性需求。

4 結(jié)語(yǔ)

針對(duì)大規(guī)模、異質(zhì)化用電稽查異常數(shù)據(jù)、用戶的快速檢測(cè)、聚類需求，研究將Holt-Winters及DBSCAN聚類算法與改進(jìn)的FCM聚類算法融合，從“流”與“人”兩層面著手，從多維數(shù)據(jù)中識(shí)別出異常數(shù)據(jù)流、準(zhǔn)確鎖定擬稽查的用戶范圍，且基于FP-growth的關(guān)聯(lián)分析，可從不同視角挖掘出典型的異常用電行為特征，以輔助開展針對(duì)性的用電稽查，提升稽查的效能性。但是，該研究尚未改變初始聚類中心的選擇規(guī)則，使得聚類分析中容易陷入局部最優(yōu)解，影響異常用電數(shù)據(jù)檢測(cè)的準(zhǔn)確性，后續(xù)應(yīng)重點(diǎn)完善。

【參考文獻(xiàn)】

［1］ 劉宇，廉洪波，王煒.基于改進(jìn)k-means和DE-ELM的配電網(wǎng)負(fù)荷預(yù)測(cè)研究［J］.國(guó)外電子測(cè)量技術(shù)，2019，38（5）：45-49.

［2］ 李飛，王鴻璽，譚阿峰，等.考慮用電行為分析的電力用戶用電預(yù)測(cè)研究［J］.電子測(cè)量技術(shù)，2020，43（1）：74-79.

［3］ 孫毅，毛燁華，李澤坤，等.面向電力大數(shù)據(jù)的用戶負(fù)荷特性和可調(diào)節(jié)潛力綜合聚類方法［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2021，41（18）：6259-6271.

［4］ 趙天輝，張耀，王建學(xué).基于空間密度聚類和異常數(shù)據(jù)域的負(fù)荷異常值識(shí)別方法［J］.電力系統(tǒng)自動(dòng)化，2021，45（10）：97-105.

［5］ 皇甫漢聰.基于次序依賴的電力數(shù)據(jù)缺失自動(dòng)修復(fù)方法研究［J］.自動(dòng)化與儀器儀表，2020（12）：233-236.

［6］ 周堃，韓號(hào)，陳偉，夏澤舉.應(yīng)用于電力營(yíng)銷的數(shù)據(jù)分析模型［J］.計(jì)算機(jī)與數(shù)字工程，2020，48（12）：3034-3041.

［7］ 周巍，崔艷林，蔡新雷，等.基于k-Means算法的電網(wǎng)調(diào)度輔助決策平臺(tái)［J］.自動(dòng)化與儀器儀表，2020（11）：137-140.

［8］ 武峰，劉波，張嘉如.基于雙層聚類的用電異常特征自動(dòng)化分析系統(tǒng)［J］.自動(dòng)化與儀器儀表，2020（11）：160-164.

［9］ 王永才.基于Hadoop平臺(tái)的用電行為數(shù)據(jù)特征挖掘方法［J］.自動(dòng)化與儀器儀表，2020（11）：227-230.

［10］ 姜丹，梁春燕，吳軍英，等.基于大數(shù)據(jù)分析的電力運(yùn)行數(shù)據(jù)異常檢測(cè)示警方法［J］.中國(guó)測(cè)試，2020，46（7）：18-23.

［11］ 宋占黨，李湘華，王海賓，等.大數(shù)據(jù)環(huán)境下的電力負(fù)荷預(yù)測(cè)研究［J］.電子測(cè)量技術(shù)，2019，42（12）：51-54.

［12］ 苗宏佳，白明輝，張婉明，等.基于負(fù)荷分解與聚類融合的短期負(fù)荷預(yù)測(cè)研究［J］.電子測(cè)量技術(shù)，2020，43（11）：53-58.

［13］ 趙文清，張?jiān)姖M，李剛.基于聚類和關(guān)聯(lián)分析的居民用戶非侵入式負(fù)荷分解［J］.電力自動(dòng)化設(shè)備，2020，40（6）：8-19.

［14］ 曾德斌，許江淳，楊杰超，等.基于數(shù)據(jù)挖掘的PSO- BP短期電力負(fù)荷預(yù)測(cè)［J］.自動(dòng)化儀表，2020，41（5）：93-97.

［15］ 吳飛，李霆，張航，等.基于CWOA-ELM的短期電力負(fù)荷預(yù)測(cè)研究［J］.電子測(cè)量技術(shù)，2020，43（4）：88-92.

［16］ 張明，符瑜科，鄧巽江，等.基于灰色聚類的配網(wǎng)線路跳閘信息快速采集方法［J］.粘接，2023，50（8）：175-179.