基于數據挖掘的建筑能耗異常檢測研究

段中興,梅思雨

(1.西安建筑科技大學 信息與控制工程學院，西安 710055; 2.西部綠色建筑國家重點實驗室，西安 710055)

0 引言

隨著建筑行業的不斷發展，建筑能耗監管系統的運行使海量的能耗數據在數據庫中不斷積累，由于能耗監管系統異常、設備存在故障等問題，建筑能耗數據中往往存在異常值，利用數據挖掘的方法尋找海量能耗數據中存在的異常能耗并對這些能耗異常值進行分析，有助于建筑運營管理者及時發現和解決建筑運行過程中可能存在的問題，針對性地對建筑內部產生的故障進行診斷。目前，已有許多學者針對能耗異常檢測開展了大量研究工作。例如，文獻[1]提出了一種基于數據挖掘技術的建筑能耗實時監測方法，通過將DBSCAN算法與分類方法相結合，對建筑能耗值進行類別提取并識別出新產生能耗值所屬類別，從而判斷其是否為異常值；文獻[2]在廣義離群值檢測(GESD)的基礎上改進得到了Modified z-score算法，該算法在檢測離群點的同時能夠反映出離群數據的離散程度，適合于建筑能耗數據的檢測。這些方法雖然能夠實現對建筑異常能耗數據的檢測，但當樣本空間密度分布不均或類間距差異很大時，檢測結果會出現偏差，且不能對能耗數據進行快速處理。從能耗數據本身看，其中異常值僅在整個能耗數據中占很小的比例，即正常和異常能耗數據在數量上存在很大差異，屬于不平衡數據類型，那么對于能耗異常檢測問題，實質上則可以看作不平衡數據聚類，通過對能耗數據聚類，得到正常能耗(多數類)和異常能耗(少數類)類別，從而有效檢測出能耗數據中的異常值，并給出針對性的診斷。不平衡數據，即數據集中不同類別所含樣本在數量上存在很大差異，或不同類別所含樣本數量相同但分布不均勻，是數據集中普遍存在的一種數據類型，存在于實際生活中的各個領域(如欺詐檢測、網絡入侵、醫療檢查等)。目前已有的大多數經典聚類方法對于平衡數據聚類能夠得到較好的聚類效果，但對于不平衡數據的聚類效果不理想，往往會產生樣本“均勻效應”，比如模糊c均值(FCM)[3]聚類算法在聚類過程中會均衡化各類別樣本數量，使來自多數類中的部分樣本被誤劃分到與其相鄰的少數類中，造成很高的誤分率。為了避免這個問題，一些學者對此提出了不同的解決思路，例如文獻[4]提出了一種多聚類中心算法，通過將樣本數量多的類別拆分為若干個類別來減弱不同類別之間的不平衡，避免“均勻效應”。但該算法只適用于不同類別特征之間有明顯差異的場景，如果不同類別之間存在數據重疊現象則會產生不理想的聚類效果。Gustafson-Kessel (GK)算法[5]利用馬氏距離代替了FCM目標函數中的歐式距離，考慮了除球形數據以外的其他簇形對聚類結果產生的影響。

針對以上問題，本文在D-S證據理論框架下提出一種不平衡數據多劃分(Multi-partition，MP)聚類算法，并將其應用到建筑能耗異常檢測中，構建MP算法能耗異常檢測模型對建筑能耗中的異常值進行檢測。實驗表明，該算法能夠有效避免樣本“均勻效應”，極大降低誤分率；通過對某商場建筑用電能耗異常值的檢測，驗證了MP算法能耗異常檢測模型的有效性。

1 D-S證據理論概述

Dempster-Shafer(D-S)理論又稱證據推理(Evidence Reasoning)，1967年由Dempster最先提出[6]，后由Shafer于1976年對其進行推廣形成證據推理理論[7]。在Shafer模型中，定義了一個包含了有限個互斥且完備的元素集合Ω={ω1,ω2,…,ωn}，Ω所有子集構成的集合稱為Ω的冪集，表示為2Ω(包含2|Ω|個元素，其中|Ω|表示集合Ω中的元素個數)。例如，若辨識框架為Ω={ω1,ω2,ω3}，則2Ω={φ,ω1,ω2,ω3,ω1∪ω2,ω1∪ω3,ω2∪ω3,Ω}(其中|Ω|=3，包含23=8個元素)。在Shafer模型中，從2Ω到[0,1]上的一個映射函數m()為一個證據的基本信任指派(basic belief assignment, bba)，其滿足以下條件：

(1)

D-S理論將傳統的辨識框架Ω擴展到冪集2Ω，使樣本類別信息更加豐富(可以屬于單類或由若干單類構成的復合類)，其優勢在于能夠滿足比概率理論更弱的條件并具有直接表達不確定的能力，因此在模式識別、信息融合領域得到了廣泛應用。本文提出的MP聚類算法則基于D-S證據理論，引入復合類對不確定樣本進行了合理表征。

2 不平衡數據多劃分(MP)聚類算法

為了對不平衡數據進行有效聚類，避免樣本“均勻效應”，本文提出一種基于D-S證據理論的不平衡數據多劃分(Multi-partition，MP)聚類算法，能夠有效處理不平衡數據集，合理表征處在不同類別邊緣的不確定樣本，極大降低誤分率。該算法包含四個子步驟：數據集多劃分、真實類別尋找、子數據集合并和剩余數據劃分，下面將對MP算法的每個子步驟進行詳細闡述。

2.1 數據集多劃分

MP聚類算法的第一個步驟即對不平衡數據集中的樣本進行子簇劃分，受CCM算法[8]的啟發，本節將提出一種改進的信任c均值(Improved credal c-means, ICCM)聚類算法，利用多聚類中心思想(生成多個子簇和若干個復合類，其中子簇個數N應大于數據集真實類別個數c，即N>c)，對不平衡數據集中多數類和少數類中的樣本數量重新進行平衡，從而有效降低錯誤率，避免“均勻效應”。由于復合類的引入，那些處在重疊區域的不確定樣本能夠被合理表征，且ICCM的計算復雜度遠小于CCM。對于一個辨識框架為2Ω(Ω={ω1,…,ωN})的N類問題，ICCM算法分為以下兩個部分。

1)子簇的劃分：

在這部分中，不平衡數據集中的樣本僅允許被劃分到子簇和噪聲類中，對于一個數據集X∈Rn×p，通過ICCM算法對目標函數的最小化將X劃分為N個子簇，能夠得到基本信任值M=(m1,…,mn)∈Rn×(N+1)和矩陣規模為N×p的聚類中心矩陣V，其中ICCM算法的目標函數JICCM被定義如下：

(2)

且需滿足以下的約束條件：

(3)

其中:miφ表示樣本屬于噪聲類的基本信任值mi(φ)，1≤i≤n，1≤j≤N。參數β和δ的含義與CCM中參數的含義相同，其中δ用來控制噪聲樣本的數量，β為加權指數(默認值β=2)。目標函數JICCM最小化過程類似FCM和CCM，基本信任值m(.)通過以下公式更新：

(4)

其中:mij表示樣本xi屬于子簇ωj的基本信任值。

2)復合類的產生:

此過程通過設定復合類閾值計算得到復合類的基本信任值，對于樣本xi，其可能所屬的復合類Λi(Λi∈2Ω)被定義如下：

Λi={ωk∪,…,∪ωt|mi(ωk)-mi(ωt)≤ε},k≠t

(5)

且需滿足：

mi(ωk)=max{mi(ω1),…,mi(ωN)},?1≤k,t≤N

(6)

其中:ε為可調節的復合類閾值，其值大小決定了劃分到復合類中的樣本數量。對于樣本xi，其辨識框架拓展為Θi={φ,ω1,…,ωN,Λi}，且不同樣本可能得到不同的辨識框架Θ，復合類Λi的基本信任值m(Λi)被定義如下：

m(Λi)=mi(ωk)+,…,+mi(ωt)

(7)

樣本xi通過以下公式對基本信任值m(.)歸一化并進行更新：

(8)

其中:m(A)通過公式(4)計算可得，通過尋找基本信任值中的最大值，將樣本xi劃分到子簇或者復合類中，這樣就可以得到經過ICCM劃分后的子簇和復合類。

ICCM算法能夠減小由于不同類別樣本數量不等或分布不均對結果造成的影響，且能有效避免CCM“指數爆炸”現象，降低計算復雜度，實現數據的快速處理。在后面的步驟中，將利用子簇和復合類之間的密度關系對劃分的子簇進行合并，所提密度合并規則僅允許復合類中所包含單類個數為2，即樣本xi可能所屬的復合類Λi在滿足閾值ε的條件下僅能包含兩個子簇。

復合類閾值ε的參數調整規則：在實際應用中，閾值ε需要被控制在一個合理范圍之內，ε過大將使原本屬于子簇的樣本被劃分到復合類中，導致不精確率增大；而ε過小則會導致復合類中的樣本數量極少，極大增加誤劃分的風險。根據實驗，建議閾值ε的取值范圍為ε∈[0.1,0.3]，默認值ε=0.2。

2.2 真實類別尋找

利用ICCM對不平衡數據集進行劃分得到了N個子簇和若干個復合類，本節需要對數據集的真實類別個數進行確認，以確保子簇合并的正確性。受均值漂移(Mean-shift)算法[9]的啟發，本節將提出一種基于K-NN的均值漂移(KNN-based mean shift, KMS)算法，利用K近鄰(K-NN)思想計算當前樣本點的均值漂移向量，使向量沿著密度增大的方向移動直到到達密度峰值處，自適應地確定數據集的真實類別個數c，克服傳統均值漂移算法易受帶寬h影響的缺點。當數據集分布不平衡時，固定帶寬會影響聚類效果，KMS算法通過K近鄰思想能夠得到靈活的“帶寬h”。具體的，使用一定數量的K個最近鄰樣本點對均值漂移向量進行直接迭代，這樣不僅能夠保證參與每次迭代的樣本數量，而且可以很好適應迭代范圍。樣本的均值漂移向量Mh(x)被定義如下：

(9)

其中:Sh(x)和K分別表示樣本x的集合和K近鄰數量。在KMS中，僅改進Mh(x)以適應樣本迭代范圍，提高系統的魯棒性，其他步驟與均值漂移算法相似。為了減小計算負擔，這里僅取從ICCM算法中獲得的N個子簇類中心作為均值漂移向量迭代的初始點，由 KMS的聚類結果可得到數據集的真實類別個數c。

參數K的選取原則：在實際應用中，N個子簇的類中心被用作迭代均值漂移向量的初始點，因此KMS算法對K值具有較強的魯棒性。為了減少迭代次數，推薦K=(n/N)·(1±10%)作為默認值，其中n為不平衡數據集中包含的樣本數量。

2.3 子數據集合并

本節將提出一種密度合并規則(Density- based merging rule, DMR)，根據復合類和其所包含的兩個子簇之間的密度關系對劃分的子簇及部分復合類進行合并，直至得到與原始數據集真實類別個數相同的c個單類。復合類被認為是不同子簇之間的不確定類別，樣本被劃分到復合類意味著樣本可能屬于復合類所包含的子簇中的任何一個。如果ICCM將同屬于一個類別的樣本劃分給了不同的子簇和復合類，表明這些子簇的密度可能非常相似；復合類中的樣本通常分布在類別的相對中心，所以復合類的密度應大于或者介于復合類中所包含子簇的密度之間；如果復合類的密度小于其所包含的兩個子簇的密度，則意味著這兩個子簇屬于不同的類別。綜上，復合類和其包含的兩個子簇之間存在以下三種密度關系：

C1:ρωk(ρωt)≤ρΛi

C2:ρωk(ρωt)<ρΛi<ρωt(ρωk)

C3:ρΛi<ρωk(ρωt)

滿足上述C1和C2關系的復合類和子簇能夠進行合并，并且滿足C1關系的可優先合并。不難發現，子簇合并過程具有傳遞性，即如果有兩個已部分合并的子數據集都與一個未合并的子簇滿足密度合并關系，則這兩個子數據集也應進行合并。目前已有許多密度計算方法得到了廣泛應用，本節提供一種簡單的方法對不同類簇Ai(子簇或復合類)進行密度估計，Ai的密度被定義如下：

氮肥品種均為尿素，磷肥品種為鈣鎂磷肥，鉀肥為氯化鉀，磷肥和鉀肥均在蘗肥時全部施入稻田，施磷(P2O5)、鉀(K2O)量均為62.5 kg/hm2。水稻采用人工收割，收割后種植蠶豆，無需施氮肥。

(10)

其中:ρAi為類簇Aj的密度，ni表示Ai中樣本的數量，dij表示Ai中樣本xi與數據集中樣本xi的第j個近鄰之間的歐式距離。這里利用K近鄰思想來消除噪聲帶來的影響，默認值K=10。根據上述合并規則，能夠將多劃分獲得的N個子簇以及部分復合類進行合并。

為了表示方便，定義ωk,tωk∪ωt，下面通過一個簡單的例子來說明根據密度合并的過程?？紤]一個真實類別c=2，多劃分后子簇個數N=4的問題，各個子簇和復合類的密度分別為ρω1=0.56，ρω2=0.71，ρω3=0.47，ρω4=0.34，ρω1，2=0.24，ρω1,3=0.67，ρω1,4=0.21和ρω3,4=0.42。此例中各個子簇和部分復合類的具體合并過程如下：1)根據上述C1，可得Γ1=ω1∪ω3∪ω1,3；2)根據上述C2，可得Γ2=ω3∪ω4∪ω3,4；3)由傳遞性可得，ω1=Γ1∪Γ2∪ω1,4。因此，通過密度合并最終得到的新的類別結果如下：

ω1=ω1∪ω3∪ω4∪ω1，3∪ω3,4∪ω1,4；ω2=ω2

其中:Γi表示已合并的過渡簇(子數據集)，ωi表示樣本最終所屬的真實類別。在獲得需要的c個單類之后，可能仍會存在一些復合類(比如ω1,2)尚未合并，這些未合并復合類中的樣本通常處于不同類別的重疊區域(例如ω1和ω2)，因此需要采用更加謹慎的策略對這些樣本進行劃分。

2.4 剩余數據劃分

本節提出一種剩余樣本再劃分規則(Re-partition rule, RPL)對未合并復合類中的樣本進行再次劃分以得到最終的聚類結果。未合并復合類中存在的少數樣本經過再劃分后仍很難被劃分給某個特定類別，則這些樣本將保留成為一個新的復合類，以降低誤劃分風險。RPL的關鍵在于，認為樣本處在不同類別重疊區域的條件為該樣本到不同類別中與其最近的K個近鄰的平均距離無明顯差異。對于未合并復合類中的樣本xi，首先將獲得xi在與此復合類相關的兩個單類中的K近鄰，定義樣本xi到最終類別ωk的距離為xi到K個最近鄰的平均距離，用公式表示如下：

(11)

(12)

(13)

再劃分參數χ的選取原則：χ∈[0,1]是一個可調的閾值參數，其值大小會影響最終復合類中的樣本數量。χ越小，最終復合類中的不確定樣本越少，這將會增加不確定樣本誤劃分的風險；而隨著χ增大，更多不確定樣本被劃入最終的復合類中，這將導致不精確率增高。χ應根據可接受的不精確程度進行調節。

為了更加清晰表達MP算法的基本流程和主要內容，圖1展示了多劃分(MP)聚類算法的流程框圖。

圖1 不平衡數據多劃分(MP)聚類算法流程框圖

3 實驗分析

本文利用UCI數據庫[10]中五組真實數據集(即Wine、Bupa、Balancescale、Aggregation和WBC)對不平衡數據多劃分(MP)聚類算法的性能進行測試和評價，通過與FCM、GK和CCM三種聚類算法對比驗證MP算法的性能。Balancescale數據集共有3個類別，其中名為Left和Balanced的兩個類別(分別包含288和49個樣本)滿足不平衡數據分布，選擇這兩類來評估算法性能。同樣在Aggregation數據集中共有7個類別，選擇其中分別包含102、34和34個樣本的3個類別(即第三、五、七類)來驗證算法的有效性。除以上兩組數據集外，其余數據集均采用所有類別進行實驗，實驗所用數據集的詳細信息如表1所示。

表1 實驗所用五組UCI數據集詳細信息

表2 五組UCI不平衡數據集聚類結果 %

從表2可以看出，MP算法對UCI中五組不平衡數據集的聚類結果均優于其他三種算法，錯誤率最低。MP算法中引入的復合類能從一定程度降低樣本誤劃分的風險，合理表征處于重疊區域的不確定樣本，降低錯誤率。從程序運行時間T上，FCM和GK算法由于沒有復合類，故運行時間最快；CCM和MP算法由于引入了復合類，程序運行時間T會比前兩種算法時間長，但通過實驗數據可看出MP運行時間遠小于CCM，說明MP計算復雜度遠小于CCM，算法運行效率比較高。

4 MP算法在建筑能耗異常檢測中的應用

4.1 MP算法能耗異常檢測模型

本節將利用提出的MP聚類算法原理及內容構建能耗異常檢測模型。MP聚類算法分為四個子步驟：數據集多劃分、真實類別尋找、子數據集合并以及剩余樣本劃分，現將這些步驟運用在建筑能耗異常檢測中，構建如圖2所示的MP算法能耗異常檢測模型。首先將預處理后的能耗數據集進行多劃分，得到N個能耗子數據集(N>c)和若干個復合類；接著尋找數據集真實類別個數c，即正常能耗類別和異常能耗類別個數之和；然后對多劃分得到的能耗子數據集和部分復合類進行合并；最后，對未合并復合類中的剩余能耗數據進行再劃分，得到能耗數據集的類別劃分結果，即最終的異常檢測結果。從可行性的角度分析，由于能耗數據的分布符合聚類分布的特點，即距離類中心越近的地方樣本點分布越密集，這就保證了MP算法在第三步密度合并時能夠有效利用子數據集和復合類的密度進行子數據集合并，同時保證了MP算法能耗異常檢測模型的可行性。

圖2 MP算法能耗異常檢測模型

4.2 能耗異常檢測實驗結果與分析

本文使用的能耗數據來源于對西安市某大型商場建筑的逐日分項用電監測，通過對該商場能耗監管系統進行調研，采集并記錄了2018年3月5日至2019年2月28日的分項日用電能耗情況(共360組樣本)，包括空調、照明、動力、特殊設備用電量以及總用電量。選取該商場18年第二季度(6～8月，共計92天)日分項能耗(空調用電和照明用電)數據進行能耗數據異常檢測實驗，空調和照明用電能耗數據如圖3所示。由于直接來源于現實生活中的數據經常會存在不完整、不一致等現象，這些對數據挖掘效果都會產生很大影響，因此在進行能耗異常檢測實驗前，需要對實驗所用能耗數據進行預處理，確保數據的完整性和一致性。MP算法中的兩個閾值分別設置為ε=0.2，χ=0.2。為了與MP算法得到的結果進行比較，實驗還采用FCM和GK算法對相同用電能耗數據進行處理，得到了相應的聚類結果。

圖3 西安某大型商場建筑18年第二季度(6～8月)空調與照明用電能耗數據

利用MP算法對上述用電能耗數據進行聚類，實驗取N=8(即對該能耗數據集多劃分得到的子數據集個數為8)，圖4 (a)和(b)分別展示了第二季度原始用電能耗數據以及MP算法對空調和照明用電能耗數據聚類得到的結果。

圖4 MP算法建筑能耗異常檢測實驗結果

在實驗過程中可得到能耗數據的真實類別個數c=3，從圖4 (b)可以看出，MP算法將該季度用電能耗數據最終被劃分為三類:ω1、ω2和ω3(等于能耗數據集真實類別個數)，其中類別ω1從樣本數量上看屬于多數類，能夠判斷其屬于正常能耗類別，其中的能耗數據在范圍上相對比較穩定(即空調用電和照明用電量都在一定范圍內)；而類別ω2和類別ω3中所含能耗樣本的數量很少(屬于少數類)，且分布上明顯偏離類別ω1，故將這兩個類別所包含的能耗數據認定為異常能耗數據，其中類別ω2中的能耗數據在空調用電量上表現出異常(遠超出正?？照{用電量水平)，類別ω3中的能耗數據在空調用電和照明用電上均表現出異常(均遠小于正常用電量水平)。從最終的聚類結果來看，能耗數據集除了被劃分為以上三個類別外，還得到了兩個復合類(ω1,2和ω1,3)，它們所包含的能耗樣本雖然不能認定為異常能耗數據，但介于正常與異常能耗之間，需要對這種不確定能耗數據采取更加謹慎的態度，以免導致數據誤判的風險。圖5為根據MP算法異常檢測結果對異常能耗數據標記之后得到的用電能耗數據折線圖(其中三角形和菱形標記分別表示檢測出的空調用電異常能耗數據和不確定數據，圓形和正方形標記分別表示檢測出的照明用電異常能耗數據和不確定數據)，通過MP算法能耗異常檢測模型，能夠有效檢測得到建筑能耗數據中的異常值，為建筑能耗監管系統的管理和運行提供必要的幫助，有利于管理人員及時發現并解決建筑中可能存在的問題與故障。

圖5 空調/照明用電能耗異常檢測數據圖

為了與MP算法進行對比，采用FCM和GK兩種算法對相同的能耗數據進行處理，圖6 (a)和(b)分別為FCM和GK算法對用電能耗數據聚類的結果。由圖6 (a)可看出，FCM將用電能耗數據劃分為三類，但因其初始聚類時并沒有類別先驗信息，故在對數據進行聚類時首先需要獲得數據的真實類別；從結果來看，FCM將MP算法中劃分到復合類中的不確定數據強行劃分到異常數據類別中，這樣可能會增加數據誤判為異常值的風險。從圖6 (b)可以看到，GK將用電能耗數據劃分為三類，但同樣需要在聚類前對能耗數據的真實類別個數進行判斷，最終的聚類結果顯示，GK將原本屬于正常能耗類別ω1中的部分數據錯誤劃分到能耗異常類別ω2中，導致了部分正常能耗數據被誤判為異常能耗，與MP聚類算法對比錯誤率明顯增加。

圖6 FCM和GK算法對第二季度用電能耗數據的聚類結果

5 結束語

由于異常能耗值在能耗數據中僅占很小的部分，能耗異常檢測可以看作對不平衡數據的聚類，為了對不平衡數據進行有效聚類，避免樣本“均勻效應”，本文提出了一種基于D-S證據理論的不平衡數據多劃分(MP)聚類算法，并將其應用到建筑能耗異常檢測中，構建了MP算法能耗異常檢測模型對建筑能耗中的異常值進行檢測。首先對預處理后的能耗數據集進行多劃分，得到N個能耗子數據集和若干復合類；確定該能耗數據集的真實類別個數；然后對多劃分得到的能耗子數據集和部分復合類進行合并；最后對未合并復合類中的剩余能耗數據進行再劃分，得到能耗數據集的類別劃分結果，即最終的異常檢測結果。經UCI數據集驗證，MP算法具有良好的聚類效果，通過對某商場建筑用電能耗數據進行能耗異常檢測，驗證了MP算法能耗異常檢測模型的有效性。由能耗異常檢測實驗的結果可以看出，MP算法對于處在正常和異常能耗數據之間的不確定數據沒有強行劃分，但同時給算法帶來了一定的不精確率，如何謹慎地對這些數據進行劃分，從而確定這些能耗數據是否為異常值，是下一步需要深入研究的問題。