基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別

(國網(wǎng)四川省電力公司電力科學(xué)研究院，四川 成都 610041)

0 引 言

信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展使得大數(shù)據(jù)分析和人工智能等新技術(shù)應(yīng)用應(yīng)運(yùn)而生，在建設(shè)電力物聯(lián)網(wǎng)的背景下，大數(shù)據(jù)和人工智能新技術(shù)與能源行業(yè)相結(jié)合引發(fā)了越來越多研究人員的關(guān)注[1]。電力大數(shù)據(jù)平臺在全面管控電網(wǎng)營銷服務(wù)和企業(yè)安全生產(chǎn)等方面獲得顯著成效[2-3]。一種應(yīng)用電網(wǎng)用電信息采集系統(tǒng)數(shù)據(jù)以實(shí)現(xiàn)城市大氣污染排放在線管控的方法被提出。該方法基于大數(shù)據(jù)手段，將電網(wǎng)企業(yè)用電信息采集系統(tǒng)電量與環(huán)保管控?cái)?shù)據(jù)進(jìn)行批量化關(guān)聯(lián)分析，無需新增硬件設(shè)備，實(shí)現(xiàn)了城市企業(yè)大范圍在線監(jiān)管，其中，排污企業(yè)對于環(huán)保措施的響應(yīng)程度評判是電力數(shù)據(jù)在環(huán)保應(yīng)用的一個重要功能。

支持向量機(jī)(support vector machine，SVM)是在分類、回歸和其他學(xué)習(xí)任務(wù)方面廣受歡迎的一種機(jī)器學(xué)習(xí)方法，在計(jì)算機(jī)視覺、自然語言處理、神經(jīng)成像、生物信息學(xué)等領(lǐng)域已有成功的應(yīng)用[4]。支持向量機(jī)一般分為3類：支持向量分類(support vector classification,SVC)、支持向量回歸(support vector regression,SVR)和一類支持向量機(jī)(one-class support vector machine ,1-SVM)[5]。其中：根據(jù)分類特征，支持向量分類可分為兩值分類和多值分類；支持向量回歸用于處理數(shù)據(jù)回歸問題；支持向量機(jī)還可實(shí)現(xiàn)一種特殊的一類分類問題，有學(xué)者將其稱為一類支持向量機(jī)(one-class support vector machine,1-SVM)，在實(shí)際中通常應(yīng)用于異常值檢測[6]。

下面研究以企業(yè)用電和納稅信息為特征的排污企業(yè)生產(chǎn)狀態(tài)識別方法，考慮到實(shí)際輸入特征異常和部分缺失的情況，采用回歸分析解決數(shù)據(jù)異常和部分缺失的問題，提高了分析結(jié)果的魯棒性；通過網(wǎng)格搜索選擇多個支持向量回歸組合模型來識別污染企業(yè)生產(chǎn)狀況，增加了模型的泛化能力，提高了分類精度。

1 支持向量機(jī)數(shù)學(xué)模型

從模式分類中可分離模式的情況下了解支持向量機(jī)是如何工作的可能是最容易的。給定可線性或非線性分離的訓(xùn)練樣本，支持向量機(jī)通過非線性核函數(shù)映射，生成一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。

考慮訓(xùn)練樣本{(xi,yi),i=1,2,3...N}，xi為輸入模式的第i個樣例，yi為對應(yīng)的期望響應(yīng)，用于分離的超平面形式的決策曲面方程為

wTx+b=0

(1)

式中：x為輸入向量；w為權(quán)值向量；b為偏置。對于一個給定的權(quán)值向量w和偏置b，支持向量機(jī)的目標(biāo)就是找到一個特殊的超平面，這個超平面的分離邊緣最大。支持向量機(jī)是一個二次規(guī)劃問題，數(shù)學(xué)推導(dǎo)如下。

當(dāng)樣本中yi=+1和yi=-1代表的兩類模式是線性可分時，式(1)可以為

wTxi+b≥0 當(dāng)yi=+1
wTxi+b≤0 當(dāng)yi=-1

(2)

考慮使式(2)等號成立的那些點(diǎn)，也就是距離超平面最近的兩類點(diǎn)，只要成比例地調(diào)整w和b的值就能保證這兩類點(diǎn)的存在，且對分類結(jié)果沒有任何影響。設(shè)2個超曲面為H1、H2。

H1:wTx+b=1
H2:wTx+b=-1

(3)

對于非線性問題，可以通過非線性變換轉(zhuǎn)化為高維空間的線性問題。因此，對于非線性分類，首先，采用一個映射φ將數(shù)據(jù)映射到一個高維空間。此時，在高維特征空間中就可對輸入數(shù)據(jù)進(jìn)行線性分類，映射回原空間后就成了輸入數(shù)據(jù)的非線性分類。支持向量機(jī)采用了一個核函數(shù)K(x,y)代替高維空間的內(nèi)積運(yùn)算，避免高維空間的復(fù)雜運(yùn)算。為使得所有樣本都能被分離超平面正確分類，增加模型的魯棒性，可采用松弛變量解決這個問題，因此優(yōu)化問題為

(4)

式中：w是權(quán)值向量；C為懲罰因子；ξi為松弛變量。

約束為

wTΦ(xi)+b≥1-ξii=1,……,l
ξi≥0i=1,……,l

(5)

式中：Φ(xi)為核函數(shù)。

2 排污企業(yè)生產(chǎn)識別

2.1 排污企業(yè)生產(chǎn)識別整體流程

基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別的輸入數(shù)據(jù)為企業(yè)的用電量和稅收值，與企業(yè)生產(chǎn)狀態(tài)有強(qiáng)相關(guān)性。對輸入數(shù)據(jù)進(jìn)行歸一化處理可直觀迅速判斷企業(yè)的基本運(yùn)行情況，同時大量簡化了計(jì)算。規(guī)則化后的輸入數(shù)據(jù)存在負(fù)值或缺失的情況，這是異常的輸入數(shù)據(jù)。通過對企業(yè)用電量和稅收值的歷史回歸分析，可校正負(fù)值的輸入數(shù)據(jù)，預(yù)測缺失的輸入數(shù)據(jù)，提高了分析結(jié)果的魯棒性。

將輸入數(shù)據(jù)分為3部分：訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)。輸入數(shù)據(jù)用來訓(xùn)練支持向量回歸的超參數(shù)，不同的超參數(shù)對應(yīng)一個支持向量回歸模型。通過網(wǎng)格搜索可以確定多個支持向量回歸模型，驗(yàn)證數(shù)據(jù)用來篩選已確定的支持向量回歸模型，得到最優(yōu)的支持向量回歸模型集用于組合回歸判斷，可提高單一模型的精度。最后，將最優(yōu)的支持向量回歸模型集來測試歷史數(shù)據(jù)。排污企業(yè)生產(chǎn)識別整體流程如圖1所示。

2.2 排污企業(yè)數(shù)據(jù)來源

排污企業(yè)的主要數(shù)據(jù)有企業(yè)類型、企業(yè)注冊地、企業(yè)納稅、企業(yè)用電等，取自于不同的機(jī)構(gòu)。其中，企業(yè)類型和企業(yè)注冊地來自四川省工商局，企業(yè)納稅歷史數(shù)據(jù)來自于四川省稅務(wù)局，企業(yè)用電歷史數(shù)據(jù)來自國網(wǎng)四川省電力公司用電信息采集系統(tǒng)和營銷系統(tǒng)。將歷史數(shù)據(jù)分為3部分：訓(xùn)練數(shù)集、驗(yàn)證數(shù)集和測試數(shù)集。其中，訓(xùn)練數(shù)據(jù)用來確定模型的參數(shù)；驗(yàn)證數(shù)據(jù)用來做模型驗(yàn)證，選定預(yù)測誤差小的超參數(shù)組合，提高總模型的精度；最后，測試數(shù)據(jù)用來做模型測試及分析結(jié)果。

圖1 排污企業(yè)生產(chǎn)識別總體流程

2.3 輸入特征選擇與正則化

支持向量機(jī)的輸入特征選擇為企業(yè)用電量和納稅值。這兩個特征與企業(yè)生產(chǎn)密切相關(guān)，輸出數(shù)據(jù)為企業(yè)開工判據(jù)。

輸入數(shù)據(jù)為企業(yè)用電量和納稅值，輸出數(shù)據(jù)為企業(yè)開工判據(jù)，其中，輸入數(shù)據(jù)的幅值遠(yuǎn)遠(yuǎn)大于輸出數(shù)據(jù)的幅值。為了降低運(yùn)算難度，輸入數(shù)據(jù)的大小被規(guī)則化，企業(yè)用電量被企業(yè)配電變壓器容量整除，納稅值被最大納稅值整除，則企業(yè)用電量和納稅值規(guī)則化后的范圍均為[0,1]。

(6)

實(shí)際情況中存在輸入特征值為負(fù)或者缺失的異常情況，為處理這種異常值情況，通過歷史數(shù)據(jù)回歸建立起企業(yè)用電量和納稅值的關(guān)系，如圖2所示。

圖2給出了企業(yè)歷史的稅收值和用電量，存在異常與缺失，圖3對缺失與異常做了標(biāo)記，通過回歸分析，可對異常輸入特征進(jìn)行修正，并填補(bǔ)缺失的特征，如圖4所示。

圖2 企業(yè)歷史輸入特征(存在特征異常與缺失)

圖3 異常與缺失特征辨識

圖4 異常與缺失特征回歸處理

2.4 核函數(shù)非線性映射

使用非線性映射φ把訓(xùn)練數(shù)據(jù)映射到一個高維特征空間，然后在高維特征空間里進(jìn)行線性回歸，映射回原空間后就成了輸入空間的非線性分類。用核函數(shù)K(x，y)就可以實(shí)現(xiàn)非線性回歸，如圖5所示。

圖5 核函數(shù)的非線性映射

2.5 網(wǎng)格搜索與驗(yàn)證

采用網(wǎng)格搜索法來選擇了441組超參數(shù)(即不同的C，γ，ε組合),一組超參數(shù)可以確定一個SVM模型，選擇網(wǎng)格搜索多個超參數(shù)以提高模型的邊化能力，C為懲罰因子，γ為核函數(shù)的參數(shù)，ε為一個大于0的常數(shù)。在使用相同數(shù)據(jù)集的情況下，訓(xùn)練了441個不同的SVM模型。用一部分?jǐn)?shù)據(jù)來做驗(yàn)證，避免過擬合。通過網(wǎng)格搜索得到的441個模型，在驗(yàn)證集上取誤差最小的前25個模型，測試數(shù)據(jù)的最后結(jié)果取25個回歸模型的平均值。

網(wǎng)格搜索法是一種直接的方法，它將不同組合的γ、C和ε值逐個進(jìn)行測試，查看情況，網(wǎng)格搜索中，令：

C=(2(-5),2(-3),2(-1),2(1),2(3),2(5),2(7),2(9),2(11))

γ=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

ε=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

(7)

不同的參數(shù)組合依次求解，得到最優(yōu)的超參數(shù)。

基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別流程如圖6所示。

圖6 基于組合支持向量回歸的排污企業(yè)生產(chǎn)識別流程

3 測試結(jié)果分析

對企業(yè)1500個實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行測試識別。輸入數(shù)據(jù)為這1500個實(shí)際生產(chǎn)下的納稅值和用電量，其中，輸入數(shù)據(jù)存在部分缺失和異常。組合支持向量機(jī)模型給出對于1500個輸入特征下對應(yīng)的生產(chǎn)判斷。

輸入的數(shù)據(jù)中，納稅數(shù)據(jù)小于0時為異常值，納稅數(shù)據(jù)為0時為缺失值。異常值和缺失值都是因?yàn)閷?shí)際管理等原因造成的真實(shí)數(shù)據(jù)不能查詢。

輸入數(shù)據(jù)的總數(shù)為1500個，異常即小于0的數(shù)據(jù)為313個，占總輸入數(shù)據(jù)的20.87%;部分缺失數(shù)據(jù)數(shù)量為29個，占總輸入數(shù)據(jù)的1.93%，如表1所示。

表1 輸入數(shù)據(jù)分析

通過回歸模型對異常數(shù)據(jù)進(jìn)行處理，如圖7所示，異常和部分缺失輸入數(shù)據(jù)進(jìn)行回歸處理后，其規(guī)則化后的范圍為(0,1)。

圖7 異常和部分缺失數(shù)據(jù)處理后的輸入特征數(shù)據(jù)

通過組合支持向量回歸模型對異常和部分缺失值處理后的數(shù)據(jù)進(jìn)行生產(chǎn)狀態(tài)識別，結(jié)果如圖8所示。

組合支持向量回歸模型識別企業(yè)生產(chǎn)狀態(tài)結(jié)果如表2所示。其中，正確識別的生產(chǎn)狀態(tài)1484個，識別正確率為98.93%，多個支持向量機(jī)組合模型具有分類精度高的特點(diǎn)。由于異常和部分缺失數(shù)據(jù)有342個，未進(jìn)行異常和缺失值處理時，正確識別1142個，識別正確率為76.13%，異常和缺失值回歸處理提高企業(yè)生產(chǎn)狀態(tài)識別率22.8%。

圖8 企業(yè)生產(chǎn)狀態(tài)識別結(jié)果

表2 組合支持向量回歸模型識別企業(yè)生產(chǎn)狀態(tài)結(jié)果

4 結(jié) 語

提出了一種綜合考慮企業(yè)用電和納稅信息的污染企業(yè)生產(chǎn)狀況識別方法。該識別方法考慮了實(shí)際應(yīng)用過程中的數(shù)據(jù)部分病態(tài)的問題，采用回歸分析，解決輸入特征異常和部分缺失的問題，提高了分析結(jié)果魯棒性；同時，通過網(wǎng)格搜索選擇多個支持向量機(jī)組合模型識別污染企業(yè)生產(chǎn)狀況，增加了模型的泛化能力，提高了分類精度。