基于數(shù)據(jù)挖掘的霧霾預測和分析

陳嘉昊，劉 佳

（北京信息科技大學，北京 100192）

基于數(shù)據(jù)挖掘的霧霾預測和分析

陳嘉昊1，劉 佳2

（北京信息科技大學，北京 100192）

近幾年我國很多地區(qū)出現(xiàn)的嚴重霧霾天氣給人們的生活造成了巨大影響。根據(jù)互聯(lián)網(wǎng)上北京近年的空氣質(zhì)量和氣象數(shù)據(jù)，對霧霾的發(fā)生進行預測，并分析各因素在霧霾預測中的作用。建立包括BP神經(jīng)網(wǎng)絡在內(nèi)的多種分類模型，通過交叉驗證的方式訓練模型并得到預測結(jié)果。選取不同屬性組進行分類，結(jié)合ROC曲線、準確率等評價標準，分析不同屬性組對霧霾天氣的影響，從而得出供暖、交通等與霧霾天氣的關系。該工作可為霧霾的防治提供理論支持。

霧霾；BP神經(jīng)網(wǎng)絡；分類器；數(shù)據(jù)挖掘

0 引言

近年來霧霾嚴重影響了人們的日常生活。眾所周知，霧霾天氣的形成，既有氣象原因，也與污染氣體排放、地形等因素密切相關。就北京而言，冬季燃煤供暖消費巨大，機動車保有量持續(xù)上升，是重要的污染來源。2015年柴靜在《蒼穹之下》之中指出“北京的污染源之中最大的就是來自機動車”，而中科院大氣物理研究所某課題組曾對外公布了一組數(shù)據(jù)：三大主要PM2.5的來源是土壤粉塵（15%）、燃煤（18%）、生物質(zhì)燃燒（12%），然而機動車尾氣只占4%。各污染因素對霧霾的產(chǎn)生起多大作用，特別是機動車尾氣和供暖對霧霾的影響哪個更大，一直是一個飽受爭議的話題。近年來已經(jīng)有不少學者運用多種非線性的模型對霧霾天氣進行了預測和分析，但是對于上述爭議性話題還沒有系統(tǒng)的分析研究。本文基于網(wǎng)絡數(shù)據(jù)，通過數(shù)據(jù)挖掘方法，對霧霾的成因，特別是機動車尾氣和供暖污染對霧霾天氣形成的影響做出分析和評估。

本文提出了一種新方法，基于多種分類算法對霧霾氣象數(shù)據(jù)進行預測分析，通過計算不同屬性組的分類準確率、ROC（Receiver Operating characteristic Curve）曲線等，對霧霾的不同成因做出評價，分析出機動車尾氣和供暖廢氣對霧霾天氣的形成的影響。本方法選取與機動車尾氣、供暖、天氣相關的屬性分別構(gòu)成三個屬性組，首先用BP神經(jīng)網(wǎng)絡作為分類器，通過交叉驗證對霧霾天氣進行預測，并畫出不同屬性組的ROC曲線，對各屬性組對分類的影響進行評估，然后用C4.5、RIPPER、k近鄰、SVM、隨機森林等多種分類算法進行分類預測，并對分類結(jié)果的正確率、ROC曲線面積等進行分析。經(jīng)過以上過程分析得出結(jié)論：北京市機動車尾氣和燃煤供暖對霧霾天氣的影響較大，且作用相當。

1 相關工作

近年來已經(jīng)有不少學者運用非線性的分析預測方式對霧霾天氣進行了預測，其中，運用神經(jīng)網(wǎng)絡方法對進行霧霾預測并構(gòu)建模型，該方法適用于對非線性特征對象的的分析和預測，以及網(wǎng)絡具有自學習的能力和魯棒性好的特點。艾洪福和石瑩等[1]運用了BP神經(jīng)網(wǎng)絡，在對網(wǎng)絡中間隱層的連接權(quán)和閾值進行修正，使得在霧霾天氣指標比較單一的情況下，仍能保持網(wǎng)絡預測分析的準確性；馬楚焱、祖健、付清盼和羅凌霄等[2]設計了基于遺傳算法的BP神經(jīng)網(wǎng)絡優(yōu)化了在網(wǎng)絡訓練過程中局部極小化和平坦區(qū)域問題，提高了霧霾空氣能見度預測模型的有效性。

相關的文獻中也有不少運用數(shù)理統(tǒng)計和數(shù)據(jù)擬合的方法進行霧霾天氣的研究。侯瓊煌和楊航[3]等對二氧化硫和煙塵的排放量以及環(huán)境污染總治理投資建立了時間序列的預測模型，并運用對所有時間序列都適用的三次指數(shù)平滑法進行霧霾趨勢預測。楊文光、林連海和田立勤[4]等使用離散小波分析將二氧化硫和煙塵排放量分解到高頻和低頻兩個頻道，對上述的兩個頻道分別建立周期函數(shù)并用Fourier曲線的周期特性進行擬合，得到了較高的預測效果。付倩嬈[5]等通過多元線性回歸模型，采用在線更新的預測方式根據(jù)當天檢測結(jié)果，不斷更新模型，在無需大量預測數(shù)據(jù)的前提下，及時反映當前霧霾情況的變化。

但是對于各污染因素對霧霾的產(chǎn)生起多大作用，特別是機動車尾氣和供暖對霧霾的影響哪個更大等爭議性話題還沒有系統(tǒng)的分析研究。

2 概述

本研究根據(jù)中國天氣后報網(wǎng)和中國環(huán)境監(jiān)測網(wǎng)站的600組天氣數(shù)據(jù)數(shù)據(jù)，用多種分類算法對霧霾天氣進行預測分析，通過計算不同屬性組的分類準確率、ROC曲線等，對霧霾的不同成因做出評價，分析出機動車尾氣和供暖廢氣對霧霾天氣的影響。第3部分對本研究應用的各種分類算法和評估方法進行了介紹，第4部分給出了本研究的數(shù)據(jù)分析和處理過程，第5部分為方法的實驗結(jié)果及分析。

3 基礎算法簡介

3.1 BP神經(jīng)網(wǎng)絡

BP神經(jīng)網(wǎng)絡是一種利用誤差反向傳播訓練的前饋型網(wǎng)絡，是迄今為止應用最為廣泛的神經(jīng)網(wǎng)絡。BP網(wǎng)絡目前廣泛應用于函數(shù)逼近、模式識別、數(shù)據(jù)挖掘、系統(tǒng)辨識與自動控制等領域。BP算法實際上就是求取網(wǎng)絡總誤差函數(shù)的最小值問題，具體采用“最速下降法”，按誤差函數(shù)的負梯度方向進行權(quán)系數(shù)的修正。具體學習算法包括兩大類過程：其一是輸入信號的正向傳播過程。其二是輸出誤差信號的反向傳播過程。逐層遞歸的計算是網(wǎng)絡的輸出值和期望輸出值的誤差，根據(jù)此誤差調(diào)整網(wǎng)絡連接權(quán)值和神經(jīng)元的閾值[6]。

3.2 決策樹（Decision Tree）

決策樹（Decision Tree）是一種預測模型，它包括決策結(jié)點，分支和葉節(jié)點三個部分。其中，決策節(jié)點代表一個測試，通過代表待分類樣本的某個屬性，在該屬性上的不同測試結(jié)果代表一個分支，分支代表每個決策節(jié)點的不同取值。每個葉節(jié)點存放某個類別的標簽，表示一種可能的分類結(jié)果。決策樹對未知樣本的分類過程是，自決策樹根節(jié)點開始，自上而下沿某個分支向下搜索，直到到達葉節(jié)點，葉節(jié)點的分類標簽就是該未知樣本的類別。

3.3 基于規(guī)則的分類器

基于規(guī)則的分類器是一種通過使用一組判斷規(guī)則來對記錄進行分類的技術(shù)。其中重要的算法為IREP算法和RIPPER算法。RIPPER算法是一個優(yōu)化版本的JPip，其中JRip分類器實現(xiàn)了命題規(guī)則學習，重復增量修枝（RIPPER）算法生成一條規(guī)則，隨機地將沒有覆蓋的實例分成生長集合和修剪集合，規(guī)則集合中的每一個規(guī)則是由兩個替代規(guī)則和修訂規(guī)則生成[7]。

3.4 基于實例的算法

基于實例的算法是推遲對訓練數(shù)據(jù)建模，直到需要對未知樣本進行分類才進行建模。其中，IBK分類器是一種K-最近鄰分類器。IBK可用多種不同的搜索算法來加快最近鄰任務。在樣本中有比較多的噪點時，通過IBK算法就能解決一個鄰居分類效果較差，出現(xiàn)誤差較多的情況，此情況下IBK算法就成了一個較優(yōu)的分類器選項。Kstar分類器在最近鄰分類器的基礎上對樣本間距離的確定進行提升，使用的是熵的距離函數(shù)[7]。

3.5 支持向量機

支持向量機（Support Vector Machine，SVM）分類器是一種監(jiān)督式學習方法，廣泛地應用于統(tǒng)計分類以及回歸分析。SVM的特點是能夠同時求取最小化經(jīng)驗誤差與最大化幾何邊緣，因此支持向量機也被稱為最大邊緣分類器。支持向量機技術(shù)具有堅實的統(tǒng)計學理論基礎。SVM可以很好地用于高維數(shù)據(jù)，避免維數(shù)災難。

3.6 集成學習

集成學習（Ensemble Learning）就是通過聚集多個分類器的預測結(jié)果來提高分類準確率，集成的方式由訓練數(shù)據(jù)構(gòu)建一組基分類器（Base Classifier），然后通過每個基分類器的預測的投票來進行分類。例如，裝袋（Bagging）、提升（Boosting）和隨機森林（Random Forest）算法。

3.7 分類模型評估

分類模型能夠正確預測先前沒有見過的樣本，分類標簽能力為評估一個分離器性能的一個最為普遍的以及最為成熟的一個方法。在平衡的數(shù)據(jù)集中，它將每個類別看做同等重要，提高了分類的置信度。對于一個二元分類問題，預測可能產(chǎn)生四種不同的結(jié)果，如表1所示。

表1 二元預測的不同結(jié)果

真陽性率（True Positive Rate）是TP除以真實類別為yes的總數(shù)（TP+FN），TPR=TP/（TP+FN）；假陽性率（False Positive Rate）是FP除以真實類別為no的總數(shù)（FP+TN），即TPR=FP/（FP+TN）；綜合準確率是正確分類總數(shù)除以全體分類總數(shù)[準確率=（TP+TN）/（TP+TN+FP+FN）]。

接受者操作特征（ROC）曲線是顯示分類器真陽性和假陽性率之間折中的一種圖形化表示方法。在ROC曲線中，X軸為假陽性率，Y軸為真陽性率，曲線的每個點對應某個分類器歸納模型。ROC曲線下方的面積（AUC）提供了另一種評估模型的平均值性能的方法。如果模型是完美的，則它的ROC曲線下方的面積等于1，當AUC的值在0.8以上能表示分類器的性能能夠?qū)ξ粗獢?shù)據(jù)做比較準確的預測[8]。

4 算法流程

4.1 數(shù)據(jù)收集與處理

本研究采用的霧霾天氣數(shù)據(jù)來自中國天氣后報網(wǎng)和中國環(huán)境監(jiān)測網(wǎng)站共600組數(shù)據(jù)作為霧霾仿真數(shù)據(jù)（如表2所示）。

通過對冬季燃煤供暖和機動車尾氣排放污染物詳盡的調(diào)查和分析，把以上數(shù)據(jù)分成三個霧霾氣象數(shù)據(jù)的屬性組。燃煤供暖屬性組的數(shù)據(jù)為溫度（T）、最高和最低溫度（TM,Tm）、濕度（H）、平均風速（V）、最大持續(xù)風速（VM）、NO2、SO2和平均能見度（VV）。機動車尾氣排放屬性組的數(shù)據(jù)為溫度（T）、最高和最低溫度（TM,Tm）、濕度（H）、平均風速（V）、最大持續(xù)風速（VM）、CO、O3和平均能見度（VV）。對以上兩個屬性組本實驗增加了一個參照組用來作對照實驗，在對比中更能反應出實驗屬性分組的客觀性和科學性。

4.2 基于BP神經(jīng)網(wǎng)絡的霧霾預測

基于BP神經(jīng)網(wǎng)絡的霧霾天氣預測，主要利用了網(wǎng)絡本身良好的非線性處理能力，通過擬合訓練數(shù)據(jù)關系進行分類。然后通過ROC曲線對不同屬性組對霧霾的影響程度進行分析。具體流程如下：

對600組霧霾天氣數(shù)據(jù)進行歸一化處理。消除霧霾屬性中數(shù)據(jù)的量綱差別。將處理過的數(shù)據(jù)按照三折的交叉驗證處理方法分成網(wǎng)絡訓練組和網(wǎng)絡預測組兩部分。構(gòu)建一個三層BP神經(jīng)網(wǎng)絡，輸入結(jié)點與屬性個數(shù)相同，隱層節(jié)點數(shù)利用隱層節(jié)點計算公式得出燃煤供暖、機動車尾氣和參照組分別為4、3和2個節(jié)點，輸出層結(jié)點數(shù)為1。進行對三個霧霾屬性組樣本進行分別訓練。

畫出ROC曲線（Receiver Operating characteristic Curve），根據(jù)ROC曲線形狀，以及線下面積（AUC）定性和定量評價不同屬性組對霧霾天氣的影響。通過多次實驗，對分類正確率和ROC曲線的線下面積取平均值。

4.3 基于其他分類算法的分析

首先，基于C4.5決策樹算法進行分類。霧霾數(shù)據(jù)是具有離散屬性和連續(xù)屬性的多元數(shù)據(jù)，可用C4.5算法進行分類。針對三個屬性組，分別運用二分法創(chuàng)建決策樹，為決策樹創(chuàng)建新節(jié)點對其進行擴展，使用信息增益率（GainRatio）篩選屬性作為劃分訓練記錄的測試條件。

第二步，運用RIPPER算法進行分類。這是一種基于規(guī)則的分類算法。在設計算法開始時把規(guī)則表R置為空，運用函數(shù)Learn-One-Rule提取類別y覆蓋當前屬性訓練記錄集的最佳規(guī)則。

第三步，運用K-近鄰和Kstar算法進行分類，這是兩個基于實例的分類算法。在每一個測試樣本集中對每一個測試樣本，使用熵的距離函數(shù)計算該樣本與所有訓練樣本之間的距離，通過進一步修改距離權(quán)重，進一步降低距離較大分布點的干擾；通過擴大近鄰學習的節(jié)點范圍，從原來的一個相鄰的節(jié)點單位（k=1）擴大到八個節(jié)點單位（K=8），降低異常點的干擾，以確定其最近鄰的集合。

第四步，運用基于支持向量機分類器的序列最小化算法（SMO）。該算法在傳統(tǒng)支持向量機的基礎上使用高斯核的核函數(shù)，使屬性數(shù)據(jù)映射到高維，避免了在對多維的霧霾屬性數(shù)據(jù)進行分類處理時出現(xiàn)線性不可分情況，提升了分類器對多維的天氣數(shù)據(jù)的魯棒性。

第五步，在集成學習中，本文采用了三個不同的集成學習算法對三個屬性組進行數(shù)據(jù)分析和預測。首先對每一個屬性組原始的天氣數(shù)據(jù)樣本進行隨機抽取。依據(jù)均勻概率分布從原始數(shù)據(jù)集中又放回的抽取，使每一個自助樣本集和原始數(shù)據(jù)集一樣大，確保每一個自助樣本集包含原始數(shù)據(jù)集中60%以上的數(shù)據(jù)。選擇對應抽取完成的自助數(shù)據(jù)集逐一構(gòu)建分類器。分類器對單個預測值進行多數(shù)表決，得票最高的類別指派給測試樣本。應用提升算法中的AdaBoost算法，對屬性組中離群點數(shù)據(jù)賦予更高的權(quán)值，從最初單個變量權(quán)值為0.0017增加到0.0167降低對組中其他數(shù)據(jù)的誤差影響。采取隨機森林的集成學習算法。此類算法在最初基于單個決策樹的單個分類器算法上，集成多棵決策樹進行預測。

表2 原始天氣屬性類別

表3 三組霧霾屬性組示例（燃煤供暖排放屬性組）

表4 三組霧霾屬性組示例（汽車尾氣排放屬性組）

表5 三組霧霾屬性組示例（參照屬性數(shù)據(jù)組）

5 實驗結(jié)果及分析

5.1 數(shù)據(jù)采集與處理

本研究采用的霧霾天氣數(shù)據(jù)來自中國天氣后報網(wǎng)和中國環(huán)境監(jiān)測網(wǎng)站發(fā)布的2014～2016年每年的秋冬春三個季節(jié)霧霾易發(fā)的五個月作為環(huán)境監(jiān)測數(shù)據(jù)。經(jīng)過屬性組的篩選，共600組數(shù)據(jù)作為霧霾仿真數(shù)據(jù)（如表6所示）。

通過對冬季燃煤供暖和汽車尾氣排放污染物詳盡的調(diào)查和分析，把以上數(shù)據(jù)分成三個霧霾氣象數(shù)據(jù)的屬性組。對以上兩個屬性組本實驗增加了一個參照組用來作對照實驗，在對比中更能反應出實驗屬性分組的客觀性和科學性。天氣數(shù)據(jù)在數(shù)據(jù)分布上基本符合統(tǒng)計學中的高斯分布，反映了屬性組中數(shù)據(jù)平衡性，表明實驗數(shù)據(jù)客觀真實有說服力。

國際上對煙霧的能見度定義為不足1km，薄霧的能見度為1km～2km，霧霾的能見度為2km～5km劃分標準編輯。因此依照國際標準對平均能見度數(shù)據(jù)進行歸一化處理（部分數(shù)據(jù)處理后的部分數(shù)據(jù)如表10所示）。

5.2 基于BP神經(jīng)網(wǎng)絡的分類

將網(wǎng)絡的學習率調(diào)整為0.01，誤差設定為0.001。經(jīng)過網(wǎng)絡對其中相關參數(shù)、節(jié)點的權(quán)值和閾值在網(wǎng)絡訓練中進行優(yōu)化后，用MATLAB軟件對網(wǎng)絡進行仿真，基于ROC曲線和其線下面積AUC對三個屬性組進行分析，部分仿真圖表如圖1所示。由圖可知，燃煤供暖和機動車尾氣排放這兩個屬性組的AUC數(shù)值大致相同，且都要大于參照組AUC數(shù)值，因此可得出燃煤供暖排放和機動車尾氣排放這兩個因素對霧霾天氣有較大影響，并且作用大致相當。

表6 原始天氣數(shù)據(jù)

表8 汽車尾氣排放屬性組

表9 參照屬性數(shù)據(jù)組

表10 對平均能見度處理后的部分數(shù)據(jù)

圖1 三個屬性組的仿真結(jié)果圖

5.3 基于其他分類算法的研究

根據(jù)這八種分類器算法的分類結(jié)果做出定量與定性的分析，構(gòu)建了對霧霾數(shù)據(jù)樣本的分類混淆矩陣，矩陣的數(shù)據(jù)如表11～表13所示，表格中的每個元素均是實例的計數(shù)值，a和b的值代表平均能見度歸一化之后的結(jié)果。從下列屬性組中樣本的分類結(jié)果分布情況上看，依照混淆矩陣的判別分類器分類效果方法，主對角線上的分類樣本數(shù)目之和遠大于副對角線上之和，因此采用這八種分類器是符合霧霾數(shù)據(jù)的特征，體現(xiàn)了設計算法的實效性，對屬性組對霧霾天氣的影響具有較高的支持作用。

針對600組霧霾數(shù)據(jù)，分成三個屬性組進行分類算法的分析預測。每種算法的預測結(jié)果運用正確率和AUC數(shù)值進行評價。

對分類器的分類正確率和ROC曲線的線下面積分別進行了數(shù)據(jù)統(tǒng)計與分析。燃煤供暖、機動車尾氣排放和參照組的正確率均值分別為84.2915、84.2075和79.2913；燃煤供暖、機動車尾氣排放和參照組的AUC均值分別為0.8959、0.8898和0.8291。由數(shù)據(jù)可知燃煤供暖和機動車尾氣排放這兩個屬性組的分類正確率和AUC數(shù)值大致相同，且都要大于參照組分類正確率和AUC數(shù)值，因此可得出燃煤供暖排放和機動車尾氣排放這兩個因素對霧霾天氣有較大影響，并且作用大致相當。

表11 燃煤供暖屬性組混淆矩陣數(shù)據(jù)

表12 汽車尾氣屬性組混淆矩陣數(shù)據(jù)

表13 參照組屬性組混淆矩陣數(shù)據(jù)

表14 分類算法的評估結(jié)果

表15 分類器算法結(jié)果的統(tǒng)計分析

6 結(jié)束語

本方法選取與機動車尾氣、供暖、天氣相關的屬性分別構(gòu)成三個屬性組，首先用BP神經(jīng)網(wǎng)絡作為分類器，通過交叉驗證對霧霾天氣進行預測，并構(gòu)建出不同屬性組的ROC曲線，對各屬性組對分類的影響進行評估，然后用C4.5、RIPPER、k近鄰、SVM、隨機森林等多種分類算法進行分類預測，并對分類結(jié)果的正確率、ROC曲線面積等進行分析。通過數(shù)據(jù)挖掘方法，基于客觀數(shù)據(jù)，對具有爭議的污染因素：機動車尾氣和燃煤供暖對霧霾的作用大小進行了定量分析。經(jīng)過以上過程分析得出結(jié)論：北京市機動車尾氣和燃煤供暖對霧霾天氣的影響較大，且作用相當，可為相關部門政策的制定和霧霾的防治提供理論依據(jù)。

由于霾天氣能見度的不僅僅與大氣污染物有關，還受到某些氣象條件的影響：例如，降雨降雪、大氣壓強、混合層高度；以及在光化學反應晝夜差異，大氣上空流邊界層發(fā)展的大氣穩(wěn)定性[9]等。未來工作中，會通過更全面地考慮影響因素來提高預測和分析的準確性。

[1] 艾洪福,石瑩.基于BP神經(jīng)網(wǎng)絡的霧霾天氣預測研究[J].計算機仿真,2015:01,32(1):402-405.

[2] 馬楚焱,祖健,付清盼,羅凌霄.基于遺傳神經(jīng)網(wǎng)絡模型的空氣能見度預測[J].環(huán)境工程學報(2015)04:9(4):1905-1910.

[3] 侯瓊煌,楊航.基于三次指數(shù)平滑模型的霧霾天氣預測[J].環(huán)境保護科學(2014:40)06:73-77.

[4] 楊文光,林連海,田立勤.基于小波分析的霧霾天氣分析與預測[J].2016:34,3:166-170.

[5] 付倩嬈.基于多元線性回歸的霧霾預測方法研究[J].2016,6:43(6A):526-528.

[6] 陳雯柏.人工神經(jīng)網(wǎng)絡原理與實踐[M].西安電子科技大學出版社.

[7] 袁梅宇.數(shù)據(jù)挖掘與機器學習WEKA應用技術(shù)與實踐[M].清華大學出版社.

[8] Pang-Ning Tan,Michael Steinbach,Vipin Kumar.數(shù)據(jù)挖掘?qū)д揫M].人民郵電出版社.

[9] 呂效譜,成海容,王祖武,張帆.中國大范圍霧霾期間大氣污染特征分析[J].湖南科技大學學報（自然科學版）2013:9,28(3):104-110.

Fog and haze forecasting and analysis based on data mining

CHEN Jia-hao1, LIU Jia2

TP29

：A

1009-0134(2017)06-0150-06

2017-05-27

國家自然科學基金（61501464）

陳嘉昊（1996 -），男，本科，研究方向為數(shù)據(jù)挖掘和模式識別。