基于規則引擎與空間聚類分析的多源地震災情數據清洗策略研究1

郭紅梅 陳維鋒 張 瑩 申 源

（四川省地震局，成都 610041）

基于規則引擎與空間聚類分析的多源地震災情數據清洗策略研究1

郭紅梅 陳維鋒 張 瑩 申 源

（四川省地震局，成都 610041）

通過研究不同來源地震災情數據匯集處理過程中的數據清洗技術，利用數據挖掘中基于規則引擎與空間聚類分析相結合的方法檢測多源災情數據存在的錯誤、不完整和重復等問題并進行修正，提高災情數據質量。以清洗后的災情數據為基礎，運用ArcGIS空間插值對離散災情點進行總體分析和模擬，從而快速反映并確定地震災情的總體分布情況，為地震應急救災工作提供更可靠、形象的災情分布信息。文中以四川省地震災情快速上報接收處理系統在四川省蘆山“4·20”7.0級強烈地震中，通過多種災情獲取手段獲取到的包括主觀震感、客觀震感、房屋破壞、交通系統破壞等共1330條災情信息為例進行處理和分析，共檢測出不合理災情數據717條，其中剔除696條，修正21條，清洗后的災情數據空間分布和模擬結果與實際考察形成的烈度圈吻合度良好。

多源地震災情信息 數據清洗 規則引擎 信息融合 空間聚類

郭紅梅，陳維鋒，張瑩，申源，2015.基于規則引擎與空間聚類分析的多源地震災情數據清洗策略研究.震災防御技術，10（4）：892—901.doi：10.11899/zzfy20150407

引言

地震應急工作是一項準軍事化行動，成敗的關鍵在于能否在最短的時間內做出科學合理的決策并付諸行動（聶高眾等，2012）。科學合理的決策需要正確災情信息的支撐，因此，地震災情信息的獲取和處理是地震應急工作的關鍵環節。隨著科學技術的發展，震后快速獲取海量災情信息變的可能，但由于災情信息來源的多樣性，獲取到的原始災情信息往往包含了大量的“臟數據”，譬如信息重復、不完整、邏輯錯誤等（蘇桂武等，2003）。如何快速檢測出災情數據中存在的質量問題，提高災情數據質量，是現階段地震應急工作中急需解決的關鍵問題之一（白仙富等，2010）。

數據清洗是指使用一系列的邏輯規則或數據挖掘技術等多種方法從大量原始數據中檢測出臟數據，并對臟數據采取修復或丟棄動作，從而提高數據質量的過程。目前，國外對災害領域數據清洗的研究主要是通過引入數據挖掘方法，如應用聚類方法檢測異常記錄，模型方法發現不符合現有模式的記錄，關聯規則方法發現數據集中不符合具有高置信度和支持度規則的異常數據來檢測并消除異常及近似重復記錄等（王曰芬等，2007）。國內對數據清洗技術的研究起步較晚，針對地震災情中的數據質量問題，有專家和學者采用了包括統計分析方法、簡單的規則庫、經典偶然誤差處理模型等多種方法進行了部分數據的清理與校驗。

四川省地震災情快速上報接收處理系統的建成，使得在短時間內獲得大量災情信息成為可能（陳維鋒等，2014）。本文以四川省地震災情快速上報接收處理系統在四川省蘆山“4·20”7.0級強烈地震中獲取的多源災情信息為例，通過對多源災情數據存在的質量問題進行分析分類，采用Java規則引擎Drools并結合災情數據的實際質量問題制定數據清洗規則，對各類災情信息中的重復、不完整及不規范等記錄分別進行初步檢測與修正。并以數據量最大、記錄覆蓋面最廣的主觀震感為基礎，結合在同一地點處的客觀震感、房屋破壞、交通系統破壞情況等災情信息進行多源災情數據融合，分析它們之間的邏輯關系，制定業務規則，修正主觀震感中的錯誤記錄。本文中主觀震感是指地震發生時人對震動的感覺。客觀震感是指地震造成某一區域房屋破壞的總體概況。房屋和交通系統破壞是指房屋和交通系統的具體破壞情況。在此基礎上，應用密度聚類分析方法對空間離散點進行聚類分析，彌補關聯規則難以檢測孤立點的不足，進一步檢測并修正多源災情數據中存在的錯誤，使其滿足應急指揮決策分析對災情數據質量的要求。最后，將修正后的空間離散災情點投射到地圖上，通過ArcGIS插值展示出災情的總體空間分布情況，為應急救災工作提供更可靠、形象的多源災情信息支撐。

1 基于Java規則引擎的多源地震災情數據清洗

以往基于規則的數據清洗方法通常將業務規則編譯好后嵌入到系統代碼中的不同位置，隨著數據量及其復雜性的增大，需要回到需求階段重新制定新的業務規則并重新編譯，難以適應數據多源化的趨勢（包從劍，2007）。而規則引擎可將業務邏輯從系統代碼中分離出來，使規則可獨立于系統進行靈活的配置和更新（郭志懋等，2012）。結合多源地震災情信息中存在的質量問題，采用開源Java規則引擎Drools對其進行數據質量的檢測及清洗。

1.1 Java規則引擎Drools工作機制

Drools是一個開源的業務規則引擎框架，以高效的模式匹配算法Rete為核心構建，實現了邏輯與數據的分離，提高了規則執行的效率（葉舟等，2011）。其通過檢索提交到引擎的數據對象，如主觀震感、客觀震感、房屋破壞等，根據對象的當前屬性值和它們之間的關系，從加載到引擎的規則文件中發現符合條件的規則，創建規則的執行實例，使實例在引擎接到執行指令時依照某種優先順序依次執行。基本工作機制如圖1所示。

工作區中存放被規則引擎引用的數據集，將事先編譯好的業務規則導入靜態規則區，規則執行隊列將不斷存儲被激活的規則執行實例，當工作區中的數據對象發生改變后，引擎會迅速對規則執行隊列中的執行實例做出調整和更新（潘巍等，2011；Payne等，2010），以適應數據多源性與多變的特點。

在進行數據質量檢測時，Drools規則引擎通過調用規則文件來判斷記錄是否是臟數據，并做出保留、剔除或修正數據的動作，規則文件主要構成框架Java代碼如下：

圖1 Drools數據清洗工作機制Fig.1 Data verification mechanism of Drools

其中，規則集用＜rule-set＞標記，一個規則集可以包含多條規則＜rule＞，每個規則都有一個ID號和相應的清洗動作類型ruleTyPe。此外，規則中還定義了很多用＜java:condition＞標記的邏輯條件，這些邏輯條件之間是“與”或者“或”的關系。Drools規則引擎將根據這些邏輯條件動態地構建最優匹配樹，高效地檢測由＜parameter＞標記的數據是否符合邏輯條件，如果符合則觸發＜java:consequence＞標記中的Java代碼，不符合則不觸發（曹永亮，2008）。在上述示例代碼中，定義了記錄被封裝到Data 類中data表的ID字段如果不為空，即可通過data.setFlag（1）方法判定為初步干凈的數據；反之，如果為空則應被剔除。可見，規則文件中包含了數據必須滿足的清洗規則，每條規則由定義好的檢測和清洗動作構成。

1.2 多源地震災情數據清洗規則的制定

對應急指揮決策而言，災情數據質量主要包括適用性和正確性兩方面，其中災情數據的適用性包括關鍵字段值完整、災情記錄不重復等。通過對各種來源的災情信息可能存在的質量問題進行分析，可發現在正確性方面主要存在字段值不符合災區實際受災情況等錯誤，而在適用性上主要問題為缺少必要的字段值導致記錄不可用、字段值不完整、重復記錄等，需要分別制定業務規則進行檢測和修正，形成規則文件后加載到規則引擎中運行。

（1）針對適用性的初步清洗規則

針對適用性方面的問題，對不同來源的災情數據可分別制定獨立的邏輯規則進行數據質量初步檢測與清洗，下面以四川省地震災情快速上報接收處理系統在蘆山“4·20”7.0級強烈地震中獲取的記錄條數最多且具有代表性的主觀震感進行規則制定示例。在主觀震感（subtrem）中提取出了五個關鍵字段，分別是災情發生地（area）、經度（longtitude）、緯度 （latitude）、震感級別（tremlevel）和時間（time）。其中，災情發生地和經度（longtitude）、緯度（latitude）都是表示災情的位置信息，災情發生地字段完整或經度（longtitude）、緯度 （latitude）字段完整的就表示該條災情的位置信息完整。主觀震感數據質量初步檢測與清洗規則如下：

①關鍵字段值缺失記錄清洗規則

主觀震感可用的前提是震感級別、位置信息和時間都完整。若某一條記錄中震感級別、位置信息和時間中任一字段值缺失，該條記錄就失去了實際應用價值，這種情況的記錄應經過檢測后剔除，以減少應用的復雜程度。程序結構框如圖2所示。

圖2 關鍵字段值缺失記錄清洗過程示例Fig.2 An example of verifying record due to missing of key characters

②關鍵字段值不完整記錄清洗規則

主觀震感災情信息的震感級別和災情發生地經緯度字段中還存在信息不完整和不規范的問題。例如在震感級別中只有對震感的主觀性描述，沒有按規范格式進行量化表示，不便于對震感級別的理解和歸類，對于這類記錄應將缺失的信息補充完整。而在災情發生地經緯度字段中有一些明顯超出四川省經緯度范圍的記錄，不符合規范，應根據災情發生地字段的值修正到合理范圍內。以震感級別不完整記錄為例的清洗規則程序框圖，如圖3所示。

③重復記錄清洗規則

主觀震感記錄中存在不少重復記錄，主要是同一地點存在若干條震感信息。主要原因是部分災報員不僅僅報了主震的震感，而且每次余震都上報了震感。這既造成數據量巨大，又影響對震感的總體判斷。針對這種情況，對該次震害事件，只保留主震的震感信息，余震的震感信息剔除。由于四川省災情快速上報接收處理系統震害事件的創建以主震為起點，不含前震，因此震感重復記錄清洗的具體規則是根據時間軸，取該點第一次上報的震感信息。

（2）針對正確性的災情數據清洗規則

在四川省地震災情快速上報接收處理系統中，客觀震感根據多位具有豐富現場災評經驗的專家經驗設置，分為6個等級，具體描述如下：i看不到房屋破壞；ii房屋破壞不容易看到，要人帶領；iii大部分房屋未倒塌，房屋破壞可以看到；iv少數房屋倒塌，房屋破壞很容易見到；v土木房一片廢墟；vi磚房一片廢墟，其中ii-vi級分別對應烈度VI-X。主觀震感分為5個等級，分別描述如下：i無震感；ii僅僅有感；iii震感強，可行走；iv站立不穩，行走困難；v被地震摔倒。學校和醫院房屋破壞分為3個等級，分別描述如下：i為完好，即墻體有少量裂縫或無破壞；ii為部分破壞，即房屋墻體有很多裂縫；iii為毀壞，即房屋倒塌或部分倒塌。

圖3 關鍵字段不完整記錄清洗過程示例Fig.3 An example of verifying record due to incompletion of key characters

農村房屋和城鎮房屋破壞分級一致，具體描述如下：i完好，無房屋破壞或有少部分房屋被震裂；ii部分破壞，很多房屋被震裂或少量房屋倒塌；iii毀壞，很多房屋倒塌。交通系統破壞分三個等級，具體如下：i通行；ii通行困難；iii中斷。根據GB/T 17742-2008《中國地震烈度表》中的人的感覺、房屋震害和其他震害現象的描述，主觀震感對應烈度表中人的感覺一欄；學校、醫院以及城鎮房屋對應烈度表中的C類建筑物；農村房屋對應烈度表中的B類建筑物；交通系統破壞根據烈度表中其他震害現象的描述來對應。依據烈度表對地震烈度信息的具體描述，獲得這幾類災情信息橫向和縱向邏輯對應關系如表1所示。

表1 多源地震災情信息對應關系表Table 1 Correlation of multi earthquake hazard information

在表1中，各類災情信息的破壞等級之間形成了縱向上的對應關系，本文選取主觀震感為基準進行災情數據初步清洗后的信息融合，即當同一地點的客觀震感（objtrem）、房屋破壞（houbroken）、交通系統破壞（trabroken）等破壞等級滿足其中某一列的條件時，即可通過規則制定。利用融合后的數據檢測主觀震感的錯誤，當主觀震感的級別值缺失時還可以進行填充。例如若某一災情發生地的客觀震感為ii級，農村房屋破壞、城鎮房屋破壞、交通系統破壞和學校醫院破壞等級均為i級，那么該地的主觀震感的合理取值應為iii級，該清洗規則程序結構框圖，如圖4所示。

圖4 利用幾類災情數據融合針對震感正確性的清洗過程示例Fig.4 An example of verifying record by using multi hazard data sources

將清洗規則集成為規則文件后，加載到Drools規則引擎中即可快速運行配置好的規則文件，初步檢測和修正多源災情數據中的質量問題。

2 基于空間聚類技術的多源災情數據修正

上述使用的關聯規則方法不易受數據分布的影響，雖能檢測出多源災情數據中大部分的異常記錄，實驗證明具有強壯性，但很難發現一些孤立點存在的異常，而聚類算法在這方面具有較好的檢測效果（Ester等，1996）。因此，考慮相關聯的幾類災情信息之間的邏輯或約束關系，建立一種適合空間離散點災情信息的聚類分析算法，可進一步檢測經過規則篩選的災情數據，剔除異常點。

2.1 空間聚類算法原理與改進

聚類分析是依據樣本間度量標準將其自動分成幾個群組，且使同一群組內的樣本相似，不同群組的樣本相異的一種數據分析方法（程顯洲等，2013）。在各類地震災情信息中都包含了災情發生地及其經緯度的空間信息，所以，利用聚類分析法進行數據清洗時必須考慮這些空間屬性。而密度聚類DBSCAN是最常用的空間聚類算法，在其執行過程中定義一個空間半徑Eps和一個密度閾值MinPts，如果某個空間對象p的Eps鄰域內點密度超過MinPts，則將p作為群組中心，然后不斷搜索從p到直接密度可達的點，將尋找到的點加入該群組中，當沒有新的點可以被添加到任何群組時聚類結束，未被歸入任何群組的點即為噪聲點（聶躍光等，2008；魯小丫等，2012）。

基于上述原理，可在空間聚類的過程中加入與災情屬性密切相關的烈度值為參照，將烈度橢圓作為空間搜索半徑，改進DBSCAN算法，對包含空間信息的離散點災情屬性進行檢測與修正。根據中國地震烈度區劃中的烈度回歸模型，可得出西南地區地震烈度衰減關系：

式中，M是震級；R是震中距；I是烈度；a、b分別為橢圓長軸方向和短軸方向。

將DBSCAN的空間鄰近Eps擴充為長軸鄰近Eps1和短軸鄰近Eps2，分別對應與烈度衰減關系相應的烈度橢圓長軸和短軸：

改進后的算法過程如圖5所示。

圖5 改進后的空間聚類算法流程圖Fig. 5 Flow chart of improved spatial clustering algorithm

2.2 多源災情數據清洗空間聚類算法實現

根據算法流程，在編程實現算法的過程中為防止出現循環判定核心點和噪聲點，需從任意對象開始根據MinPts和Eps1、Eps2值判斷其鄰域內是否存在核心點時，將經過此步驟判斷的所有對象標記為“已使用”。此外，在聚類過程中只考慮對象Eps1-2鄰域內點的數目，簡化了密度定義。改進后的空間聚類算法部分核心代碼如下：

算法執行后，可輸出地震災情數據的聚類分析結果，獲得更準確的災情信息。

3 實驗結果及對比

本文以四川省地震災情快速上報接收處理系統在四川省蘆山“4·20”7.0級強烈地震中，通過多種災情獲取手段獲取到的包括主觀震感、客觀震感、房屋破壞、交通系統破壞等共1330條災情信息為例進行處理和分析，其中，采用基于Java規則引擎的多源災情數據清洗方法通過初次規則篩選共剔除“臟數據”696條，其中主觀震感剔除660條，客觀震感剔除17條，學校破壞剔除3條，醫院破壞剔除2條，城鎮房屋破壞剔除7條，農村房屋破壞剔除5條，交通系統破壞剔除2條。

將經過初次清洗的多源災情信息以主觀震感為基準，結合客觀震感、房屋破壞、交通系統破壞和學校醫院破壞等災情信息進行基于規則的數據融合，修正主觀震感信息18條，補充主觀震感信息3條。以四川省雅安市天全縣城廂鎮為例，該鎮各類災情信息如表2所示，根據各類災情信息間的邏輯關系，制定規則檢測出上述記錄主觀震感的震感級別信息是有誤的，應為Ⅵ級。為此，通過對多源災情信息的融合，利用規則引擎進一步對以主觀震感為基礎的災情信息中有誤的記錄進行了檢測和修正。

表2 城廂鎮各類災情信息列表Table 2 List of earthquake hazard information of Chengxiang town

針對孤立點存在的異常，通過執行改進后的基于密度的空間聚類算法結果如圖6所示。

圖6 震感信息空間聚類圖Fig.6 Spatial clustering result of feeling information

為了便于宏觀災情分布的描述，此處將主觀震感的級別描述進行了映射，即“iii 震感強，可行走”映射成“震感強，無破壞”；“iv站立不穩，行走困難”映射成“有破壞，無傷亡”；“v被地震摔倒”映射成“破壞重，有傷亡”。經過規則篩選后，未進行空間聚類的主觀震感分布如圖6（a）所示，空間聚類后的分布如圖6（b）所示，比較兩次結果可發現，通過空間聚類分析，災情點的分布更符合中國地震局發布的“4·20蘆山7.0級”地震烈度圖（中國地震局，2013）中烈度圈的走向和范圍，結果與實際受災情況更加吻合。

為更直觀地展現清洗前后的災情分布情況，對災情進行了總體分析和模擬，利用ArcGIS空間分析中的Delaunay三角插值對原始的主觀震感信息和經過清洗后的災情信息離散點分別進行空間插值（帥向華等，2009），結果如圖7所示。

圖7 災情信息空間分布插值對比圖Fig.7 Comparison of hazard information spatial distribution after interpolation

從圖7可以看出，原始災情數據在表達實際的受災程度方面存在一些錯誤，而經過清洗后的災情數據能更好地反映實際的受災情況，在數據不足時，可通過插值擬合出基本符合實際的地震災情分布。

4 結論

本文應用規則引擎與空間聚類相結合的方法分階段清洗了四川省蘆山“4·20”7.0級強烈地震的原始多源災情數據。通過規則引擎對各類災情信息進行了初步檢測與修正，并將多源災情信息融合后，利用同一地點的其他災情信息輔助判斷其主觀震感的正誤；加入烈度信息，改進了密度聚類算法，進一步修正了原始災情信息中的錯誤，使結果更準確地反映出實際受災情況。今后的研究將更加注重多源災情信息的實時性，通過增量式檢測等手段提高算法效率及準確度。

白仙富，李永強，陳建華等，2010.地震應急現場信息分類初步研究.地震研究，33（1）：111—118.

包從劍，2007.數據清洗的若干關鍵技術研究.南京：江蘇大學.

陳維鋒，郭紅梅，張翼等，2014.四川省地震災情快速上報接收處理系統.災害學，2（29）：110—116.

曹永亮，2008.基于Java規則引擎的動態數據清洗研究與設計.武漢：武漢理工大學.

程顯洲，肖蘭喜，董翔，2013.基于烈度衰減橢圓閾值空間散點聚類研究.災害學，10（28）：205—208.

郭志懋，周傲英，2012.數據質量和數據清洗研究綜述.軟件學報，13（36）：105—108.

魯小丫，宋志豪，徐柱，2012.利用實時路況數據聚類方法檢測城市交通擁堵點.地球信息科學學報，12（6）：775—779.

聶高眾，安基文，鄧硯，2012.地震應急災情服務進展.地震地質，4（3-4）：782—791.

聶躍光，陳立潮，陳湖，2008.基于密度的空間聚類算法研究.計算機技術與發展，8（8）：91—94.

潘巍，李戰懷，聶艷明等，2011.一種有效的多數據源RFID冗余數據清洗技術.西北工業大學學報，29（3）：435—442.

蘇桂武，聶高眾，高建國等，2003.地震應急信息的特征、分類與作用.地震，23（3）：27—35.

帥向華，侯建盛，劉欽，2009.基于地震現場離散點災情報告的災害空間分析模擬研究.地震地質，31（2）：321—332.

王曰芬，章成志，張蓓蓓等，2007.數據清洗研究綜述.現代圖書情報技術，（12）：50—56.

葉舟，王東，2011.基于規則引擎的數據清洗.計算機工程，6（33）：51—54.

中國地震局，2013.四川省蘆山“4·20”7.0級強烈地震烈度圖.［EB/OL］ http://www.cea.gov.cn

Ester M.， Krigel H.， Sander J. and Xu X.A.， 1996. Density-based algorithm for discovering clusters in large spatial databases with noise. KDD-96 Proceedings， 226—231.

Payne H. and Knoel H.， 2010. Development and testing of incident-detection algorithm. Research Methodology and Detailed Results， FHWA-RD-06-20.

Multi-source Earthquake Disaster Data Verification Strategy Based on Rules Engine and Spatial Clustering Analysis

Guo Hongmei， Chen Weifeng， Zhang Ying and Shen Yuan

（Earthquake Administration of Sichuan Province， Chengdu 610041， China）

In order to improve the quality of multi-source earthquake disaster data， the rules engine and spatial cluster analysis combined method of data mining is used to detect mistakes such as error， incomplete and repeated in multi-source earthquake disaster data. After that， ArcGIS spatial interpolation is applied to the overall analysis and simulation of discrete earthquake disaster points， so that we can determine the general distribution of earthquake hazard rapidly， and provide reliable hazard distribution information for earthquake emergency relief work. In this paper we processed and analyzed 1，330 multi-source earthquake disaster items of data including subjective feeling，objective feeling， houses damage， transportation system damage and so on， which were obtained immediately after“4·20 Lushan MS7.0 strong earthquake” by the Sichuan Earthquake Quickly Receiving and Processing System. Totally 717 unreasonable disaster items were selected by the multi-source earthquake disaster data cleaning strategy，in which 696 items was eliminated and 21 items were corrected. The spatial distribution and simulation results of verified data shows to fit well with the actual seismic intensity regions determined from field investigation.

Multi-source earthquake disaster information； Data verification； Rules engine； Information fusion； Spatial clustering

2015年度地震科技星火計劃項目（XH15039Y）

2015-02-03

郭紅梅，女，生于1984年。碩士，工程師。主要從事地震應急和災情信息處理研究。E-mall：115453242@qq.com