數據挖掘技術在水利工程管理中的應用研究

[摘 要] 因能從海量數據中發現潛在的、有價值的知識，數據挖掘成為人們非常感興趣的熱點技術。水利工程管理面臨的是海量的非空間數據和空間數據，對這些數據的挖掘，能夠提煉出有價值的知識，從而提高水利工程管理的科學化水平和決策水平。在水利工程管理中利用空間數據挖掘技術，需要解決數據倉庫建設、數據挖掘與GIS集成和數據挖掘系統模型等3個方面的關鍵問題。數據倉庫是建設水利工程數據挖掘系統的基礎。數據挖掘與GIS集成的方式有嵌入式、松散耦合式、緊密耦合式3種，緊密耦合式是兩者集成的最好方式。水利工程系統的數據挖掘適合采用基于OLAP和OLAM的探查性數據挖掘模型。

[關鍵詞] 空間數據挖掘;水利工程;數據挖掘模型;地理信息系統;數據倉庫

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2010 . 04 . 027

[中圖分類號]F270.7 [文獻標識碼]A [文章編號]1673 - 0194(2010)04 - 0076 - 04

1引 言

我國長期以來興建了一大批水利工程，初步形成了具有防洪、排澇、灌溉、供水、發電、養殖、種植、旅游等功能要素的水利工程體系，為國民經濟的高速發展發揮了巨大的基礎作用和支撐作用[1]。在水利工程建設取得輝煌成就的同時，人們逐漸意識到我們在水利工程的管理上還存在著手段比較落后，重建輕管、水利資源利用率低等突出問題，致使一大批水利工程不能發揮其價值，或者工程壽命大大縮短[1，2]。穆范橢 等分別從制度管理、機制管理、人力資源管理等幾個方面對水利工程管理中存在的問題進行了論述，并提出了不少可行性的解決措施[3]。不可否認，水利工程管理中出現的問題，不少是制度上的問題，但水利工程管理有其特殊性、復雜性，需要廣博的知識和高超的技術，單純靠“軟管理”是不能從根本上解決問題的，必須借助一些現代化的信息手段來輔助進行決策和管理，才能夠更好、更科學地解決問題。

近年來，在水利工程信息化的過程中，我國建設了一大批水利工程管理信息系統，對于水利工程的建設和運行管理起到了很好的幫助作用。但是，這些系統所提供的功能大多是業務型的，很少面向管理決策。隨著水利工程管理向現代化縱深發展，這些系統遠遠滿足不了人們的需要。另一方面，水利工程管理信息系統在發展過程中積累了海量的數據，不少是空間類型的數據，而且這些數據還在不斷地增長，而相比于數據的生產、運輸和累積能力，人類對空間數據的分析能力還很落后[4] 。人們雖然深知這些海量數據中蘊含了很多有價值的知識，但是不知道如何利用它們，而依靠傳統的信息系統是解決不了這些問題的。數據挖掘技術的出現為這些問題的解決帶來了可能。所謂數據挖掘，就是從海量數據中發現潛在的、有價值的知識的過程。傳統的數據挖掘技術和方法一般作用于非空間數據，而水利工程管理方面的數據不但有非空間數據，還有大量的空間數據。和非空間數據相比，空間數據除了具備非空間數據的特征外，還有拓撲、方位和距離等非空間特征，因此其挖掘技術的實現有其特殊性。在武漢大學李德仁院士首次提出空間數據挖掘這一概念后，國內外不少學者為此開展了廣泛的研究[5-7]。

2 空間數據挖掘在水利工程管理中應用需要解決的主要問題

水利工程管理信息系統中存在著大量的空間數據，因此需要采用空間數據挖掘技術。和一般的空間數據挖掘系統相比，對水利工程數據的挖掘需要考慮其歷史發展因素和特殊性。首先，水利工程是一個系統工程，其有效管理往往需要多領域、多部門的專家相互協作，一項重要決策的做出往往需要對歷史數據從各種維度進行分析，反復考慮各種因素，綜合各個專家的意見才能形成，而不同的專家和決策者會從不同的角度來分析數據，因此對水利工程數據的挖掘需要交互探查或查詢驅動的方法，在技術實現上需要采用數據倉庫和數據立方體支持這種探查式的、快速的聯機查詢和分析。其次，在用的水利工程信息系統的主體是GIS(Geographical Information System，地理信息系統)，大部分的空間數據是由GIS系統生成的，空間數據的查詢、計算、分析和可視化顯示是一種復雜的技術，因此如何利用原有的GIS系統中的數據，數據挖掘如何和GIS集成以進行復雜的空間數據處理成為一個需要解決的重要問題[8，9]。最后，要實現水利工程的數據挖掘，需要建立一個數據挖掘系統模型，模型在系統工程的研究、設計和實現中是一個非常重要的問題，一個好的模型對了解系統本質特征、揭示系統的規律起到非常重要的作用，建模也是實現一個工程系統的重要一步。因此，要想實現空間數據挖掘技術在水利工程管理中的應用，這3個問題是我們不可回避的、必須研究的核心問題。

3 空間數據倉庫

水利工程信息化的過程中產生了海量的數據，而數據倉庫是處理海量數據的關鍵技術，它可以將不同來源的數據統一到語義上一致的環境下。在水利工程信息系統中除了有豐富的非空間數據外，還有大量的空間數據，如地圖、預處理過的遙感圖像、視頻等。空間數據與非空間數據相比，除了具備傳統數據庫數據的特征外，還攜帶了空間特征，如拓撲、方位、距離等。“空間數據倉庫是面向主題的、集成的、時變的和非易失性的非空間數據和空間數據的集合”，用于支持空間數據挖掘和與空間數據相關的決策過程。建立空間數據倉庫是一個具有挑戰性的工作，需要解決兩個方面的問題:集成來自異構數據源和系統的空間數據;如何在空間數據倉庫中實現快速而靈活的聯機分析處理[10]。

影響水利工程建設和管理決策的數據來源是豐富多樣的，如氣象數據庫、蓄滯洪區空間分布式社會經濟數據庫、雨情和水情數據庫、水旱災情數據庫等，它們往往存在于異構的環境中，可能來自于不同的系統，數據格式多種多樣。數據格式不僅與特定的結構有關，如光柵格式和矢量格式，而且與特定的廠家有關。為了能夠進行空間數據的分析和處理，需要首先對這些異構的數據進行清洗、變換和集成，以清晰一致的格式存放在數據倉庫中，然后可以調用相應的數據挖掘算法獲取有用的知識。空間數據倉庫已成為聯機數據分析處理和數據挖掘必不可缺的平臺。利用空間數據倉庫技術，可以對異構的各類信息進行過濾、集中和綜合，完成水情信息采集、工情信息采集、防汛抗旱信息等水利工程信息的自動接收、處理等功能，在此基礎上可以進行汛情分析、暴雨洪水預報、調度、災情評估以及旱情預測等知識發現功能[11]。

空間數據倉庫、OLAP(On-Line Analytic Process，聯機分析處理)和OLAM(On-Line Analytic Mining，聯機分析挖掘)的實現基于多維數據模型，這種模型圍繞中心主題組織數據，將數據看作數據立方體的形式。數據立方體允許從多維對數據建模和觀察，它由維和事實來定義。數據倉庫有星型模式、雪花型模式或事實星座型模式。在這3種結構中，星型模式提供了簡潔而有組織的倉庫結構，便于進行OLAP和OLAM操作，所以是空間數據倉庫建模的好選擇。相比于傳統的數據立方體，空間數據立方體中存在3種類型的維:非空間維、空間到非空間維和空間到空間維;有兩種不同的度量:數值度量和空間度量[10] 。

4水利工程GIS系統與數據挖掘系統結合的方式

水利工程的建設和管理與其所在地的地形、地質、社會、經濟以及河流的水文等空間要素有關，而GIS善于處理和分析空間信息，因此大多水利工程在信息系統中采用了GIS技術[12]。GIS是空間數據庫發展的主體[13]。GIS中含有大量的空間和屬性數據，有著比一般關系數據庫和事務數據庫更加豐富和復雜的語義信息，隱藏著豐富的知識。空間數據挖掘和知識發現技術，一方面可使GIS查詢和分析技術提高到發現知識的新階段，另一方面從中發現的知識可構成知識庫用于建立智能化的GIS系統，同時也將促進3S(GIS/RS/GPS)的智能化集成[13]，因此很有必要探討GIS系統與數據挖掘系統的結合方式。當數據挖掘系統工作在一個需要與其他信息系統成分通信的環境下，可以采用不耦合、松散耦合、半緊密耦合和緊密耦合4種方案。不耦合方案雖然簡單，但缺點不少，是一種非常糟糕的設計[10]。雷寶龍和李春梅提出了GIS與空間數據挖掘集成的3種模式:松散耦合式、嵌入式和混合型空間模型法[8，14]。在此基礎上對上述3種模式進行了改進，以適合于水利工程GIS系統和空間數據挖掘系統的集成。

4.1 嵌入式

嵌入式是將數據挖掘系統融入到GIS中，也就是說系統既是一個GIS系統，又是一個數據挖掘系統。嵌入式的優點是可以充分利用GIS系統所提供的空間數據處理和分析功能來開發數據挖掘系統，減少了開發的工作量，降低了開發的難度;其缺點是數據挖掘功能被限制在特定的GIS系統中，難以移植到其他的GIS系統上，而且這種方式會因為考慮到一種用戶的需求，而限制另一部分用戶的需求，從而使系統功能的開發受到限制。圖1是嵌入式模型的示意圖。

4.2松散耦合式

在松散耦合式下，數據挖掘系統和GIS系統實際上是兩個獨立的系統，數據挖掘系統從GIS中獲取空間數據和屬性數據，經過清洗、過濾和變換后存入自身的數據庫或數據倉庫中，數據挖掘所進行的其他工作與GIS系統沒有任何聯系。這種模式的優點是數據挖掘系統不依賴于特殊的GIS系統，可以開發出獨立的、相對通用的空間數據挖掘系統;缺點是在數據挖掘系統中要融入復雜的空間數據的處理，系統開發的難度很高。圖2是松散耦合式模型的示意圖。

4.3 緊密耦合式

緊密耦合式克服了嵌入式和松散耦合式的缺點，既充分利用了原有GIS的處理空間數據的強大功能，降低了開發的難度，又不受制于原有GIS系統的用戶需求的制約，具有較大的靈活性，提供了相對獨立的數據挖掘功能。其缺點是和原來系統聯系密切，開發的數據挖掘系統往往依賴于GIS系統。圖3是緊密耦合式模型的示意圖。

在這3種結合方式中，緊密耦合式有著明顯的優點，是建立水利工程數據挖掘系統優先考慮的方式。

5水利工程數據挖掘系統模型

文獻[4]介紹了國外幾個相對比較成熟的空間數據挖掘系統:GeoMiner、MultiMediaMiner、SKICAT等，然后提出了作者領導的空間數據挖掘團隊研究和開發的兩種空間數據挖掘原形系統GISDBMiner和RSImageMiner，并提出了GIS空間數據挖掘系統的體系結構。文獻[8]介紹了現有的數據挖掘模型:OLAM 模型和影響域模型，以及GeoMiner原型系統的體系結構，最后提出了一個基于空間立方體的數據挖掘模型。文獻[6]提到了Han提出的通用數據采掘原型DBLEARN/DBMINER、Holsheimer等人提出的并行體系結構，以及Matheus等人提出的多組件體系結構，并重點介紹了Matheus等人的多組件體系結構。

水利工程管理決策大多是復雜的非結構化決策，需要進行探查性或查詢驅動型的數據挖掘，以方便不同的決策者和專家從不同的領域或角度進行數據探查和分析。一般情況下，在挖掘過程中需要進行人機的多次對話，然后結合人類專家的隱性知識，才能夠發現有價值的知識。因此自動化的挖掘方法不適合于水利工程數據挖掘。針對水利工程數據挖掘系統的特點，本文在對上述各類體系結構研究的基礎上，提出如圖4所示的水利工程數據挖掘系統模型。

模型分為4層，分別為數據存儲層、多維數據庫與數據倉庫層、OLAP/OLAM層、用戶界面層。第一層數據存儲層的數據主要來源于水利工程數據庫和相關的異構數據庫，元數據用于指導數據的清理、過濾和集成，是構建水利工程數據倉庫重要的技術手段。第一層的數據經過變換和集成后，存儲到數據倉庫和多維數據庫中，它們是實現第三層OLAP/OLAM分析所需要的重要的數據源。該模型的核心是OLAP/OLAM，它們是支持探查性知識發現的核心技術。第四層是用戶界面層，用來幫助用戶實現基于約束的挖掘查詢，并將挖掘結果顯示給用戶。

6空間挖掘可以采用的方法與發現的知識類型

數據挖掘在水利工程管理上的應用，不僅可以建設智能型的GIS系統，促進遙感技術和GIS技術的深入應用，還可以從數據中發現潛在的、有價值的知識或規則，用于指導水利工程的建設和管理。一般來說，傳統的數據挖掘方法如統計、分類、聚類等都可用于空間數據挖掘，但我們不能簡單地把這些方法直接應用在空間數據的挖掘上[7，15] 。一方面，因為空間數據除了具備一般非空間數據的特征外，還具備拓撲、方位、距離等空間特征;另一方面，傳統的數據挖掘算法一般假定數據對象統計不相關、相鄰的數據對象是獨立產生的，而空間數據的相鄰對象間存在著關聯和相互影響，因此需要對原有的方法進行改進，使得數據挖掘方法適合于地理空間數據的挖掘。在空間數據挖掘與知識發現中可采用的方法主要有:統計方法、歸納方法、聚類方法、空間分析方法、探測性的數據分析、Rough集方法、云理論、圖像分析和模式識別等[5，13]。能發現的知識類型有:(1)普遍的幾何知識，如計算和統計出空間目標幾何特征量的最小值、最大值、均值、方差、眾數等;(2)空間分布規律，如機井、水庫的分布規律。能發現的規則有:(1)空間關聯規則，如地下水與降雨量的關系，河水質量與污染企業分布的關系;(2)空間的聚類規則;(3)空間演變規則，如水庫泥沙淤積的演變規律，河道周圍生態的演變規律[13，14，16]。需要注意的是，為了便于理解空間數據、發現空間聯系、發現空間數據與非空間數據之間的關系，應重視可視化的方法在水利工程數據挖掘過程和挖掘結果的使用[10，17]。

7結 語

利用空間數據挖掘技術，對具有空間特征的水利工程數據進行分析，能夠發現潛在有價值的知識，利用這些知識，能夠降低工程管理的成本，有效利用建設和維護資金，更好地發揮水利工程的效益，為水利工程的管理決策提供依據。要實現數據挖掘技術在水利工程中的應用，必須研究和解決數據倉庫和數據立方體的應用、數據挖掘與GIS集成和水利工程數據挖掘系統模型3個核心問題。本文對這3個問題進行了探討，認為數據倉庫是水利工程數據挖掘的基礎，宜采用緊密耦合式結構與GIS系統進行集成，在挖掘模型上可以采用基于OLAP和OLAM的4層框架。

主要參考文獻

[1] 張敬光. 實施水利工程管理體制改革的思考[J] 四川水利，2004(2):38-42.

[2] 陳彩妮. 水利工程管理中存在的問題及對策[J] .中國水運，2007，5(4):74-75.

[3] 穆范橢，趙玉紅. 綜合類大型水利工程管理體制改革研究[J] .人民黃河，2007，29(8):6-10.

[4] 李德仁，王樹良，李德毅.空間數據挖掘理論與應用[M]. 北京:科學出版社，2006.

[5] 王海起，王勁峰. 空間數據挖掘技術研究進展[J]. 地理與地理信息科學，2005(7):6-10.

[6] 石云，孫玉方，左春.空間數據采掘的研究與發展[J]. 計算機研究與發展，1999(11):1301-1309.

[7] 畢碩本，耿煥同，閭國年.國內空間數據挖掘研究進展與技術體系探討[J]. 地理信息世界，2008，2(1):21-27.

[8] 雷寶龍，劉艷，鄒瑜. 基于GIS的空間數據挖掘模型研究[J]. 軟件導刊，2007(3):7-9.

[9] 毛克彪，覃志豪，李昕，等. 空間數據挖掘與GIS集成及應用研究[J]. 測繪與空間地理信息，2004(2):14-17.

[10] [加]Jiawei Han，Micheline Kamber. 數據挖掘:概念與技術[M]. 北京:機械工業出版社，2007.

[11] 李瓊. 數據倉庫與數據挖掘技術在水利信息化中的應用[J]. 前沿，2005(12):59-61.

[12] 劉立昱. 地理信息系統在水利工程中的應用綜述[J]. 甘肅水利水電技術，1999(2):63-65.

[13] 邸凱昌，李德仁，李德毅. 空間數據發掘和知識發現的框架[J]. 武漢測繪科技大學學報，1997(12):328-332.

[14] 李春梅，范全潤. 空間數據挖掘及其在地理信息系統中的應用[J].楚雄師范學院學報，2005(6):6-10.

[15] 毛克彪，田慶久. 空間數據挖掘技術方法及應用[J]. 遙感技術與應用，2002(8):198-204.

[16] 藍榮欽，林麗霞，陳良友，等. 空間數據挖掘和知識發現的現狀與發展[J]. 地理空間信息，2004(6):19-21.

[17] 賈澤露，劉耀林，張彤. 可視化交互空間數據挖掘技術的探討[J].測繪科學，2004(10):34-37.