摘 要:利用數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù),針對城市生態(tài)系統(tǒng),設(shè)計(jì)評估指標(biāo)體系,構(gòu)建指標(biāo)數(shù)據(jù)采集的網(wǎng)絡(luò)系統(tǒng),設(shè)計(jì)數(shù)據(jù)倉庫的體系結(jié)構(gòu),包括數(shù)據(jù)維表和事實(shí)表,在此基礎(chǔ)上建立數(shù)據(jù)倉庫的星形模型,搭建評估平臺(tái),并進(jìn)行模擬應(yīng)用,結(jié)果令人滿意。
關(guān)鍵詞:城市生態(tài)系統(tǒng);數(shù)據(jù)倉庫;評估指標(biāo);星形模型;體系結(jié)構(gòu)
中圖分類號(hào):TP3l1.52 文獻(xiàn)標(biāo)識(shí)碼:A
Estimate Modle of Urban Ecosystem Based on Data Mining
XU Gangqiang1,HU Fuxiang2
(1. Hunan Vocational College of Engineering,Changsha 410151,China;
2.Central South University of Forestry and Technology,Changsha 410004,China)
Abstract:This paper designed a evaluation system for urban ecological system ,built a network of indicators data collection system,use of data warehouse and data mining technology。Then designed the data warehouse architecture, including data dimension table and fact table. On this basis ,bult the Star model of data warehouse and built the evaluation platform.In simulated application, it achived satisfactory results.
Key words:urban ecosystem;data warehouse;estimate index;star model;system structure
1 引 言
城市生態(tài)系統(tǒng)(Urban Ecosystem)是以人為中心的一種特殊人工生態(tài)系統(tǒng),是由城市自然、經(jīng)濟(jì)和社會(huì)等子系統(tǒng)構(gòu)成的有機(jī)復(fù)合體,與普通自然生態(tài)系統(tǒng)不同的是,城市生態(tài)系統(tǒng)是以人為中心,人為改變其結(jié)構(gòu)、物質(zhì)循環(huán)和能量轉(zhuǎn)化方式、長期受人類活動(dòng)影響的陸生生態(tài)系統(tǒng)[1]。對城市生態(tài)系統(tǒng)進(jìn)行科學(xué)評估,得到各個(gè)指標(biāo)的當(dāng)前值,與標(biāo)準(zhǔn)或者參考目標(biāo)值相比,找出存在的差距,分析其原因,并確定將來的建設(shè)方向,制定有效的策略,是建立生態(tài)城市的必須途徑[2]。城市可持續(xù)發(fā)展的目標(biāo)呈現(xiàn)多元化,既有人口、經(jīng)濟(jì)、環(huán)境目標(biāo),又有增長、結(jié)構(gòu)優(yōu)化目標(biāo),還有公平、效率目標(biāo)。因此,評價(jià)指標(biāo)體系也具有指標(biāo)多、層次復(fù)雜、關(guān)聯(lián)性大、數(shù)據(jù)動(dòng)態(tài)化的特點(diǎn),目前大多采用生態(tài)學(xué)及城市地理學(xué)方法[2]、專家咨詢法[3]、市場價(jià)值法[4],原始數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)一般通過數(shù)據(jù)庫分散保存,數(shù)據(jù)保存及評估方法分別進(jìn)行,集成性差。而如果通過建立數(shù)據(jù)倉庫將數(shù)據(jù)保存與評估算法融合在一起,不僅可以高效準(zhǔn)確地得到評估結(jié)論,還可以利用數(shù)據(jù)挖掘技術(shù)科學(xué)預(yù)測將來的趨勢,為決策服務(wù)。
2 需求分析
評估城市生態(tài)系統(tǒng)的目的是科學(xué)評價(jià)城市生態(tài)現(xiàn)狀,預(yù)測將來發(fā)展趨勢,為城市建設(shè)提供決策數(shù)據(jù)[1],所需要的數(shù)據(jù)非常廣泛,包括人口、工農(nóng)業(yè)生產(chǎn)、環(huán)保、交通、園林綠化,醫(yī)藥衛(wèi)生、國土、文化教育、保險(xiǎn)救助等,涉及到城市生存發(fā)展的方方面面,單項(xiàng)信息來源于各個(gè)主管局,其匯兌數(shù)據(jù)主要由統(tǒng)計(jì)、環(huán)保和綠化管理等部門提供。實(shí)際情況是各行業(yè)采用的是不同的管理系統(tǒng),運(yùn)行于不同的平臺(tái),且具有不同的數(shù)據(jù)結(jié)構(gòu),要把這些分散的數(shù)據(jù)庫生成匯兌的綜合分析報(bào)表,需要較長的周期,隨著時(shí)間的增長,長期累積形成的歷史數(shù)據(jù)和分析統(tǒng)計(jì)信息呈現(xiàn)多樣化,保存與管理難度加大,處理復(fù)雜。數(shù)據(jù)的集中處理不僅能帶來業(yè)務(wù)處理效率的提高,更有利于各個(gè)指標(biāo)的監(jiān)控,從中挖掘出決策數(shù)據(jù),這正是數(shù)據(jù)倉庫的優(yōu)勢,無疑是解決城市生態(tài)系統(tǒng)評估問題的理想方案。
數(shù)據(jù)倉庫(Data Warehouse)是一個(gè)面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合[6],主要用于支持管理決策。數(shù)據(jù)倉庫面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫;同時(shí),數(shù)據(jù)倉庫是對多個(gè)異構(gòu)的數(shù)據(jù)源有效集成,集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫主要應(yīng)用于決策支持系統(tǒng)[7],其主要目的是“提取”信息并加以擴(kuò)展,用來進(jìn)行處理基于數(shù)據(jù)倉庫的決策支持系統(tǒng)(DSS)的應(yīng)用。基于數(shù)據(jù)倉庫的決策支持系統(tǒng)(DSS)由三個(gè)部分組成:數(shù)據(jù)倉庫技術(shù)(DW,Data warehousing),聯(lián)機(jī)分析處理技術(shù)(OLAP,On—Line Analytical Processing),數(shù)據(jù)挖掘技術(shù)(DM,Data Mining)。
3 評估指標(biāo)的確定
城市生態(tài)系統(tǒng)的評估,涉及到城市的結(jié)構(gòu)、功能和協(xié)調(diào)性,包括人口結(jié)構(gòu)、收入結(jié)構(gòu)、健康狀況、產(chǎn)業(yè)結(jié)構(gòu)等多方面的因素,雖然專家學(xué)者在城市生態(tài)系統(tǒng)的評價(jià)領(lǐng)域作了大量的研究,取得不少階段性成果,但到目前為止,還沒有形成一個(gè)標(biāo)準(zhǔn)化的國家標(biāo)準(zhǔn)評估指標(biāo)體系[8],通常是根據(jù)國家政策文本參考國外優(yōu)秀城市并集合每個(gè)地區(qū)的實(shí)際情況確定合適的指標(biāo)體系。表1是目前國內(nèi)較為流行的一種評價(jià)指標(biāo)體系[1,3,4],在業(yè)界通用。
構(gòu)建數(shù)據(jù)倉庫時(shí),需要按照上表指標(biāo)體系建立對應(yīng)的數(shù)據(jù)庫表及數(shù)據(jù)集市,并以月、季、年度分別存貯原始數(shù)據(jù)和匯兌數(shù)據(jù)。
4 數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)
基于數(shù)據(jù)倉庫的城市生態(tài)系統(tǒng)評估系統(tǒng)的總體目標(biāo)是:充分利用現(xiàn)代信息技術(shù)整合城市生態(tài)系統(tǒng)數(shù)據(jù)資源,在統(tǒng)一的Web服務(wù)架構(gòu)平臺(tái)上,以數(shù)據(jù)倉庫和網(wǎng)絡(luò)為依托,搭載社會(huì)、經(jīng)濟(jì)、資源、環(huán)境、生態(tài)和人口等信息,借助數(shù)據(jù)倉庫強(qiáng)大的數(shù)據(jù)整合分析能力,建立一個(gè)智能化、跨平臺(tái)的評估及決策支持系統(tǒng),為政府部門在社會(huì)發(fā)展和建設(shè)中重大問題的決策提供科學(xué)依據(jù),輔助政府工作,提高管理和決策水平,促進(jìn)社會(huì)可持續(xù)發(fā)展。
4.1 功能結(jié)構(gòu)設(shè)計(jì)
為了滿足管理部門對系統(tǒng)的應(yīng)用需求,整個(gè)系統(tǒng)從功能角度可以設(shè)計(jì)為四個(gè)層次:數(shù)據(jù)獲取、數(shù)據(jù)管理、分析處理和信息服務(wù),其功能結(jié)構(gòu)如圖1所示。
數(shù)據(jù)獲取層用于從源數(shù)據(jù)庫中收集各類原始數(shù)據(jù),經(jīng)清洗后添加到數(shù)據(jù)倉庫,利用數(shù)據(jù)抽取算法生成事務(wù)庫,更新和提供給數(shù)據(jù)倉庫。數(shù)據(jù)管理層建立以評估指標(biāo)體系為主題的多維數(shù)據(jù)模型,設(shè)置刷新機(jī)制,在保護(hù)原有數(shù)據(jù)的基礎(chǔ)上,及時(shí)刷新數(shù)據(jù)倉庫以反映數(shù)據(jù)庫的最新信息,并將數(shù)據(jù)轉(zhuǎn)存處理。分析處理層進(jìn)行單指標(biāo)和多維指標(biāo)分析,運(yùn)用數(shù)據(jù)挖掘算法提取分析和決策數(shù)據(jù),得到趨勢數(shù)據(jù),產(chǎn)生各指標(biāo)體系的發(fā)展現(xiàn)狀。信息服務(wù)層為各類服務(wù)者提供所需數(shù)據(jù),確定生態(tài)指標(biāo)閾值,建立預(yù)警機(jī)制,根據(jù)統(tǒng)計(jì)和預(yù)測數(shù)據(jù)為決策者提供全方面的信息服務(wù),并給出生態(tài)改進(jìn)建議。4.2 應(yīng)用系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
城市生態(tài)系統(tǒng)的評估系統(tǒng)的網(wǎng)絡(luò)建設(shè)與原有系統(tǒng)并不需要沖突,它們可以共存于一個(gè)網(wǎng)絡(luò)環(huán)境中,連接各數(shù)據(jù)源的是系統(tǒng)數(shù)據(jù)通信干線,核心是環(huán)保部門的管理網(wǎng)絡(luò)和災(zāi)難備份中心。各指標(biāo)源相應(yīng)部門的內(nèi)部網(wǎng)絡(luò)通過路由器實(shí)現(xiàn)與環(huán)保局及其它部門相連。環(huán)保部門控制中心同時(shí)架設(shè)遠(yuǎn)程撥號(hào)備份服務(wù)器,系統(tǒng)出現(xiàn)故障時(shí),自動(dòng)啟動(dòng)撥號(hào)備份程序,以避免信息的丟失,系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
本系統(tǒng)利用TCP/IP協(xié)議,在原有網(wǎng)絡(luò)的基礎(chǔ)上通過Internet和DDN或ADSL等廣域網(wǎng)技術(shù)將各指標(biāo)對應(yīng)部門的網(wǎng)絡(luò)互聯(lián)起來,從而實(shí)現(xiàn)數(shù)據(jù)的共享和集中處理。
5 城市生態(tài)系統(tǒng)數(shù)據(jù)倉庫的構(gòu)建
常用的數(shù)據(jù)倉庫模型有星形模型,雪花模型,事實(shí)星座模型三種[10]。星形模式更能提高查詢性能,降低維表復(fù)雜度,以數(shù)據(jù)倉庫用戶最為關(guān)心的事實(shí)為中心,將數(shù)據(jù)倉庫連接組合為一個(gè)整體。由于每個(gè)維度表都利用關(guān)鍵字,通過事實(shí)表的外鍵約束于事實(shí)表的某一行,因此查詢工作可以從分析維度表中的數(shù)據(jù)開始,借助維度關(guān)鍵字,方便地鏈接到星形模型中心的事實(shí)表,保證了檢索效率,為最終用戶提供快捷的查詢、報(bào)表、分析等服務(wù)[11],適合于被本系統(tǒng)采用。雪花模式的維度表基于范式理論,部分?jǐn)?shù)據(jù)組織通常采用第三范式的規(guī)范結(jié)構(gòu),部分?jǐn)?shù)據(jù)組織采用星形模式的事實(shí)表和維表結(jié)構(gòu),在一定程度上減少了存儲(chǔ)空間,規(guī)范化的結(jié)構(gòu)更容易更新和維護(hù),但用戶理解困難,瀏覽內(nèi)容不方便,額外的連接將使查詢性能下降,在數(shù)據(jù)倉庫中,查詢性能相對OLTP系統(tǒng)來說更加被重視,而雪花模式會(huì)降低數(shù)據(jù)倉庫系統(tǒng)的性能,因此不適合于本系統(tǒng)采用。事實(shí)星座模型通過多個(gè)事實(shí)表共享某一個(gè)或多個(gè)維表的方式實(shí)現(xiàn),但設(shè)計(jì)工作量大,管理復(fù)雜,在數(shù)據(jù)倉庫系統(tǒng)中往往不會(huì)采用這種模式。
5.1 維度表設(shè)計(jì)
時(shí)間維:評價(jià)城市生態(tài)系統(tǒng)狀況的周期通常包括有月度、季度、年度三種,指標(biāo)數(shù)據(jù)的收集一般是以月為單位,每季度進(jìn)行累計(jì),每年度統(tǒng)計(jì)分析,得到年度之間生態(tài)環(huán)境的變化情況,從而為將來的投資方向、整治領(lǐng)域提供依據(jù)。
評價(jià)指標(biāo)維:城市生態(tài)系統(tǒng)的評價(jià)體系包括結(jié)構(gòu)、功能、協(xié)調(diào)三個(gè)一級(jí)指標(biāo),每個(gè)一級(jí)指標(biāo)由3到5個(gè)二級(jí)指標(biāo)構(gòu)成,每個(gè)二級(jí)指標(biāo)又包含若干三級(jí)指標(biāo),獲得指標(biāo)數(shù)據(jù)時(shí)以每個(gè)二級(jí)指標(biāo)為一個(gè)基本表,按三級(jí)指標(biāo)分別收集相應(yīng)數(shù)據(jù),作為表的列字段。
地區(qū)維:反映指標(biāo)體系的地區(qū)信息,地區(qū)是具有父子層次架構(gòu)的維度模型,指標(biāo)體系的地區(qū)維度一般表現(xiàn)系統(tǒng)所應(yīng)用區(qū)域的樹型結(jié)構(gòu)。一個(gè)城市往往由幾個(gè)城區(qū)、郊區(qū)、郊縣等構(gòu)成,其生態(tài)狀況不一定相同,應(yīng)分別通過觀察站或主管部門統(tǒng)計(jì)產(chǎn)生。
所屬類別維:確定指標(biāo)所屬的類別,可以設(shè)定為共享維度,即指定其底層指標(biāo)類別數(shù)據(jù)表,城市生態(tài)系統(tǒng)評價(jià)系統(tǒng)中,一級(jí)評價(jià)指標(biāo)即確定了各個(gè)二級(jí)指標(biāo)的類別,二級(jí)指標(biāo)向上匯兌得到在生態(tài)結(jié)構(gòu)、城市功能和協(xié)調(diào)發(fā)展的總體水平,這就是類別維表。
5.2 數(shù)據(jù)模型設(shè)計(jì)
考慮到城市生態(tài)系統(tǒng)評估體系涉及到的各指標(biāo)來源于不同部門,不少已經(jīng)建立了管理信息系統(tǒng),且大多采用關(guān)系數(shù)據(jù)庫,而星形結(jié)構(gòu)數(shù)據(jù)模型的設(shè)計(jì)比較簡單,是基于關(guān)系型數(shù)據(jù)庫的面向OLAP的一種多維數(shù)據(jù)模型的數(shù)據(jù)組織形式,本系統(tǒng)采用星形模型,它由事實(shí)表和多個(gè)維度表組成,通過使用一個(gè)包括主題的事實(shí)表和多個(gè)包含事實(shí)的非正規(guī)化描述的維度表來執(zhí)行指標(biāo)體系查詢,由于數(shù)據(jù)倉庫在存儲(chǔ)事實(shí)數(shù)據(jù)表時(shí)會(huì)自動(dòng)計(jì)算指標(biāo)數(shù)據(jù)的聚合值,因此可獲得比一般SQL語句分組查詢更高的查詢性能,星形模型的中心是指標(biāo)數(shù)據(jù),對應(yīng)實(shí)用指標(biāo)事實(shí)數(shù)據(jù)表,四周是訪問的角度,對應(yīng)維度表,每一個(gè)維度表通過一個(gè)關(guān)鍵字直接與事實(shí)表關(guān)聯(lián),事實(shí)表中每條記錄都包含指向各個(gè)維度表的外鍵和實(shí)用指標(biāo)度量值,如圖3所示。
圖3 事實(shí)表與維表之間的星形結(jié)構(gòu)數(shù)據(jù)模型
事實(shí)表和維表通過主外鍵建立關(guān)聯(lián),通過對任意指標(biāo)的切片分析可以得到單項(xiàng)的基本狀況,按照指標(biāo)的類別分類匯兌,可以得到本類別生態(tài)狀況的整體水平和等級(jí)。
6 結(jié)束語
基于數(shù)據(jù)倉庫技術(shù)的城市生態(tài)系統(tǒng)評價(jià)體系借助先進(jìn)的數(shù)據(jù)倉庫技術(shù),為政府進(jìn)行城市生態(tài)狀況和城市環(huán)境質(zhì)量評價(jià)決策提供了必要的輔助支持,在歷史數(shù)據(jù)保存的時(shí)限、采集數(shù)據(jù)的周期、評估速度和準(zhǔn)確性、預(yù)測數(shù)據(jù)的科學(xué)性等方面均得到了大幅度提高。本系統(tǒng)是以評估指標(biāo)數(shù)據(jù)倉庫的建立和評價(jià)方法的設(shè)計(jì)為核心,在考慮充分評價(jià)決策的理念、分析策略和趨勢預(yù)測等問題方面,尚需進(jìn)一步研究,有待進(jìn)一步探討。
參考文獻(xiàn)
[1] 宋永昌,由文輝.城市生態(tài)學(xué)[M].上海:華東師范大學(xué)出版社.2003:235-250.
[2] 徐曉霞,張吉獻(xiàn).洛陽市城市生態(tài)系統(tǒng)評價(jià)[J].安陽師范學(xué)院學(xué)報(bào),2006,4:99-102.
[3] 盛學(xué)良,王華.生態(tài)城市建設(shè)的基本思路及其指標(biāo)體系的評價(jià)標(biāo)準(zhǔn)[J].環(huán)境導(dǎo)報(bào),2001,1:5-8.
[4] 陳靜文.面向生態(tài)城市建設(shè)的城市生態(tài)系統(tǒng)評價(jià)—以上海市為例[D].上海:同濟(jì)大學(xué).2007:38-45.
[5] 鄧建高,潘江波.基于數(shù)據(jù)倉庫的證券交易決策支持系統(tǒng)設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)工程與設(shè)計(jì).2008,2:753-754
[6] 林宇.數(shù)據(jù)倉庫原理與實(shí)踐[M].北京:人民郵電出版社.2003.
[7] 劉黎志,陳傳波.基于指標(biāo)體系的決策支持模型研究[J].武漢工程大學(xué)學(xué)報(bào).2008,1:91-93.
[8] 張坤民,溫宗國. 生態(tài)城市評估與指標(biāo)體系[M].北京:化學(xué)工業(yè)出版社,2003.
注:本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文