數據挖掘與科學決策

我國電子政務有了長足發展，電子政務網絡從路由型的部門縱向網絡向縱橫交錯的、全面控制型網絡轉變。數據挖掘作為信息化和電子政務的重要內容對科學決策發揮著至關重要的作用，并越來越為各級決策者所重視。

一、數據挖掘應用的重要性

我國電子政務經過20年的積累，信息化基礎設施和數據積累已經具備相當水平。各級政府和各地區在電子政務平臺、數據采集、信息共享和安全方面的投入和建設已初見成效。電子政務信息化的發展已從建立信息系統階段過渡到深度運用和決策支持階段。

但是我們必須看到，面對浩如煙海的數據，缺乏有效的提煉和挖掘分析是困擾我國各級政府的一個突出問題。在電子政務發展過程中，有很多因為信息掌握不充分而決策失利的教訓。

比如1994年關貿總協定（GATT）烏拉圭回合部長會議決定成立更具全球性的世界貿易組織，以取代成立于1947年的關貿總協定。由于中國是關貿總協定的創始成員，因此中國有希望成為世界貿易組織的創始成員。在談判開始時形勢很好，澳大利亞和新西蘭代表稱堅決支持中國，但是希望中國解決18萬噸的羊毛進口配額。如果中國同意這個18萬噸，澳大利亞和新西蘭全力支持中國就會使西方國家的談判營壘出現分裂，那么中國復關的機會就很大了。但是來自我國政府一些部門的意見是只能按16.9萬噸這個數字談，最后拒絕了澳大利亞和新西蘭的要求，于是澳大利亞和新西蘭堅決站在美國方面與中國進行了非常強硬的談判。實際上1994年中國進口了31萬噸羊毛，遠遠超過18萬噸的要求。當時一些政府部門的信息管理未成系統，以致連全國每年進口多少噸羊毛都沒有一個準確的概念，而澳大利亞、新西蘭這些國家卻知道當時中國平均每年是進口22萬噸，他們要求18萬噸并不過分。結果中國因為對自己的信息掌握不充分而錯失了1994年加入WTO的機會。由此看來，數據挖掘與分析應用對科學決策是何等重要。

二、數據挖掘的功能與運用

數據挖掘最基礎的功能是提供終端用戶的查詢和報表工具，以支持用戶對原始數據的訪問。電子政務系統中的業務信息紛繁復雜，傳統的查詢和報表工具已經不能滿足對業務變化的快速反應，而IT人員和業務人員之間常常難以達成默契。數據挖掘能使用戶及時、靈活地訪問原始數據，同時是以決策者看業務活動的方式來展示信息，而不是以數據庫的組織方式來展示信息。

現有的數據庫系統雖然具有高效地實現數據錄入、查詢和部分統計的功能，但是無法發現數據中存在的關系和規律，不能根據現有的數據預測未來發展的趨勢。因此，電子政務需要一個智能化的輔助決策系統。而數據挖掘是一套具有數據挖掘功能的信息處理技術，主要特點是對數據庫中大量的業務數據進行抽取、轉化、分析和其他無形化的處理，從中汲取輔助決策的關鍵數據，為政府重大法規出臺提供決策支持。比如在宏觀上通過對各種經濟數據的挖掘，確定未來經濟的走勢，制定相應的宏觀調整政策；在微觀上，對經費撥款申請中的欺詐行為進行反制，可以根據數據挖掘制定防欺詐的方案，分離出導致欺詐和實際行為的關鍵因素，制定相應的判據，精準地甄別和標識出最有可能存在欺詐問題的記錄和經費的申請文件等。

在世界很多國家和地區，數據挖掘技術已經廣泛應用在包括環保監測和預測、稅務征收、公共衛生、教育及人口普查等領域。在這些應用當中數據挖掘工具以新的方式將數據展現出來，不僅極大地提升了監管質量，而且將數據轉化成更有意義的報告，為高級管理者決策提供充分的科學依據。

2006年，市場調研機構Gartner曾對美國218位政府部門的CIO進行了問卷調查，并在當年3月出版的《The Challenges and Promises of Business Intelligence》中稱，數據挖掘（data mining）技術在2005年十大技術主題中名列第五，Gartner預計，2008年它將升至第二位，緊隨移動辦公之后。

在美國，稅務部門與Teradata合作部署企業級數據倉庫（EDW）系統。該系統能夠從幾個外部來源匹配內部資料。這些匹配有助于鑒別企業和個人是否正確注冊，是否逃稅、漏稅。在Teradata數據倉庫部署之前，稅務部門不能從各項稅收制度中輕易地分析或評估數據，工作人員只能手動生成一個小的數目報告，用來比較少數幾個稅收項目。然而，完成這些報告所消耗的時間和密集勞動，致使許多違規納稅人未被發現。為了實現跨系統的信息交流，稅務部門決定建立一個數據挖掘分析系統，以能夠在后臺系統編輯所有數據和使用信息。在該計劃實施的前3年內，密蘇里州稅務部門收回了近2100萬美元的拖欠和低報稅款。

在意大利，MIUR是政府中最復雜的管理機構之一，掌管了全國范圍內的教育、大學和研究機構。從2002年開始，該機構應意大利政府的要求，部署了一套數據挖掘分析系統，該系統為政府教育決策部門提供數據分析支持，以判斷當前分配的教育預算資金的使用效率。不僅如此，由于在意大利人口南北遷移活動頻繁，教育資源的地區均衡性經常發生變化。為了應對這一變化對資源規劃帶來的嚴峻挑戰，該系統提供一套預測工具，以發現中短期內經濟政策產生的移民潮對教育資源的匹配度產生的重要沖擊。正是依靠這一系統，意大利教育部門發現了在Calabria 和Emilia Romagna地區經濟政策變革對班級規模產生的強大反差。這一預測工具為政府規劃教育資源的分配提供了強大的決策支持。

在加拿大，環境保護部門的空氣質量研究分部（AQRB）與SAS合作建立了一整套數據挖掘系統，來幫助檢測和分析大氣中的氣體成分，確定人類活動對大氣質量的影響。這一系統管理和記錄加拿大鄉村40多個地點的空氣質量數據，分析結果并向政府、工業、學術界和公眾政策制定者報告信息。通過應用這一系統，該部門進行數據收集和數據分析，并將這類數據轉換成新的知識，刷新了之前對大氣成份和大氣處理中的現狀和動態變化的理解。此外，該系統還幫助AQRB 在之后開展的包括檢測氣體、微粒和加拿大境內的化學廢棄物，向科學雜志報告數據，為詳盡記錄長期大氣變化的大型科學評估報告等項目提供至關重要的立論依據。

三、加大數據挖掘推廣使用力度

我國一批重點的信息化工程，包括金審、金盾、金稅、金土、金質和國家信息化的內網已經基本建成，并且投入運行。這些系統的信息公開、在線辦公、公眾參與、互動對話等功能已經逐步實現。全國各級政府網絡的總體擁有率已經達到90%。同時，大部分對大規模信息數據處理需求較為迫切的核心部門已經率先具備了對信息資源和數據進行規劃、采集和維護的能力。這一切都為科學決策提供了可靠的基礎。一些政府職能部門已在復雜的數據挖掘應用方面邁出了可喜的一步，這為未來其他部門大規模應用數據挖掘提供了寶貴的參考經驗和啟示。

比如中國海關總署以往的統計報表僅提供事實而缺乏分析，因此無法掌握數據中大量的隱藏信息，只得依賴經驗作出判斷。1999年，他們提出了建立開發執法評估系統的構想。經過一年的籌備，2000年，中國海關執法評估系統開始啟動。正是這一系統，在關稅催繳、價格、貿易處理和海關物流等方面大幅提高了評估水平。據統計，2000年到2003年間，執法評估系統共檢測出4200多個違法案例，這些案例已經提交給強制執行部門。除此之外，執法評估系統動態監視了海關業務的方方面面，如關稅催繳、限制性貿易措施的執行以及加工貿易的監管。通過實施這個系統，中國海關可以獲得更少的人為因素的量化評估，減少根據經驗的判斷，而且把單獨的各個案例研究轉化為規律性研究，用于趨勢分析。

又如農業的大規模普查是巨大而且復雜的工作，需要數據分析。國家統計局2006年底進行了全國第二次農業普查。此次農業普查是為了準確掌握我國農業和農村發展進入新階段以后農業生產要素的規模與結構的變化情況，查清農村和農民的基本狀況，為研究制定國家發展戰略目標以及制定全面建設小康社會提供決策依據。因此，依據基層數據匯總生成匯總表只是農業普查數據開發利用的第一步，進行數據分析提供決策依據才是目的。在這種情況下，國家統計局選擇美國SAS軟件公司的軟件搭建了普查數據的分析專用平臺。這個數據分析平臺也將為農村統計調查新一輪樣本輪換做好準備。農村統計調查新一輪樣本抽選將于2009年正式實施，需要進行樣本重新抽選的調查網點包括農村住戶調查、農產品調查、畜牧業調查和農產品價格調查等。此次樣本抽選的工作都需要在數據分析平臺基礎上，通過對農業普查資料進行大量的分析和數據模擬才能完成。

再如對水利方面的數據分析應用。水利部的重點工作是防汛抗旱及水資源管理：一是防治洪澇災害，治理水多的問題；二是治理水少的問題；三是水資源調度和管理。水多少及水環境關系國計民生和可持續發展，水質已成為當前需要高度重視的環境問題。如2006年太湖地區的藍藻一度導致了生活、工業用水極其緊張，甚至出現過有水不可用的現象。其實，這些現象是有規律可循的，通過分析工具，如數據挖掘，在某種程度上可以預測到這些現象的發生，從而提前做好準備，減少損失。

水利部水文局利用美國SAS公司提供的數據挖掘工具對洪水進行預測預報。洪水預報包括水文站流量、水位的預報預測，洪水預報的重點是提高預報的精度和可靠性，也就是說在整個分析過程中，需要找出預測站點的流量、水位分析變化跟上游或者是其他站點有哪些相似。如果找到規律的話，根據預測站點的相關站點流量、水位變化的趨勢，就可以提早知道這個預測站點下一步流量、水位的變化，從而在洪水到來之前做好準備，作出是否分洪、是否撤退群眾的決策。該系統還對降雨量與入湖流量的關系進行挖掘。在太湖的浙西地區有3個流量站，它們上游有很多的雨量站。這些地區的雨量數據可以通過雨量站采集，今天下了多少雨，一看就知道。但是決策層更關心的是流入太湖到底有多少水，因為流入太湖的水量和太湖的水位有很大的關系。因此，對已知降雨量通過數據挖掘工具進行分析，預測流入太湖的水量，再加上流出太湖流量等信息，就可預測太湖水位，及早采取措施。

目前我國政府建立數據挖掘系統還處于初級階段。數據采集質量不高，使數據挖掘最后的實際結果有些偏差；還沒有真正具有自主知識產權的國產數據挖掘軟件，完全依靠國外進口，且價格高和配套服務不夠，加上本地化困難等等，導致很多核心的關鍵部門無法使用推廣；國產軟件雖已起步，但對其扶持力度不夠。不過從總體發展趨勢看，以上問題都將逐步得到解決，我國的科學決策水平也將隨之同步提高。