基于數據倉庫的公共財政商業智能系統的研究

隨著金財工程的逐步推廣應用，財政信息系統中收集了大量的數據。而現行的分析方法大都還停留在手工匯總報表的狀態，對這些財政數據分析方法的研究工作卻遠遠滯后。針對這一狀況，本文提出建立財政商業智能的設想，以政府采購為主題建立數據倉庫模型，并在多個維度上對數據進行分析對比，預測其發展趨勢。相信隨著對財政數據處理的綜合性、及時性、可預測性等要求越來越高，商業智能和數據倉庫在財政業務上的應用也將越來越廣泛。

隨著我國加入WTO，政府部門也面臨著與國際接軌的要求，對政府公共政策的制定會產生深刻的影響。各職能部門的針對性決策及政府部門的重大決策的確立越來越需要建立在對歷史數據、相關數據的科學分析的理性基礎上。發展電子政務，發展決策支持系統，可以大大提高公共政策制定的科學性和有效性。過去，在行政決策方面曾出現過這樣或那樣的問題。其中的一個重要原因，就是對信息的搜集和掌握不全面，或有片面性。決策支持系統的運用將會對行政決策產生深刻的影響。同時，隨著民主建設的深入，政府的決策要求能夠體現公眾的觀點在政策決定上的影響。而商業智能系統正是實現政府決策支持的后臺核心技術。

財政商業智能系統的意義

財政部自1999年下半年開始著手規劃建立“政府財政管理信息系統”，并于2001年完成初步設計并開始試點。2002年初，國務院將“政府財政管理信息系統”定名為“金財工程”，并列為國家電子政務十二個重點工程之一。隨著金財工程的逐步啟動、推廣，財政信息系統在近幾年中收集了大量的數據，而且這些數據還正在呈指數級增長，于是新的問題也逐漸顯露出來:目前大部分的財政業務系統只是數據在服務器上物理存放上的“集中”，而在業務關聯上，各業務仍然是在各自的業務系統中獨立處理，并沒有橫向的數據關系，輸出的賬務成果，如基本報表、分析指標等也是各自獨立的。因此，目前的各級財政部門都迫切地需要一個高效、精確、科學的分析數據的方法，找出其背后的寓意，了解財政資金需求、使用狀況，做出科學的決斷，進而達到“讓資金轉起來，讓賬目透起來，讓管理細起來，讓財政強起來”的目的。而在目前這種“物理集中”狀況下，若是要進行數據的匯總、合并，分析的橫向對比、綜合指標等，需在各自輸出的報表基礎上再進行數據的加工。隨著對財政數據處理的綜合性、及時性、可預測性等要求越來越高，目前這種數據的加工方式越來越不能適應財政工作的要求。

近年來，數據倉庫、聯機分析處理及數據挖掘，這三種相互獨立又相互關聯的信息處理技術，已成為新一代決策支持系統的基礎，即所謂的商業智能(BI，Business Intelligence)。其中數據倉庫是基礎，聯機分析處理和數據挖掘技術是兩種不同的分析工具。因此利用先進的數據倉庫技術建立統一的數據模型，使用OLAP、報表分析、數據挖掘等技術來解決各種財政業務問題，成為財政實現加強財政資金管理和決策支持的重要方法。

作為一種將數據轉變為信息、信息轉變成知識的工具，商業智能已經在電子商務、客戶關系管理、信息門戶、ERP以及其他各類企業應用系統中擔當起核心技術的角色。近年來，隨著政府信息化的逐步深入，GRP概念的提出，商業智能在政府部門應用的前景也是十分廣闊。

商業智能主要涉及四個層面:一是信息系統層面:稱為商業智能系統的物理基礎。表現為具有強大決策分析功能的單獨的軟件工具和面向特定應用領域的信息系統平臺，如SCM、CRM、ERP。與事務型的MIS不同，商業智能系統能提供分析、趨勢預測等決策分析功能。二是數據分析層面:是一系列算法、工具或模型。首先獲取與所關心主題有關的高質量的數據或信息，然后自動或人工參與使用具有分析功能的算法、工具或模型，幫助人們分析信息、得出結論、形成假設、驗證假設。三是知識發現層面:與數據分析層面一樣，是一系列算法、工具或模型。將數據轉變成信息，而后通過發現，將信息轉變成知識;或者直接將信息轉變成知識。四是戰略層面:將信息或知識應用在提高決策能力和運營能力上;企業建模等。商業智能的戰略層面是利用多個數據源的信息以及應用經驗和假設來提高企業決策能力的一組概念、方法和過程的集合。它通過對數據的獲取、管理和分析，為貫穿企業組織的各種人員提供信息，以提高企業戰略決策和戰術決策能力。

商業智能系統應具有的功能，一是數據管理功能。從多據個數源ETL(抽取、轉換、轉貯)數據、清洗數據、數據集成能力;大量數據高效存儲與維護能力。二是數據分析功能。具備OLAP等多種數據分析功能;終端信息查詢和報表生成能力;數據可視化能力。三是知識發現功能。從大型數據庫中的數據中提取人們感興趣的知識的能力。這些知識是隱含的、事先未知的、潛在有用的信息，提取的知識表示為概念、規則、規律和模式等形式。

由于商業智能系統的需求往往是不明確的，而且是不斷變化與增加的，也就是說商業智能系統開發必然是一個經過不斷循環、反饋而使系統不斷增長與完善的過程。因此，采用原型法來進行商業智能的開發是比較合適的，因為原型法的思想是從構建系統的簡單的基本框架著手，不斷豐富與完善整個系統。

圖1是財政商業智能系統的結構示意圖:數據源最終要涉及多個業務系統，并且這些系統采用了不同的數據庫，包括ORACLE、SQL SERVER和SYBASE。考慮到不增加業務系統的負載，在系統中增加了一個中間數據庫。每天將業務系統的備份數據導入到中間數據庫，并對數據進行抽取和清洗，然后載入到數據倉庫中。數據倉庫包括多個主題的數據集市，為OLAP、報表和數據挖掘提供數據服務。

財政商業智能系統的開發和設計

下面就以政府采購主題為例，描述財政商業智能系統的開發和設計。

(一)政府采購管理系統分析

圖2是政府采購系統的模塊示意圖。通過對業務的分析，可以看出整個采購業務都是圍繞著采購計劃和采購合同來進行的。因此在數據倉庫中也是以采購計劃單和采購合同的信息作為事實表。在這個主題中，我們需要了解一個采購計劃的采購物品的名稱、類型、數量、參考單價，采用什么采購方式，采購單位是誰，使用什么預算科目，成交價格是多少等等。考慮到今后功能的擴展，在倉庫這一層將盡量保存詳細原子數據。

(二)數據倉庫設計

數據倉庫的設計應該使得系統能夠完成對政府采購的采購計劃、采購方式、采購金額、節約率等各種信息的分析及KPI監控。

根據上述要求，數據倉庫的關鍵維度包括:

(1)采購方式、物品分類、采購計劃申報時間、物品名稱、數量等。

(2)預算科目、預算金額等。

(3)采購單位、單位類型、部門代碼、合同簽訂時間、合同金額等。

(4)供應商名稱、單位地址、開戶行信息等。

通過數據倉庫的應用，我們希望能夠快速獲得下面的信息，以提高政府工作的質量:

(1)采購總金額是多少及其按時間變化的情況?

(2)采購的節約率是多少?

(3)采購節約率的變化情況及原因?

(4)某類產品的采購金額的情況。

(5)單位的采購模式等等。

圖3是數據倉庫的模型結構圖，其中CONTRACT和STOCKITEM為事實表，CONTRACTDETAIL為連接CONTRACT和STOCKITEM兩事實表的連接表。

(三)抽取、清洗、裝載(ETL)和更新

1、歷史數據的ETL步驟

首先確定保存在數據倉庫里數據的粒度。粒度是數據倉庫的重要概念，粒度是對數據倉庫中的數據的綜合程度高低的一個度量，它既影響數據倉庫中的數據量的多少，也影響數據倉庫所能回答詢問的種類。數據倉庫中會存在著不同的數據綜合級別，粒度越大，表示數據的細節程度越低，綜合程度越高。考慮到財政業務系統的數據基本上是按年度劃分存放的，跨年度的數據分析十分困難。同時對財政數據的分析需求是不斷增加和變化的，因此在數據倉庫中盡量保存了最細節的數據。

2、追加數據的ETL步驟

定期向數據倉庫追加數據也是一個十分重要的工作。我們知道數據倉庫中的數據是來自財政業務系統的數據庫中，問題是我們如何知道究竟哪些數據是在上一次追加過程之后新生成的。在這里我們采用的方法是時標方法，根據合同表中的狀態和時間來決定哪些數據是新的應該追加到數據倉庫中。考慮到政府采購也是商業行為，因此對于合同的認定是以簽訂為標準的，既采用權責發生制的會計準則。

(四)常用算法

1、關聯分析算法:

關聯分析是指發現大量數據中項集之間有趣的關聯或相關聯系，這些關聯展示屬性-值頻繁地在給定數據集中一起出現的條件。

設I={i1，i2，..，im}是項集，設任務相關的數據D是事務集，其中每個事務T是項集，使得TI。每一個事物有一個標識符，稱作TID。設A是一個項集，且事務T包含A當且僅當AT。

關聯規則是形如AB的邏輯蘊涵，其中AI， AI，且A∩B=。關聯規則具有如下兩個重要的屬性:

支持度: 規則AB在事務集D中成立，具有支持度s，其中s是D中事務包含AB(即A和B二者皆有)的百分比。它的概率是P(BA)。

置信度: 規則AB在事務集D中具有置信度c，如果D中包含A的事務同時也包含B的百分比是c。這是條件概率P(B|A)。即是:

Support (AB)=P(BA)

Confidence((AB)=P(B|A)

同時滿足最小支持度閾值和最小置信度閾值的規則稱為強規則。給定一個事務集D，挖掘關聯規則問題就是產生支持度和可信度分別大于用戶給定的最小支持度和最小可信度的關聯規則，也就是產生強規則的問題。

2、分類規則挖掘

分類規則挖掘有著廣泛的應用前景。對于分類規則的挖掘通常有以下幾種方法，不同的方法適用于不同特點的數據:貝葉斯方法、 決策樹方法、 人工神經網絡方法、 粗糙集方法、 遺傳算法。

貝葉斯分類方法是一種具有最小錯誤率的概率分類方法，可以用數學公式的精確方法表示出來，并且可以用很多種概率理論來解決。

貝葉斯定理:假設C1，C2…互斥且構成一個完全事件，已知它們的概率P(Ci)(i=1，2，…，)現觀察到某事件X與C1，C2…相伴隨而出現，且已知條件概率P(X|Ci)，求P(Ci|X)。貝葉斯公式為:

P(Ci|X)=

樸素貝葉斯分類的工作過程:

每個數據樣本用一個n維特征向量X={x1，x2，…，xn}表示，分別描述對n個屬性A1，A2，…，An樣本的n個度量。

假定有m個類C1，C2，…，Cm。給定一個未知的數據樣本X(即沒有類標號)，分類法將預測X屬于具有最高后驗概率(條件X下)的類。即，樸素貝葉斯分類將未知的樣本分配給類Ci，當且僅當

P(Ci|X)〉P(Cj|X) 1 j m j i

這樣，最大化P(Ci|X)。其P(Ci|X)最大的類Ci稱為最大后驗假定。

其中:

P(Ci|X)=

(五)數據倉庫的應用展示

1、政府采購的金額

在政府采購管理系統中，會按時間和采購方式顯示采購金額，并顯示針對某一采購的具體信息，包括采購金額、采購方式、匯總的時間等(如圖4)，還顯示了預算來源為財政撥款，采購目錄為計算機和服務器，按時間和采購單位匯總的采購金額。

從上面的數據可以看出，無論是政府集中采購的總金額，還是單個采購類別的采購金額都是以較大的幅度增加的。這主要有兩個原因:

(1)集中采購目錄的不斷擴大。2005年把市級單位單項或批量采購金額達到50萬元以上的貨物和服務項目、100萬元以上的建設工程(房屋和建筑物的新建、擴建、改建、裝修、修繕)項目等納入了政府集中采購的范圍。2006年把 會展、物業、市級重大科技項目招標等納入了政府集中采購的范圍。

(2)隨著政府采購制度的不斷完善，越來越多的行政事業單位被納入了政府采購。

隨著絕大多數的行政事業單位納入了政府采購范圍，第二個因素對集中采購金額的影響將越來越小。因此，以后政府采購工作的重點應該是進一步擴大集中采購目錄。

2、節約率

節約率=(采購資金計劃數-實際成交數)/采購資金計劃數

圖5是以采購單位和時間顯示預算金額、采購金額和節約率。

下面我們用KPI (Key Performance Indicators——關鍵績效指標)來全面監控節約率的變化狀態。

圖6是協議采購(計算機類)、2004年四季度、單位是南京市幾家醫院的節約率(KPI)。由于協議采購的價格是在協議供貨招標時決定的，單位購買時只需要根據協議價申報采購預算，所以協議采購的節約率基本為零，趨勢為下降。

圖7是競爭性談判、2004年四季度、單位是南京市幾家醫院的節約率(KPI)，節約率為9.74%，趨勢為下降。

圖8是網上采購、2004年四季度、南京市幾家單位的節約率(KPI)，節約率為6.16%，趨勢為下降。

經過分析可以得出以下結論:

首先節約率的高低是和采購物品的類型、采購方式相關的。不同的物品的節約率不一樣，競爭激烈、市場價格比較透明的產品節約率就比較低，反之就比較高。采購方式和節約率的關系比較復雜，但總的來說，采購同類產品使用競爭性談判的方式往往節約率會比較高。

其次從政府采購的發展規律看，在實行政府采購之初，由于新舊采購模式上的明顯差異，百分之十幾甚至二十幾的資金節約率無疑是合理的，也是令人鼓舞的。但隨著采購工作的規范和成熟，資金節約率必然會呈現逐年遞減的態勢。原因如下:

(1)協議采購范圍的不斷擴大。由于協議采購的價格是在協議供貨招標時決定的，單位購買時只需要根據協議價申報采購預算，并且在協議采購電子產品時，用戶還可以通過選購相關配件將采購預算用滿。所以協議采購的節約率基本為零。

(2)隨著采購項目的不斷增多，采購對象的市場價格對于用戶和采購中心也相對透明，加上對供應商價格折扣方式的熟悉以及采購經驗的積累，使得用戶在制定采購預算時心中有數。這就使得采購預算和采購成交價格相差不大，節約率自然就下降了。

(3)財政預算部門因為有了政府采購價格作為參照，預算更科學更精確了。不斷完善的政府采購預算制度，提高了預算編制的科學性、準確性，擠干各部門政府采購計劃中的水分。這也是節約率下降的原因之一。

通過以上分析可以得出:政府集中采購金額的增長和節約率的降低是政府采購實施的內在需求所決定的。實施政府采購的成效，不僅體現在節約財政預算資金上，還體現在健全財政職能，提高理財的層次和水平上，從源頭上鏟除腐敗，促進了廉政建設。與此同時，在決策上可以看出擴大集中采購目錄是今后的政府采購工作的一個重點，而且應改變過去盲目追求節約率的工作思路。

與傳統的報表分析相比，財政商業智能系統可以找到采購金額、節約率變化的趨勢和政府采購、部門預算等財政職能逐步健全的關系，并為下一步政府采購工作和決策提供依據的;可以在多維度(時間、單位、預算科目等)上對數據進行分析對比，預測其發展趨勢，從而找出這些數據背后寓意的。

財政商業智能的建設是一項復雜且不斷變化的過程，它的需求是隨著財政業務的變化而不斷變化的。它是結合數據倉庫、分析展示、數據挖掘等技術理論與財政業務、會計實務等技術的綜合性應用體系。財政商業智能的研究是一個極具挑戰性、現實性的項目，隨著對財政數據處理的綜合性、及時性、可預測性等要求越來越高，財政商業智能將是一個應用前景廣闊、蘊含著巨大經濟潛值的項目。

(作者單位:南京市財政局計算中心)