李 敏,黃遠新
(1.鐵道部信息技術中心,北京 100844;2.西南交通大學交通運輸與物流學院,成都 610031)
鐵路運輸決策支持系統關鍵技術研究
李 敏1,2,黃遠新2
(1.鐵道部信息技術中心,北京 100844;2.西南交通大學交通運輸與物流學院,成都 610031)
為了向鐵路運輸管理人員提供科學的決策依據,以數據倉庫和決策支持技術為基礎,開發了鐵路運輸決策支持系統。介紹該系統的架構,研究該系統中一個子系統,即綜合運輸指標數據集市,包括基于數據源特點的數據集市模型設計和ETL方案設計。該系統在決策支持中具有很多方面的應用,包括報表應用、多維分析、即席查詢和數據挖掘應用等。
鐵路運輸;決策支持系統;數據倉庫
鐵路運輸是一項極其復雜的系統工程,這其中存在著戰略、管理和生產3個層次全系列的決策活動。從20世紀70年代開始,我國鐵路行業陸續開展了計算機技術的多方面應用,20世紀90年代初期開始建設鐵路運輸管理信息系統(TMIS)[1-3]。經過多年努力,計算機技術已經廣泛應用于運輸組織、運輸指揮和運輸生產各個方面,TMIS貨票系統、確報系統、編組站現在車管理系統、貨運營銷與生產管理系統、運輸計劃系統、運輸統計系統、車號自動識別系統以及客票發售與預定系統相繼建成。但是,由于各個系統是先后獨立開發、自成體系的,各系統之間的數據難以共享,各系統也難以對決策活動提供有效地支持。
決策支持系統[4-6](“Decision Support Systems”,簡稱DSS)是20世紀70年代,在傳統的管理信息系統(“Management Information Systems”,簡稱 MIS)[7]的基礎上形成和發展起來的。20世紀80年代,決策支持系統迅速成為一門新興科學,其依托運籌學、管理學、計算機科學等學科不斷發展,20世紀90年代初提出的數據倉庫[8-9](Data Warehouse)、數據挖掘[10-11](Data Mining)等決策領域的新技術,更是為決策支持系統的研究和發展開辟了一條新的途徑。
充分利用現代信息處理技術和鐵路系統已經建立的各種信息系統資源,將能夠獲取的海量數據轉化為實用的決策根據,為鐵路運輸各級和各部門管理人員提供科學的決策依據,日益成為一種迫切的現實需要。為此,科技部在國家科技公關計劃中撥款20萬元立項進行研究,課題名稱為信息綜合利用決策支持系統的研究與設計,該項目已經通過科技部驗收。
傳統數據庫在進行決策支持時具有以下幾個方面的不足:(1)缺乏組織性,首先是獲得的數據格式雜亂不穩定,無統一標準;其次,由于各部門在分析時對數據的片面抽取,對同一問題的分析,可能導致不同的結果;(2)數據的利用率低,難以轉化為有用的信息;(3)數據存儲不完整,難以滿足決策支持的需要;(4)模型庫分析能力有限;(5)人機接口開發不理想。
數據倉庫和聯機分析處理(OLAP)技術[12]及數據挖掘技術的日漸成熟,為克服傳統數據庫存在的問題提供了技術上的支持,為決策支持系統開辟了一條新的途徑。
鐵路運輸決策支持系統是以數據倉庫技術為基礎,以OLAP技術和數據挖掘工具為手段,從而進行設計實施的一整套解決方案。
鐵路運輸決策支持系統由數據抽取、數據倉庫管理系統、模型庫/知識庫管理系統、數據挖掘、用戶界面等模塊組成。如圖1所示。
鐵路運輸決策支持系統具有如下特點。
(1)從異構的多種數據源中抽取數據,實現數據庫系統無關性。
(2)以數據倉庫和OLAP相結合建立輔助決策系統,相互結合、相互補充。
(3)利用數據挖掘工具發現過去未被認識的數據關系,幫助決策者做出更好的決策。
(4)將數據倉庫、OLAP、數據挖掘、方法庫/模型庫以及用戶交互結合起來形成的綜合決策支持系統能以此進行定量分析和定性分析,進一步提高了輔助決策能力。
鐵路運輸決策支持系統采用數據倉庫技術,遵循數據倉庫的結構體系,包括以下幾個方面:環境、數據倉庫、主題、主題表、匯總表組、信息集市和數據集市。
數據倉庫的數據源基于鐵路系統現在的業務系統及其綜合應用,包括:(1)十八點統計分析系統;(2)車號自動識別系統;(3)貨車追蹤系統;(4)確報系統;(5)TMIS貨票系統;(6)集裝箱系統;(7)貨運營銷與生產管理系統(8)客票發售與預定系統;(9)精密統計系統;(10)調度系統;(11)編組站現在車管理系統。

圖1 鐵路運輸決策支持系統架構
對于鐵路運輸決策支持的核心組成部分——數據倉庫,選取綜合運輸指標數據集市和客運數據集市,作為該項目的原型。
選取“綜合運輸指標數據集市”作為本項目的原型,是出于以下幾個方面的考慮。
(1)目前能夠綜合反映運輸生產組織和經營狀況的十八點運輸統計報告系統和精密統計系統,其基本信息通過手工作業進行采集,再逐級上報。系統的穩定性好,也已經積累了豐富的數據;在此基礎上建立數據集市,見效快,效果明顯。
(2)綜合運輸指標體系所涉及的內容,是指導運輸生產和經營的重要信息,為各級運輸部門服務,如:運輸分析部門、運輸統計部門、調度部門。其中,某些綜合效益指標(貨運收入、客運收入、貨物發送量、旅客發送量等)更是部領導們重點關心的信息。
(3)十八點統計分析系統和精密統計系統所設計的指標雖有交叉,但時間范疇不一致,十八點統計分析系統是日報系統,每日十八點上報;精密統計系統是月報系統,是經過層層校驗、核實過的月信息,準確度高,每月的中旬上報上個月的精密統計數據;所以,兩者相結合,既能掌握每日的運輸情況,又能得到準確的數據用于指導今后的運輸生產和經營。而目前的情況是由于十八點統計分析系統、客運精密統計和貨運精密統計均是數據庫系統,各個運輸部門所關心的內容又各不相同,往往不能及時得到想要的信息。
鐵路客運業務系統經過近十多年的發展,絕大部分的客運業務都實現了計算機管理。主要包括客票聯網系統、客票非聯網站系統、小站系統、車務段系統、移動補票系統、客運管理信息系統,手工完成的業務主要包括代用票、偏遠小站的手工售票。
客票系統全稱為“鐵路客票發售和預定系統”,是國家“九五”科技攻關計劃重中之重項目,項目自1996年啟動以來,經過1.0、2.0、3.0、4.0版的研制和中央、地區、車站三級系統的建設,建成了包括鐵道部客票中心、23個地區客票中心、1 800多個計算機售票車站在內的計算機售票系統,其中800多個車站已實現了聯網售票。
客票系統實現了車站售票業務處理和地區中心的客運業務應用管理,這些業務操作產生的數據是信息綜合利用決策支持系統重要數據源。而且客票系統聯網站的增多,使得經客票系統發售的客票銷售量占全路總售票量的85%以上,客票收入占全路總客票收入的90%以上。因此,客票系統已經積累了豐富的歷史數據,具備了建立數據集市的各種優越條件,應該是鐵路運輸決策支持系統的不可或缺的一部分。
綜合運輸指標數據集市的數據來源于十八點統計分析系統和精密統計系統(包括貨運精密統計和客運精密統計)。前者所涉及的維度少,指標多,大多數指標值僅與時間維度相關;后者所設計的指標少,但相關的維度較多。因此,可采用不同的邏輯模型。
十八點統計分析系統的數據關系簡單,采用傳統的E_R模型。精密統計系統的數據采用星型模型。精密統計系統的維度包括:時間維度、地理維度1(層次為鐵道部、路局、分局、分界口)、地理維度2(層次為全國、省、市)、品類維度、運輸距離維度、席別維(硬座、軟席、臥鋪)、統計分類維(站售、車補、退票)、 運輸類別維(管內直通、管內接入、管內到達)、干線維、車次維、發到站維。
十八點統計分析系統和精密統計系統的數據在數據集市中采用不同的物理存儲模型。前者采用關系數據庫組織形式(由關系型事實表和維表組成);后者多采用多維數據庫組織形式(MDDB)。
綜合運輸指標的數據清洗任務主要是:(1)十八點統計分析系統和精密統計系統中編碼的統一;(2)為了方便OLAP分析,需要將數據源的數據整合以后,加載到數據集市的主題表中,而不是將數據源直接復制到數據集市中。
十八點統計分析系統的ETL方案,包括:綜合指標主題表,現在車類,裝卸車類,分界口貨車出入,客運綜合指標,重點、快速旅客列車指標和主要客運站上車人數指標。
貨運精密統計的ETL方案,包括貨物發到量統計,貨物運輸量及噸公里統計,分界站貨物接入交出及通過統計,省 間 貨 物 交 流 統 計,貨物運輸距離統計,主要干線貨運統計表,鐵路分局貨物交流統計。
客運精密統計的ETL方案,包括旅客發送量及票價統計,旅客運輸量及周轉量,距離別旅客人數及周轉量,車次別旅客人數、周轉量及票價,行李、包裹發送、中轉及到達量統計,局別/窄軌行包運輸量、周轉量及平均行程等。
數據倉庫的數據并不要求與聯機事務處理系統保持實時的同步,因此數據抽取可以定時進行,但多個抽取操作執行的時間、相互的順序、成敗對數據倉庫中信息的有效性則至關重要。十八點信息系統是每天18點這一時刻的統計信息,更新數據倉庫的時間是24 h;精密統計信息系統每個月更新1次。
報表一直是表現數據的最為簡便的方式,這種方式在鐵路業務部門間是必不可少的數據傳遞方式。所以報表應用也是鐵路運輸決策支持系統的主要應用之一。
系統采用Business Objects軟件實現報表應用,Business Objects能夠靈活、隨意地制作出各種不同形式的報表以進行數據分析。
基于鐵路運輸決策支持系統,首先制作部門日常經常使用的報表,然后在已有報表上衍生其他各式各樣的報表,報表的個數是不限的,報表的形式是可多變的。
報表主要包括貨運靜態報表和客運靜態報表。
在決策支持系統中可進行各種多維分析,包括貨物運量變化趨勢分析、旅客運量變化趨勢分析等。在貨物運量變化趨勢分析中可以生成總運量變化趨勢圖,各局(省、市)運量變化趨勢圖,按品類運量變化趨勢圖,各局(省、市)按品類運量變化趨勢圖,省間貨物交流變化趨勢圖,以及各運輸距離的貨物發送量變化趨勢圖;在旅客運量變化趨勢分析中可以生成旅客發送量及收入變化趨勢圖,局別、省別、線別、窄軌別旅客發送量及周轉量變化趨勢圖,局別行包發送量及周轉量變化趨勢圖,各運輸距離的旅客發送量變化趨勢圖,車次別旅客人數、周轉量、收入變化趨勢圖等。多維分析的展現方式包括多維報表和三維柱圖、餅圖。
即席查詢,是數據庫應用最普遍的一種查詢;利用數據倉庫技術,可以讓用戶隨時可以面對數據庫,獲取所希望的來自各業務系統的數據。
在綜合運輸指標數據集市里,包含了所有的運輸指標。通過提供給終端用戶友好、易用的圖形界面,提供選擇和模糊查找指標的功能,即用戶鍵入他希望查詢的指標名稱(部分名稱)和其他如時間、局名、品類、運輸類別、席別等,就能得到相應的信息,并能根據需要導入文本文件或存為HTML格式的文件。
基于十八點統計分析系統和精密統計系統的數據,可以利用數據挖掘工具對運輸綜合指標作時間序列預測分析。具體方法包括:使用廣泛的預測方法,包括指數平滑模型,Winter方法以及 ARIMA(Box-Jenkins)模型,也可以通過組合模型產生新的預測模型或方法;在預測模型中使用預測因子變量,預測模型包括時間趨勢曲線,回歸因子,干擾影響;瀏覽時間序列圖,預測-真實值、預測誤差圖,帶置信區間的預測圖;逐個比較任意兩個預測模型的擬合優度值或按一特定擬合統計排序的所有模型;瀏覽每個模型的預測和誤差值或任意選擇兩個模型比較預測結果;檢驗每個預測模型的擬合參數及其統計顯著性。
本文介紹了鐵路運輸決策支持系統的基本架構,該系統依托數據倉庫,運用數據挖掘技術,力圖實現信息的綜合利用,并為鐵路系統的各級各部門提供決策支持。其中重點研究了鐵路運輸決策支持系統中一個子系統,即綜合運輸指標數據集市的設計,包括基于數據源特點的數據集市模型設計和ETL方案設計;并針對綜合運輸指標數據集市,研究了其在決策支持中的應用,包括報表應用、多維分析、即席查詢和數據挖掘應用等。
本文首次將數據倉庫、數據挖掘和決策支持技術系統性地應用于構建我國的鐵路運輸決策支持系統,具體研究了系統基本架構的建立,包括系統建立中的數據源抽取、數據集市模型設計、數據清洗技術,以及系統在決策支持中的若干具體應用。從而為這一系統的建立提供了堅實的理論基礎和富有現實意義的實踐指導,并且為先進的數據處理技術在其他第三方物流企業決策支持系統中的應用提供了寶貴的借鑒。
[1] 孫遠運.TMIS總體架構設計研究[J].鐵路計算機應用,2005,14(7):11-14.
[2] 朱濤.TMIS綜合調度管理信息系統[J].鐵路計算機應用[J].2005,14(7):18-20.
[3] 張紅麟.鐵路信息化建設的核心——TMIS[J].計算機系統應用,2003(7):9-12.
[4] 陳文偉.決策支持系統教程[M].北京:清華大學出版社,2004.
[5] 孟波.計算機決策支持系統[M].武漢:武漢大學出版社,2001.
[6] 湯銀英,況漠.LDSS的研究[J].物流技術[J].2003(2):20-22.
[7] 穆緒濤,穆建華,鄒微,孫志紅.管理信息系統的作用及應用[J].現代情報,2005(10):20-21.
[8] W.H.Inmon.數據倉庫[M].北京:機械工業出版社,2003.
[9] M.Golfarelli,S.Rizzi.Designing the Data Warehouse:Key Steps and Crucial Issues[J].Journal of Computer Science and Information Management,1999,2(3):13-22.
[10] N.Tryfona,F.Busborg,J.CzBorch Christiansen.StarER.A Conceptual Model for Data Warehouse Design[J].In Intl.Workshop on Data Warehousing and OLAP,1999:3-8.
[11]樂劍平.基于數據挖掘的決策支持系統的設計與實現[D].上海:上海交通大學,2008.
[12]楊光,張雷,艾波.數據倉庫及聯機分析處理技術[J].計算機工程與科學,2000,22(1):39-42.
Study on Key Technologies of Railway Transportation Decision Support System
LI Min1,2,HUANG Yuan-xin2
(1.Information Technology Center,the Ministry of Railways,Beijing 100844,China;2School of Transportation and Logistics,Southwest Jiaotong University,Chengdu 610031,China)
To provide a scientific decision-making basis for railway transportation administrative staff,the railway transportation decision support system was developed based on data warehouse and decision supporting technology.The architecture of this system was introduced in this paper.And also,a kernal subsystem in this system,namely the integrated transportation index data mart,was emphatically studied in this paper,including the data mart model design and ETL scheme design which are based on the characteristics of data source.For decision supporting,this system is of multi-functions,including reporting application,multi-dimensional analysis,ad-hoc query,data mining application,etc.
railway transportation;decision support system;data warehouse
U29
A
10.13238/j.issn.1004-2954.2014.02.031
1004-2954(2014)02-0135-04
2013-11-19;
2013-11-29
國家科技攻關計劃(2002BA407B06)
李 敏(1979—),女,助理工程師,2001年畢業于北京印刷學院應用電子技術專業,工學學士。
·橋 梁·