趙陽 張曼
摘 要:大數據作為影響未來互聯網生態、創新體系、產業形態乃至社會治理的國家基礎性戰略資源,在推動政府治理精準化,推進安全保障高效化,加快民生服務普惠化等方面發揮越來越重要作用。交通運輸行業數據作為政務信息資源重要組成部分,有必要進行匯聚、梳理、整合、分析和應用,助力構建“綜合、智慧、綠色、平安、美麗”的現代綜合交通運輸體系。文章詳細分析交通運輸領域數據資源體系建設和開放共享領域存在的問題,并基于此提出建設智能交通大數據共享應用平臺,并對平臺業務框架、邏輯架構、技術架構、功能架構進行設計,最終構建公路、水路、鐵路、民航以及城市交通中的城市路網、地面公交、軌道交通等基礎、業務、感知監測類數據的采集、清洗、存儲、共享、應用體系。
關鍵詞:大數據;現代綜合交通運輸體系;數據資源交換共享與開放應用平臺
中圖分類號:U495 文獻標志碼:A 文章編號:2095-2945(2019)02-0023-03
Abstract: Big data, as a national basic strategic resource affecting the future Internet ecology, innovation system, industrial formation and even social governance, is promoting the precision of government governance and the high efficiency of security guarantee. We will speed up the universalization of services for people's livelihood and play an increasingly important role. Transportation industry data as an important part of government information resources, it is necessary to gather, comb, integrate, analysis and application, to help build a "comprehensive, intelligent, green, safe and beautiful" modern comprehensive transportation system. This paper analyzes in detail the problems existing in the construction of data resources system and open sharing in the field of traffic and transportation, and based on this, puts forward the construction of an intelligent transportation sharing application platform for big data. The business framework, logical architecture, technical architecture and functional architecture of the platform are designed. Finally, the collection, cleaning, storage, sharing and application system of road, waterway, railway, civil aviation and urban transportation such as urban network, ground bus, rail transit, business, sensing monitoring data collection, cleaning, storage, sharing and application are constructed.
Keywords: big data; modern comprehensive transportation system; data resourcesexchange and sharing and open application platform
近年來隨著國家數據交換共享平臺的建設,將推動構建起覆蓋全國、統籌調動、物理分散、邏輯集中、資源共享、縱橫協管的“大平臺、大數據、大系統”。推動實施國家大數據戰略,加快完善數字基礎設施,推送數據資源整合和開放共享,保障數據安全,成為“十三五”期間各行業信息化建設重中之重。
面向交通運輸信息化建設從分散轉向集約,從孤立封閉轉向共享開放,從政府推動轉向政企合作的重要轉型期,互聯網+、云計算、大數據、車聯網等將引導行業進入新的業務協同和智能應用階段。綜合分析“互聯網+”、政務信息資源整合、大數據發展等相關政策文件要求,結合目前智能交通系統發展特征,聚焦解決交通行業數據資源采集接入能力不足、整合力度不夠、共享能力薄弱、數據源頭不統一造成數據血緣關系較差、數據標準體系不統一、數據資源對綜合交通業務協同與共享支撐能力不足、全生命周期管控能力不足等痛點問題,本文提出通過構建省級交通運輸行業數據資源交換共享與開放應用平臺,促進數據要素科學、高效流通,實現跨層級、跨地域、跨系統、跨部門、跨業務的數據共享,發揮數據資源創新引擎作用,運用大數據提升行業治理現代化水平。
1 智能交通大數據共享應用平臺建設總體原則
1.1 整體設計、統籌考慮
從“智慧交通”全局信息化整體推進角度進行數據資源共享平臺規劃設計,既考慮其在天津交通運輸信息化發展中數據基礎支撐平臺的定位,又統籌其與交通部、天津市政務云平臺對接。
1.2 服務導向、業務驅動
以業務服務為導向,以業務流程為驅動,圍繞天津交通運輸信息化內部管理用戶和外部單位及人員的數據共享需求,制定能夠實現服務按需定制的整體架構目標。
1.3 系統構建、突出重點
充分考慮各系統間的關聯、匹配與有機銜接,同時要突出重點。在信息資源整合、統一協同管理、綜合信息服務等方面有針對性地提出發展目標和措施建議,并與同期開展項目進行有效銜接。
2 總體邏輯架構
智能交通大數據共享應用平臺總體架構分為基礎設施云平臺、支撐系統層、數據資源層、業務應用層、用戶展現層5個層面。
2.1 基礎設施云平臺
主要包括主機及存儲系統、網絡系統、安全系統、運維系統及基礎軟件等。采用統籌集約的建設思路,通過云計算分布式技術形成統一的虛擬資源池,承載所有的IaaS層服務、PaaS層服務以及應用系統,實現計算的彈性擴展與資源的動態分配。
2.2 支撐軟件系統
為支撐數據交換共享與管理,保障數據共享安全,需配置關系型數據庫、大數據管理軟件、數據交換中間件、數據處理中間件、數據服務安全網關等軟件。
2.3 數據資源平臺
數據資源平臺開發主要完成信息資源目錄系統、數據交換共享管理系統、數據質量管控系統、數據資源平臺監控系統、數據展現系統。數據工程主要實現數據的采集接入、數據質量處理、基于云平臺的數據中心的建設、信息資源目錄編著、數據資源標準體系的編制以及數據共享服務的配置。
2.4 應用系統層
基于云平臺、數據資源平臺,構建服務于行業管理者、決策者的政務管理類、運行監測和應急指揮類、安全生產類、決策支持和評價類等相關應用;構建面向出行者、行業企業提供應用的公眾信息服務系統。
2.5 統一入口門戶
實現行業內外應用系統的統一門戶、統一用戶管理、統一權限管理、統一身份認證、統一審計管理“五個統一”和單點登錄功能。集成手機APP、PC端各項應用以及微信、微博、情報板、交通廣播等信息服務手段。
2.6 平臺數據資源相關技術規范
主要包括數據元、數據模型、數據采集、數據交換、數據管控、數據服務、數據開放、數據目錄服務、平臺運行管理、平臺業務應用系統開發和部署技術規范、平臺移動服務技術規范;以及數據資源交換共享與開放應用平臺運行和服務評價辦法、數據資源交換共享與開放應用平臺運行安全管理辦法等。
3 技術架構
(1)接入數據源:對接入數據源從接入種類進行了分析,無論內部數據還是外部數據,主要可以歸納為4類數據,關系型數據、GPS,AIS等流數據、視頻監控類的流數據及文件類型的數據。
(2)分布式數據采集接入:通過分布式的數據接入組件進行實時定時等模式的采集,對應不同源數據的類型采用不同的組件,針對GPS及視頻類的數據采用流數據組件進行接入,對于關系型數據類型采用數據庫及API接口進行接入,對于文件類型采用FTP及文件目錄監控等模式接入。數據接入后采用多個線程進行并行處理,一路直接實時推送到數據質量處理中心,一路進行原始數據存儲,進入原始存儲的數據就作為后期數據溯源及容災進行保留。
(3)高性能數據質量處理:數據到達處理中心后,同樣是分為兩路進程進行數據處理,一路是對于實時性要求比較高的GPS等數據,進行簡單清洗后直接向上推送的同時進行數據存儲,對于視頻數據,通過視頻管理統一平臺進行標準格式轉換后也實時向上推送,另外一路是基于實時性要求相對弱的數據按規則進行相關的清洗、轉換及融合等處理后進入數據存儲。
(4)多協議的數據接口共享:針對已經被授權的數據應用方,GPS及視頻等實時數據會通過流數據的模式直接推送到數據應用方,其他數據存入數據中心后,可通過API接口數據實時查詢請求及定時推送等模式實現和數據應用端的共享開放。
4 功能架構
整個數據資源體系的功能框架主要包括數據采集(交換)、數據質量處理、數據共享服務接口的封裝、數據全生命周期管控、數據共享服務管理、數據資源目錄管理、數據標準體系等。
數據采集(交換):在原數據中心建立數據抽取、數據同步、批量轉移的多種機制,當有數據更新時,以相應的觸發模式、傳輸方式和技術手段實時、準實時或及時地推送到數據云中心。根據現有各類數據資源采集情況,結合各類數據源的特點及數據更新及交換要求,綜合考慮網絡條件,確定對不同類型的數據分別采用數據交換中間件、數據導入、人工錄入、直接使用等4種方式進行采集。其中數據交換中間件支持ETL、數據接口、FTP、數據適配器等多種方式。
數據質量處理:主要針對重復、不合規的數據做清洗處理,對多源的基礎數據的融合轉換,完成交換庫的數據抽取,完成數據質量規則定義,數據質量處理流程配置、部署與測試,數據入共享庫建模等流程。主要聚焦對數據自身質量做提升,而不根據業務邏輯做數據處理。
數據共享服務接口封裝:主要包括服務接口的設計、配置、封裝、接口的部署與測試等功能。
數據全生命周期監控:主要包括監測數據采集、指標配置、指標計算、可視化展示、預警提示、故障定位等功能。
數據共享管理:主要包括數據共享服務接口的注冊、發布、申請、審核、授權、統計分析等功能。
數據目錄管理:主要包括目錄編目、目錄注冊、目錄發布、目錄檢索、目錄維護等功能。
數據標準體系:主要包括數據元、數據模型、數據采集、數據交換共享、數據開放、數據質量管控等。
5 結束語
在國家推進政府部門信息資源整合、開放共享的背景下,本文基于交通行業數據應用現狀提出省級交通主管部門建設數據交換共享平臺的一種思路,設計提出了數據交換共享平臺的總體邏輯架構、技術架構和功能架構,挖掘數據隱藏價值,數據取之于交通,再用之于交通,實現以信息化手段促進交通運輸行業傳統管理模式的轉型和創新,科學指導交通決策,更加便捷、高效的開展行業治理和管理,加快智能交通建設。構建行業各應用系統建設數據來源的統一平臺,避免了數據交換接口重復建設,體現了集約化建設的原則,大大節省了未來跨系統、跨區域、跨業務、跨行業間數據交換共享成本。平臺有助于加強政務信息資源共享開放,提高公眾對于交通運輸環境、政策的參與度和知悉度,營造更加開放、自由的交通運輸信息共享環境,樹立良好的服務型政府形象。
參考文獻:
[1]汪祖云.數據中心總體架構與數據共享交換平臺的設計研究[J].交通運輸系統工程與信息,2008(03).
[2]莫賡,鐘華,魏峻.一個面向電子政務的信息交換與共享平臺的設計與實現[J].計算機應用研究,2007(05).
[3]賈一葦.全國一體化國家大數據中心體系研究[J].電子政務,2017(06).
[4]秦浩.政府信息共享模式:理論、實踐與個案研究[J].電子政務,2017(04).
[5]彭言海.基于云計算的政務信息資源共享交換與整合平臺的研究與實現[D].鄭州大學,2017.
[6]王永明,岑春,王林,等.數據采集交換體系及其在交通運輸數據中心建設中的應用研究[J].交通信息與安全,2013(03).
[7]杜勇,李軍.交通數據中心數據整合與綜合數據庫的設計研究[J].交通科技,2013(02).
[8]宋鴻,陳寧,彭建國,等.多源交通信息融合技術在重慶市智能交通誘導系統中的應用研究[J].交通標準化,2013(01).
[9]宋懿,安小米,范靈俊,等.大數據時代政府信息資源共享的協同機制研究——基于寧波市海曙區政府信息資源中心的案例分析[J].情報理論與實踐,2018(06).
[10]黃明峰,劉軍,靖劍波.貴陽市政府數據開放平臺設計與實現[J].電信科學,2017(09).
[11]李凡星.基于數據質量的政府開放數據平臺評估探究[D].南京大學,2017.
[12]朱丹.政府數據資產價值評估與價值實現研究[D].華南理工大學,2017.