智能公交系統的大數據平臺信息資源規劃

張 震 孔令濤 郭向海 陳慧穎 范 琦

（1.鄭州大學電氣與信息工程學院，河南 鄭州 450001；2.河南省交通運輸調度指揮中心，河南 鄭州 450000；3.鄭州大學計算機與人工智能學院，河南 鄭州 450001）

0 引言

近年來，城市智能公交行業的信息化建設產生帶來了大量數據資源。隨著大數據時代的到來，信息資源的總量還在飛速增長，“互聯網+”使無處不在的公共交通基礎設施網絡、無時不有的人和物發生位移，從而產生海量的動態數據，這些數據對企業的發展和社會的服務都起到至關重要的作用，為公共交通行業帶來新的機遇與挑戰?？v觀城市公交行業的信息化發展狀況，發現其缺少信息交換共享機制、缺少綜合大數據服務平臺、缺少信息交換共享的基礎設施和數據徑，行業宏觀決策缺少數據支持。通過構建大數據云平臺，能有效解決平臺搭建的數據質量不高等問題。發展現代化城市智能公交系統，就是用信息技術來改造和提升公共交通基礎設施、運輸裝備的智能化水平和運營效能。通過對大數據的交換、整合和分析，探索出城市公交系統與大數據融合發展的創新之路，促進城市公交系統的提質增效。通過對城市公交系統內的海量信息進行資源規劃，并以大數據平臺［1］為支撐，為信息資源檢索和開發利用提供有效途徑。通過搭建數據整合與共享服務平臺，能實現各業務間的信息共享，提高對社會公眾和企業的信息服務能力。

1 智能公交系統信息資源規劃現狀

隨著計算機技術、數據存儲與管理技術的不斷發展，大數據、云計算等新技術也不斷涌現。大數據時代技術革新的浪潮將推動企業管理朝著智能化、標準化的方向發展，城市智能公交行業也要把握好這次技術革新。然而在多年的信息化建設中，城市智能公交行業雖建設了許多應用軟件和大量的數據庫，可信息孤島［2］、共享程度低等問題十分突出，“散”的建設模式既包括數據庫建設零散，也包括數據資源的存儲零散，數據整合與共享程度不高。同時，數據資源缺乏系統規劃與有效組織，數據資源體系不完善，數據質量不高，難以實現數據共享。數據資源分散存儲在各應用系統后臺自有的數據庫中，數據資源挖掘分析和應用深度不夠。主要表現在以下三個方面。

1.1 缺少信息交換共享機制，行業宏觀決策缺少數據支持

雖然根據城市智能公交的業務需求初步建立起專業數據區域，但條塊分離的格局、信息交換共享機制的缺失，使得數據資源自成體系，導致跨區域、跨部門的信息交換共享范圍存在局限性，不利于對綜合數據的挖掘，影響對宏觀決策的支撐。

1.2 缺少綜合大數據服務平臺，缺少信息整合交換共享的基礎設施

雖然城市公交系統積累了大量的數據資源，但各業務間的數據共享程度低，缺少統一的數據管理平臺，導致行業管理數據、業務數據相對分散和孤立，已無法滿足城市智能交通的發展需要。目前，各行各業都在追求信息資源的合理整合。通過數據整合與共享交換技術來提高整個行業的信息利用率。智能公交大數據分析云平臺為數據整合、共享、交換奠定更加堅實的硬件基礎。

1.3 基礎數據的標準不統一，數據質量不高

基礎數據的數據標準和數據質量的好壞對下游決策系統的正常運行和決策分析起著至關重要的作用。由于各部門業務系統的差異、數據獲取渠道的不同，加之數據維護的方式和手段各異，導致基礎數據的維護要求不統一?；A數據不一致，使得數據質量無法判別，直接影響業務管理及應對重要事件的決策分析能力。

2 信息資源規劃及平臺架構

2.1 信息資源規劃整體思路

信息資源規劃是頂層設計中的一項重要工作，屬信息資源層建設。站在全局發展的戰略高度，對開展業務活動所需的信息資源進行全面規劃，包括對數據的生產、處理、存儲、應用、管理等整個生命周期進行分析研究。

智能公交系統信息資源規劃是在智能公交大數據平臺建設的基礎上，根據數據需求分析結果，整合分散在各業務系統中的基礎數據，補充采集視頻、危險性定位、場站狀態、客流等實時數據，從而滿足公交總公司對城市公交運營、管理的需求，并為公眾信息服務提供數據資源支持。智能公交大數據平臺按照加強安全監管、促進協同應用、提升決策與服務水平的需要，分析梳理數據的指標，分類建立基礎數據倉庫［3］、業務數據倉庫和主題數據倉庫，并建立部門之間、業務之間的數據交換，完成各業務部門的數據同步與共享等。

2.2 大數據平臺整體架構

結合信息資源規劃的整體思路，智能公交大數據平臺的整體架構如圖1所示。

圖1 智能公交大數據平臺整體架構

智能公交大數據平臺是以云化硬件為基礎構架。大數據平臺的底層核心計算引擎分為兩種，一是面向海量數據離線處理的開放數據處理服務，二是面向大量數據實時計算的實時計算服務。對不同的數據輸出要求，提供離線（實時）的數據服務。在這兩類計算引擎的基礎上，提供產品化的應用功能，實現對底層技術復雜性的屏蔽，為資源使用者提供數據標準化檢測［4］、數據交換平臺［5］、可視化數據資源平臺，并為具有開發能力和運維能力的產品使用者提供開放的應用接口、運維平臺、數據倉庫建模工具、可視化工具和數據授權系統等。以數據交換平臺為工具，為整個智能公交行業提供數據輸出區的共享和服務。縱貫整個體系的統一元數據服務，可實現全生命周期的數據血緣［6］和數據源追溯。

3 智能公交系統信息資源規劃建設

3.1 邏輯結構設計

智能公交大數據平臺需要具備以下四個功能，即大容量數據存儲的功能、數據整合和交換的功能、運行管理的功能、數據應用的功能。使用分層的構建方式，同時結合綜合大數據平臺的核心思想，智能公交的大數據平臺自底向上可分為數據采集層、傳輸存儲層、數據資源層、應用支持層、應用展示層，其邏輯結構如圖2 所示。該系統體系囊括數據的抽取、清洗、分類、加工、裝載、交換、展示等操作。傳輸存儲層對抽取的數據進行第一次清洗，將通過標準化檢測的數據存儲在數據資源層，數據資源層采用數據倉庫的數據集成方式。應用支撐層是基于SOA［7］的公共交通大數據平臺邏輯層的技術分析，可實現跨公司、跨系統的公共交通智能調度分析。通過智能公交信息資源目錄和數據交換平臺來實現數據資源的整合與共享，平臺使用者通過普通瀏覽器、客戶端應用程序、平板電腦、手機等終端來訪問應用展示層，基于Portal［8］的顯示技術，從而滿足平臺使用者個性化的顯示需求，并與數據資源層、應用支持層的擴展模型相適應。

圖2 智能公交大數據平臺邏輯結構

3.2 數據采集層

數據采集層包括語音通信終端、移動應急處置終端、人工坐席，以及各級領導及管理人員使用的交通專網客戶端，各級統計、計劃管理的業務人員使用的交通專網客戶端，社會公眾使用的互聯網客戶端和進行交通運行動態數據采集的外場監控監測終端。交換平臺的數據導入、手工錄入、數據庫自動轉發及業務系統自動生成T 日增量數據等都是數據采集的常用方式。通過對已有的信息資源和數據源系統數據傳送機制進行分析，并結合信息資源規劃理論，發現智能公交行業要存儲的數據可分為兩類，一是作為基礎數據的存量數據，二是作為業務數據的增量數據。由此可知，智能公交大數據平臺的數據采集層可使用以下三種方式進行數據的采集和錄入。①數據人工錄入。支持相關人員根據需要采用人工的方式錄入數據。②電子化導入。支持用戶導入符合要求的excel、txt 格式數據文件。③數據交換接口。支持用戶利用數據轉換接口，從已有的相關業務應用系統中共享數據。

3.3 傳輸存儲層

3.3.1 硬件環境。傳輸存儲層主要包括網絡和主機存儲，為大數據平臺建設的實施提供支撐。網絡通信包括有線網絡、無線網（GPRS/CDMA［9］、3G/4G/5G、WiFi）等，主要建設二級接入網絡，從而實現各部門之間和各業務之間的互聯互通。主機存儲系統包括主機服務器、應用服務器、數據庫服務器、災備服務器等設備。

3.3.2 數據標準化檢測。在傳輸存儲層要對數據采集層傳輸來的數據進行數據標準化檢測，對數據倉庫上游的數據進行數據治理［10］，能有效提高入倉時的數據質量。數據標準化檢測除了對指標、數據元［11］、數據庫結構等數據自身的標準化進行檢測外，還要對交換數據的標準、元數據標準等進行檢測。數據標準化檢測主要是對采集到的數據進行過濾、篩選等，剔除和調整不合理的數據，同時對數據項的數據類型、數據格式、數據單位、數據值域以及數據的一致性和完整性進行檢測。在智能公交大數據平臺中，同一應用數據有可能分布在不同的數據源中，在進行數據采集抽取時，為了消除數據的不一致性，要根據數據的真實性、有效性驗證規則對數據進行整合，并對數據進行轉換清洗。該系統的數據標準化檢測有以下四個方面。①消除同名異義和異名同義的現象。例如，在業務系統中，性別有的用“男/女”來表示，有的用“1/2”來表示，含義是一樣的，但在進入數據倉庫前必須調整成為統一的格式。②一致性檢查。當同一數據來自不同的數據源時，要對數據進行分析比較，只有審核一致后才能進行入數據倉庫中，從而達到系統的一致性。③冗余數據刪除。將重復出現的同值數據刪除。例如，在系統中將15 位身份證號轉成18 位身份證號后，發現其會與已有的18 位身份證記錄重復，且在其他關鍵數據域也記錄一致的話，可進行消除冗余工作。④數據歸并。當某一主題的數據是由不同的系統組合形成時，按照關鍵項對數據交換與整合軟件進行合并，如車輛的車牌號，對組合后的數據要統一整合到數據中心。

3.4 數據資源層

數據資源層負責各種動（靜）態信息的資源整合、統一管理、統一對外提供數據服務。數據資源層包括大數據平臺所依托的基礎數據庫和根據應用需求建設的各類應用數據庫、數據倉庫等。數據資源層包括基礎數據倉庫、業務數據倉庫、主題數據倉庫三大板塊［12］，如圖3所示。

圖3 數據庫總體結構圖

3.5 應用支持層

應用支撐層位于應用展示層和數據資源層之間。通過數據抽取［13］和清洗技術為應用展示層所需的數據做準備，使用數據整合與交換技術來實現數據的實時共享與轉發。應用支撐層包括數據交換平臺。數據交換平臺用于整合交通行業數據，將文件、數據庫、ETL［14］等數據的接入方式進行統一管理，并開發出數據融合匯聚、格式轉換、轉換處理、實時轉發、配置管理等功能。

數據交換平臺的工作流程如下。首先進行數據的抽取。數據使用者可根據不同的業務需求，對數據資源層中的數據倉庫各數據表中的數據進行查詢操作。然后，根據數據交換平臺數據庫的數據標準對抽取到的數據進行數據清洗，并刪除不符合數據標準的信息。同時，根據數倉下游系統數據庫的格式要求對符合數據標準的數據資源進行格式轉換，從而確保下發給數倉下游系統的數據格式的一致性。最后，數據服務要面向行業數據需求來開發實時的數據交互接口，服務提供載體是各類數據應用API，API采用標準的Webservice規范、Rest 風格的數據服務接口［15］、XML 的數據返回，范圍要覆蓋到所有基礎數據的簡單與組合查詢，并根據具體的應用需求進行二次開發。此外，要提供接口的注冊與查詢頁面，可實現對服務注冊與服務描述的查看。

3.6 應用展示層

3.6.1 可視化數據資源平臺。在行業已有的應用系統的基礎上，完善或新建相關的應用平臺，包括可視化數據資源平臺，用來展示信息資源目錄。信息資源目錄是信息組織的一種方式，其能根據語法、語義和語用等規則對信息進行組織，從而方便信息的檢索。通過信息資源目錄，可直接定位到相應的信息資源，如主題數據庫、服務資源、數據源數據倉庫等。

3.6.2 信息資源目錄。信息資源目錄是參照元數據的標準規范，對數據資源進行梳理，對梳理后的信息進行加工編目，并生成資源目錄體系。信息資源目錄體系模型包括支撐標準、元數據庫、信息資源目錄三部分［16］。在資源目錄編制時，根據元數據標準規范，來糾正標準和規范不統一的問題及目錄內容檢查時發現的問題，從而達到信息統一規范，以便目錄的創建和管理。信息資源目錄體系的業務流程包括資源編目、資源注冊、資源發布，并提供資源訪問和資源維護等功能，信息資源目錄進行資源管理的實現流程如圖4 所示。

圖4 信息資源目錄實現流程

目錄管理可理解為綜合數據庫數據的查找索引配置，目錄本身的元數據配置不依托其他模塊，可獨立運行。目錄管理的開發過程是從數據元開始，先識別所有抽取數據的數據項，并對其進行數據元分析，從而形成每個資源的數據元集，然后對數據元集進行分類，并形成目錄，目錄的分類及數據元的設計都要遵照相關標準規范。

基于數據標準接入的數據，能按數據來源、主題等自動生成相應的數據資源目錄?；谥笜梭w系建立的指標數據，能按主題自動生成相應的指標數據資源目錄。按提供單位、主題等對數據資源進行自動分類編目展示，展示的內容包括數據項、數據簡介、數據來源、數據更新頻率、更新方式和數據更新描述等［17］，提供樣例數據下載和指標追溯。按照指標分類規則、類別對指標進行分類展示，展示項包括指標名稱、指標定義、時空維度等。

數據資源服務。根據國標、地標及行業標準，并結合各行業系統的特點，對整合資源庫中接入的數據整理出資源目錄，并把相應的資源對外發布為webservice 或http 服務。當資源需求方在管理系統上查詢到可共享的資源時，通過webservice 的方式向數據管理系統提出數據請求，資源提供方可根據請求，使用webservice 或http 方式把數據共享給資源需求方。

4 結語

大數據平臺建設及數據標準化檢測技術和信息資源目錄技術的應用是一項長期工作，本研究提出一整套智能公交大數據平臺的建設方案及依賴于該平臺的信息資源規劃方案，提出采用基于數據標準化檢測的智能公交系統信息資源目錄，實現數據源的整合與深度利用。通過構建數據交換平臺與可視化數據資源平臺，從而有效解決信息孤島、共享程度低等問題。