文|吳志強
在當前單一窗口業務及系統建設繁多復雜的背景下,如何對其有效分層、整合、串聯、高效應用,是當前信息化項目探索方向之一。本文以廈門口岸領導駕駛艙建設為例,展示駕駛艙項目的關鍵技指標管理、數據倉庫、即席分析等關鍵技術手段,說明大屏頁面、物流鏈時效、數據匯聚、GIS地圖等各核心模塊的劃分邏輯,展望后續項目規劃。
領導駕駛艙是在考慮用戶類型和使用場景下,為實現單一窗口業務下各部門領導對全業務鏈條及各環節的快速把控要求進行的設計。其架構上連通各系統,提供相關的管理工具及素材庫,滿足隨業務融合發展而在功能及展示方面出現的新需求。

圖1 駕駛艙架構圖
架構層級主要包含如下幾個。
硬件資源層——調用單一窗口融合已有計算、存儲、網絡資源,實現資源最大化共享共用,支撐平臺整體運作。數據庫層——按業務專題及系統功能等要求形成各類數據庫,包含專題數據庫、數據倉庫、業務數據庫、共享庫、交換數據庫,在此基礎上管理開發,形成共性數據集市并提供服務。服務支撐層——包括消息服務、移動支撐、任務調度、統一工作流、日志服務等。應用層——用戶可接觸的展示內容及應用功能,如全景展示、物流展示、數字綜保區等。接入層——包含PC端、大屏。用戶層——包含政府領導及相關權限的人員。
駕駛艙系統的數據是從外部數據源中采集入庫,數據在清洗后根據指標設計體系將數據分類形成各類數據庫,將數據寫入庫中,用于展示及分析,包含數據的采集和清洗。數據采集包含數據來源與采集頻度。數據來源是根據數據的準確性、實時性、完備性等方面綜合考量后選擇數據來源。領導駕駛艙項目中,電子口岸大數據基礎平臺、海關、電子口岸業務系統分別提供不同維度的數據內容。采集頻度是依據統計指標實時性強弱的要求進行設置,常用有年度、月度、每日、實時同步。數據清洗用于保證數據質量及可用性,需根據具體的數據和項目需求,采用不同方法。領導駕駛艙項目使用了缺失值、異常值檢測、數據去重等方式做數據清洗。
1.指標管理
指標管理是對指標全生命周期管理。應用該體系可實現血緣關系分析、數據跟蹤溯源,明確數據關系,滿足不同統計口徑需求,實現數據變遷歷史及路徑跟蹤,保持指標的一致性和有效性。
2.閾值管理
用于定義和管理指標的數據閾值,確保數據的準確性和可用性。包括上下限閾值、三色標展示狀態、設置預警邏輯,協助對應潛在風險。該方法用于確保基礎業務數據和數據倉庫的實時變更的聯動性和一致性,從而適應未來的系統變化,更好地滿足業務需求。
3、 關鍵技術
指標管理:包含指標體系、審核、發布、管理、啟用、停用、變更、關聯、指標應用。在此管理體系下,首先會對數據類型、層級、指標設置、粒度等一系列內容的定義形成指標體系,接著對通過審核對指標的完整性、準確性審核,判斷相關數據的可應用性,指標的層級、分類是否合理,并審核通過后發布。指標將在創建或修改后通過審核發布后被啟用,其他應用可在該體系下查詢或使用數據。數據體系指標發生變動時可通過發布新版本更新,舊版本及變更記錄形成歷史版本在系統進行管理,可作為一列記錄進行查閱。指標體系使用過程中,需先啟用上線,下線前需先停用指標及指標體系。在運行過程中,如果需要對關聯關系、計算關系、計量單位等進行整體變更,可通過整體的版本迭代保證體系可用性。
數據倉庫:數據倉庫是一種用于集成、存儲和管理企業數據的關鍵技術,旨在支持數據分析、決策支持和業務智能。在駕駛艙項目中,數據倉庫用于存儲數據分析主題數據,獲取業務原始明細數據,依據不同的業務分析需求,形成各類分析主題數據庫及數據分析專題庫。并在此基礎上,形成統計分析倉庫、分析立方體模型庫以及存儲統計分析結果的指標數據庫和提供查詢的數據集市。同時,系統將分析結果輸入到ADS數據層,為數字駕駛艙內各類專題提供查詢支撐。數據倉庫關鍵環節包含:ETL、數據建模、數據倉庫管理系統、數據質量管理、數據查詢和分析、數據查詢優化、數據安全、數據備份及恢復、數據集成、數據挖掘分析工具。
即席分析:即時分析是一種重要的數據分析方法,旨在滿足即時、非結構化和未預先定義的數據分析需求。涉及關鍵技術包含數據存儲和處理、OLAP分析、數據可視化、搜索技術、數據挖掘、預測分析。其中,數據存儲和處理包括數據倉庫、數據湖、NoSQL等。OLAP分析是一種常用的即席查詢和分析技術。它使用一個多維模型來理解和分析數據,將數據劃分為多個維度并按照這些維度來聚集、匯總和展示。數據可視化用于將數據轉化圖形表示形式。搜索技術用于信息的高效查詢搜索及結果反饋,常用技術包括文本搜索、自然語言搜索和語音搜索等。數據挖掘用于從大規模數據中挖掘出知識和關系,常用技術包括分類、聚類、關聯規則、異常檢測等。預測分析用于數據和模型來預測未來趨勢和結果的技術,常用的預測分析技術包括回歸分析、時間序列分析、機器學習等。數據安全為即席分析使用敏感數據進行分析和查詢,數據安全措施包括身份認證、訪問控制、數據加密、審計和監控等。
本章以中國(廈門)國際貿易單一窗口領導駕駛艙項目為例進行說明展示。
大屏是以現有業務內容劃為五屏:口岸全景展示、數字綜保、數字海港空港、海運物流、空運物流。大屏以中間地圖、左右兩側儀表板為基本結構;采用總分結構,逐級明確的設計思路;使用兩側數據與地圖關聯互動模式的互動模式。以空港海港數據指標展示為例,地圖上以廈門為中心展示海空航線路徑、交通工具數量、貿易額等數據,可關聯左右兩側統計圖表數據,針對不同區域、時間、計算維度進行圖文結合的展示,使該指標從結果、過程、變化趨勢一眼可知。
物流鏈以鏈條形式展示,物流各環節使用相鄰節點之間采用三色標展示時效,單節點業務數據使用數字加圖表展示。整體情況及異常時效一目了然。如物流正常節點可顯示綠色,當超出正常時效范圍,在展示當前時效時使用黃色進行預警,當遠超出預警閾值,展示內容變為紅色進行警告。
考慮到口岸業務擴展性及應對需求變更等因素,數據獲取在設計時采用以明細抽取并存儲至數據倉庫的形式,可快速實現用戶對數據變動需求的操作。 例如,在統計進出口貿易時,大部分情況展示指標為業務單量、貨值,若后期需求變動,使用抽取展示匯總數據這一方案,則需重新開發服務接口,而采用抽取并存儲數據明細至本地的方案,則能快速統計貨物的重量。
在全景展示、數字綜保區、數字海港空港等場景下,引入GIS地圖,將其與業務數據聯動,提供更加直觀的觀看體驗,使用戶更好地理解和分析地理數據與業務數據的關聯。在全景展示模塊,可通過切換物流方式及區域劃分維度的選項形成不同條件組合,將數據結果展示在GIS地圖上,用戶可直觀了解口岸業務的整體面貌及業務動態。
廈門單一窗口數據駕駛艙項目從用戶業務實際需求出發,整合現有系統及數據資源,劃分業務場景,梳理業務鏈條,形成圍繞駕駛艙展示、應用、管理的綜合數據集市。在減少業務人員的工作量和提供準而全的數據圖景方面提供了有效支撐。后續,領導駕駛艙項目將在已有基礎上持續優化,進一步提高靈活性、易用性、滿足個性化的展示及分析需求。