◎ 李輝 隋永舉 南海航海保障中心
“航標大數據”機制的建立及應用探索
◎ 李輝 隋永舉 南海航海保障中心
隨著航標信息化的不斷推進,航標應用數據正以前所未有的速度增長,長期的航標業務數據的積累預示著航保大數據時代即將到來。通過對航標大數據內涵和外延的深入理解,本文研究并提出了“航標大數據”的概念,對航標大數據的組成進行分析,結合航標信息化建設現狀,提出航標大數據架構搭建方案,分析了航標管理的典型的大數據應用場景,航標大數據的應用必將推動航標業務管理和對外服務水平提升。
航標 大數據 機制、應用、服務
隨著數字信息化時代的迅猛發展,信息量也呈爆炸性增長態勢。全球的數字信息資源正進入到一個前所未有的快速增長期。航海保障作為把水運業的重要環節,其作用也越來越突出。經過多年的發展,我國沿海港口航道基本形成較為完善的航標導助航體系,目前已從傳統視覺航標系統,發展到近、遠程無線電導航系統,全天候、多途徑的一體化助航系統已經初步形成。航標在履行傳統助航服務的同時,承擔著水文、氣象、海洋等多種負載觀測功能,眾多航標數據的匯聚已形成航標大數據應用趨勢。如何發掘航標大數據這塊瑰寶、如何形成大數據應用機制,將是航標管理機構在全球大數據時代所面臨的機遇與挑戰。
通過對航標數據進行各種比對分析,具體航標大數據的數據元可由如下方面組成:
①航標靜態基礎數據:是航標提供對外航海保障服務的基礎數據,主要包括航標公有數據、航標專有數據、航標設施數據、航標管理數據。
②航標動態管理數據:航標從設置到撤除全生命周期的動態管理數據,主要包括生產動態數據、管理動態數據、維護保養動態數據、設備使用動態數。
③航標實時監測數據:航標監測設備所檢測到航標運行狀態數據,主要包括燈器運行狀態數據、設備運行狀態數據、設備上線使用數據、檢測故障數據。
④航標負載監測數據:以航標為載體,負載在航標上監測設備檢測到的環境關聯數據,主要包括水文監測數據、氣象監測數據、海洋監測數據、航運監測數據。
大數據是一個綜合性的概念,包含了技術和應用大數據兩個層面。技術大數據使得數據的存儲和計算效率大為提高,應用大數據的最大意義就是獲得更多的收益。可見,技術是基礎,應用才是目的。為將分散的、未過濾的、從未匯聚且未發生反應的大數據應用好,必須在技術上首先建立一個較好的大數據架構。
大數據平臺的建設充分考慮現有信息化資源、設備和數據,才能具備較好的基礎和持續的生命力。通過了解我們發現現有的航標數據庫都為傳統的關系型數據庫架構,數據倉庫的數據處理流程與業務保持緊密關聯、整個數據加工流程為最終應用服務。為保證航標到時平臺與現有航保信息化資源相匹配,結合航保目前的數據存儲的水平及現狀,我們認為可選用Hadoop平臺作為航標大數據基礎平臺,Hadoop平臺提供了海量數據的分布式存儲與處理的架構,基于服務器本地的計算與存儲資源,Hadoop集群可以擴展到上千臺服務器。同時,Hadoop在設計時充分考慮了硬件設備的不可靠因素,在軟件層面提供數據和計算的高可靠保證。Hadoop平臺這些優勢正適合在目前的航保信息化資源上搭建航標大數據平臺(詳見圖2)。
航標大數據平臺各構件具體功能如下:
①數據采集(ETL):負責源數據的采集、清洗、轉換和加載,把原始數據加載到Hadoop平臺,把加工后的數據加載分布式數據庫和主數據倉庫。
②Hadoop平臺:負責存儲海量的運維管理數據,提供并行的計算和非結構化數據和處理能力,實現底成本的存儲和低時延、高并發的查詢能力。
③分布式數據庫:存儲加工、關聯、匯總后的業務數據、并提供分布式計算、支撐數據深度分析和數據挖掘能力,向主數據倉庫輸出KPI和高度匯總數據。
④主數據倉庫:存儲指標數據、KPI數據和高度匯總數據。
⑤數據采集存儲:將核心模型通過改造融入到現有主數據倉庫的核心模型中,將主數據倉庫中的歷史數據和清單數據遷移到低成本分布式數據庫。
⑥數據服務:大數據平臺的架構將數據分層管理,在各層提供數據開放接口,或建立ESB總線,根據應用需要,將數據服務注冊到ESB總線上供調用。

圖2 航標“大數據”平臺
航標大數據平臺就是要將零散的、分布于各類航標系統的數據通過大數據工具提取并清洗后進行分布式儲存,在大數據平臺上通過數據間的相互協同應用,發揮數據的最大效益,解決傳統方式不能解決的業務問題,粗略的統計,航標大數據可進行如下方面的應用。
3.1建立航標維護保養大數據分析機制
航標的維護保養是航標管理最為重要的環節,通過航標大數據的應用,我們可以對航標設備使用數據、維護保養數據、狀態檢測數據、外部協同數據相關要素進行抽取、篩選、組合,將傳統管理經驗轉換成科學的大數據算法。通過大數據計算形成對每座航標維護保養有實際指導意義的數據分析指標,實現對航標維護保養智能管理,改變現有片區化、集群化進行航標維護管理,讓航標維護保養可步入精確化、特定型的維護管理方式,維護保養周期大幅度拉長,維護保養成本將大幅度降低。
3.2建立航標設備質量評估大數據分析機制
目前,各航標管理部門對航標產品品質的把控一般是使用人員根據日常維護管理經驗對航標設備的品質進行評定,存在不客觀性。航標設備質量最主要的表象就是航標效能的穩定性,產品品質越好,故障率越低,航標效能越穩定。通過大數據的應用,我們可以提取航標數據中的航標故障信息,通過對不同品牌航標設備的故障類型、故障發生頻次、監測數據穩定性等系列與航標設備質量有關的數據進行統計、比對分析,采用特定大數據算法,形成航標產品比對機制,對各類航標產品的質量進行科學評定,為航標設備采購提供詳實的決策依據。
3.3建立航標效能大數據評估機制
各類航標效能評估主要方法是在專家咨詢的基礎上,將影響航行安全條件的各因素層次化,通過專家評分后,運用模糊綜合評判方法得到最終的評判結果。模糊綜合評判方法應用導致最后的風險評估結論往往籠統的,針對性不強。通過大數據的應用,可以最大程度地調取與航標效能因素有關的各類數據,采用建立特定的數據模型,對航標系統的配布狀況、運行效率以及服務水平通過數據的統計、對比進行定量分析,有針對性地找出航標系統存在的風險因素以及性能指標的缺陷,通過數據分析結果給出最為合理的改進措施,提高航標的技術水平和可靠性。
3.4建立航標應急反應大數據決策機制
航標應急反應業務是針對突發性航標故障進行的航標應急搶修工作,需要航標管理者根據突發故障的類型人為組織資源,船艇、設備、人員狀態的不確定性會無形中影響應急反應的執行效率。通過大數據的應用,可依據應急反應預案建立應急反應大數據模型,在應急反應發生時由系統根據應急反應類型去提取與應急反應相關的數據,有針對性地匹配最佳的應急反應方案,選取與該應急事件所在環境最匹配的資源,各項子任務精確推送到執行者的終端,所有執行者按照指令迅速開展工作,應急反應全程實現科學決策、精確調度、自動推動、精準執行。
“航標大數據”是在全球各行各業開展大數據應用的背景下依據航標管理及服務的需求提出的行業數據應用概念。筆者希望通過此文促進航標管理層重視大數據的應用,通過航標大數據機制的建立,帶動航標管理及服務技術的進步。