海事大數據收集與利用方式研究

程勝利

（北海航海保障中心天津航標處，中國天津 300456）

“大數據”指的是超過常規存儲級別的巨量數據資料，通常要達到PB（1PB=1024TB）或 EB（1EB=1024PB）乃至 ZB（1ZB=1024EB）級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB。而到2012年為止，人類生產的所有印刷材料的數據量僅為200PB，全人類歷史上說過的所有話的數據量也只是5EB。預計到2020年，全世界所產生的數據總量將達到今天的44倍。這就意味著，未來的數據規模將遠遠超越現有IT架構和基礎設施的承載能力，實時性要求也將大大超越現有的計算能力，人類社會即將步入“大數據時代”。

單純的數據膨脹并不能帶來任何直接效益，但是在這些海量數據中，有著對某一事件源自不同角度、不同認知方式、不同變化因素的記錄，大量的同類數據疊加分析便極有可能預示出該事件的變化規律，利用專業數據處理方式，從中加工提取有價值的信息資訊，即可對事件變化趨勢作出預判。大數據技術的戰略意義即在于此，在現代社會商業、經濟及其他領域中，決策將日益基于數據和分析而作出，而并非基于經驗和直覺。

目前世界上對大數據的研究利用已經取得了一定進展，在某些領域也有不錯的表現。在2014年巴西世界杯期間，谷歌公司通過數據模型成功預測了世界杯8強每場比賽結果；2012美國大選中Nate Silver公司的大數據模型預測對了所有50個州的選舉結果，選舉人票數和得票率都驚人地準確，這些事例都充分展示了大數據與數學模型的魔力。

在未來的海事監管和航海保障服務工作中，隨著電子計算機、傳感器、遙感衛星等信息化系統設備的不斷增加，數據的來源及獲取方式變得更加多樣化，日常管理工作中會產生巨量的、離散的數據資料，這些看似沒有關聯的信息通過加工提煉，可以產生在某些方面具有一定價值的信息資源，形成幫助海上交通參與者經營決策的積極資訊，提高其對海洋和陸地環境變化趨勢的預判，使海事工作具有更強的決策力、洞察發現力和流程優化能力。

1 海事大數據內涵

大數據只是一個較為抽象的概念，正如信息學領域大多數新興概念，大數據至今尚無確切、統一的定義。當前，較為統一的認識是大數據有四個基本特征：數據規模大(Volume)，數據種類多(Variety)，數據要求處理速度快(Velocity)，數據價值密度低(Value)，即所謂的“四V”特性。這些特性使得大數據區別于傳統的數據概念。大數據的概念與“海量數據”并不同，后者只強調數據的量，而大數據不僅用來描述大量的數據，還更進一步指出數據的復雜形式、數據的快速時間特性以及對數據的分析、處理等專業化處理，最終獲得有價值信息的能力。

就海事監管與航海保障工作而言，狹義上的大數據資源可以分為船舶基礎數據、航標基礎數據、海洋測繪數據和通信數據，涵蓋海事關鍵業務資源；而廣義上的大數據概念則是指與海事活動相關的一切數據資源，除關鍵業務資源外，還包括管理者的一切公務活動、隨時測量和傳遞有關位置、運動、震動、氣象乃至潮流信息變化的傳感器數據等。這些數據資源規模量大、數據格式種類多、要求處理及觀測的速度快、具有很高的利用價值，符合大數據“四V”特性。

本文著重就狹義上的海事大數據資源整合利用作探討研究。

2 海事大數據收集方式研究

大數據的一個重要特點就是多樣性，這就意味著數據來源極其廣泛，數據類型極為繁雜，這種復雜的數據環境給大數據的處理帶來極大的挑戰。要想處理大數據，首先必須對所需數據源的數據進行抽取和集成，從中提取出關系和實體，經過關聯和聚合之后采用統一定義的結構來存儲這些數據。在數據集成和提取時需要對數據進行清洗，保證數據質量及可信性。

由于大數據的運用已經突破了傳統物理存儲的概念，動輒PB、EB級別的數據資源已經無法單純依靠存儲設備的增加來滿足其需求，這里就要用到“云”的概念。

所謂“云”，就是借助網絡上大量的分布式計算機來處理、存儲、加工數據，實現本地資源的對外開放共享和網絡資源的獲取利用。對于海事系統而言，每一個行政單位區劃或核心業務部門相對于自身可以稱為“地端”，相對于其他行政單位稱為“云端”。“地端”負責提供本地的核心業務數據和外部接入方式，并保證所轄數據更新的及時性和權威性；“云端”則根據工作需要，帶有明確指向性地從相關“地端”中抽取數據進行監測或加工處理，形成自己需要的信息資源。正是云計算技術在數據存儲、管理與分析等方面的支撐，才使得大數據有用武之地。

具體來講，每個行政單位可以根據自身需要和保密等級對所轄業務劃分1個或多個基礎信息數據庫，即所謂“地端”。該“地端”作為內部核心數據平臺，存儲本單位履行公共服務職責產生的公開數據，如海事監管信息、船舶AIS信息、航標信息、海圖信息等，并保證相關數據的準確性和及時性。之后，所有“地端”依托海事專網或者互聯網對外提供準入接口，供“云端”數據調取使用。同時為保證“地端”數據不被惡意篡改或刪除，還應對其設置相應的訪問控制策略和使用權限，使之符合工作需要。

基于“云存儲”概念的海事大數據可以使任意“地端”通過合理的方式訪問“云端”數據資源，實現一定范圍內數據資源的開放共享。條件允許的情況下，“云存儲”甚至還可以拓展到與海事相關的更多單位部門，如氣象、搜救、海洋、海關、漁業、海警等部門，實現更大范圍內的聯系互動和更多資源的共享利用，滿足多元化、多層次的用戶需求。

3 建立海事大數據專業化處理機制

前文提到，單純的數據膨脹并不能帶來直接效益，大數據價值的完整體現需要多種技術的協同。文件系統提供最底層存儲能力的支持。為了便于數據管理，需要在文件系統之上建立數據庫系統。通過索引等的構建，對外提供高效的數據查詢等常用功能。最終通過數據分析技術從數據庫中的大數據提取出有益的知識。

海事大數據的利用可以分為兩個方向，一種是“地端”對“云端”的數據需求，另一種是“云中心”對全局情況的掌控。下面結合二者所需不同的處理方式予以分別介紹。

3.1 “地端”對“云端”的數據需求

建立大數據專業化處理機制，常用的功能即是實現“地端”對“云端”數據的訪問。以航標處為例，作為“地端”的航標處，本身掌握所轄區域航標的全部屬性信息，如航標位置、燈質、運行狀態等數據，如果單純在這些數據基礎上進行加工，很難產生更多、有效的利用價值，更談不上對未來環境變化趨勢的預判和為海上交通參與者提供積極資訊。但是如果借助“海事大數據”的“云端”訪問獲取到其他信息進行深度加工處理，則可以實現拓展更多的利用空間。

比如，航標位置數據與船舶AIS數據的互動。通過“云端”調取的AIS船舶信息可以清楚掌握船舶的航行軌跡，用航標位置數據與船舶位置數據進行實時的匹配計算，可以計算出船舶航線內與航標發生碰撞的可能性，提早發出預警信號，降低碰撞事故發生概率。再如，傳統的船舶安全管理工作更多地是通過規章制度以及現場經驗等模式進行。海事人員可能會根據工作流程，并結合時間、現場情況等因素決定是否對一艘到崗船舶實施檢查，這種方式受外界因素制約較大，影響船舶安全查驗的覆蓋性和準確性。應用“大數據”專業化處理機制后，很可能會產生一種新型的、基于風險等級的分類分級管理方式：由于每一條船舶的出廠信息以及在各個港口接受檢驗信息都能夠以電子數據的形式存儲在“地端”，另一個地方的海事部門可以基于對“云端”的訪問，通過計算機系統對某一條船舶以往違章情況、安全檢查情況、所屬公司信息、證書等級、船舶種類、裝載貨物類別等數據綜合分析后得出“客觀判斷”，給予其劃分“高風險”、“中風險”、“低風險”等級，海事人員即可根據需要，有針對性的對重點船舶進行安全檢查，使“大數據”成為海事監管的重要參考依據。

利用“地端”對“云端”的數據訪問，可以實現自身工作的科學化、精細化管理，拓展和提高“地端”本身業務功能以及工作效率。這種方式可以由各單位自行設計平臺流程，通過不同的數據組合、不同情況的對比分析產生更多對自身有益的價值資訊。

3.2 “云中心”對全局情況的掌控

大數據的另一種專業化處理方式即是通過建立“云中心”，對所轄全部“地端”進行數據整合分析，加強對全局情況的掌控。

例如，“云中心”可以從航標部門實時提取航標位置信息，與測繪部門電子海圖標注的航標位置信息以及通信部門播發的航行信息作對比分析，由此判斷相關部門是否及時履行公共服務職責。此外，還可以通過建立每個“地端”關鍵業務數據完成情況和完成質量的量化考核指標，由“云中心”綜合計算得出每個“地端”的綜合得分，替代定期績效考核和人工檢查，使工作量化考核更加標準、規范；“云中心”還可以立足更高的服務層面，與國內國際上相關部門共享交換數據，快速獲取對自身有價值的參考信息并與“地端”共享，拓展更多服務應用。

通過“云中心”處理機制，不僅可以實現對所轄“地端”工作質量、工作流程的監督管理，還可以突破數據資源限制，實現“云中心”內部對不同層級間數據信息的獲取，建立更廣泛的“云互聯”，這將使未來的信息資源得到更加充分合理的利用。

4 結語

當前，國際國內對大數據的研究已經進入實質性階段，技術和手段日臻成熟，海事監管和航海保障工作未來也不可避免地要經歷大數據帶來的沖擊和挑戰。開展海事大數據收集及利用方式研究，是立足為用戶提供多元化、多層次、多角度的服務，更好地滿足單位發展與用戶需求二者之間的供需關系的一種有效實現途徑，對于提高單位發展質量、實現科學決策具有重要的現實意義。

［1］馬建光,姜巍.大數據的概念、特征及其應用[J].國防科技,2013,34(02)：10-17.

［2］孟小峰,慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展,2013,50：146-169.

［3］王書偉.大數據時代政府部門間信息資源共享策略研究[D].吉林大學,2013.

［4］李國杰,程學旗.大數據的研究現狀與未來思考[J].戰略與決策研究,2012,10：58-63.

［5］劉宇雄.暢想：“大數據”沖擊下 海事發展的“四大方向[J].珠江水運,201，03：10-13.