基于大數據的海上目標實時處理架構

文/蔣保富 陳秀英

海洋是我國領土的重要組成部分，根據國家海洋戰略要求，為維護國家主權、領土安全和海洋權益，實現建設“海洋強國”目標，需要進一步提升海上目標態勢感知能力，為海域綜合管控、海上維權執法和突發事件處置等提供及時、可靠的海上目標態勢保障。隨著AΙS、北斗以及雷達技術的不斷發展，相關系統/裝備對海洋目標的覆蓋范圍更為全面，可提供的信息內容更為豐富，大數據技術發展應用可為海量實時數據處理提供關鍵技術解決方案。本文對海洋目標數據現狀進行了分析，設計提出面向大數據的情報系統實時處理架構和運行模式，對于情報系統的研制開發有參考價值。

1 海上目標數據現狀

海上活動的船只，漁船、商船、貨船等民用占了絕大部分。根據公開資料，中國海軍部隊擁有主力艦艇300余艘，武警部隊擁有海警船300余艘；我國漁船總數為101.1萬余艘，主要航運企業沿海船隊規模近1000艘，沿海省際運輸干散貨船、集裝箱船、油品船、化學品船、液化氣船等共計3700余艘。目前，海上目標數據主要獲取手段有三類：

（1）AΙS目標數據；

（2）北斗船位數據；

（3）岸基、海上、空中等平臺雷達探測的目標數據。

1.1 AIS目標數據

AΙS是船舶自動識別系統（Automatic Ιdentification System）的簡稱，AΙS數據包括船位、船速、航向等動態信息以及船名、呼號、吃水及危險貨物等船舶靜態資料。根據AΙS國際標準ΙTUR-M.1371和國家標準GB/T 20086，AΙS動態數據密度為：錨泊船3分鐘/點、0-14節航速的船12秒/點、0-14節航速并且在改變航向的船4秒/點、14-23節航速的船6秒/點、14-23節航速并且在改變航向的船2秒/點、超過23節航速的船3秒/點、超過23節并且在改變航向的船2秒/點；靜態數據6分鐘/點。國際海事組織規定300總噸及以上的國際航行船舶、500總噸及以上的非國際航行船舶、所有客船應配備AΙS系統；中國海事局要求中國籍沿海200總噸及以上的航行船舶應配備AΙS系統；隨著我國海洋漁業捕撈和航運經濟的發展，國家多部門聯合加強了漁業船舶的安全管理，目前大部分漁船已配備AΙS終端。

AΙS數據來源主要通過岸基AΙS和衛星AΙS，岸基AΙS基站接收目標范圍為周圍30-50海里，實時獲取船舶AΙS信息；衛星AΙS通過多顆低軌衛星覆蓋全球主要海域和地區，根據其探測和通信技術特點，報告船舶的時間間隙為幾分鐘或者幾個小時。中國于2002年起開始AΙS岸基網絡系統建設，現已建成覆蓋中國所有沿海水域和內河四級以上高等級巷道水域的岸基網絡。“船訊網”提供衛星AΙS國內數據服務，英國勞氏（LRF）授權提供船舶檔案服務，完整收錄全球300總噸以上國際航行船舶12萬多艘。如圖1所示。

1.2 北斗目標數據

北斗衛星導航系統是中國自行研制的全球衛星定位與通信系統，在全球范圍內全天候、全天時為各類用戶提供高精度、高可靠定位、導航、授時服務，并具短報文通信能力。北斗衛星導航系統2012年形成區域覆蓋能力，計劃2020年形成全球覆蓋能力。公開數據顯示，我國渤海、黃海、東海、南海等海域的5萬多條漁船已安裝北斗終端，后續有更多漁船列入規劃。通過北斗終端，北斗衛星導航系統以空間精度10m，時間采樣間隔3分鐘，實時掌握漁船的動態特征數據。

1.3 雷達目標數據

表1

雷達探測距離取決于雷達輸出功率、天線增益、接收機噪聲系數等參數，天線與目標的高度，以及波長、大氣等因素。受天線高度和地球曲率影響，岸基警戒雷達對海探測距離60-80公里、船載警戒雷達10-30公里、機載雷達200-300公里；微波超視距雷達距離100-200公里；地波超視距雷達距離300-400公里；天波超視距雷達最遠可達數千公里。

1.4 海上目標數據量級

綜上，考慮季節、天氣、休漁等影響，按海上船舶40%在港、60%活動且活動船舶有50%在岸基雷達和岸基AΙS覆蓋范圍內估計，全域海上情報系統每分鐘處理目標航跡數據達228萬點，全天最大可達32.8億點，見表1。

2 多源目標信息融合架構

海上目標情報系統核心能力是多源信息融合。信息融合軍事概念可定義為戰場態勢感知的多源信息處理過程，包括信息獲取、信息處理、態勢估計和態勢展現等環節，其目的是獲取及時、準確、連續、完整和一致的戰場態勢。鑒于融合系統運行過程離不開人的操作、選擇、判斷、行動、管理和控制，信息融合研究者們致力于建立一個人在回路的信息融合系統，發揮用戶對信息融合的主導作用，其典型融合模型是用戶-融合模型，如圖2所示。

基于這個融合模型，情報系統目標數據處理典型流程如圖3所示，對于接收、處理分析、分發共享、評估、反饋等過程，考慮目標數據有時序和多源共同掌握，信息匯集、預處理、綜合處理（含航跡關聯、狀態估計、綜合識別）、情報分發、態勢展現等之間的信息流程為串行過程，系統目標數據處理能力決定于單個過程的最大處理能力。根據經驗數據，單個海上目標數據的綜合處理過程需要1-2毫秒，系統目標航跡數據處理密度最大3-6萬點/分鐘。由于多源目標數據之間的相關性，考慮到系統應用功能實現的可靠性，一般采用不超過2-3個應用進程并行處理的改進方法，系統可達到10-20萬點/分鐘的處理能力。如是，當前目標數據融合架構和方法已無法支持更大批量（228萬點/分鐘）的實時目標數據處理，需要應用大數據相關技術，提高數據融合質量和處理效率。

圖2：用戶—融合模型

圖3：多源目標數據處理典型流程圖

圖4：數據流程大圖

3 大數據之實時處理架構

3.1 大數據處理系統

圖5：基于大數據的情報系統實時處理架構圖

大數據技術已成為促進行業技術進步、效益增長的關鍵支撐技術。根據數據處理的時效性，大數據處理系統可分為批式（batch）大數據和流式（streaming）大數據兩類。其中，批式大數據又被稱為歷史大數據，流式大數據又被稱為實時大數據。目前主流的大數據處理技術體系主要包括Hadoop及其衍生系統，在此基礎上發展出了Spark Streaming、Storm、Flink等開源流處理框架，這些流處理框架已被應用于部分時效性要求較高的領域。

相較于批處理大數據系統，流處理大數據系統將系統接入實時數據通過流處理，存入高性能內存數據庫，基于內存數據庫實現實時數據的高效查詢和分析處理。但是受限于內存容量，系統只能存儲部分最新數據，不能基于完整大數據集進行查詢分析處理。因此，需要構建一個融合批處理和流處理的系統架構，基于批式大數據挖掘分析新的知識和經驗，基于流式大數據實現海量實時數據高效處理，同時應用相關知識和經驗時，能夠具備“事中”甚至“事前”模式實現感知、分析、判斷、決策等功能。

數據從產生到被使用，主要包含四大過程：數據產生、數據采集和傳輸、數據存儲和管理、數據應用。具體數據流程圖和關鍵環節如圖4所示。對于實時數據處理，支撐技術也主要包含四個方面：實時數據采集、消息中間件、流計算框架以及實時數據存儲。在數據應用全過程中，還需要建立包括數據資源、技術產品、運維管理、數據安全、集成應用等在內的數據標準體系，確保傳輸高效、交換一致、結果準確。

3.2 情報系統實時處理架構設計

面向海量實時目標數據，應用大數據技術構建情報系統流式大數據實時處理平臺?；诙嗯_高性能計算機構建服務器集群，以內存數據庫、分布式數據庫及分析計算引擎提供平臺支撐，服務器集群內業務應用的實時目標數據依托內存數據庫進行管理、查詢和分析計算。

對系統目標實時數據處理典型流程進行分析，其中，信息匯集過程、目標預處理過程以及情報分發過程目標數據不相關，多源目標航跡關聯、狀態估計、綜合識別、異常告警等過程目標數據相關?；跀祿南嚓P性，設計將多源目標航跡關聯、狀態估計、綜合識別、異常告警等過程進行解耦，如圖5所示。多源目標狀態估計采用流處理方式，這樣從信息接收至態勢生成的主要過程為信息匯集、目標預處理、多源目標狀態估計、情報分發，過程之間為串行方式，確保目標數據處理實時可靠，百微秒級完成處理。多源目標航跡關聯、綜合識別、異常告警采用微批處理方式，與多源目標狀態估計等過程之間為并行方式，確保目標數據處理正確有效，秒級完成處理。另外，所有實時數據存入分布式數據庫，基于分布式數據庫定時進行目標特征分析、行為分析、活動分析、流量分析等處理，分析得到的知識數據可支撐實時目標數據處理過程中的目標綜合識別和行為異常告警處理。

我們利用3臺高性能服務器（每臺服務器配置2顆CPU共24核、256GB內存和SSD硬盤）進行試驗。試驗結果表明：對單個目標數據的預處理、狀態估計等處理平均時延可控制在150微秒內，單個應用具備了40萬點/分鐘處理能力。通過集群應用并行處理和負載均衡，具備對全域海上情報系統目標數據的實時處理能力。

4 結語

大數據時代的到來，改變了傳統情報處理系統的運行模式。基于先進大數據處理技術和工具，構建情報大數據系統成為了一種新的解決思路。隨著實時數據量的不斷增加，對其進行高效、可信的處理分析更加重要，難度也更大。通過批量大數據處理以及流式大數據處理的技術融合，構建基于大數據的系統實時處理架構，實現了大批量實時數據的快速處理和準確分析，能夠更好的滿足全域海上目標處理的實際需要。