孫肅徽
(山東省港口集團有限公司,山東青島266000)
港口輪駁公司主要生產業務是對進出港船舶靠離和接送引航員的作業[1]。隨著港口發展,靠離船舶作業數量日益增長,大型港口單艘拖輪每天使用率超過100艘次,單艘拖輪每天作業工時達7~10 h[2]。繁忙的作業任務和長時間的海上航行,增加了拖輪生產作業的安全風險[3],拖輪駕駛員在航行作業中要求全面準確地了解、掌握周邊的氣象、能見度等安全風險環境。
目前港口氣象服務產品主要依靠普通的天氣預報產品或本地氣象臺提供的預報產品,服務精細化程度不高,服務內容針對性有待增強[4]。同時,港口在岸基僅有少數的固定式氣象觀測站、在港機上有風速風向傳感器,而在海上缺乏固定式和移動式的觀測節點,沒有形成覆蓋岸基和海上的氣象的實時觀測網絡,大多也缺乏海側氣象的歷史觀測數據[5]。
惡劣天氣現象和低能見度狀況極易影響船舶在港口的進出港,如強風會影響航行路線、能見度過低會造成航行事故。同時,在惡劣天氣條件下,受風浪影響,拖輪與大船之間極易發生碰撞,尤其拖輪體量小,任何碰撞都是致命的危險[6]。因此,局部海域精細化微氣象信息對于選擇安排適航航段、拖輪生產調度具有重要的意義。故亟需建立移動式氣象監測系統,實時監測海上的氣象信息,為港口安全生產作業的正常運行提供數據支撐。
港口移動式氣象智能監測系統主要由云平臺和船載智能終端組成,系統總體結構如圖1所示。圖中船載智能終端安裝有氣壓、溫度、濕度、雨量、風速和風向六要素一體化傳感器,用來實時獲取海域微氣象信息。除傳感器之外,船載智能終端中的氣象檢測模塊可以對傳感器獲取的氣象信息進行預處理,將各傳感器傳入的信息進行規范化。邊緣計算模塊能夠對船載終端的數據傳輸進行過濾與質量控制,通過邊緣設備進一步提高數據的質量,降低了將數據傳輸至云平帶所占用的帶寬,提高了傳輸速度。預處理、預警、評估和顯示模塊可以在本地將氣象數據進行可視化以及方便人工調控。存儲模塊可以對船載終端獲取的數據作記錄,防止數據的丟失,提高了系統的可靠性。通訊模塊可以將處理后的氣象信息傳遞到云平臺,云平臺中有數據統計、數據處理、氣象預警以及數據存儲模塊,能夠對船載終端傳入的數據進行最終的分析處理。
圖1 系統總體架構Fig.1 Overall system architecture
移動式氣象智能監測系統主要觀測要素有風速、風向、空氣溫度、相對濕度、氣壓等。常規安裝的都是風速風向傳感器,安裝位置要求比較苛刻,測量準確度和穩定性也不高。本系統采用了芬蘭VAISALA公司生產的WXT536一體化氣象傳感器,采用緊湊式包裝,整體外觀如圖2所示。本系統采用2臺傳感器,冗余設計,當某臺設備出現故障時,自動切換到另外一臺設備。大大提高了系統的可靠性,保證監測設備7×24 h不間斷工作。
圖2 WXT536外觀Fig.2 Appearance of WXT536
WXT536性能指標如表1所示,主要測量氣壓、溫度、濕度、雨量、風速、風向等。WXT536具備加熱功能,位于降水傳感器下面和風變換器內部的加熱元件使降水傳感器和風傳感器上面不會堆積冰雪,降水傳感器下面的加熱溫度傳感器控制加熱。該傳感器還可配備鳥刺套件用于降低鳥類對風雨測量的干擾。
表1 WXT536技術指標Table.1 WXT536 technical indicators
六要素一體化傳感器通訊協議采用ASCII自動模式,串行接口采用RS-485。測試時傳感器采用24 V進行供電,串口配置:波特率4 800,數據位7位,停止位1位,校驗位Even。軟件根據協議格式,對數據進行解析和處理。風速、風向數據采集間隔設置為1 s,溫度、濕度、壓力、降水采集間隔設置為20 s。測試數據如圖3所示。
圖3 測試數據截圖Figure.3 Screenshot of test data
一體化氣象傳感器通過廠家配套的橫臂及附件安裝于拖輪桅桿或甲板上,通常建議在距離風桿的所有方向上都有至少150 m的開放區域。與任何高度h的物體的最小距離間隔為該物體高度的10倍,才不會對風測量有顯著干擾,傳感器集成電子羅盤,安裝時無需固定傳感器方向,如圖4所示。根據傳感器廠家建議,結合拖輪上安裝空間,選擇將傳感器安裝在桅桿上,如圖5所示。
圖4 開闊區域中建議的風桿位置Figure.4 Suggested position of wind mast in open area
圖5 桅桿安裝位置Figure.5 Schematic diagram of mast installation position
本系統采用氣象數據邊緣計算新模式,使得系統具備本地數據采集、分析計算、智能處理的能力[7]。設備不再需要持續不斷地將各種傳感數據上傳到云平臺,而在邊緣側即可完成各種氣象數據的處理,只需要把處理及分析后的少量結果數據進行上傳即可,大大減少了數據傳輸量。由于港作拖輪距離岸基有一定距離(最遠可達20 nmile左右,1 nmile=1 852 m),數據傳輸距離和帶寬都受一定限制,因此采用邊緣計算變得非常有必要。主要實現如下功能。
(1)完成數據格式標準化
數據具有異構性的特點,不同類型的數據在傳入數據中心后需要作進一步的規范化才能夠在超算中進行處理,傳統方式將數據統一上傳至數據中心服務器中統一進行規范化處理。而通過邊緣計算就可以將數據在數據源到數據中心路徑之間的任意計算和網絡資源中按照符合超算的規范來統一格式,然后將處理后的數據上傳到數據中心,簡化了數據中心對數據的處理步驟。
(2)控制數據源質量
從邊緣設備傳輸數據到數據中心致使網絡的數據較繁雜,會使傳輸帶寬的負載量急劇增加,造成較長的網絡延遲。通過邊緣計算可以在數據傳入數據中心之前對數據的質量進行篩選,對高質量的數據保留并上傳,低質量的冗余數據則進行備份刪除,不進行上傳,提高了上傳數據的質量,降低了傳輸帶寬的負載量。
(3)輕量化的存儲與管理
通過邊緣計算對數據的規范以及質量的篩選等操作,數據質量更高,可靠性更強,易讀性更好。為了提高數據的復用性,邊緣設備需要對上傳至數據中心的數據進行存儲備份,提高數據的傳輸速率,數據的存取過程以及管理都是輕量化的。
以氣象風向和風速數據為例,介紹了數據分析流程。主要完成數據準確度評估。在進行分析評估之前需要對數據進行預處理,而數據預處理對于后續的數據分析和建模來說是至關重要的[8],因為大部分原始數據是不完整的,而且通常會包含很多噪聲,如重復數據、缺失值、離散值(異常值)等問題。由于噪聲的存在,需要對數據進行預處理,主要包括數據清洗、數據集成、數據變換和數據歸約4個步驟。
以采集到的風場數據為例,主要包括日期、時間、經度、緯度、風速以及風向等6個重要參數。
風場原始數據中包含的主要噪聲如下。(1)重復數據:完全相同的兩組數據。
(2)缺失值:判定處理相鄰兩個單位時間內是否有數據。如果數據缺失,使用9999填充。
(3)異常值:在拖輪上,大多數情況下風速低于20 m/s,當出現雷雨大風等極端天氣的時候風速值會更大,但是風速的變化是漸變的,因此,處理判斷風速是否出現異常大的值外,還需要判斷相鄰風速差值是否出現比較大的變化。
以上為風場數據的噪聲判定和處理準則。
3.2.1 數據清洗
一體化氣象傳感器采集的氣象數據會存在冗余信息,通過數據清洗可以刪除重復信息、糾正存在的錯誤,并提供數據一致性[9]。首先對傳感器獲取得數據進行缺失值清洗,對重要性較高的字段可以通過計算進行填充,或者根據經驗進行估計,而對重要性較低的字段,可以只進行簡單的填充。其次要對數據進行格式內容清洗,通過氣象數據質控方法對數據中時間、日期等顯示格式的不一致進行修正,并去除對內容中不應該存在的字符。然后將容易發現的邏輯錯誤以及異常值進行修正,將數據中非需求的字段清除,最終得到可靠性較高的數據。
3.2.2 氣象數據質控方法
氣象數據對質量控制的方法要求數據符合天氣學、氣候學原理,以氣象要素的時間、空間變化規律和各要素間相互聯系的規律,從多個方面分析氣象資料的質量[10]。通過氣象數據質量控制可以發現傳感器采集的氣象數據中質量較低的部分,質量控制主要以實時檢查為主。首先對監測數據進行極值檢查,對數據中是否有超出氣候極值的記錄進行排查,其次對數據的界限值進行檢查,找出從氣候學的角度出發,超出數據界限的數據,還需要對數據的內部一致性以及時間一致性進行檢查,即獲取的氣象數據各記錄之間的關系以及這些記錄在一定時間范圍內的變化是否符合一定的規律。
3.2.3 深度學習異常檢測模型
針對數據中的異常值,采用BP神經網絡的方法進行檢測,深度學習作為機器學習的新發展方向,它可以利用具有多個處理層的模型架構來學習輸入數據間的高階隱含特征[11]。BP神經網絡是一種多層前饋型神經網絡,由輸入層、隱藏層和輸出層組成,BP神經網絡異常檢測模型如圖6所示。
圖6 異常檢測BP神經網絡模型Fig.6 Anomaly detection BP neural network Model
圖中,網絡的輸入層對應傳感器采集的風速值,x1,x2,…,xn表示采集到的風速值,網絡輸出層輸出節點數與輸入節點數相同,每一個節點即z1,z2,…,zn對應相應的輸入數據是否是異常值,BP神經網絡通過計算輸出值與標簽之間的誤差,使用反向傳播的方式訓練模型中隱藏層的參數,最終得到擬合后的模型。通過訓練后的BP神經網絡能夠自動對傳感器采集的風速信息進行異常值檢測,不需要人工標注,降低了人工成本,且提高了數據處理效率。
3.2.4 數據變換
數據轉換就是將氣象數據進行轉換或歸并,從而構成一個適合數據處理的描述形式。將觀測數據和GPS的時間信息、位置信息等按照BUFR編碼格式對氣象數據進行編碼。例如對于同一個數據對象的名稱應該是一致的,同一個數據對象的數據類型必須統一,對于數值型字段,單位需要統一且小數位數也需要統一。
MySQL數據庫是一個關系型數據庫管理系統,其快速、健壯和易用,且操作簡單,是一個輕量級的性能強大的數據庫。MySQL數據庫還具有跨平臺性,能夠支持不同的操作系統,方便了數據的管理[12]。將氣象數據儲存在MySQL數據庫中,能夠實現數據存取的快速響應,根據氣象數據建立對應的數據表,用于存儲數據預處理后的氣象數據。以風場數據為例,建立的數據庫表列名與風場數據各個指標相對應,將風場數據編號設置為主鍵,設置所有指標的數據類型及數據長度,是否為空值,風場數據的數據庫設計如表2所示。
表2 風場數據表Tab.2 Wind farm data table
船載智能通訊模塊采用一體式設計,支持4G和北斗傳輸模式,氣象監測數據經過統一標準的數據格式,經過4G網絡傳輸到港口的調度中心。其中,港口調度中心的服務器配置固定IP地址,所有來自船載移動觀測系統的數據經過雙網路進入固定地址的服務器,通過系統軟件對數據進行處理和展示,其網絡拓撲圖如圖7所示。關鍵數據及報警信息通過北斗短報文進行雙網冗余傳輸,保證數據可靠性。
圖7 網絡拓撲Fig.7 Network topology diagram
本文通過邊緣計算技術及氣象觀測技術的結合,重新構架船載移動式氣象觀測系統,充分發揮邊緣處理能力,將氣象數據在邊緣側進行處理,傳輸少量處理后的數據,降低了數據傳輸的時延,提高了氣象數據傳輸的實時性,通過采用人工智能、大數據、輕量級數據庫等工具的運用,提高了移動式氣象觀測數據的質控水平,減少了傳輸數據的冗余信息,實現了數據的時空歸一化處理,為未來港口氣象數據的進一步加工挖掘,提升港口企業生產數據的價值,奠定良好基礎。