深度學習在海洋信息探測中的應用:現狀與展望

張雪薇, 韓 震, 2, 郭 鑫

深度學習在海洋信息探測中的應用:現狀與展望

張雪薇1, 韓 震1, 2, 郭 鑫1

(1. 上海海洋大學 海洋科學學院, 上海 201306; 2. 上海河口海洋測繪工程技術研究中心, 上海 201306)

深度學習可以通過深度神經網絡, 使機器理解學習數據, 從而提高數據分類效果和預測結果的準確性, 因此在海洋信息探測中應用越來越受到重視。作者基于深度學習的基本原理, 闡述了海洋上常用的深度學習神經網絡模型, 并結合海洋信息探測要素, 對溫度、鹽度、風場、有效波高和海冰等進行了海洋環境信息因子的預測分析; 同時, 對船舶、溢油和渦旋等進行了海洋目標識別與檢測。最后針對其現狀進行了探討, 總結了深度學習在海洋信息探測中發展所面臨的問題。

深度學習; 海洋信息探測; 神經網絡; 預測; 識別檢測

深度學習通過對原始信號進行逐層特征變換, 將樣本在原空間的特征表示變換到新的特征空間[1], 深度學習是在淺層機器學習基礎上發展起來的, 通過模仿人腦的信息處理神經結構, 對外部輸入的數據進行特征提取, 使得機器理解學習數據并獲得信息。

深度學習作為機器學習的重要組分, 推動了人工智能的前進(圖1)。20世紀70年代和80年代是深度學習的萌芽期, 1989年, LECUN[2]第一次提出了卷積神經網絡(Convolutional Neural Networks, CNN)。1997年, 長短時記憶網絡(Long Short-Term Memory Network, LSTM)被提出[3]。1999年, JONES等[4]利用人工神經網絡(Artificial Convolutional Neural Networks, ANN)進行海面溫度分析。2006年, HINTON等[5]提出的“深度學習”概念標志著深度學習進入發展期。2014年, 門控循環神經單元網絡(Gate Recurrent Unit Network, GRU)被提出[6], 作為LSTM的變體, 其本質是基于循環神經網絡(Recurrent Neural Networks, RNN)的。2012年, Hinton團隊在Imagenet競賽中開發的Alexnet網絡模型取得了巨大的成功, 深度學習進入了爆發階段。從2006年至今, 隨著深度學習的發展, 深度學習神經網絡逐漸運用到海洋現象探測中[7], 例如: 溫度[8-9]、鹽度、風場、有效波高和海冰[10]的預測, 以及船舶[11-13]識別和溢油[14-15]、渦旋檢測[16]等。本文主要從海洋信息探測中的應用角度, 討論深度學習神經網絡模型的研究進展。

圖 1 人工智能、機器學習和深度學習關系

1 深度學習的原理

深度學習主要通過深度神經網絡(Deep Neural Network, DNN)將底層的特征映射到高層, 并且通過高層將特征抽象出來[17]。深度學習采用了神經網絡類似的分層結構, 多層網絡結構由輸入層、隱藏層、輸出層組成, 在神經元之間的每個連接都有一定的權重(圖2)。深度學習模型構建了復雜的多層網絡, 下一層的輸入為上一層的輸出, 通過多層非線性運算將提取到的樣本底層特征組合成更加抽象的高級特征來達到高層特征的可視化。深度網絡包含多層非線性映射且具有多個隱藏層, 每一層可以提取出相應的特征, 模型經過提取和結合來獲得利于分類的高級特征。其特點可以概括為深層次、非線性和逐層特征提取[18]。

圖2 深度學習原理圖

2 海洋上常用的深度學習神經網絡模型

2.1 卷積神經網絡CNN

卷積神經網絡CNN作為一種帶有卷積結構的多層前饋神經網絡, 是海洋目標識別與檢測常用的深度學習模型。CNN由多層神經網絡組成, 且每層神經網絡由多個二維平面組成, 在每個平面中擁有多個獨立神經元。CNN由輸入層、卷積層、池化層、全連接層及輸出層構成。卷積層利用卷積核對輸入數據進行特征學習, 卷積核的大小和數量通過人為設定, 卷積核內權重共享; 池化層將對來自卷積層的數據進行下采樣處理, 這種方式的好處是使感受野變得更大、數據量被不斷壓縮、參數量明顯降低; 全連接層的主要作用是將數據特征進行連接, 將數據以需要的維度形式輸出(圖3)。

圖3 CNN基本結構

2.2 循環神經網絡RNN

循環神經網絡RNN是海洋環境信息因子預測常用的深度學習模型, 其通過事件發生的先后關系來挖掘時間維度的特征。RNN通過引入定向循環來使得隱藏節點定向連接成環, 從而更有利于信息傳遞, 其將同層間不同的神經元進行連接并且在同一時間上的網絡層可共享權值參數, RNN的輸入是向量序列, 輸出也是, 從而體現出數據的時間序列性(圖4)。輸入數據經過線性運算后連接包含權重和偏置項的隱藏層, 經過線性運算后輸出值。其中為隱藏層的權重, 隱藏層之間通過節點相連接, 并在序列數據中共享權重。權重會在每個小時()時刻后更新, 挖掘出序列變化的特征, 最終的輸出會受到前面多個輸入層的影響。RNN的具體計算公式如下:

h=f(x+xh–l+b), (1)

其中,為從輸入層到隱層的連接矩陣;為隱層相鄰時刻之間的連接矩陣;為隱層到輸出層的連接矩陣;h為時刻, RNN隱層的狀態向量;b為偏置向量;f為非線性激活函數; 在RNN中,f通常為sigmoid或tanh函數。通過h計算o的過程為:

o=f(h+b), (2)

其中,b為輸出層的偏置向量;f為非線性激活函數。

RNN中的門控算法有可以分為LSTM和GRU。

圖4 循環神經網絡結構圖

3 海洋環境信息因子預測

3.1 海洋環境信息因子預測深度學習神經網絡模型

3.1.1 長短時記憶網絡LSTM

2001年, Felix將LSTM理論引入RNN, LSTM在RNN的基礎上增加了門結構和細胞狀態, 其中門結構用來控制之前時刻的信息保留量, 而細胞狀態用來記錄時間序列特征。其采用了門函數對神經元中的信息進行輸入輸出控制, 克服了RNN難以訓練和梯度消失等問題。

ConvLSTM(Convolutional Long Short-Term, ConvLSTM)本質和 LSTM 是一致的, 其區別在于網絡層之間的信息傳遞方式的差異。ConvLSTM 采用LSTM 門結構方式進行信息流動控制。LSTM 與 ConvLSTM 的差異主要是各個門結構中的信息輸入由點積改為卷積, 細胞狀態更新點積保持不變。

, (12)

其中,i為輸入門,c為細胞狀態,f為遺忘門,o為輸出門,h為隱含層輸出,為 sigmoid 函數。

3.1.2 門控循環神經單元網絡GRU

門控循環神經單元網絡GRU在2014年提出, GRU有2個門: 1個更新門, 1個重置門。與LSTM 3個門相比, GRU所需的參數少且簡單, 但能保持與LSTM相當的性能, 而且訓練收斂時間更快[19-20]。GRU模型是基于卷積的空間模型, 公式如下:

ConvGRU(Convolutional Gate Recurrent Unit network, ConvGRU)模型是GRU的擴展算法。ConvGRU的本質是在矩陣運算基礎上加上了卷積運算, 這樣 ConvGRU 結構不僅能夠計算其時序特征, 還可以提取空間特征。ConvGRU模型采用門結構控制信息流動, 權重分別放到了卷積核和循環層的循環核內。

ConvGRU模型是基于卷積的空間模型, 公式如下:

3.1.3 海洋環境信息因子預測

將深度學習模型和海洋現象預測相結合, 開展基于深度學習的海洋環境因子預測研究, 對于拓展人工智能在海洋領域的應用具有重要的意義。海洋環境信息因子的預測模型主要有LSTM和GRU以及其兩者與卷積模型的結合和擴展模型, 如ConvGRU、ConvLSTM、M-convLSTM、M-LCNN和BiLSTM等, 再以溫度、鹽度、有效波高、風場和海冰等海洋環境要素為研究對象, 結合數據特征來進行相關的預測分析, 圖5為海洋環境信息因子預測模型的結構示意圖。

圖5 海洋環境信息因子的預測模型

3.2 海洋環境信息因子的預測分析

3.2.1 溫度

海溫預測的方法可歸納為數值方法、數據驅動方法和兩者結合3種。數值方法是基于物理、化學和生物參數以及他們之間復雜的相互作用而建立的, 數值方法通常比較復雜, 在海洋甚至全球尺度上預測海表溫度的分辨率相對較低。數據驅動方法以數據為中心, 通過觀測數據發現海表溫度預測模式和關系式, 數據驅動的方法需要比較少的海洋和大氣領域的知識, 不像數值方法那么復雜, 因而適用于較小尺度下的高分辨率海溫預測, 這類方法包含統計方法和深度學習方法等。2007年, ELISA等[21]利用ANN較好地預測了地中海西部海表面溫度的季節和年際變化。2017年, QIN等[22]采用LSTM對中國沿海海域的海表溫度進行預測并驗證了該方法的有效性, 預測平均準確度為0.98。2017年, JIANG等[23]分析了溫度、鹽度和地理位置特征對溫躍層的影響, 并提出了一種改進的基于熵值法的躍層選擇模型來預測溫度變化。2019年, BRONIBEDAIKO等[24]提出了一種利用LSTM氣候網絡來提取網絡指標, 從而預測ENSO現象的方法。2019年, XIAO等[25]提出了一種能夠分析海表溫度時空相關性的時空深度學習模型, 對短期和中期海表溫度場的預測具有較高的準確性。2020年, ZHANG等[26]提出一個多層回旋的長期和短期記憶(M-convLSTM)預測三維海洋溫度模型, 并利用ARGO數據進行全球三維海洋溫度預測。XU等[27]提出了M-LCNN(Multi-Long Short-Term Memory Convolution Neural Network)預測模型, 并利用小波變換對時間序列進行了分解和重構并在多個時間尺度上預測了海表溫度序列的變化。2020年, WEI等[28]基于LSTM的深度神經網絡對2015—2018年0.05 ℃空間分辨率的海表溫度進行預測, 發現中國海域東南部的預測精度最高。利用LSTM和GRU等模型的變體, 海溫預測模型可以將一系列孤立的時間點相結合來建立起大范圍的海溫場, 在不同的區域建立特征模型, 甚至可以通過建立三維預測模型來預測海面到深層的水平和垂直的溫度變化。

3.2.2 鹽度

海水鹽度的傳統預測方法使用傳感器實測數據, 采用不同的算法來估算鹽度的值, 而基于深度學習的海水鹽度預測模型在處理大數據時, 優勢明顯。2019年, SONG 等[29]提出了雙路徑GRU網絡(DPG), 對南海海表面鹽度數據集進行預測, 準確率在96.85%以上。同年, MEDINA-LOPEZ等[30]建立了一個深度神經網絡, 將傳感器數據與來自世界各地不同浮標、船只和其他平臺的現場數據聯系起來, 試驗結果表明鹽度和溫度的相關系數分別為82%和84%。2020年, RAJABI-KIASARI等[31]利用人工神經網絡等機器學習方法, 在波斯灣地區基于SMAP衛星對海表面鹽度進行建模。通過鹽度的預測模型, 有效減少了傳統方法中出現的預測誤差, 從而獲得了更加準確的預測結果。鹽度的預測模型需要進一步和觀測數據相結合, 注重原始數據的質量, 才能有效地提高鹽度的預測效果。

3.2.3 風場

深度學習預測模型可以從大量變量數據集中提取隱藏特征, 提高泛化能力且在處理大量順序時間數據集時效率更高, 因而可以更加有效地預測風場各項參數。2020年, 王國松等[32]利用LSTM模型進行了海面風場短時預報的研究, 發現該模型可以大幅降低風速預報誤差。2020年, 李蓉蓉等[33]提出了一種基于LSTM以及時間序列分析法的預測算法, 并有效提高了短期風速序列預測精度, ARIMA+LSTM的MAE(平均絕對誤差)為0.755。2020年, PANDIT等[34]提出LSTM和Markov兩種數據驅動的方法預報風速。2020年, WEI等[35]使用了LSTM等機器學習技術, 在臺灣東北部構建了風速預測模型, 發現LSTM比沒有記憶容量的模型網絡更準確。2020年, LIAN[36]提出了一種基于自動編碼器(AE)和門控循環單元(GRU)模型的數據驅動方法, 利用歷史熱帶氣旋路徑和各種氣象屬性預測熱帶氣旋登陸位置。2021年, LI等[37]提出了一種基于OWTs狀態評估(CA)的超短期海上風電功率預測(WPP)方法, 通過引入LSTM來處理海上風力發動機各種監測數據與海洋動態環境之間的復雜交互作用。基于深度學習的風速預測模型不但可以提高短期風速預報結果不理想的問題, 還可以用來預測超短期海上風電功率, 為海上風力發電提供了一定的保障。隨著深度學習的發展, 風速預測模型越來越注重以數據為驅動, 但是對多個相互作用的多尺度過程, 如臺風等預報, 如何進行高精度的風速預報還是需要進一步探索。

3.2.4 有效波高

傳統預測有效波高的方法有經驗模型、數值模型和機器學習方法, 經驗模型在數據序列的穩定性和線性方面有著缺陷, 而數值模型的投入成本較高。深度學習模型作為機器模型的發展模型, 可以利用統計學來獲得隱藏在歷史時間序列中的空間和時間聯系, 對短期和極端事件有著較好的預測能力。2020年, 朱曉雯等[38]發現SRCNN2一種高分辨率處理方法, 在整體效果、局部細節和計算效率方面比較優秀。2021年, WANG等[39]采用GRU深度學習方法, 進行了臺灣海峽及其附近海域的有效波高預報, 發現GRU的總體性能令人滿意, 預報速度快、波動小、適應性好, 以某浮標站為例, 在超前時間為3、6、12和24 h時, GRU預測的均方根誤差分別為0.234、0.299、0.371和0.479。利用有效波高預測模型, 可以有效地減少沿海的災害風險從而達到防災減災的效果, 從而更好地預測海況, 進行海浪精細化預報。單一變量的預測會導致有效波高的精度不高, 加入風向和波浪方向等特征變量可以在一定程度上提高有效波高的預測精度。

3.2.5 海冰

準確預測海冰可以保障船舶安全航行, 由于觀測資料的局限性和海冰高度非線性的動態變化, 傳統的統計算法只能建立逐點的模型, 忽略了相鄰點之間的相互作用, 基于海冰的深度學習預測模型可以引入時間維信息和空間信息從而提高模型的預測效果。2019年, PETROU等[40]提出了一種基于卷積長短時記憶單元的編解碼器網絡的方法預測海冰運動, 發現該方法能夠有效地預測未來10 d內的海冰運動狀況。2020年, 焦艷等[41]利用長短時記憶神經網絡建立了遼東灣海冰延伸期預報模型, 預報的平均絕對誤差為4.1 nmile～5.7 nmile, 均方根誤差為5.4 nmile～7.5 nmile。2021年, LIU等[42]提出了一種基于ConvLSTM算法的海冰密集度日預測模型,將ConvLSTM模型和CNNs模型的時空尺度進行比較, 發現ConvLSTM的預測效果優于CNNs。海冰預測模型的關鍵是如何利用預測模型來更好地描述其物理過程, 并與大氣和海洋模型耦合, 深度學習預測模型在一定程度上彌補傳統模型的不足。

在海洋的預測中, 海洋數據呈現出體量大、類型雜、時效強、難以辨識和高價值等明顯的大數據特征。然而, 與數據獲取能力形成鮮明對比的是數據處理能力亟需提高。海洋數據的處理目前大部分仍然停留在“數據到數據”的階段, 在實現從數據到知識的轉化上明顯不足, 對海量的海洋數據利用率低。海量的數據從多粒度、多時相、多方位和多層次反映了各種海洋環境狀態。溫度、鹽度、風場、有效波高和海冰等海洋要素是重要的海洋環境因子。其預測主要基于卷積神經網絡模型和循環神經網絡模型來實現, 卷積神經網絡模型可以對海洋要素中的空間特征進行提取, 循環神經網絡模型可以對海洋要素中的時間特征進行提取。模型輸入層參數一般由數據的特征向量維數決定, 輸出層由預測的參數類別決定。如何有效地挖掘其信息, 并對其時序關系和空間特征進行提取, 增加預測模型的適用性, 需要建立多因素驅動的預報模型來獲得更準確的預報結果。

4 海洋目標識別與檢測

4.1 深度學習神經網絡模型

傳統特征提取方法[43]準確度差且泛化能力低, 隨著卷積神經網絡的出現, 深度學習在特征提取[44]中越來越受到重視, 主要的目標檢測模型包括基于候選區域的網絡模型和基于回歸方法的網絡模型。基于候選區域的目標檢測模型是通過Selective Search和Edge Boxes等候選區域提取方法在待測圖像中預先找出目標可能存在的位置, 并通過結合卷積擴展模型在候選區域中提取相應特征, 基于候選區域的目標檢測主要模型有: R-CNN[45], Fast R-CNN[46], Faster-R-CNN[47]和R-FCN[48](表1)。基于回歸方法的目標檢測模型是基于待測圖像快速選取多個位置, 計算出對應的目標邊框和種類, 模型本質是目標檢測和回歸求解問題之間的轉換, 也就是根據目標檢測的輸出值, 使用權重參數將其分類, 并與目標框預測建立關聯, 然后進行計算。此時, 模型可以直接利用CNN 提取圖像特征, 并輸出待預測的特征向量, 直接得到目標檢測結果, 其主要模型有YOLO(You Only Look Once, YOLO)系列[49-50]的檢測模型和SSD(Single Shot Multib ox Detector, SSD)系列[51]的檢測模型。

表1 基于候選區域的目標檢測主要模型

將深度學習應用于海洋目標識別與檢測的研究, 是將卷積神經網絡和其他神經網絡模型相結合, 再以船舶識別、溢油和渦旋等海洋目標為研究對象, 結合其特征來進行相關的識別與檢測分析, 圖6為海洋目標識別與檢測深度學習神經網絡模型的結構示意圖。

圖6 海洋目標識別的檢測模型

4.2 海洋目標識別和檢測

4.2.1 船舶識別

船舶識別對航運業的蓬勃發展起著重要的作用, 傳統的船舶識別方法普遍存在精度低、易受到復雜海面干擾等問題。基于深度學習的船舶識別技術可以提高其準確性和識別速度, 對于提高海事管理水平具有重要意義。2019年, HE等[52]提出了一種基于單點多盒檢測器SSD深度學習的艦船目標識別方法實現了目標特征的自適應提取與識別。同年, ZHOU等[53]利用聲納圖像有效地識別了不同深度的目標, 并利用一種基于共享潛在稀疏特征和深度信念網絡的復合卷積神經網絡來學習聲納圖像, 其準確率最高可達93.34%。2020年, HUANG等[54]提出了ship-YOLOv3方法, 該方法可以減少部分卷積操作,增加跳躍連接機制, 從而減少特征冗余使得船舶識別的精度提高了12.5%, 召回率提高了11.5%。2021年, JIN等[55]提出了一種基于改進SSD的船舶遙感圖像目標檢測算法, 通過在淺層特征層中加入特征融合模塊來提高小目標的特征提取能力, 與傳統的SSD等算法相比, 改進后的算法檢測精度更高。2021年, LIU等[56]在改進基于Faster區域的卷積網絡(R-CNN)的基礎上, 提出了一種檢測任意方向艦船的方法, 在開放數據集和一些大尺度、真實的圖像上進行了測試, 實驗結果表明該方法具有較好的性能。船舶識別的深度學習模型在海上救援、船只出入境監控、海外貿易統計和漁船監控等方面起著重要的作用。船舶的識別精度在復雜場景下易受到影響, 且采用的數據集的質量、其船舶行為也會影響其識別結果。

4.2.2 溢油

溢油檢測傳統方法的特征提取和基于像素的分類會受到散斑、以及溢油和相似物相互重疊的影響。而基于深度學習的分類方法可以利用空間信息來抑制上述問題, 從而提高分類的精度。2020年, YEKEEN等[57]基于掩膜區域的卷積神經網絡來進行溢油檢測, 發現船舶檢測和分割性能較好, 其總體準確率為98.3%。SONG等[58]提出了一種利用CNN多層深度特征提取的海洋溢油識別方法, 該方法可以提高溢油檢測的準確性, 降低誤報率, 有效區分溢油和生物浮油。張天龍[59]使用Faster-RCNN模型, 建立了基于Faster-RCNN的溢油檢測方法, 發現Faster-RCNN的溢油檢測率、溢油虛警率和樣本識別率分別為73.4%, 27.30%和76.90%。HUANG等[60]采用Faster R-CNN進行單光譜成像的HNS (Hazardous and Noxious Substances, HNS)識別, 發現365 nm單光譜紫外成像結合Faster R-CNN對漂浮在水面的透明HNS具有較好的識別能力。金韻[61]基于 YOLOv3溢油識別模型與輪廓提取算法, 實現了溢油的識別和邊緣檢測。在利用深度學習模型進行溢油檢測中, 船舶、島嶼等溢油以外的特征會影響溢油的識別, 因此, 還需要進一步解決在復雜場景中溢油和其相似物的識別和分割問題。

4.2.3 渦旋

傳統的渦旋檢測方法主要基于人工檢測, 對閾值的控制和其檢測結果不直觀, 在一定程度上影響著檢測的效果, 而基于深度學習的渦旋檢測可以很好地解決這些問題。2020年, 張盟等[62]提出了一種基于卷積神經網絡的多渦旋檢測模型, 用數據集SCSE-Eddy進行模型訓練和評估, 解決了渦旋檢測的問題。同年, 謝鵬飛等[63]提出EddyYolo模型, 并利用該模型進行中尺度渦的中心和水平尺度的多目標檢測, 發現其準確率達到94%。通過高質量的渦旋數據集的建立, 基于深度學習的渦旋檢測模型可以較好地實現基于物理特征的中尺度渦檢測。

在海洋目標識別和檢測中, 主要基于卷積神經網絡模型的擴展模型來實現, 卷積神經網絡模型在特征提取和分類過程中對圖像的局部特征有著準確的識別能力, 且與其他圖像識別算法相比, 卷積神經網絡模型預處理時間少, 縮短了學習時間, 減少了學習參數的數據量, 與傳統檢測模型相比, 性能有很大改善。雖然檢測速度與精度大幅度提高, 但是基于深度學習的顯著性目標識別和檢測模型也還存在不足, 如復雜背景下的顯著性目標識別和檢測性能有待進一步提升, 識別和檢測的實時性有待提高, 模型復雜度需要降低等, 其中采用的數據集的質量是提高目標識別和檢測質量的重中之重。

5 總結與展望

深度學習算法的本質是通過提取訓練數據中的統計特征來達到內在模式的進化。通過建立對信號自底向上的高層語義映射關系使得網絡初始化, 然后自頂向下通過監督學習進行優化迭代計算來實現網絡的整體調優, 即分層級的特征提取過程, 其特征提取得越多、越準確。若過分依賴訓練數據, 則會出現過擬合現象; 反之若特征提取得少, 則容易出現欠擬合。

目前深度學習在海洋信息探測中的應用現狀存在兩個方面的問題: 一是原創性的海洋信息探測深度學習算法研究還在初級階段, 急需加快海洋信息探測深度學習算法開發, 提升深度學習在海洋探測領域使用廣度和深度, 加強海洋信息探測深度學習算法創新能力建設。二是海洋信息探測深度學習算法標準很多還沒有制定, 為實現深度學習算法服務由標準化服務向定制服務轉變, 實現海洋信息探測深度學習算法標準化生產, 必須加快海洋信息探測深度學習算法標準制定和修訂步伐。

針對深度學習在海洋信息探測中的應用現狀, 我們主要有以下幾點展望:

(1) 堅持目標導向、問題導向和效果導向, 開展海洋信息探測深度學習算法創新能力建設。

(2) 在現有的海洋信息探測深度學習算法基礎上, 面對海洋環境信息大數據特征, 建立海洋環境信息樣本庫和建立適應高維度、多尺度、非平穩特征的海洋環境信息神經網絡預測模型。

(3) 利用海洋信息探測的海量數據來訓練模型參數, 提高模型的訓練速度和訓練精度, 有效地結合傳統方法的優點和物理參數的本身性質, 并在此基礎上加入其他氣象要素和海洋要素信息來提高深度學習的預測準確度, 挖掘其信息來對其時序關系和空間特征增加預測模型的適用性。

(4) 改進在復雜背景下深度學習的顯著性目標識別和檢測方法, 提高實時性, 提高模型的區域性效果和整體適用性效果, 使得其識別和檢測結果達到較高的準確度。

(5) 開展海洋信息探測深度學習算法技術標準研究與制定, 探索建立基于深度學習的海洋信息探測體系。

(6) 開展深度學習在海洋信息探測中的應用示范, 服務海洋工程的實施和生態效益評價。

[1] 尹寶才, 王文通, 王立春.深度學習研究綜述[J]. 北京工業大學學報, 2015, 41(1): 48-59.

YIN Baocai, WANG Wentong, WANG Lichun. Review of deep learning[J]. Journal Of Beijing University of Technology, 2015, 41(1): 48-59.

[2] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient- based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[3] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[4] JONES C, PETERSON P, GAUTIER C, et al. A new me-thod for deriving ocean surface specific humidity and air temperature: an artificial neural network approach[J]. Journal of Applied Meteorology, 1999, 38(8): 1229-1245.

[5] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2014, 18(7): 1527-1554.

[6] CHO K, MERRI?NBOER V B, GULCEHRE C, et al. Learning phrase representations using RNN encoder- decoder for statistical machine translation[J]. Computer Science, 2014, 1406: 1078.

[7] HUANG A, VEGA-WESTHOFF B, SRIVER R L. Ana-ly-zing El Nio-southern oscillation predictability using long-short-term-memory models[J]. Earth and Space Ence, 2019, 6(2): 212-221.

[8] KIM M, YANG H, KIM J. Sea surface temperature and high water temperature occurrence prediction using a long short-term memory model[J]. Remote Sensing, 2020, 12(21): 3654.

[9] YANG Y T, DONG J Y, SUN X, et al. A CFCC-LSTM model for sea surface temperature prediction[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(2): 207-211.

[10] MOZAFFARI A, SCOTT K A, AZAD N L, et al.A hierarchical selective ensemble randomized neural network hybridized with heuristic feature selection for estimation of sea-ice thickness[J]. Applied Intelligence, 2017, 46(1): 16-33.

[11] NIETO-HIDALGO M, GALLEGO A J, GIL P, et al. Two-stage convolutional neural network for ship and spill detection using SLAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(9): 5217-5230.

[12] WANG Z, Y ZHOU, WANG F, et al. SDGH-Net: Ship detection in optical remote sensing images based on gaussian teatmap regression[J]. Remote Sensing, 2021, 13(3): 499.

[13] SHI J W, JIANG Z G, ZHANG H P. Few-shot ship classification in optical remote sensing images using nearest neighbor prototype representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 3581-3590.

[14] WANG B, SHAO Q, SONG D, et al. A spectral-spatial features integrated network for hyperspectral detection of marine oil spill[J]. Remote Sensing, 2021, 13(8): 1568.

[15] ZHANG J, FENG H, LUO Q, et al. Oil spill detection in quad-polarimetric SAR images using an advanced convolutional neural network based on superpixel model[J]. Remote Sensing, 2020, 12(6): 944.

[16] GEORGE T M, MANUCHARYAN G E, THOMPSON A F. Deep learning to infer eddy heat fluxes from sea surface height patterns of mesoscale turbulence[J]. Nature Communications, 2021, 12(1): 800.

[17] 石志國, 楊志勇.深度學習降維過程中的信息損失度量研究[J]. 小型微型計算機系統, 2017, 38(7): 1590- 1594.

SHI Zhiguo, YANG Zhiyong. Research on the measurement of information loss in the dimension reduction of deep learning[J]. Journal of Chinese Computer Systems, 2017, 38(7): 1590-1594.

[18] 喬風娟, 郭紅利, 李偉, 等. 基于SVM的深度學習分類研究綜述[J]. 齊魯工業大學學報, 2018, 32(5): 39-44.

QIAO Fengjuan, GUO Hongli, LI Wei, et al. Research on deep learning classification based on SVM: A Review[J]. Journal of Qilu University of Technology, 2018, 32(5): 39-44.

[19] KE B, ZHENG H, CHEN L, et al. Multi-object tracking by joint detection and identification learning[J]. Neural Processing Letters, 2019, 50(1): 283-296.

[20] KONG B, WANG X, BAI J, et al. Learning tree-structured representation for 3D coronary artery segmentation[J]. Computerized Medical Imaging and Graphics, 2019, 80: 101688.

[21] ELISA G G, JOAN G S. Prediction of sea surface temperatures in the western mediterranean sea by neural networks using satellite observations[J]. Geophysical Research Letters, 2007, 34(11): L11603.

[22] QIN Z, HUI W, DONG J, et al. Prediction of sea surface temperature using long short-term memory[J]. IEEE Geoence and Remote Sensing Letters, 2017, 14(10): 1745-1749.

[23] JIANG Y, GOU Y, ZHANG T, et al. A machine learning approach to argo data.analysis in a thermocline[J]. Sen-sors, 2017, 17(10): 2225.

[24] BRONIBEDAIKO C, KATSRIKU F, UNEMI T, et al. El Ni?o-southern oscillation forecasting using complex networks analysis of LSTM neural networks[J]. Artificial Life and Robotics, 2019, 24(4): 445-451.

[25] XIAO C, CHEN N, HU C, et al.A spatiotemporal deep learning model for sea surface temperature field prediction using time-series satellite data[J]. Environmental Modelling & Software, 2019, 120: 104502.

[26] ZHANG K, GENG X, YAN X H. Prediction of 3-D ocean temperature by multilayer convolutional LSTM[J]. IEEE Geoence and Remote Sensing Letters, 2020, 17(8): 1303-1307.

[27] XU L Y, LI Y F, YU J, et al. Prediction of sea surface temperature using a multiscale deep combination neural network[J]. Remote Sensing Letters, 2020, 11(7): 611- 619.

[28] WEI L, GUAN L, QU L, et al. Prediction of sea surface temperature in the China seas based on long short-term memory neural networks[J]. Remote Sensing, 2020, 12(17): 2697.

[29] SONG T, WANG Z, XIE P, et al. A novel dual path gated recurrent unit model for sea surface salinity prediction[J]. Journal of Atmospheric and Oceanic Technology, 2019, 37(2): 317-325.

[30] MEDINA-LOPEZ E, UREA-FUENTES L. High-resolution sea surface temperature and salinity in the global ocean from raw satellite data[J]. Remote Sensing, 2019, 11(19): 2191.

[31] RAJABI-KIASARI S, HASANLOU M. An efficient model for the prediction of SMAP sea surface salinity using machine learning approaches in the Persian Gulf[J]. International Journal of Remote Sensing, 2020, 41(8): 3221-3242.

[32] 王國松, 王喜冬, 侯敏, 等. 基于觀測和再分析數據的LSTM深度神經網絡沿海風速預報應用研究[J]. 海洋學報, 2020, 42(1): 67-77.

WANG Guosong, WANG Xidong, HOU Min, et al. Research on application of LSTM deep neural network on historical observation data and reanalysis data for sea surface wind speed forecasting[J]. Haiyang Xuebao, 2020, 42(1): 67-77.

[33] 李蓉蓉, 戴永. 基于LSTM和時間序列分析法的短期風速預測[J].計算機仿真, 2020, 37(3): 393-398.

LI Rongrong, DAI Yong. Short-term wind speed prediction based on short and longtime memory network and time series analysis method[J]. Computer Integrated Manufacturing Systems, 2020, 37(3): 393-398.

[34] PANDIT R K, KOLIOS A J, INFIELD D.Data-Driven weather forecasting models performance comparison for improving offshore wind turbine availability and maintenance[J]. IET Renewable Power Generation, 2020, 14(13): 2386-2394.

[35] WEI C C. Development of stacked long short-term me-mory neural networks with numerical solutions for wind velocity predictions[J]. Advances in Meteorology, 2020, 2: 1-18.

[36] LIAN J, DONG P P, ZHANG Y P, et al. A novel deep learning approach for tropical cyclone track prediction based on auto-encoder and gated recurrent unit networks[J]. Applied Sciences, 2020, 10(11): 3965.

[37] LI S, HUANG L L, LIU Y, et al. Modeling of ultra- short term offshore wind power prediction based on condition-assessment of wind turbines[J]. Energies, 2021, 14(4): 891.

[38] 朱曉雯, 侯宇, 劉玉海, 等. 深度學習方法在海浪有效波高數據高分辨率處理中的應用[J]. 中國海洋大學學報(自然科學版), 2020, 50(11): 22-29.

ZHU Xiaowen, HOU Yu, LIU Yuhai, et al. Application of deep learning method in high resolution processing of significant wave height[J]. Periodical of Ocean University of China, 2020, 50(11): 22-29.

[39] WANG J C, WANG Y, YANG J G. Forecasting of significant wave height based on gated recurrent unitn-Network in the Taiwan Strait and its adjacent waters[J]. Water, 2021, 13(1): 86.

[40] PETROU Z I, TIAN Y. Prediction of sea ice motion with convolutional long short-term memory networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6865-6875.

[41] 焦艷, 黃菲, 高松, 等. 基于長短時記憶神經網絡的遼東灣海冰延伸期預報方法研究[J]. 中國海洋大學學報(自然科學版), 2020, 50(6): 1-11.

JIAO Yan, HUANG Fei, GAO Song, et al. Research on extended-range forecast model of sea ice in the Liadong Bay based on long short term memory network[J]. Periodical of Ocean University of China, 2020, 50(6): 1-11.

[42] LIU Q, ZHANG R, WANG Y, et al. Daily prediction of the Arctic Sea ice concentration using reanalysis data based on a convolutional LSTM network[J]. Journal of Marine Science and Engineering, 2021, 9(3): 330.

[43] 張財廣, 熊博蒞, 匡綱要.光學衛星遙感圖像艦船目標檢測綜述[J]. 電波科學學報, 2020, 35(5): 637-647.

ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A survey of ship detection in optical satellite remote sensing images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647.

[44] 李開端, 趙友庚, 蔣定定, 等.利用小波變換進行海上目標識別研究[J]. 光學技術, 2003, 2: 153-155.

LI Kaiduan, ZHAO Yougeng, JIANG Dingding, et al. Sea target recognition by wavelet transform[J]. Optical Technique, 2003, 2: 153-155.

[45] GIRSHICK R, DONAHUE J, DARRELL T, et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: OH, 2014: 580-587.

[46] GIRSHICK R. Fast R-CNN[C]// Proceedings of 2015 IEEE international conference on computer vision. San-tiago: CHILE, 2015: 1440-1448.

[47] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.

[48] DAI J F, LI Y, HE K M, et al. R-FCN: Object detection via region-based fully convolutional networks[C]// Pro-ceedings of the 30th international conference on neural information processing systems. Barcelona: Curran Associates Inc, 2016: 379-387.

[49] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[J]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR), IEEE, 2016: 779-788.

[50] REDMON J FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of 30th IEEE conference on computer vision and pattern recognition, Honolulu: 30th IEEE conference on computer vision and pattern recognition (CVPR 2017), 2017: 7263-7271.

[51] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[J]. EOCV 2016: Computer Vision, 2016: 21-37.

[52] HE W, XIE S, LIU X, et al. A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning[J]. Journal of Intelligent and Fuzzy Systems, 2019, 37(4): 4437-4447.

[53] ZHOU X Y, YANG K D, DUAN R. Deep learning based on striation images for underwater and surface target classification[J]. IEEE Signal Processing Letters, 2019, 26(9): 1378-1382.

[54] HUANG H, SUN D, WANG R, et al. Ship target detection based on improved YOLO network[J]. Mathematical Problems in Engineering, 2020: 1-10.

[55] JIN L, LIU G D. An approach on image processing of deep learning based on improved SSD[J]. Symmetry- Basel, 2021, 13(3): 495.

[56] LIU Q W, XIANG X Q, YANG Z, et al. Arbitrary direction ship detection in remote-sensing images based on multitask learning and multiregion feature fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2): 1553-1564.

[57] YEKEEN S T, BALOGUN A L, YUSOF K B W. A novel deep learning instance segmentation model for automated marine oil spill detection[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 167: 190-200.

[58] SONG D, ZHEN Z, WANG B, et al. A novel marine oil spillage identification scheme based on convolution neural network feature extraction from fully polarimetric SAR imagery[J]. IEEE Access, 2020, 8: 59801- 59820.

[59] 張天龍. 基于深度學習和決策層信息融合的SAR圖像溢油檢測研究[D]. 北京: 中國科學院大學, 2020.

ZHANG Tianlong. Study on oil spill detection in SAR images based on deep learning and decision level information fusion[D]. Beijing: University of Chinese Academy of Sciences, 2020.

[60] HUANG H, WANG C, LIU S C, et al. Single spectral imagery and faster R-CNN to identify hazardous and noxious substances spills[J]. Environmental Pollution, 2020, 258: 113688.

[61] 金韻. 基于深度學習的港口溢油識別與定位系統開發[D].舟山: 浙江海洋大學, 2020: 15-38.

JIN Yun. Development of port oil spill identification and location system based on deep learning[D]. Zhoushan: Zhejiang Ocean University, 2020: 15-38.

[62] 張盟, 楊玉婷, 孫鑫, 等.基于深度卷積網絡的海洋渦旋檢測模型[J]. 南京航空航天大學學報, 2020, 52(5): 708-713.

ZHANG Meng, YANG Yuting, SUN Xin, et al. Ocean eddy detection model based on deep convolution neural network[J]. Journal of Nanjing University of Aeronautics & Astronautics, 2020, 52(5): 708-713.

[63] 謝鵬飛, 宋弢, 徐丹亞, 等.基于深度學習的中尺度渦檢測技術及其在聲場中的應用[J]. 海洋信息, 2020, 35(1): 18-26.

XIE Pengfei, SONG Tao, XU Danya, et al. Mesoscale eddy detection technology based on deep learning and its application in acoustic field[J]. Marine Information, 2020, 35(1): 18-26.

Research progress in the application of deep learning to ocean information detection: status and prospect

ZHANG Xue-wei1, HAN Zhen1, 2, GUO Xin1

(1. College of Marine Sciences, Shanghai Ocean University, Shanghai 201306, China; 2. Shanghai Engineering Research Center of Estuarine and Oceanographic Mapping, Shanghai 201306, China)

Deep learning can enable machines to understand the learning data through deep neural networks to improve the data classification effect and the accuracy of prediction results. Therefore, its application in ocean information detection has received more attention. Based on the basic principles of deep learning, this paper describes a deep learning neural network model commonly used in the ocean. Marine environmental information factors such as temperature, salinity, wind field, effective wave height, and sea ice are predicted and analyzed with ocean information detection elements. At the same time, marine target identification and detection are carried out for ships, oil spills, and eddies. Finally, the status of deep learning in ocean information exploration is discussed, and problems faced by the development of deep learning in ocean information exploration are summarized.

deep learning; ocean information exploration; neural network; prediction; identify testing

Jul. 16, 2021

P71

A

1000-3096(2022)02-0145-11

10.11759/hykx20210716002

2021-07-16:

2021-08-08

上海市科委科研計劃項目(18DZ2253900); 教育部產學合作協同育人項目(202102245031)

[Scientific Research Program of Shanghai Science and Techno-lo-gy Commission, No. 18DZ2253900; University-Industry Colaborative Education Program Initiated by the Ministry of Education, No. 202102245031]

張雪薇(1992—), 女, 江蘇江陰人, 博士研究生, 主要從事海洋遙感方面研究, E-mail: 546682382@qq.com; 韓震(1969—),通信作者, E-mail: zhhan@shou.edu.cn

(本文編輯: 譚雪靜)