注意力機制海洋場景圖像理解算法

鄔 滿，文莉莉，孫 苗

1.廣西壯族自治區海洋研究院 信息科，南寧 530022 2.自然資源部海洋信息技術創新中心，天津 300171 3.廣西大學 電氣工程學院，南寧530007 4.廣西壯族自治區藥用植物園 信息產業辦，南寧 530023

隨著我國經濟社會的高速發展，沿海地區對于海洋資源的開發力度持續加大，我國海洋管理面臨著越來越嚴峻的挑戰，但是受開發理念、開發方式、監管困難及利益驅動等多方面的影響，我國沿海違規開發（偷填、超填、閑置）、隨意圍墾種養殖、破壞紅樹林等生態環境、盜采海砂、非法挖礦采石、垃圾偷排與傾倒等行為，使海洋資源與生態環境受到嚴重破壞[1]。因此，加強海洋資源監測、海域利用現狀調查、海洋工程批后監管，對重點區域進行常態化動態監測顯得尤為必要。

無人機遙感監測具有機動靈活、高分辨率、成本低、風險小等特點，彌補了衛星遙感監測的不足，已成為重要的測繪與監測工具，廣泛應用于國土、海洋、規劃、農業、災害、資源、環境、公安等多個領域[2]。然而，隨著無人機技術的迅速發展，無人機獲取遙感圖像的規模呈暴發式增長，僅僅依靠人工來對這些海量的無人機圖片進行整理、分類、審查與標注，工作量將非常巨大，效率也十分低下，難以滿足對我國遼闊海域的動態監管工作[3]。因此，采用人工智能技術實現對日常海域監管中的海量無人機圖像進行圖像翻譯與智能審查，自動生成圖片審查報告，將極大地提高監管效率，節約大量的人力和時間成本，為有效地保護海洋資源和環境提供有力的技術保障，促進海洋經濟健康可持續發展。

圖像翻譯的主要目的是對給定的圖片輸出文本描述內容，例如圖像的主體、主體之間的關系、圖像的情景等信息[4]。圖像文本描述最早在2010年提出。近年來關于圖像翻譯的研究越來越多，其中比較經典的有監督模型包括Pix2Pix、BicycleGAN等，無監督模型包括CycleGAN、MUNIT、StarGAN、DRIT等[5]。由于這些模型無論是針對多領域翻譯還是單領域翻譯都是將目標域圖像的風格、屬性整體遷移到源域圖像上，雖然這些方法可以很好地解決風格統一或者內容相關的圖像翻譯問題，但對于有大量復雜目標且目標與背景之間的風格差異非常大的復雜結構圖像翻譯來說是很困難的[6]。常用的圖像翻譯方法主要分為三類：基于生成式的描述方法、基于檢索式的描述方法和基于深度學習的描述方法。本文主要探討基于深度學習的描述方法[7]。

基于深度學習的描述方法一般采用卷積神經網絡（convolutional neural networks，CNN）對圖像特征進行編碼，采用循環神經網絡（recurrent neural networks，RNN）提取圖像特征并逐步生成文本描述[8]。2014年百度提出的m-RNN模型首次提出用CNN編碼圖像特征，用RNN生成描述文本[9]。該模型也成為眾多基于深度學習獲取圖像描述任務的基準模型。2018年Zhang等人提出一種基于文本使用注意力機制的方法，采用tdgLSTM方法對單詞嵌入取平均，與圖像特征編碼融合后作為注意力機制的輸入并產生文本描述[10]。近年來，國內研究人員也越來越關注圖像翻譯技術的研究：2018年周治平提出一種結合自適應注意力機制和殘差連接的長短時記憶網絡（long short-term memory，LSTM）的圖像翻譯模型[11]；2019年朱欣鑫提出一種基于堆疊注意力機制和多級監督的圖像描述算法[12]；同年，常智提出一種基于多模態融合的圖像描述方法，采用一種時序卷積結構提取語句特征，將句子特征融合進每個RNN時間片，從而增強RNN對歷史單詞的長距離相關性建模[13]。

然而，由于自然資源監測應用場景復雜，監測目標有著多樣化、多尺度、時空關聯的復雜特征，描述比較困難，圖像翻譯技術在國土、海洋、測繪等自然資源領域的應用還處在探索階段。因此，探索利用人工智能技術，自動對海量的自然資源監測圖像進行篩選與標注，對提高自然資源的綜合監管能力和效率有著至關重要的作用。

為了解決上述問題，本文提出基于LSTM的復雜海洋場景圖像翻譯方法。主要貢獻如下：

（1）提出一種基于注意力機制、面向海域監管的復雜海洋場景圖像有效特征提取方法。復雜場景圖像中常存在多義和不確定的事物、隱式和顯式的信息，尤其是目標多尺度、對象多樣化、風格差異大的復雜海洋場景圖像，如何充分結合圖像特征和行業先驗知識，有效進行復雜圖像關注點與有效特征的提取，是復雜海洋場景圖像翻譯中待解決的關鍵問題和難點。

（2）提出一種基于改進LSTM的復雜海洋場景圖像翻譯算法。海域監管應用場景復雜，監測目標有著多樣化、多尺度、時空關聯的復雜特征，自動生成合適的文本描述與中文分詞比較困難，這既需要復雜的中文分詞規則與深度學習模型，還需要專業的海洋管理行業知識和豐富的海洋管理行業經驗。因此，如何將人工智能技術與海洋管理知識充分結合，構建面向海域監管的復雜海洋場景圖像翻譯方法，對實現我國遼闊海域的高效、大范圍、智能化監管有著至關重要的作用。

（3）以準確率、時間消耗和內存消耗作為評價指標對提出的算法在公共數據集上進行了大量實驗，對算法的有效性和優越性進行了分析。

1 相關技術

1.1 視覺注意力機制

視覺注意力機制是一種模擬人腦注意力機制的算法，能夠快速掃描圖像并忽略無用信息，獲取圖像的關鍵區域信息，即注意力焦點，然后針對焦點區域進行細節提取與處理[14]。這種方法可以快速、有效地提取復雜圖像的關鍵特征，因此被廣泛應用于圖像識別領域，如自動駕駛。按注意力的可微性來分，注意力機制可以分為強注意力和軟注意力[15]。強注意力是更加關注點，每個點都有可能延伸出注意力，它是一個隨機的預測過程，不可微，用0或1表示哪些點被注意哪些不被注意[16]。軟注意力更關注區域或通道，其最重要的特點是可微，用0~1之間的數值來表示每個區域的被關注程度，可用于描述[0，1]間連續分布的問題[17]。可微分使得它可以通過神經網絡計算出梯度，并且注意力的權重可以利用前向傳播和后向反饋學習來得到。因此，它常來解決目標分類問題，經常用到的視覺注意力機制網絡有SENet、SKNet、CBAM等[18]。

大多數的注意力機制均是基于Encoder-Decoder框架，它是一個廣泛應用于文本處理、圖像識別、語音識別等各個領域的通用框架[19]。通過對Encoder和Decoder的各種不同組合，可以得到CNN、RNN、LSTM等不同的網絡模型[20]。用x表示輸入，y表示輸出，h是Encoder階段的轉換函數，H是Decoder階段的轉換函數，W表示權重，c表示不同的注意力集中程度，即分配的概率大小，c i是由h1,h2,…,h n與Wti加權求和所得，則Encoder-Decoder框架可以表示如圖1所示。

圖1 引入注意力機制的Encoder-Decoder框架Fig.1 Encoder-Decoder framework with attention mechanism

1.2 LSTM網絡模型

循環神經網絡（RNN）常用來解決一個事件序列的預測問題，它具有一定的狀態記憶功能[21]。但當時間較長、狀態依賴關系較復雜時，由于RNN在時間上共用權重，導致網絡權重更新緩慢，會出現梯度爆炸或梯度消失問題[22]。因此，需要增加一個存儲單位來存儲記憶，解決長期依賴問題，這就是長短時記憶模型（LSTM），它是RNN的一個變形[23]。LSTM的核心是細胞狀態，也是整個模型的記憶空間[24]。目前改進的LSTM有三個門：input gate、forget gate、output gate[25]。其中，input gate負責記憶現在的狀態信息，forget gate負責忘記過去某些狀態信息，output gate輸出最終結果[26]。forget gate可以控制是否忘記之前的存儲信息，因此可以解決梯度爆炸問題。LSTM每個節點共有四個輸入和一個輸出，四個輸入包括輸入部分Z、輸入門Zi、輸出門Zo、遺忘門Z f。Zi、Zo、Z f三個門一般使用sigmoid函數作為激活函數，激活之后使值在0到1之間，便于控制門的開關，Z i能控制輸入Z走多遠，Z f負責刷新或重置記憶單元的值，Zo控制最后的結果能否被輸出。三個門的邏輯控制如下：

（1）設記憶單元的初始狀態為c。

（2）若輸入門關閉，即f(Zi)=0，則輸入為0；若f(Z i)=1，則輸入不變。

（3）若遺忘門開啟，即f(Z f)=1，則c直接通過，相當于記憶單元保存了c的值；若f(Z f)=0，則忘記保存的值c。

（4）若輸出門開啟，即f(Zo)=1，則輸出最后結果；否則若f(Zo)=0，則輸出也是0。

通過三個門的控制，將LSTM內部分成了三個階段：記憶階段、忘記階段和輸出階段。記憶階段由輸入門控制，根據信息的重要性進行選擇性記憶，重要的著重記憶，不重要的則少記；忘記階段由遺忘門控制，選擇性忘記不重要的信息；輸出階段由輸出門控制結果是否被輸出。如圖2所示。

圖2 LSTM模型結構圖Fig.2 LSTM model structure diagram

設每個神經元的輸入用a表示，輸出用b表示；wij表示神經元i到j的權重，用I、F、O表示input gate、forget gate、output gate的下標，c表示cell，wcI、wcF、wcO分別表示cell到各個門的權重，S c表示cellc的狀態，NI、NH、NO分別表示輸入層、隱藏層、輸出層神經元個數，f、g、h分別表示控制門、cell的輸入輸出激活函數，則input gate的推導公式如式（1）、（2）：

forget gate的推導公式如式（3）、（4）：

由上式可以看出，當前時刻的狀態計算依賴于上一時間隱藏層的狀態，有遞歸效應，因此LSTM模型具有較長時間的記憶功能。

2 算法研究

2.1 基于注意力機制的復雜海洋場景圖像特征提取

海洋場景圖像有著目標多尺度（如塑料瓶、塑料袋等小目標海洋垃圾，以及紅樹林、養殖池塘等海域利用大目標）、對象多樣化（有單純的個體目標，如漁船；有復雜的集群目標，如蠔排；有不確定的對象，如挖掘機；也有復雜的對象行為分析，如挖掘機施工、采砂船采砂等）、風格差異大（背景可能是海面、灘涂、海堤、碼頭、樹林、圍填海施工現場等，且干擾目標多）等復雜特點，如何有效提取圖像中的有效特征，對圖像描述的準確生成有著至關重要的作用。復雜場景圖像中常存在多義和不確定的事物、隱式和顯式的信息，如何充分利用圖像特征和文本信息的融合特征，有效進行圖像關注點的選取是圖像描述中仍待解決的關鍵問題和難點。

海洋場景圖像的復雜性體現在：（1）圖像內容的復雜性，圖像中存在多尺度、多樣化的海洋目標及復雜多變的背景。（2）時空關系的復雜性，如多對象之間的位置關系復雜，多張連續圖像之間的位置相關聯。

海洋場景圖像的不確定性體現在：（1）對象的不確定性，如漁船與采砂船外觀相近，須結合其他特征來區分（如船運動軌跡上是否存在大量泥沙的痕跡）。（2）行為的不確定性，如在海邊發現有挖掘機或貨車，不能確定其是否是在進行圍填海施工活動，或者漁船在海上作業是否違法須結合禁漁期的時間設定。如圖3所示。

圖3 復雜海洋場景圖像示例Fig.3 Examples of complex ocean scene images

復雜海洋場景圖像中常存在多義和不確定的事物、隱式和顯式的信息，如何充分結合海洋管理行業知識，有效進行圖像關鍵特征的提取，是實現圖像翻譯的關鍵問題之一。圖像翻譯首先需要從圖像中提取特征，這些特征包括圖像中的紋理信息、物體信息、場景信息等。彩色圖像的實質是數字矩陣，矩陣上每個位置的數字代表這個位置的色彩值。復雜圖像特征提取一般使用卷積神經網絡。

卷積神經網絡的優勢在于它通過卷積核的權重共享機制大大減少了神經網絡中參數的數量，由此也帶來訓練速度上的大幅提升[27]。同時由于其卷積核能自動提取區域特征的特殊結構，反而能取得比普通神經網絡更好的表現效果。CNN的這種優勢在數據量大且區域特征明顯的圖像類任務上顯得更加突出，圖像分類、目標檢測等任務都基于CNN網絡取得了非常好的效果。

卷積網絡在圖像識別領域已經十分流行，經典網絡有AlexNet、VGGNet、GoogLeNet等[28]。GoogLeNet最大的特點就是使用了Inception模塊，它的目的是設計一種具有優良局部拓撲結構的網絡，即對輸入圖像并行地執行多個卷積運算或池化操作，并將所有輸出結果拼接為一個非常深的特征圖。因為1×1、3×3或5×5等不同的卷積運算與池化操作可以獲得輸入圖像的不同信息，并行處理這些運算并結合所有結果將獲得更好的圖像表征。

通過谷歌發表的論文Inception-v4，Inception-ResNet and the Impact of Residual Connections on Learning中的實驗結果來看，Inception-v4和Inception-ResNet v2在分類任務上有著差不多準確度，且明顯強于其他結構的分類器[29]。Inception-v4網絡，對于Inception塊的每個網格大小進行了統一。

Inception-v4可分為六大模塊，分別是Stem、Inception-A、B、C、Reduction-A、B，每個模塊都有針對性的設計，模型總共76層。Stem（9層）：3個3×3卷積堆疊；高效特征圖下降策略；非對稱分解卷積。Inception-A（3層）：標準的Inception module。Reduction-A（3層）：采用3個分支，其中卷積核的參數K、l、m、n分別為192、224、256、384。Reduction-B（4層）：非對稱卷積操作部分，參考Inception-v3。Inception-C（4層）：結構參考自Inceptionv3。Inception-v4總共9+3×4+5×7+4×3+3+4+1=76層。

圖4是Inception-v4的結構：所有圖中沒有標記“V”的卷積使用same的填充原則，即其輸出網格與輸入的尺寸正好匹配。使用“V”標記的卷積使用valid的填充原則，意即每個單元輸入塊全部包含在前幾層中，同時輸出激活圖（output activation map）的網格尺寸也相應會減少。

圖4 Inception-v4結構圖Fig.4 Structure diagram of concept-v4

Inception-v4模型可以很好地用于復雜圖像特征的提取，如圖5所示。將Inception-v4處理后的特征圖再輸入其他深度學習網絡進行遷移學習，可以得到較好的圖像分類效果。本文用Inception-v4與VGG16兩種模型進行了圖像分類對比實驗。

圖5 Inception-v4圖像特征提取Fig.5 Image feature extraction of Inception-v4

2.2 基于LSTM的復雜海洋場景圖像描述生成

目前的圖像描述生成算法主要是針對人物或動物的場景進行描述，相對比較單一；針對復雜多變的海洋場景圖像進行自動描述并生成圖像審查文本報告，是一項極具挑戰也十分有實用價值的研究工作，可以極大地節省海洋管理工作人員的審圖時間，提高其工作效率。

目前使用效果較好的是基于長短時記憶模型（LSTM）的深度學習圖像描述生成方法。LSTM模型作為每一步生成文本時使用的編碼單元，是文本生成中的基本結構，它是循環神經網絡的變種之一。本文將CNN與LSTM結合起來，利用CNN的圖像識別能力與LSTM的構句法，將圖像數據和相應的描述句子作為輸入，建立具備“看圖說話”能力的圖像翻譯模型。具體處理步驟如下（如圖6所示）。

圖6基于CNN和LSTM的圖像描述生成Fig.6 Image description generation based on CNN and LSTM

（1）將圖像進行縮放、裁剪、歸一化等預處理；

（2）利用Inception-v4網絡對圖像進行特征提取，得到特征圖；

（3）將特征圖作為輸入，結合對應的圖像描述語句，每幅圖像對應3句以上描述語句，一起作為輸入傳入LSTM網絡，供其學習，建立圖像翻譯模型；

（4）對模型進行評價及優化。

圖像中文文本描述使用CNN結構提取圖像特征。CNN結構采用遷移學習的方法，將在大規模分類任務上訓練好參數的網絡結構直接遷移到圖像描述任務的特征提取層。CNN輸出的特征向量作為LSTM解碼器單元的輸入和注意力機制的關注區域，帶有注意力機制的LSTM單元對將要生成的文本描述進行逐字解碼。訓練過程中開始時固定CNN的參數值，訓練LSTM的參數；當損失值穩定后，對CNN和LSTM的參數進行聯合訓練，使CNN能獲取到不同于分類任務的特征參數。針對中文分詞存在歧義性的問題，采用基于字的生成。對訓練中超參數的選擇，采用控制變量對比法。評價機制選擇了傳統的交叉熵損失函數值和針對機器翻譯等問題提出的BLEU等方法。主要技術方法如下：

（1）提取圖片中的時間地點信息

無人機拍攝的照片基本都是以JPG格式存儲。通過編程提取JPG文件中Exif（exchangeable image file format）數據結構中的經緯度和時間信息，再通過阿里的逆地理編碼regeocoding請求或百度地圖api，將經緯度轉換成對應的地名。

（2）復雜海洋場景描述中文分詞

中文與英文描述最大的區別就在于分詞處理。英文每個單詞就是一個相對獨立的單元，用空格分開，程序很好區分；而中文由漢字組成，一個詞大多由多個漢字組成，且沒有任何標記進行分隔，一般程序較難實現準確的自動分詞。因此，需要專門考慮中文的分詞問題。目前常用的中文分詞方法有基于詞典的方法和基于統計的方法。

基于詞典的方法主要包括正向最大匹配法、逆向最大匹配法、雙向匹配分詞法、N-最短路徑方法等；其優點是處理速度快，實現也很簡單，缺點是對有歧義和未登錄的詞處理效果較差。基于統計的方法包括隱馬爾科夫模型（hidden Markov model，HMM）、條件隨機場模型、最大熵模型、N元文法模型N-gram、支持向量機、神經網絡和深度學習方法；其優點是可以解決歧義和未登錄詞的問題，還可以考慮上下文環境、詞頻等，但建立訓練集需要大量的人工標注和整理統計，且速度很慢。在實際使用中經常是將兩種方法結合起來，這樣既能提高分詞速度，又能解決歧義和識別未登錄生詞的問題。目前中文分詞使用最廣泛的Jieba分詞便是采用這種原理。

Jieba分詞工具是目前應用最廣、效果最穩定的中文分詞工具，比基于深度學習（如LSTM）的分詞方法速度要快很多，且效果基本差不多。它是基于統計和詞典方法相結合的分詞方法，支持自定義詞典。其原理主要包括三部分：對于待分詞的句子，基于Trie樹詞典查找所有可能的路徑；然后基于動態規劃查找概率最大的分詞路徑，找出基于詞頻的最大切分組合；對于未登錄詞，采用了具有漢字成詞能力的HMM和Viterbi算法來識別新詞。Jieba分詞工具使用的算法有Trie樹、有向無環圖、動態規劃、隱馬爾科夫及Viterbi（維特比）算法，分詞模式支持精確模式、全模式、搜索引擎模式三種。本文采用Jieba分詞工具進行復雜海洋場景的中文描述分詞，如圖7所示。

圖7 Jieba分詞效果Fig.7 Jieba word segmentation effect

（3）基于LSTM的復雜海洋場景圖像翻譯

長短時記憶網絡能夠處理長短不一的序列式數據，比如語言句子。給定一個輸入，網絡能夠給出一個序列輸出。圖像到文字的問題可以看作是一種機器翻譯，在現在的機器翻譯模型中，以LSTM為基礎的seq2seq模型成為主流。該模型的基本思想是，對于一個數據pair(A,B),因為A和B表達的是同一個意思，所以存在某種隱含狀態h，使得A和B都對應到h。于是seq2seq模型就先對A進行編碼，得到一個數據表示，再基于這個數據表示去解碼，生成目標語言的文字。本文基于此方法建立面向海域監管的復雜海洋場景圖像翻譯模型，并研究自動生成海域監管報告的方法。如圖8、圖9所示。

圖8 LSTM整體結構圖Fig.8 Overall structure of LSTM

圖9 基于LSTM的海洋場景圖像中文描述生成Fig.9 Generation of Chinese description of ocean scene image based on LSTM

3 實驗結果與分析

3.1 數據集

利用91衛圖助手高清影像、自己制作的無人機高清影像、無人機航拍照片、外業調查照片及網絡圖片，針對環境污染（赤潮、海洋垃圾等）、破壞生態（盜采海砂、破壞紅樹林）、海洋養殖（網箱、蠔排）、圍填海施工這四類海洋場景，建立樣本圖像庫與測試圖像庫。為了擴充數據樣本及防止過擬合，本文對每類樣本做了數據擴充處理，包括顏色抖動、角度旋轉、隨機裁剪、加噪聲等處理。每類場景圖像為3 000張以上，各抽出100張作為測試集，并隨機抽出100張作為交叉驗證集。

3.2 實驗步驟與結果

為了驗證本文提出的算法，基于LSTM模型與場景先驗信息相結合的方法，實現對復雜海洋場景監測圖像的中文描述自動生成。本文實驗環境采用百度的Paddle-Paddle深度學習框架，python語言環境。具體步驟如下：

（1）利用各種數據源，建立復雜海域場景樣本庫。

（2）制作針對復雜海域場景圖像的中文描述數據集，每張圖片對應5條描述。

（3）使用Inception-v4網絡模型抽取圖像特征。

（4）使用Jieba分詞工具，構建輸入序列嵌入，將圖像描述的單詞轉換為其id序列號，制作詞匯表和詞典。

（5）構建語言模型，設計卷積神經網絡（CNN）和長短時記憶網絡（LSTM）模型，訓練出針對復雜海域場景的中文描述生成模型和海洋目標識別模型。

（6）針對日常海域調查及海域批后監管工作中海量未標注的無人機圖片，先解析出JPG文件中Exif數據結構中的經緯度和時間信息，再通過阿里的逆地理編碼regeocoding請求或百度地圖api，將經緯度轉換成對應的地名；再用訓練出的模型自動生成圖片描述信息，如“挖掘機在施工”“海上有大量蠔排”等；最后將時間、地點、圖片描述信息拼接起來作為圖片標注信息及文件名，便于圖片分類歸檔及關鍵信息提取，可用于環境污染、生態環境破壞或違法用海行為的圖片篩選及預警，如“XX市XX區XX鎮_2020年3月31日_沙灘上有大量垃圾”（環境污染）、“XX市XX區XX鎮_2020年1月20日_挖掘機在施工”（非法圍填海）、“XX市XX縣XX鎮_2020年2月12日_船舶在開采海砂”（破壞生態）。

（7）使用putText方法將文字疊加到圖像上。如圖10所示。

圖10 處理效果示例圖Fig.10 Processing effect examples

（8）對識別出的海上目標和疑似用海行為，確定其用海類型，并與規劃數據、海域使用權屬數據進行疊加分析，判斷是否為非法用海；對非法用海行為進行自動記錄、存證，并生成數據包提供給管理部門和執法部門進行調查處理。

另外，為了對比VGG16與Inception-v4模型的圖像特征提取與分類能力，本文從海洋場景樣本庫隨機抽取1 000張圖像進行了測試，實驗結果表明，Inception-v4的圖像分類能力明顯要高于VGG16網絡模型。如表1所示。

表1 對比測試結果Table 1 Comparative test results

3.3 存在的問題及改進措施

由于海洋場景的復雜性，該模型還存在以下問題：

（1）專有名詞的分詞問題。比如紅樹林、養殖網箱、養殖池塘、養殖蠔排等專有名詞需進行專門的分詞處理，否則會分詞失敗，比如將紅樹林分成“紅”和“樹林”兩個詞。下一步計劃建立專門的海洋專題詞庫，涵蓋海域海島管理、海洋生物、海洋環境、海洋防災減災等多個專題。

（2）最佳語句的選擇。一幅海洋場景圖像往往含有多個目標及多重含義，得出的參考句也有多種描述，且往往各種描述的概率均較低，造成很難合理選擇最佳描述語句，如表2所示。下一步將優化中文描述樣本庫，研究句子長度對描述準確性的影響，進一步提高描述的準確性。

表2 數據樣例Table 2 Data sample

4 總結

受監管手段落后與利益驅動的影響，我國沿海海域違規開發行為屢禁不止，使海洋資源與生態環境受到嚴重破壞。近年來隨著無人機技術在海洋監管中的廣泛應用，監管效率有了極大提高，但無人機獲取監測圖像的規模呈暴發式增長，傳統的人工審查方式已越來越難完成對海量圖像的審查、標注工作，無法實現對我國遼闊海域的動態監管。因此，本文針對海域監管中的復雜海洋場景（目標多尺度、對象多樣化、風格差異大、時空強關聯且存在不確定性目標）特點，研究復雜海洋場景圖像有效特征的提取方法，以及LSTM模型在海域監管圖像翻譯中的應用，提出并建立一種基于CNN和LSTM網絡的復雜海洋場景圖像中文描述生成模型，結合Jieba分詞工具，實現了對復雜海洋場景監測圖像的自動翻譯。經實驗驗證，本文方法可行，可以解決批量圖像的自動標注問題。下一步將從海洋領域專有名詞和最佳語句選擇方面繼續深入研究，進一步提高算法的穩定性和描述的準確性。