基于深度學(xué)習(xí)的船舶舷號(hào)檢測(cè)與識(shí)別

路云 胡杰

摘要：陸地交通和水上交通是我國(guó)交通運(yùn)輸必不可少的兩部分，而水上交通以船運(yùn)為主。類似汽車車牌號(hào)，正規(guī)的船舶一般在兩舷水線以上標(biāo)明舷號(hào)以方便身份識(shí)別，但由于舷號(hào)命名和印刷的非標(biāo)準(zhǔn)性，其計(jì)算機(jī)的圖像識(shí)別尚未進(jìn)入實(shí)用階段。本文基于EAST 的場(chǎng)景文本檢測(cè)算法以及基于CRNN的端到端不定長(zhǎng)文字識(shí)別算法，提出一種分階段識(shí)別船舶舷號(hào)的解決方案。實(shí)驗(yàn)結(jié)果表明，該方案能較有效地對(duì)船舶舷號(hào)進(jìn)行檢測(cè)與識(shí)別，識(shí)別的準(zhǔn)確率為73.06%。

關(guān)鍵詞：深度學(xué)習(xí);舷號(hào)檢測(cè);舷號(hào)識(shí)別;EAST;CRNN

中圖分類號(hào) TP391? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）11-0178-03

Detection and Identification of Ship's Hull Number Based on Deep Learning

LU Yun，HU Jie

（School of Computer Science， Yangtze University， Jingzhou 434000， China）

Abstract： Land transportation and water transportation are two essential parts of China's transportation， and water transportation is mainly based on shipping. Similar to car license plate numbers， regular ships generally have hull numbers above the waterline on both sides to facilitate identification. However， due to the non-standard naming and printing of hull numbers， computer image recognition has not yet entered the practical stage. Based on EAST's scene text detection algorithm and CRNN-based end-to-end variable length text recognition algorithm， this paper proposes a solution to identify hull number in stages. Experimental results show that this scheme can detect and identify ship's hull number more effectively， and the accuracy of identification is 73.06%.

Key words： deep learning; detection of hull number; identification of hull number; ESAT; CRNN

1 引言

水上交通的船運(yùn)在陸地交通擁擠的情況下，以其耗能低、載量大和運(yùn)費(fèi)少的優(yōu)點(diǎn)發(fā)揮著重要的交通運(yùn)輸作用，即使有港口調(diào)度，規(guī)定具體時(shí)間段的具體船舶通行時(shí)間及航道，但也沒有發(fā)揮真正的優(yōu)勢(shì)，交通混亂、行駛不規(guī)范、撞擊航標(biāo)燈、船舶搶修不及時(shí)以及貨船側(cè)翻傾覆現(xiàn)象等時(shí)常發(fā)生。舷號(hào)像車牌號(hào)一樣透露出該船的基本信息，例如中國(guó)海軍小型艦艇和軍輔船舷號(hào)命名規(guī)則如下：“1”字頭為航母和驅(qū)逐艦，“2”或“3”字頭為常規(guī)潛艇，“4”字頭為核潛艇等[1]。運(yùn)輸船的舷號(hào)也有特定的命名規(guī)則，命名規(guī)則不統(tǒng)一，舷號(hào)位置不固定，印刷字體及大小不固定，要考慮到漢字和數(shù)字的多種組合。因此，港口調(diào)度結(jié)合船舶舷號(hào)的檢測(cè)與識(shí)別可以得出該船舶的基本信息，方便事故追溯和及時(shí)搶修索賠，有利于規(guī)范行船行為，確保水上交通順暢。

自從2012年Krizhevsky等[2]使用深度卷積神經(jīng)網(wǎng)絡(luò)在大規(guī)模視覺識(shí)別挑戰(zhàn)（Large scale visual recognition challenge， LSVRC）上獲得冠軍后，深度學(xué)習(xí)在圖像、文字、語(yǔ)音、視頻等領(lǐng)域受到了廣泛的關(guān)注[3]。海上頻繁運(yùn)輸以及多變的天氣狀況使得船舶舷號(hào)清晰度、完整度略有不足，采集船舶圖像時(shí)也極易受到外界環(huán)境影響，傳統(tǒng)圖像處理方法已無(wú)法滿足需求，但是現(xiàn)在，可以通過深度學(xué)習(xí)的方法從訓(xùn)練數(shù)據(jù)中直接學(xué)習(xí)有效的特征，以獲得泛化能力更強(qiáng)的高級(jí)特征屬性。本文采用基于深度神經(jīng)網(wǎng)絡(luò)的EAST算法檢測(cè)舷號(hào)，然后將舷號(hào)區(qū)域提取出來(lái)用CRNN算法識(shí)別舷號(hào)的具體內(nèi)容，在舷號(hào)的命名多變、長(zhǎng)度多變、字體多變、大小多變以及殘缺模糊等情況下魯棒性更強(qiáng)。

2 舷號(hào)檢測(cè)

本文實(shí)驗(yàn)所用的船舶圖像來(lái)源于網(wǎng)絡(luò)上的部分SeaShips數(shù)據(jù)集，該數(shù)據(jù)集包括內(nèi)河航道中通行的6種船舶圖像。第一階段在低分辨率全局船舶圖像中檢測(cè)出舷號(hào)區(qū)域位置，主要包括兩個(gè)方面的工作，分別是框出舷號(hào)位置，并將舷號(hào)從船體中分割出來(lái)。

EAST全稱是Efficient and Accurate Scene Text Detector，是一種基于單一神經(jīng)網(wǎng)絡(luò)的兩階段的端到端快速高效的文本檢測(cè)算法，有效地消除了中間的候選區(qū)域聚合、字符分割、后處理等多個(gè)不同的階段，直接檢測(cè)字符區(qū)域，檢測(cè)的形狀可以為任意傾斜的四邊形或矩形框，正好符合曲面體的舷號(hào)區(qū)域。EAST模型主要由特征提取、多尺度特征融合以及預(yù)測(cè)結(jié)果生成三部分構(gòu)成，在進(jìn)行訓(xùn)練的過程中加入數(shù)據(jù)增強(qiáng)，包括隨機(jī)縮放，隨機(jī)裁剪，裁剪的目標(biāo)尺寸大小是512[×]512，隨機(jī)旋轉(zhuǎn)，改變明度、對(duì)比度、色調(diào)以及飽和度等，以擴(kuò)充數(shù)據(jù)集。檢測(cè)舷號(hào)區(qū)域經(jīng)過以下幾個(gè)步驟：

（1） 通過PVANet特征提取主干網(wǎng)絡(luò)進(jìn)行舷號(hào)檢測(cè)，抽取不同層的feature map得到不同尺度的特征圖;

（2） 利用 U-shape的思想逐步合并特征圖，并且每層網(wǎng)絡(luò)保持較少的上層采樣，既利用不同級(jí)別的特征值，又節(jié)約了一定的計(jì)算成本，減少了網(wǎng)絡(luò)層中參數(shù)的數(shù)量[4];

（3） 采用RBOX幾何特征圖模式輸出一系列具有旋轉(zhuǎn)角度的矩形檢測(cè)框;

（4） 根據(jù)面積、高寬比等條件篩選滿足要求的舷號(hào)區(qū)域，然后按照舷號(hào)在整個(gè)船舶圖像中的先驗(yàn)位置信息定位到舷號(hào)區(qū)域并輸出。

EAST的損失函數(shù)如公式（1）所示，Ls代表分?jǐn)?shù)損失函數(shù)，Lg代表幾何損失函數(shù)，λg為兩個(gè)損失函數(shù)之間的重要性，一般設(shè)為1。為了簡(jiǎn)化訓(xùn)練過程，使用公式（2）類平衡交叉熵表示Ls，其中[Y]為預(yù)測(cè)值，[Y*]為標(biāo)注值，[β為]正負(fù)樣本之間的平衡因子，使用公式（3）表示Lg，總體幾何損失是AABB幾何形狀損失和角度損失的加權(quán)和， [LAABB]部分使用 IoU損失函數(shù)使計(jì)算更加平均化。

[L=Ls]+[λgLg]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

[Ls=-βY*logY-1-β1-Y*log1-Y]? ? ? ?（2）

[Lg=LAABB+λθLθ]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

3 舷號(hào)識(shí)別

通過舷號(hào)文本檢測(cè)及提取，可獲得舷號(hào)區(qū)域的圖像，第二階段在局部舷號(hào)圖像中檢測(cè)出舷號(hào)的每個(gè)字符，并通過字庫(kù)匹配最終確定船舶舷號(hào)內(nèi)容，這里不考慮字母和符號(hào)的識(shí)別。

3.1 生成數(shù)據(jù)集

實(shí)地搜集數(shù)據(jù)集具有一定困難，且可用的數(shù)據(jù)集較少，所以根據(jù)實(shí)際情況生成以擴(kuò)充數(shù)據(jù)集。長(zhǎng)江流域上行駛的運(yùn)貨船船體和舷號(hào)具有一定的特征，常見的船舶顏色以白色、藍(lán)色、灰色、紅色、黑色以及綠色為主，結(jié)合椒鹽噪聲和高斯模糊，生成相應(yīng)的船體顏色，即舷號(hào)背景圖。然后根據(jù)舷號(hào)的特點(diǎn)選用0到9十個(gè)數(shù)字以及常用的貼合舷號(hào)命名的500個(gè)漢字隨機(jī)生成舷號(hào)數(shù)據(jù)集，字符大小控制在14號(hào)至30號(hào)之間。由于舷號(hào)印刷體不固定，所以搜集了微軟雅黑常規(guī)、宋體常規(guī)、隸書常規(guī)、SitKa Text粗體和Times New Roman粗體等字體文件，結(jié)合字體文件通過PIL的字符生成函數(shù)生成舷號(hào)字符，舷號(hào)一般為白色或黑色。并且通過高斯模糊、適當(dāng)膨脹、適當(dāng)腐蝕、隨即添加噪聲等進(jìn)行數(shù)據(jù)增強(qiáng)，以提高識(shí)別的準(zhǔn)確率。生成的部分舷號(hào)數(shù)據(jù)集如圖1所示。

3.2 CRNN識(shí)別

CRNN全稱是Convolutional Recurrent Neural Network，是一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不需要分割舷號(hào)，就可以識(shí)別整個(gè)舷號(hào)的內(nèi)容，網(wǎng)絡(luò)結(jié)構(gòu)從下到上依次為卷積層CNN，循環(huán)層RNN和轉(zhuǎn)錄層CTC，如圖2所示。CRNN改進(jìn)了CNN模塊和RNN模塊中的LSTM，顯著提升了不規(guī)則文本的識(shí)別準(zhǔn)確率，同時(shí)對(duì)較規(guī)則文本具有很好的魯棒性。首先采用四個(gè)Conv*2-BN-MaxPool形式的塊結(jié)構(gòu)組成的卷積層提取圖像特征并根據(jù) Map-to-Sequence輸出特征序列，雙層卷積能更有效地提取圖像局部特征，BN能夠降低內(nèi)部協(xié)變量移位造成的影響，緩解梯度消失與梯度爆炸的問題，MaxPool可以快速提取圖像的深層特征，縮短訓(xùn)練時(shí)間。然后采用循環(huán)層的深度雙向LSTM識(shí)別向量化的特征以得到每列的概率分布。最后采用CTC和前向后向算法輸出最優(yōu)舷號(hào)識(shí)別結(jié)果。CRNN網(wǎng)絡(luò)由不同類型的神經(jīng)網(wǎng)絡(luò)組成，在訓(xùn)練的過程中，可以通過一個(gè)損失函數(shù)進(jìn)行聯(lián)合訓(xùn)練，從而做到端到端的模型訓(xùn)練和結(jié)果預(yù)測(cè)[5]。

4 結(jié)果分析

本文實(shí)驗(yàn)的開發(fā)環(huán)境，GPU 為 NVIDIA GRID T4-4Q，內(nèi)存為 8GB DDR4。深度學(xué)習(xí)開發(fā)平臺(tái)為 Pytorch 1.2.0版本，開發(fā)語(yǔ)言為 Python 3.6 版本，GPU并行開發(fā)環(huán)境為CUDA 10.0、CuDNN 7.4版本。首先基于EAST進(jìn)行舷號(hào)檢測(cè)訓(xùn)練，框出舷號(hào)，將舷號(hào)區(qū)域提取出來(lái)后基于CRNN進(jìn)行端到端的字符識(shí)別，并使用matplotlib的繪圖功能畫框，以微軟雅黑字體顯示最終識(shí)別的舷號(hào)內(nèi)容。

1） 舷號(hào)檢測(cè)時(shí)背影易干擾。檢測(cè)舷號(hào)區(qū)域時(shí)會(huì)誤框無(wú)舷號(hào)的其他區(qū)域，如圖3所示為正確檢測(cè)和錯(cuò)誤檢測(cè)示例。這要求在檢測(cè)舷號(hào)之前要做進(jìn)一步的圖像預(yù)處理，使舷號(hào)與其他區(qū)域區(qū)別明顯，弱化背景，并擴(kuò)充數(shù)據(jù)集。

2） 舷號(hào)識(shí)別準(zhǔn)確率有待進(jìn)一步提高。訓(xùn)練了825個(gè)epoch后，識(shí)別的準(zhǔn)確率為73.06%。每識(shí)別出一個(gè)舷號(hào)都會(huì)計(jì)算時(shí)間，通過多次測(cè)試，計(jì)算得出識(shí)別一個(gè)舷號(hào)平均耗費(fèi)67ms。如圖4所示為正確識(shí)別舷號(hào)的結(jié)果圖，如圖5所示為舷號(hào)識(shí)別出錯(cuò)的部分結(jié)果圖。這要求擴(kuò)充真實(shí)情景下的舷號(hào)圖像，在生成舷號(hào)數(shù)據(jù)集時(shí)逐漸減少與真實(shí)數(shù)據(jù)集的差距，進(jìn)一步進(jìn)行圖像預(yù)處理和降噪處理，增加訓(xùn)練次數(shù)，不斷調(diào)參，修改算法，優(yōu)化模型結(jié)構(gòu)。

5 總結(jié)與展望

為了識(shí)別運(yùn)輸船舶的身份信息“舷號(hào)”，本文提出檢測(cè)與識(shí)別的分階段思想，首先用EAST 網(wǎng)絡(luò)定位到舷號(hào)區(qū)域，然后利用CRNN 網(wǎng)絡(luò)識(shí)別舷號(hào)字符。通過大量的訓(xùn)練和測(cè)試，驗(yàn)證了該方法的有效性，在一定程度上有利于高效的水上交通管理。盡管如此，本文提出的方案仍有提高的可行性，在實(shí)驗(yàn)流程上進(jìn)一步細(xì)化，增加圖像預(yù)處理和舷號(hào)矯正，尤其是降噪處理。后期盡可能克服困難搜集更多的帶舷號(hào)的船舶圖像，并在生成數(shù)據(jù)集方面盡可能多的模擬真實(shí)情景中的舷號(hào)，采用遷移學(xué)習(xí)，改進(jìn)算法，增加數(shù)據(jù)訓(xùn)練，以達(dá)到更好的訓(xùn)練效果，進(jìn)一步提高船舶舷號(hào)檢測(cè)與識(shí)別的準(zhǔn)確率，在港口合理調(diào)度的基礎(chǔ)上，優(yōu)化水上交通環(huán)境。

參考文獻(xiàn)：

[1] 蕭蕭.中國(guó)軍艦舷號(hào)命名奧妙多[J].黨政論壇，2013（6）：46.

[2] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C]//NIPS'12：Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1.2012：1097-1105.

[3] LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-444.

[4] Zhou X Y，Yao C，Wen H，et al.EAST：an efficient and accurate scene text detector[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2642-2651.

[5] 易鑫.基于深度學(xué)習(xí)的不規(guī)則文本識(shí)別算法研究[D].成都：電子科技大學(xué)，2020.

[6] 石鑫，董寶良，王俊豐.基于CRNN的中文手寫識(shí)別方法研究[J].信息技術(shù)，2019，43（11）：141-144，150.

【通聯(lián)編輯：梁書】