遠洋捕撈漁船電子監控視頻文字信息提取

張勝茂，樊 偉*，張 衡，楊勝龍，沈介然，鄒國華

(1.中國水產科學研究院東海水產研究所，農業農村部遠洋與極地漁業創新重點實驗室，上海 200090； 2.深圳市聯成遠洋漁業有限公司，廣東深圳 518035；3.上海峻鼎漁業科技有限公司，上海 200090；)

近年來視頻監控技術發展迅速，在自動化生產[1]、無人駕駛[2]、自動售貨[3]等諸多領域得到應用。視頻監控技術借助計算機強大的數據處理能力[4]，提取視頻中的語義信息服務于生產、生活，有效地促進了社會的信息化。在海洋漁業捕撈生產過程中，使用視頻監控系統記錄作業過程，輔助漁業安全生產與管理[5]，為漁業企業帶來便利，使漁船管理有序、合理、高效[6-7]。

視頻影像中出現的標語、告示牌、字幕等文字信息是重要的審查內容，提取其中的文字信息進行監管可以有效避免出現違規、違法信息[8-9]。視頻中出現的時間、位置、名稱等信息，在視頻歸檔管理中也發揮了重要作用[10]。遠洋捕撈漁船在捕撈過程中，為了保障漁船安全生產、記錄漁船作業、監控漁船狀態，在漁船前后甲板和左右舷安裝有視頻監控。監控系統與GPS(Global Positioning System)終端連接，在視頻影像中嵌入了時間、位置、航向、航速等信息。本文通過jTessBoxEditor軟件制作視頻圖片素材樣本，用tesseract軟件訓練視頻中嵌入的字符，生成traineddata字庫，最后用Python編程提取遠洋捕撈漁船監控視頻文字信息，為視頻存檔和漁業管理提供參考。

1 漁船監控系統組成

1.1 監控系統結構

漁船安裝了大華公司IPC(IPCamera)監控系統，通過監控主機連接攝像頭、GPS等設備，采集漁船作業圖像、實時GPS、人員活動和漁船行駛狀況等信息，實現對船舶進行全方位監控，各種信息數據本地存儲。漁船上安裝4臺攝像機，船載顯示屏實時顯示視頻影像，為了保證漁船及人員的安全，攝像機的覆蓋范圍要可達95%以上。

漁船監控系統實現了采集、傳輸、數據存儲、管理功能(見圖1)。監控主機采用壁裝安裝方式，前端攝像機通過網線直接連入網絡，通過IP(Internet Protocol)包傳輸視頻信號和控制信號。監控主機實現對前端設備的集中管理，視頻流媒體的存儲，系統功能包括系統配置、實時監視、視頻查詢、視頻回放、實時控制、報警管理、抓圖和抓錄等功能。遠程終端通過衛星通信，也可獲取監控信息。

1.2 漁船視頻監控

遠洋捕撈漁船安裝有捕撈監控系統，監控位置主要包括左右舷、前甲板、后甲板(見圖2)。1號攝像機位于漁船右舷，用于拍攝漁線回收、金槍魚捕撈，以及漁船卸載漁獲；2號攝像機位于漁船左舷，拍攝金槍魚漁獲的進出倉；3號攝像機位于前甲板頂部，鏡頭方向向后，拍攝甲板上金槍魚的簡單加工；4號攝像機位于后甲板，鏡頭方向向前，拍攝延繩釣漁線收放情況。

監控視頻自動保存，每天動態生成一個文件夾，各視頻監控每小時保存一次，保存文件名為“船名-攝像頭編號-年-月-日-時-分-經度-緯度”，保存格式為dav。視頻圖像上有UTC(Universal Time Coordinated)時間、船名、經度、緯度、航向、航速信息。

圖1 漁船視頻監控系統結構示意圖Fig.1 Structure diagram of fishing boat video monitoring system

圖2 漁船監控船載顯示Fig.2 Display interface of fishing vessel monitoring on board

2 識別文字訓練

2.1 訓練樣本生成

本文用軟件jTessBoxEditor-2.2.1(https://sourceforge.net/projects/vietocr/files/jTessBoxEditor/)采集訓練用的樣本，該軟件由Java開發，因此需要安裝Java運行環境(JRE，Java Runtime Environment，http://www.oracle.com/)。在DOS中運行命令“start javaw -Xms128m -Xmx1024m -jar D:jTessBoxEditor-2.2.1jTessBoxEditorjTessBoxEditor.jar”打開界面。

用opencv-python的VideoCapture()函數打開視頻數據，然后讀取監控視頻的幀輸出圖片，本文所用視頻輸出的圖片分辨率為704×576，水平和垂直分辨率都為96dpi，位深為24。在整個幀中，通過frame [19:51，456:691]截取時間圖片，frame[451:572，565:696]截取航行信息圖片(船名、經緯度、航向和航速)，然后保存。輸出多張圖片有助于提高識別精度。樣本處理對圖片做了截取處理(見圖3a)，其目的是為了在輸出文字框選中(makebox)時，減少無效的文本框的生成，提高人工標注速度?？紤]到一天中光強變化與夜間漁船燈光的影響，按照每小時提取一次圖片的方式，獲取到816個標注樣本，用于模型訓練。

2.2 文字樣本訓練

樣本圖片輸出完成后(圖3a)，使用jTessBoxEditor軟件tools菜單中Merge TIFF合并輸出的圖片，圖片命名格式[lang].[fontname].exp[num].tif，其中lang為語言名稱，fontname為字體名稱，num為序號，如圖片訓練自定義字庫為vessel(vessel time position navigation)字體名為font，則合并后圖片命名為vessel.font.exp0.tif。用命令(1)生成字符框vessel.font.exp0.box文件(表1)，再用Box Editor中的Open打開合并后的圖片，進行文字矯正(圖3b)。根據圖片中框選的內容修改char，如果字符不完整就輸入空格。

在文件夾內，新建字體特征文本文件，名為font_properties(無擴展名)，用記事本打開，寫入內容格式為，分別表示字體名稱，斜體、加粗、固定、襯線、哥特體，值用1和0來代表有或無。如“font 0 0 0 0 0”，取值都為0，表示字體不是粗體、斜體、加粗等，文本在命令(4)和命令(5)中用到。

用命令(2)生成字符特征TR文件，用命令(3)從所有文件中提取字符，生成一個unicharset文件，用命令(4)聚集字符特征，生成unicharset文件，用命令(5)生成inttemp文件，用命令(6)合并所有tr文件，生成normproto。訓練過程中會創建5個文件：shapetable，normproto，inttemp，pffmtable和unicharset，以vessel.作為前綴對5個文件進行重命名，即vessel.shapetable，vessel.normproto，vessel.inttemp，vessel.pffmtable和vessel.unicharset，便于文件統一操作。用命令(7)合并5個文件，生成vessel.traineddata，該文件是訓練好的字庫文件，把它復制到Tesseract-OCR安裝目錄下的tessdata文件夾。

表1 文本訓練的命令行Tab.1 Command line for text training

圖3 圖片字符框選與文字標注Fig.3 Picture character box selection and text annotation注：(a)圖片嵌入的文字信息;(b)人工交互標注文字Note: (a) text messages embedded in picture; (b) manual interactive text annotation

3 視頻文字信息提取

本文編程語言為Python 3.6，文字識別工具為tesseractV5.0。通過opencv-python讀取到視頻幀，設置范圍截取含有文字的部分，存儲為圖片(見圖4a)，為了提高文字識別的準確率，用cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)函數，將RGB彩色圖片轉換為灰度圖存儲在img_gray(見圖4b)，再設置閾值，用cv2.threshold(img_gray, 200, 255, cv2.THRESH_BINARY)函數把圖片轉為二進制圖，存儲在img_binary(見圖4c)。最后調用pytesseract.image_to_string(img_binary, lang='vessel')返回字符串，獲取的字符串格式如表2。

圖4 圖片中的漁船位置與航行狀態信息Fig.4 Fishing vessel position and navigation status information in the picture注：(a)截取的原始圖片，(b)灰度圖片(c)設置閾值后的圖片Note：(a)original image captured，(b)gray image，(c)image after threshold setting

提取的信息包括時間、經緯度、航向、航速。視頻中記錄的時間為UTC(Universal Time Coordinated)時間；經度和緯度為“度分”格式，分精確到兩位小數；航向用方向角記錄，數值為整型；航速為精確到1位的小數，單位為節(kn)。

按1分鐘間隔，提取了2019—02—22 23:00到2019—02—23 15:00的16個小時的960條記錄，數據內容包括船名、經度、緯度、航速和航向，經過與原始圖片比對沒有發現提取錯誤的記錄。圖5是這段時間的軌跡，顏色由淺到深表示航速由小到大，箭頭指向表示漁船航向。

4 總結

遠洋漁業捕撈中EMS是國際漁業組織積極推廣的漁船監控系統，系統中的視頻文字信息提取是其重要功能之一。jTessBoxEditor官方版界面美觀大方，功能強勁實用，可以提高Tesseract-OCR文字識別準確率。在本文中，使用該軟件制作了文字樣本，用于文字識別庫的訓練。Tesseract OCR是一個遵循Apache Licene 2.0的OCR開源軟件，基于該軟件訓練出遠洋捕撈漁船監控視頻中的時間、位置、航速、航向等文字識別庫。最后用Python編程提取出遠洋捕撈漁船監控視頻中960條文字記錄，經過人工比對提取的位置數據全部正確。

圖5 漁船位置與航行狀態Fig.5 Fishing vessel position and navigation status

表2 視頻文字串格式Tab.2 String format in the video

文字信息提取在遠洋捕撈漁船電子監控視頻處理中，僅是數據獲取工作的一部分，接下來的工作中將針對視頻中金槍魚抓取、浮球回收、魚類識別、滾筒轉動放線等狀態，運用深度學習算法進行信息提取。