復雜環景下的文本檢測與識別算法的研究

吳繼安 楊超宇

（安徽理工大學經濟與管理學院 安徽淮南 232000）

通過使用計算機視覺，大大提高了工業生產的生產效率。并且在一些特定的生產環境下，將字符識別技術應用到商品標簽識別中，可以識別并讀取出包裝上的文字信息。其中包括：產品名稱、配料、生產商、產地和生產日期等用于描述該商品相關的信息。通過利用這一技術，可以將商品進行快速分類，并將不合格的產品分離出來。通過應用字符識別技術，不僅可以提高信息的精準度，同時也極大的降低了人力成本[1]。

一、字符檢測

文本檢測是圖像信息分析和提取過程中的重要技術，其關鍵在于如何區分和定位復雜的文本區域和背景區域。傳統的圖像文本檢測主要利用人工設計特征檢測圖像中的文本，傳統的字符檢測需要經過圖像預處理、字符定位、字符分割、字符識別操作完成[2]，如圖1。

圖1 字符識別方法對比

工業商品標簽檢測屬于復雜場景下的文本檢測，不同的商品包裝上包含不同尺寸、顏色、形狀、對比度的標簽文本，并且商品標簽的背景相較于印刷文檔更加復雜，傳統的文本檢測方法受到人工設計特征的局限性，難以滿足復雜的食品標簽文本檢測需求。

通過使用深度學習技術，能夠有效避免人工設計特征存在的局限性，目前已經廣泛應用于目標檢測領域。本文借鑒經典算法的思路，提出基于DB算法的文本檢測方法，對于其檢測結果使用基于CRNN的文本識別的方法。

（一）基于DB算法的文本檢測。近年來，基于分割的方法被廣泛應在場景文本檢測領域，這使得字符識別過程中對各種形狀(曲線、垂直、多向)具有較高的檢測精度。可微二值化(Differentiable Binarization)是基于分割場景文本的字符檢測[3]。其主要原理是使用分割方法生成的概率圖轉化為邊界框和文本區域，其中包括二值化的后處理。二值化在字符識別中起到了非常關鍵的作用，而傳統的通過設置固定的閾值的二值化操作難以適應復雜多變的檢測場景。本文使用的DB算法是通過在分割網絡中插入二值運算進行組合優化，最終實現了整個熱圖的自適應閾值，如圖2。

圖2 DB算法網絡結構

可微二值化的基本步驟為：首先提取輸入圖像的主干和特征；然后將圖像傳到特征金子塔，采集到相同尺寸的圖片的同時進行特征關聯；對采集得到的主干和特征進行分析，并計算出預測概率圖(Probability map)和閾值圖(Threshold map)；最后根據預測概率圖和閾值圖得到最后的近似二值圖，并生成文本邊緣框。因為標準的二值處理是不可微的，而且在訓練過程中分割網絡不能得到優化[4]。所以使用可微二值，用于更好的計算反轉值。

在訓練階段，通過得到二值化后的圖片得到概率圖，然后根據一個閾值推導出二值圖，同時獲得連接區域。最后，通過公式(1)的補償計算，在樣例區域通過膨脹再收縮得到文本框，如圖3。

圖3 產品信息檢測

（二）基于CRNN算法的文本識別。早期的OCR(optical character recognition)算法是將單字分割后再進行識別的。如常見的車牌識別，先把車牌圖片使用投影方法切割出單個字體，再送入SVM(support vector machine)或者CNN(Convolutional Neural Networks)里完成文字分類。CRNN(Convolutional Recurrent Neural Network)算法是將識別任務轉化為序列建模問題，避免了文字分割這一不必要的工作。它規避了輸入圖像尺度必須一致的限制，經過卷積層、循環層，輸出階段經過特定算法轉錄后，便完成了不限長文本識別任務[5]。如圖4所示，CRNN模型的第一個層次是CNN層。卷積層的目的是提取特征圖。CNN網絡部分有7個卷積層、2個BN(Batch Normalization)層、4個最大池化層[6]。需要注意的是池化層的卷積核尺寸在長寬方向上不一致，最終導致輸出長寬比例變化的不一致。

圖4 CRNN網絡結構

CRNN模型的第二個層次是RNN層。文本識別任務可建模成基于時序的字符序列識別問題，利用CTC(Connectionist Temporal Classification)損失函數實現字符位置的軟對齊。LSTM(Long-Short Term Memory)的預測結果連接CTC層，去除冗余的字符，將CNN提取到的特征適配到RNN層合,并成最終的識別結果[7]，如圖5。

圖5 生產編號識別

二、系統實現

（一）圖像預處理。本文主要研究復雜環境下顏色信息的處理與識別，大致可分為圖像處理與識別兩步。圖像預處理是是圖像識別的基礎,在不同的場景下，結合自己的算法和程序，通過設定和調節參數將圖片進行一系列的處理，使該圖片更宜于被識別[8]。圖像處理主要包含：去噪處理、圖像增強、彩色圖像轉變成灰度圖、灰度圖轉化成二值圖、邊緣檢測、分割和直方圖匹配、輪廓匹配。圖像預處理的主要的任務就是弱化圖像中多余的干擾信息，增強圖像中所要識別信息的局部或者全部的特征，擴大圖像中不同信息的特征差別。通過改善圖像質量、豐富信息量，加強對圖像后續的識別效果[9]。

1.圖像預處理。由于攝像機采集到的圖像都是彩色的，識別過程中需要對圖片的R、G、B三個通道依次處理,這會對識別速度有很大的影響[10]。所以我們需要對圖片進行灰度化處理。圖像的灰度化可以大大減少圖像中所包含的信息，并且計算量也會大大減少，有利于后續的運算和計算。根據不同顏色的重要性和其他的一些不同的指標，對R、G、B三個分量進行加權平均，如公式(2)。根據公式對彩色圖片灰度化處理，得到合理的灰度圖像，如圖6。

圖6 圖像灰度化

2.二值化。大津法(OTSU)又稱最大類間方差法或最小類內方差法，即二值化圖像閾值的選取。將彩色圖片上的像素點的灰度值設為0或255，使圖片背景和目標一分為二，呈現出明顯的黑白效果，如圖7。按照圖像的灰度特效，二值化后的前景與目標會產生一個類間方差值，即二值化的過程需要取的一個閾值[11]。當圖片背景和目標錯分時，會使兩部分的差別減小，從而導致錯分概率變大。如公式(3)，記H為圖像的總平均灰度，a為目標文字、h為平均灰度值。

由式(2)可見公式中a1表示目標文字所占圖像的比例；a1=1-a0為圖片背景點數占比；h0表示w0對應的平均灰度值；h1表示w1對應平均灰度值。當方差N最大時，被處理圖片中的目標和背景被錯分的概率最小，此時的得到的灰度值為最佳閾值[12]，方差N可由式(4)表示。

（二）標簽檢測與識別。經過圖像預處理的操作后，如圖8。經過通過灰度化和二值化后的圖片可以更好的被DB文本檢測算法和CRNN文本識別算法更好的被識別出來，可以大大提高識別和檢測效率。然后使用預先編寫好的程序進行文字識別：首先打開處理好的圖片;用鼠標標記好要識別的區域，點擊確定后系統開始進行文字的提取和識別;識別結束后，將識別的字符打印到控制臺;最后可以在指定區域輸入要識別的文字與系統識別的字符進行對比判斷。經過以上步驟，識別成功或失敗都將給出相應提示。

三、結果分析

（一）實驗步驟與環境。本字符識別軟件采用Python、OpenCV.js和Pyqt5進行編寫，并實現了字符檢測的可視化操作。實驗使用的電腦配置為：英特爾i9處理器、16g運行內存和Nvidia GTX2080ti顯卡。圖像采集裝置，如圖9。

圖9 圖像采集裝置

實驗共分為：圖像采集、圖像預處理、劃分識別區域、字符分割和字符識別5個步驟，如圖10。將需要標簽識別的物品放到圖像采集裝置上。當傳感器感應到物品，相機就會進行拍照并將圖像傳到軟件進行預處理；用鼠標選擇好識別區域，并輸入要檢測的字符。系統自動會對被標記的識別區域進行字符分割和識別；最后將識別結果與輸入的字符進行對比，把匹配和不匹配的圖片分別存入到2個不同的文件夾內。

圖10 實驗流程

（二）實驗數據分析。如表1中記錄了10個不同的商品標簽的檢測結果。每個標簽都有著不同的背景和不同的字符，并且全部在相同的燈照條件下進行檢測。通過上述實驗步驟進行識別，并分別記錄其識別時間和字符識別準確率。經過分析與對比，本組實驗的平均識別準確率為98.78%，平均識別時間為903ms。通過使用基于深度學習的字符檢測方法，檢測速率和識別準確率都有著極好的表現。通過對算法進一步優化和訓練，識別的速率和準確率還會進一步提升，并且可以在更多復雜的環境中進行字符的檢測與識別。

表1 識別數據結果

四、結論

通過使用基于深度學習的文本檢測方法，即通過將DB文本檢測算法對圖片進行可微二值化處理，再利用CRNN文本識別算法進行字符檢測。實驗過程中，在不同光照和遮擋條件、都有著較好的表現。并且針對不同的形狀、方向和顏色的文字都有著較高的識別準確率。與傳統的字符識別算法相比，本實驗使用的算法不僅可以應用到更多的場景，而且克服了多種字符形態上的限制。經過大量的實驗與測試，DB算法和CRNN算法具有良好的穩定性和擴展性。通過將這兩種算法相結合，文本檢測的準確率和識別速度都有著明顯的提升。