基于卷積循環神經網絡的芯片表面字符識別

熊帆，陳田，卞佰成，劉軍

(上海電機學院 機械學院，上海 201306)

在工業生產制造領域中，物料追蹤是其中不可或缺的環節.每一塊集成芯片在生產完成后，都需要進行物料流動記錄，即對芯片表面上印刷的型號和序列號等信息進行提取和數據庫更新.光學字符識別(optical character recognition, OCR)[1]是這項工作的技術要點.OCR可分成文本檢測、文本行方向校正和文本識別3步.文本檢測指的是定位到文本行字段在圖片中所在的區域，即提取感興趣區域(region of interest, ROI)[2].文本檢測所提取的局部字段圖像需要進行方向校正，使得轉換成水平方向的圖像，以便于文本識別算法的處理.文本識別是OCR的核心內容，當前文本識別算法可分為圖像處理和深度學習2個分支.

通過圖像處理實現字符識別主要是利用模板匹配[3]，這種方法需要將字符逐個地分割出來，并事先制作各類字符固定的模板圖片，分割出的單個字符圖像去遍歷所有的模板圖像，與該單字符圖像重合程度最大的模板所屬字符類別被認為是該字符的種類.姚文鳳等[4]通過提前建立的標準字符模板庫與待識圖像進行異或運算，但是無法解決形近字符的匹配問題.馬欣欣等[5]在傳統模板匹配的基礎上，提出加權模板匹配法是對集裝箱的箱號識別展開研究.采用深度學習的方法進行字符識別主要是依靠大量數據訓練神經網絡模型，提取圖片中字符的二維形態特征和時序特征.同樣是對于集裝箱箱號的識別問題，白睿等[6]使用Lenet-5對行車道路場景下的字符識別進行有關實驗研究.祁忠琪等[7]基于更深層次的卷積神經網絡，以單個字符為單位對車牌字符設計了專門的分類模型結構.

從文本的檢測問題來看，OCR按照實際應用領域可分為自然場景[8]和單一場景下的OCR.自然場景下最常見的應用實例是車牌識別[9-11].這類場景下OCR的特點是整體背景復雜和字體單一，需要相對靈活以及魯棒性高的ROI提取方法.Naiemi等[12]使用殘差網絡 (residual network, ResNet)[13]完成文本行的提取，殷航[14]采用YOLOv3網絡(You Only Look Once Version3)[15]與最大極值穩定區域算法來實現文本檢測.

研究內容主要是面向工業生產制造場景，文本區域所處背景相對單調，理論上來說通過傳統圖像處理方法即可實現較好的文本區域提取效果，從而減少字符信息的整體提取時間.技術難點在于如何實現文本行字符的準確識別，在芯片表面字符印刷過程中容易出現淺蝕、油墨黑斑黏連以及生產環境污漬干擾等問題，并且各類芯片產品表面字符印刷字體多樣，基于傳統模板匹配進行字符識別的方法很難適應多樣且不可預測的字體形式.針對芯片表面字符的識別問題，提出一種結合圖像處理和深度學習技術的2階段OCR方案，主要創新點如下：1) 基于閾值分割和仿射變換[16]實現文本行區域的提取和方向校正，提出使用積分圖局部閾值分割法，大大縮短文本提取的耗時.2)基于卷積循環神經網絡算法(convolutional recurrent neural network, CRNN) [17] 實現文本行圖像的字符識別，在原始CRNN模型網絡的基礎上，分別對卷積和循環神經網絡模塊進行改進，同時引入中心損失函數，進一步優化模型的識別準確率和推理時間.3)針對實際的工業應用場景，提出采用多模型集成推理的方法，有效提高系統整體的識別準確率.

1 文本行檢測和方向校正

1.1 積分圖局部閾值分割

采用基于連通域分析的方法將字符區域以關鍵字段為單位從背景中分離，對工業相機采集到的原始灰度圖像進行閾值分割.芯片表面的字符信息可能存在各種污漬干擾或字符印刷深淺不一，導致前景目標出現多層級灰度，給閾值分割帶來困難.閾值分割按照閾值的選取方式可分為全局閾值法和局部閾值法，前者是對整幅圖像選取相對固定單一的閾值，而后者是對每個像素在一定的鄰域范圍內求取不同的閾值，各個像素的閾值由其鄰域像素的灰度值情況決定.OTSU法[18]采用前景像素與背景像素之間的類間方差最大灰度值作為該幅圖像閾值，是一種常見的全局閾值分割方法，而局部閾值分割常用的鄰域閾值計算方法有均值、中值和高斯加權平均等.

本研究采用基于積分圖運算的局部閾值分割方法.常見的鄰域閾值計算方法能夠應對灰度不均情況下的閾值分割問題，不足之處是算法耗時相對較長.單通道灰度圖像可看作一個由像素點構成的二維矩陣，而積分圖[19]是一種對子矩陣中各元素快速求和的算法，利用積分圖可以大大減少鄰域閾值的計算時間.圖像積分的本質其實就是求和，積分圖是一種偽圖像，其中每個點的值是相應原圖像中該點左上角的所有像素值之和，表達式為

式中：I為積分圖中某點的積分值，(x,y)為某點的位置坐標，f為灰度圖像中某點的像素灰度值.

根據式(1)可反解出一定矩形區域內的灰度值之和：

式中：(x2,y2)為矩形區域右下角點的位置坐標；(x2,y1-1)為矩形區域右上角點上一格像素的位置坐標，其余位置關系類似，(x1-1,y2)為矩形區域左下角點左一格像素的位置坐標，(x1-1,y1-1)為矩形區域左上角點的左上一格像素的位置坐標.結合式(1)、(2)設定積分圖的閾值分割判別規則表達式為

式中：c為所選取矩形鄰域內的像素個數總和，t為可調節的常數參數.

當式(3)成立時，積分圖閾值分割將二值化圖像對應的像素值f(x,y)置為255，否則置為0.如圖1所示，求取原圖像中D區域內所有像素之和，只需利用積分圖中4個偽像素值進行加減法運算.

圖1 積分圖計算示例Fig.1 Example of integral diagram calculation

以坐標點(2,3)到(4,4)之內的區域為例，對應的實際像素之和為11=1+0+4+1+3+2，而通過式(2)計算得33-17-9+4=11.通過積分圖閾值分割算法，無論選取的鄰域尺寸 (x2-x1)×(y2-y1)多大，需要的運算次數都是固定的.常規計算方法需要(x2-x1)×(y2-y1)次加法，時間復雜度也會隨著鄰域的增大而增大.

1.2 仿射變換

采用的文本行識別算法是以僅含單行文本字段的水平圖像為單位進行處理的，實際獲取的芯片樣品原圖像中芯片放置的角度是隨機的，因此需要將ROI提取出來后進行水平方向校正.仿射變換是一種二維坐標領域的線性變換，通過設置不同的仿射矩陣，可以實現圖像的不同變換.通過仿射變換對各文本字段區域圖像進行角度校正的表達式為

式中:u、v為經過仿射變換后的像素點坐標；a2、a1、a0、b2、b1和b0為 仿 射 矩 陣 的 各 子 元 素，各 元 素 參數值可根據需要進行設置；u′、v′為仿射變換前的坐標.

2 文本行識別

2.1 系統整體方案

在實際的應用終端，產線要求系統工作過程中的人為參與盡可能少，即需要極高的識別準確率，這就要能夠保證系統的運行效能和準確性，以大幅減少系統識別出錯和人工修正結果的次數，從而提升自動化程度.考慮到芯片表面字體的多樣性以及產能與人力工作量的懸殊，在文本行識別階段，提出一種基于改進 CRNN 的模型端側訓練和推理的綜合方案.

文本行識別整體系統方案流程如圖2所示.終端最開始部署的是預訓練模型A，該模型能夠應對一般情形下的字符識別，但是單一的訓練模型廣義的準確率難以達到實際要求，因此需要通過在線訓練以得到效果更好的模型.在初始狀態下，系統首先獲取一張芯片樣本圖像，經過文本行檢測后得到文本行字段圖像，進而通過隨機添加噪聲、高斯模糊等方式實現數據增強，得到更多數量的實際樣本，并加入到基礎數據集中，對模型A進行微調訓練得到首次訓練模型B.將模型B繼續投入推理工作流程，模型對每張輸入的圖像會輸出推理結果及相應的置信度.當置信度低于一定閾值時認為該圖像推理可能失誤，人工進行修正后將該直接圖像加入到訓練模型B時使用的數據集中.當模型B推理失誤的樣本數據量積累到一定數量后，與上一次訓練模型B時所使用的數據集共同構成新的訓練數據集，用于在模型B的基礎上微調訓練得到2次訓練模型C，從而最后可使用A、B、C這 3個模型進行綜合集成推理.

圖2 文本行識別整體方案流程Fig.2 Overall scheme process of text line recognition

2.2 CRNN算法基本原理

CRNN是一種將卷積神經網絡（convolutional neural network, CNN）與長短期記憶神經網絡(long short term memory, LSTM）[20]結合的文本行識別模型，其中CNN負責學習文本行圖像的空間形態特征，LSTM負責學習上下文時間序列特征，最后LSTM的結果通過轉譯層輸出為最后的推理結果，原始CRNN的結構如圖3所示.

圖3 原始CRNN結構系統Fig.3 Original CRNN structure

在原始CRNN中卷積神經網絡模塊的骨干網絡為VGG (visual geometry group)[21]結構，在其輸入將灰度圖縮放到尺寸為W×32，W為寬度，即固定高為32.為了更好提取文本行圖像的特征，第3個和第4個池化層采用的核尺寸為1×2，為了加速收斂引入了BatchNormalization模塊.CNN的輸出尺寸為 (512, 1, 40)的特征圖組，每張特征圖中第i個元素構成新的特征向量，即得到40個長度為512的特征向量序列，其中每個特征向量對應于原始圖像中一個感受野.

循環神經網絡模塊采用2層各256單元的雙向LSTM網絡，其目標就是為了預測各個感受野對應屬于的字符類別.CNN輸出的特征向量序列作為LSTM的時間步輸入，LSTM輸出為所有字符的Softmax后驗概率矩陣，該后驗概率矩陣的寬度和高度分別為特征序列向量的個數和字符類別數，該后驗概率矩陣將作為轉譯層的輸入.最后轉譯層將各特征向量對應的預測結果轉譯成標簽向量，每個特征向量的預測結果中篩選出置信度最高的標簽向量.CRNN通過連接時序分類(connectionist temporal classification, CTC)損失函數來對CNN和LSTM進行端到端的聯合訓練.

2.3 改進的CRNN算法

2.3.1 CNN模塊 芯片表面字符識別的應用主要在于產品型號和序列號等英文字符信息的獲取，字符類別相對較少.為了進一步提高模型推理的速度，將VGG替換成MobileNet-V3[22]結構作為CNN模塊的骨干網絡，修改后的網絡結構如表1所示.表1中卷積參數k為卷積核的尺寸，s為卷積核滑動的步長，p為特征圖四邊填充的寬度.與特征圖的寬、高2個方向相對應，表1中卷積參數列括號中的每組值對應著卷積核橫向、縱向2個參數.

表1 改進后的CNN模塊結構Tab.1 Improved CNN module structure

改進后的CNN模塊包括8個卷積模塊組和2個卷積層，其中每個卷積模塊組包含3、4個卷積層.隨著神經網絡層次的加深，應用非線性激活函數的成本會降低，同時減少參數量.swish類的激活函數本身具有無上界、有下界、平滑且非單調的特性，可以帶來更好的效果，表達式為

式中：x為輸入的網絡特征張量中某一元素的值，σ(x) 為sigmoid激活函數，s wish(x)為經過swish激活函數之后的元素活性值.

h-swish激活函數是swish激活函數的一個近似擬合函數，但是去掉了sigmoid操作，計算量得以大大減少，因此MobileNet-V3結構在后半部分卷積模塊中將relu激活函數替換為h-swish激活函數，表達式為

式中：x為輸入的網絡特征張量中某一元素的值；ReLU6 為relu激活函數的變體，當輸入x＞6時，導數為0；h -swish(x)為經過h-swish激活函數之后的元素活性值.

在圖4中，橫縱坐標分別為2種激活函數的輸入值和輸出值，從圖中可以看出swish與h-swish激活函數的函數特性基本一致，其最大偏差值不會超過0.2，元素活性值繼續經過歸一化之后二者的差距幾乎可以忽略.

圖4 swish和h-swish激活函數曲線特性Fig.4 Curve characteristics of swish and h-swish activation functions

2.3.2 LSTM模塊 注意力機制(attention mechanism)[23]是對輸入的權重進行分配，最開始使用注意力機制是編碼器和解碼器的應用, 通過對編碼器所有時間步的隱藏狀態做加權平均來得到下一層的輸入變量.注意力機制的廣義表達式為

式中：O為注意力機制的輸出向量，s oftmax為歸一化指數函數，Q為查詢項矩陣，KT為鍵項的轉置矩陣，V為加權平均項.

可以將注意力機制理解成一個由查詢項矩陣Q和所對應的鍵項轉置矩陣KT以及需加權平均的值 項V所構成的一層感知機.Q與KT進行相似度計算，得到權值，權值經過 s oftmax歸一化之后得到可用的權重項，最后與V進行加權求和.注意力機制可以獲得較長的依賴，能夠使得模型對較長文本段的識別能力增強.并擅長捕捉局部與全局的關系，并且每一步的計算都是獨立的，每一步的計算都不依賴于上一步的計算結果，可以實現并行加速，從而減少模型訓練的收斂時間與推理時間.

在2層LSTM之間加入一層注意力機制結構，如圖5所示.對于第1層LSTM的每個時間步的輸出Oi，分別計算Oi其他時間步輸出Oi之間的距 離di,j.從而根據時間步輸出向量的距離可構成一個新的距離矩陣D，那么第2層LSTM的輸入表達式為

杜思雨走進自己辦公室的時候，欣竹正在屋里打掃衛生。杜思雨有個習慣，他的辦公室的衛生從來都是自己打掃，而不用公司的任何一個人來打掃。欣竹發現了杜經理這兩天好像不舒服，更主要的是，欣竹覺得經理好像特別喜歡她的美發。既然經理喜歡，那就讓他看個夠。如果是往常，杜經理會拒絕欣竹替他打掃衛生的。今天，杜經理也就沒說什么。思雨坐在老板椅里，看著欣竹忙碌的身影，他又發現欣竹那天然的栗紅色長發，不時耷拉到她光滑的額前，她便用手攏一攏。一注意到欣竹的長發，思雨就像條件反射似的，他下意識的摸摸裝著包著那根長發絲的口袋。他的心情又沉重起來。他在心里盤算著，怎么開口向欣竹要一根長發呢？

圖5 改進后的LSTM模塊結構Fig.5 Improved LSTM module structure

式中：O′i為注意力機制層層的輸出向量，Di為 距離矩陣D的第i行；O1至Oi分別為上一層LSTM各時間步的輸出向量.

2.3.3 中心損失函數 原始CRNN中使用的CTC損失函數對于形近字可能表征不足，為了更好地擴大類間距離、縮小類內距離，提出引入中心損失函數（center loss）[24]與CTC-Loss組成新的損失函數，進行聯合訓練.中心損失函數的表達式為

式中：Lc為 中心損失函數計算值，cyi為第yi個類別的特征中心向量，xi為全連接層之前的特征向量，m為特征向量的個數.CTC損失函數表達式為

式中：Lctc為CTC損失函數計算值，l為目標樣本類別，z為輸入樣本類 別，p(l|z) 為輸入樣本類別z屬于目標樣本類別l的概率值，S為所有類別標簽的集合.

首先得到第2層LSTM的輸出以及模型的最后預測結果，將預測結果中字符數量和標簽字符數量相等的部分保留下來，并提取出相應的真實標簽和對應的特征向量.將LSTM的輸出特征與相應類別的特征中心計算中心損失函數值，將計算出的中心損失函數結果乘以系數 λ然后與連接時序分類損失函數求和，最終損失函數表達式為

式中：λ為可調節的比例因子.

通過引入中心損失函數，可以強化字符特征的差異，比如“0”和“O”、“6”和“G”這種形態相近的字符，使得相近字符的特征分布更加分散，從而提高分類的準確率.

2.4 集成推理

多模型集成推理的思想是即使其中某一個子模型輸出錯誤的預測，依靠其他子模型最終也可以給出更可靠的結果.如果各子模型在不同的數據上的表達能力存在差異性，那么模型集成通過綜合多個子模型的推理結果，可以實現更佳的預測.理論上來說隨著系統綜合子模型數量的增多，集成推理的準確率將無限接近于100%.

硬投票法假設投票最多的類別為最佳結果，即在多個模型的預測結果中出現次數最多的結果為最終結果，則將其作為模型集成的最后輸出.在硬投票法的基礎上，利用A、B、C這3個模型的輸出結果和置信度.通過集成推理篩選出最佳結果I.多模型集成推理過程如圖6所示.當3項結果的置信度均大于所設的閾值時，直接通過硬投票法選出最佳結果；當存在低于所設閾值的結果時，選出置信度值最高的結果作為最佳結果.

圖6 多模型集成推理Fig.6 Multi-model integrated inference

3 實驗結果分析

3.1 文本行檢測

將OTSU、高斯局部閾值分割、積分圖局部閾值分割3種方法進行對比測試，從圖7可以看到OTSU閾值分割法在各字符印字內部灰度均勻分布的情況下分割效果較好，并且噪點最少，對于一些淺印的字符會出現前景丟失的情況.局部閾值分割能夠應對圖像灰度不均的情況，缺點是帶來了一些噪點像素，可以通過形態學方法進行濾除.本研究采用的基于積分圖運算的局部閾值分割法比高斯加權平均運算的方法噪點更少.

圖7 不同算法的閾值分割效果對比Fig.7 Comparison of threshold segmentation effects of different algorithms

在效率方面，測試采集的芯片圖像尺寸為762×382，3種方法的閾值分割平均時間分別為0.42、24.98和1.78 ms，可見作為全局閾值法的OTSU耗時最短，但是分割效果的魯棒性較低.在局部閾值法中使用積分圖運算的耗時比高斯加權平均運算小得多.綜合來看，提出的基于積分圖運算的局部閾值分割方法最佳.

3.2 方向校正

如圖8所示，通過對原灰度圖進行基于積分圖運算的閾值分割，利用不對稱的橫向結構元素對得到的二值化圖像進行閉操作，從而將文本行區域各字符連通起來形成整體區域塊，每個區域塊對應著一個字段.再從中查找輪廓，得到各文本塊的位置，每個文本塊對應著一個帶角度的傾斜矩形，利用該矩形的中心點坐標和角度信息可以求取仿射矩陣，進而通過仿射變換將圖像中的文字校正為水平方向.最后，逐個將經過方向校正的文本行圖像提取出來.

3.3 文本行識別

采用ICDAR2019-LSVT數據集對改進后的CRNN進行預訓練，得到預訓練模型.測試數據源自實拍的20255張芯片圖像，面陣相機分辨率為30萬，光源采用的是同軸紅光光源.實驗的計算機平臺環境為Windows10系統，CPU 為Intel Core i5-9500E，GPU平臺為NVIDIA Quadro P1000 顯卡，顯存大小為4G.Python版本為3.7.4，深度學習框架為Pytorch 1.6.0.

經過文本行檢測提取之后得到40510張文本字段圖像，以文本字段整體為基本單位，原始的CRNN在這批實際數據上的識別準確率為67.353%.以型號信息“N002D1”為例，其中有大量的字符數字“0”被識別成字母“O”，數字“1”被識成字母“I”.改進的CRNN預訓練模型在這批實際數據的識別準確率為94.831%，尚未達到產線實際要求.再使用小樣本規模的芯片表面字符實拍數據集對預訓練模型進行微調，通過調整小樣本的數據源，最后得到3個可用的子模型進行集成推理.

模型微調使用的基礎數據集為算法隨機生成的62張偽文本圖像，如圖9所示.加入少量實際樣本數據增強的圖像后，共同構成實際訓練模型所用的數據集.基于Adam優化器，每次訓練的迭代周期為30輪，完成1次模型微調訓練的時間控制在小于50 s.表2顯示了6組實驗測試結果，ACC為準確率，其中初次訓練使用的一組文本行圖像能將預訓練模型微調至比較擅長該系列芯片圖像及字體樣本的預測，平均準確率能提高到99.872%左右，還需要二次訓練再次進行微調.二次訓練模型的準確率在首次訓練模型的基礎上略有浮動，最后將預訓練模型、首次訓練模型和二次訓練模型進行綜合集成推理，可將模型準確率提高到99.970%左右，單個文本字段的平均集成推理時間在27 ms左右，單張芯片的全階段字符識別時間在小于60 ms以內，總體達到了產線需求.

圖9 基礎數據集圖像Fig.9 Basic dataset images

最后一組測試的準確率比前幾組有所下降，原因在于初次訓練使用的樣本圖像中字符種類相對集中在“0”、 “1”、 “2”這幾種類別，導致訓練效果不佳，不過此問題可通過調整初次訓練所用的樣本圖像數據集進行解決，使樣本中所含的字符類別盡可能分散.以單模型為對象，將原始CRNN與提出的改進CRNN進行對比實驗，實驗結果如表3所示.

表3 CRNN各項改進的對比測試結果Tab.3 Comparative test results of CRNN improvements

在前述的40510張文本字段圖像測試數據上，與原始CRNN相比，將CNN模塊改進后，模型準確率提升至74.068%，單張圖像平均推理時間縮短至14.58 ms.將LSTM模塊改進后，相比于原始CRNN，模型準確率可提升至78.474%，平均推理時間為19.14 ms.在損失函數的改進測試中，取 λ=0.2，模型準確率A=90.751%，平均推理時間T=25.04 ms，時間基本持平于原始CRNN.

在綜合3處改進后，模型準確率提升至94.831%，平均推理時間縮短至11.85 ms.可以看出引入中心損失函數對準確率帶來的提升最大，提高了形近字符的分辨能力，而CNN模塊的改進在提升推理效率方面產生的效果最好.

4 結語

提出的基于改進CRNN的芯片表面字符識別是一種針對工業產品物料追蹤問題的OCR綜合方案，具有較強的理論意義和應用價值，可以方便地部署在應用終端.作為兩階段的OCR算法，本研究利用基于積分圖運算的局部閾值分割方法，有效降低了文本字段的檢測時間.改進后的CRNN在效率和準確率方面都有較大的提升，引入的中心損失函數能有效解決形近字符的識別失誤問題.通過在端側的模型實時調整訓練和多模型綜合集成推理策略，可以保證系統的準確率和高可用性，大大節省了人工成本，同時進一步提高產能.