基于改進PSENet 與CRNN 網絡的智能電能表文本識別技術研究

魏偉，蘇津磷，李帆，仇娟，于秀麗

(1. 國網湖北省電力有限公司計量中心，武漢 430080; 2. 北京郵電大學自動化學院，北京 100876)

0 引言

電力系統的不斷發展與智能化帶動了大量計量設備的鋪設和升級，目前智能電能表、終端、互感器等計量裝置的信息提取、檔案管理、現場運維以及資料核對等工作主要基于人工輸入操作，然而零散的信息采集方式、過多的人員投入和較長的信息采集時間不僅耗費了大量的人力、物力和財力，而且容易影響結果的準確性和客觀性，非智能的人工信息采集方式已經嚴重阻礙了計量基礎設施升級發展與采集安全，制約了電力資產管理的質量和水平。雖然已有部分工作研究以智能識別的方式來提取電能表圖像中的有效信息，文獻［1］提出采用移動端識別算法PCANet 進行電能表文字識別，適應其場景化做了相應的改進和特化，對光照變化，不匹配不對齊，遮擋等因素做了相應預處理改進;基于SIFT 算法提取的各文本區域特征，提出一種電能表特征匹配方法來識別電能表信息［2］; 基于圖像預處理的研究，在圖像的字符分割提取前，增加圖片整體分割提取的步驟，以適應實際電能表文字排版多樣化［3］;針對電能表圖像傾斜問題，提出了一種基于霍夫變換提取圖像傾斜度的方法，來提高OCR 的準確率［4］;針對電能表中的漢字定位與識別，提出基于K均值無監督預訓練卷積神經網絡的電能表文字定位［5］;基于深度學習和注意力模型，提出一種端到端的文本識別模型，避免了對電能表圖像的分割裁剪［6］。目前電能表文本識別技術適用于文本內容單一，排列規則的情況，難以解決高密度多聚集下，字符圖標混雜的文本識別問題。文獻［7］研究MASK LSTM-CNN 模型電力巡檢圖像識別方法，比Mask R-CNN、Faster R-CNN、R-FCN 等模型的識別率提高9% ～2%，有效解決了干擾信息較多的電力場景中的部件識別問題。

但是，由于智能電能表計量設備來源廣泛，導致電能表類型多種多樣。并且由于同類型智能電能表文本內容的元素多樣導致在文本檢測階段，文本信息相互干擾，嚴重影響了電能表信息的提取。此外，圖像采集環境多變，采集設備千差萬別，使得圖像質量參差不齊，嚴重影響了電能表文本識別精度。

文中通過設計一個兩階段的文本識別系統實現智能電能表信息的精準采集，將改進的PSENet 網絡作為智能電能表信息提取的目標檢測算法，精準地定位智能電能表圖片中的所有文本信息，并列出所有文本候選框，再通過CRNN 文本識別算法對文本候選框進行識別。算法本身不受輸入圖像的質量和場景束縛，并且對智能電能表中文本檢測與識別面臨的字體大小不一、曝光過高或過低等問題具有較強的抗干擾能力，對電能表圖片中的漢字、英文和數字都具有很高的識別精度。

1 智能電能表文本識別系統構成

文中設計了一種兩階段的系統對智能電能表圖片文本進行檢測和識別，其中文本檢測模塊將輸入的電能表圖片分割成一系列文本框，再經過文本識別模塊獲取文本框中的文本信息，最后將原始圖片、文本框位置以及文本內容同時輸出，系統框架如圖1 所示。

圖1 兩階段文本識別系統框架Fig.1 Framework of two-stage text recognition system

1.1 文本檢測模塊

針對智能電能表圖片文本檢測的特點，文中采用改進的漸進尺度擴展網絡PSENet［8］作為文本檢測模塊，通過圖像分割方法，像素級的檢測目標區域提升了模型在高密度文本下的檢測性能，比文本框的方式，檢測更精準。其技術路線如圖2 所示。首先對輸入的電能表圖片進行特征提取和融合處理，再將融合后的特征經過卷積獲得n個分割結果，最后采用漸進尺度擴展算法得到電能表圖片上文本檢測的最終結果。

圖2 電能表文本檢測模塊Fig.2 Text detection module of electricity meter

特征提取融合: 將輸入圖片通過殘差網絡Res-Net50［9］進行特征提取，在特征提取過程中構建特征金字塔( FPN)［10］并對不同深度的特征層進行融合。Res-Net 的核心思想是對每一層網絡構造如圖3 所示的殘差塊。

圖3 ResNet 的殘差機制Fig.3 Residual mechanism of ResNet

圖3中每層的輸出都疊加其上一層的淺層輸出:

其意義在于當淺層網絡具有較為優秀的特征時，訓練參數會使深層輸出F(X) 趨近于0，確保網絡的加深不會導致精確度的降低。ResNet50 是具有50 個conv2d 層的ResNet 網絡，其網絡結構如表1 所示，分別提取Conv2，Conv3，Conv4，Conv5 最后輸出的特征圖構建特征金字塔。再通過自頂向下和橫向連接的方式，依次將高層次特征圖的上采樣和低層次的特征圖相結合，得到( P2，P3，P4，P5) 4 個256 通道的特征層，最后將( P2，P3，P4) 分別通過8，4，2 倍上采樣并與P2 進行特征級聯，得到1024 個通道的融合特征F。這種特征提取融合能夠將高層特征的語義信息與底層特征的細粒度信息融合在一起，在有效地感知圖像文本分布的同時，也保證了對文本邊界更加精細的檢測。將得到的融合特征F 經過Conv(3，3) -BNReLU 層使通道數量降低到256，再通過多個Conv( 1，1) -Up-Sigmoid 層輸出n個分割結果S1，S2，…，Sn，每個分割結果具有不同的內核規模，S1，S2，…，Sn按照內核規模以從小到大順序排列。通過漸進尺度擴展算法從最小內核S1開始依次進行尺度擴展，并采用先到先得的方式解決尺度擴展過程中產生的邊界沖突問題，最終產生邊界清晰的文本檢測結果。

表1 ResNet50 網絡結構Tab.1 Network structure of ResNet50

漸進尺度擴展算法: 選擇內核規模最小的分割結果S1，得到圖片中所有文本實例的最小內核( 即中心框) ，然后合并S2的分割結果，對文本實例的內核進行擴展，在擴展內核的過程中遇到像素點沖突問題時采用先到先得的方式( 即小規模內核優先) ，避免內核邊界沖突，同理對剩余所有分割結果進行內核擴展，最后一次擴展的內核結果即為電能表圖片文本檢測的分割結果。

1.2 文本識別模塊

通過上述的文本檢測模塊，可以從智能電能表圖片中提取出一組精確分割的文本框，將所有文本框分別輸入到基于CRNN［11-12］網絡的文本識別模塊中，并將識別結果和檢測結果一一對應，即可生成原電能表圖片的信息提取圖，CRNN 的網絡結構如圖4 所示。

圖4 CRNN 網絡結構Fig.4 Network structure of CRNN

CRNN 網絡實際上是由三部分組成的: 在自然語言處理技術中，文本通常被認為是一種序列，循環神經網絡( RNN)［13］對序列的處理有著固有的天然優勢，通過卷積神經網絡( CNN)［14］將文本框圖片變換為特征序列，以供后續的RNN 解碼器進行解碼識別，并將識別結果經過聯接時間分類( CTC) 算法［15］進行轉錄，通過添加占位符的機制解決文本中重復字符信息丟失的問題。

特征提取部分( CNN) : CRNN 網絡中的CNN 部分使用了VGG 結構，并提出了兩處改進: 一是將第三和第四個maxpooling 層的核尺寸從2 ×2 調整為1 ×2，便于將CNN 網絡的輸出特征直接作為RNN 網絡的輸入;二是在第五和第六個卷積層之后加入BN 層以達到更快的訓練收斂速度，調整后的CNN 網絡結構如表2所示，首先將分割后的文本框圖片按比例縮放成寬度為W的圖片，然后通過CNN 卷積網絡生成W/4 個512通道的特征序列。

表2 調整后的CNN 網絡結構Tab.2 Network structure of adjusted CNN

文本預測部分( RNN) :將CNN 網絡提取出來的特征序列輸入到RNN 網絡中進行文本預測，為了提高捕捉上下文信息的能力以及寬字符和模糊字符識別的正確率，采用深層雙向RNN 網絡作為CRNN 中的RNN網絡，其網絡結構如圖5 所示。

圖5 深層雙向RNN 網絡結構Fig.5 Deep bidirectional RNN network structure

為了防止在RNN 網絡訓練過程中出現梯度消失的現象，選用長短時記憶單元LSTM［16］作為RNN 單元，LSTM 單元的內部結構有存儲單元和輸入、輸出和遺忘門，存儲單元只能存儲過去的上下文，所以需要雙向RNN 來對上下文進行雙向存儲，遺忘門可以清除單元的內存。

轉錄部分( CTC) :文本序列經過RNN 網絡的預測結果需要經過轉錄層轉換為字符標簽，文中采用基于詞典的CTC 算法進行字符轉錄，在這種基于詞典的模式中預測結果是所有標簽的概率，選擇概率最大的標簽作為識別結果。預測結果轉錄生成的文本存在大量堆疊現象，簡單直接的去重處理容易對原本就是重疊的文本造成信息丟失。例如文本圖片‘100006’經過RNN 網絡預測的結果可能是‘1100000000666’，簡單去重后輸出‘106’作為最終結果，顯然造成了原始信息丟失。為了解決這一問題，通過CTC 算法根據條件概率的原理將適當的位置設置為占位符‘ε’，上述預測結果可能變成‘110ε00ε0ε0εε6’，經過去重處理后再除去所有占位符即可得到最終預測結果‘100006’。

2 實驗結果與分析

2.1 文本檢測模塊實驗

n個分割實例的標簽: 由于文中文本檢測模塊通過融合特征F 生成了n個分割結果，所以訓練時需要提供n個分割實例以及對應的標簽。通過Vatti clipping algorithm 對原始實例Gn進行縮減di個像素點得到新的分割實例Gi，Gi相對于Gn的縮小比例ri可以表示為:

式中k為縮小系數，n為分割實例個數。由此可以通過式(3) 計算Gi相對于Gn的具體縮小像素點數di:

式中Perimeter(Gn) 為Gn文本框的周長;Area(Gn)為Gn文本框的面積。損失函數: 文中文本檢測模塊的損失函數由Sn相對于原始實例Gn的損失LC和Si相對于縮小實例Gi的損失LS構成:

為了確定LC和LS，結合了dice coefficient 和在線難例挖掘( OHEM) 中的mask(M) :

數據集: 文本檢測模塊的訓練集和測試集由ICDAR2015 ( IC15) 和ICDAR2017 RCTW 構成( 如圖6 所示) ，其中IC15 中包括1000 張訓練集和500 張測試集，內容為自然場景下拍攝的英文文本，主要來源有商場和指示牌; 從RCTW 中選擇2000 張訓練集和1000張測試集，內容為自然場景下拍攝的中文文本，主要來源有街道場景、手機截圖、室內場景和證件照等。將數據集的標注格式統一調整為IC15 的標注格式:”x1，y1，x2，y2，x3，y3，x4，y4，lable”，分別注釋了圖片中所有文本框的四個頂點位置以及對應的文本內容。

圖6 ICDAR 2015 和2017 RCTW 數據集Fig.6 ICDAR 2015 and 2017 RCTW dataset

2.2 文本識別模塊實驗

CTC 的標簽:每一個預測值y1，y2，…，yT可以通過映射規則B 映射到一個標簽序列I，其中標簽序列I 只標記具體標簽值而忽略每個標簽的位置。

CTC 的損失函數:對于訓練數據X={Wi，Ii}，(Wi和Ii分別代表訓練集的圖片和標簽序列) 損失函數定義為ground truth 的條件概率似然數的負對數:

其中p(Ii，yi) 為預測值yi對應標簽為Ii的條件概率，計算公式為:

π 為y的所有可能性，即y1，y2，…，yT對應字符概率不為零的所有線性可能。

數據集:文本識別模塊的數據集是通過Text Recognition Data Generator( TRDG) 方法人為生成的，一共生成5000 張英文圖片和20000 張中文圖片，每張圖片上包含5 個單詞或漢字，圖片的名稱即為圖片的標簽，生成的文本圖片如圖7 所示。

圖7 TRDG 生成的文本數據集Fig.7 Text dataset generated by TRDG

2.3 實驗結果及對比

文本檢測模塊: 迭代次數n_epoch 設置為600，初始學習速率設置為0.001，并且在訓練過程中采用0.1的下降速率進行離散下降，分別在Batch Size 等于4，8，16 下進行訓練，訓練的效果以及在測試集上的測試結果如表3 和圖8 所示。

表3 batch size 等于4，8，16 時的模型指標Tab.3 Model index when batch size is equal to 4，8，16

圖8 訓練模型在測試集下的測試結果Fig.8 Test results of the training model under the test set

表3 中提供了訓練參數batch size 分別等于4，8，16 時在訓練集和測試集上的部分指標數據，ACC 是模型在訓練集上表現的精確度，Rcl 和Pre 是模型在測試集上表現的查全率和準確率，Hmean 是兩者的調和平均數，通過上述數據顯示，batch size =16 時表現最好，在該模型下對智能電能表圖片進行文本檢測，檢測結果如圖9 所示。

圖9 Batch Size 為16 下的電能表文本檢測結果Fig.9 Text test results of electricity meter with 16 batch size

上述實驗結果證明了文中的文本檢測模塊可以準確地檢測出電能表圖片中的絕大多數文本信息，并且對電能表圖片中的近距離文本具有良好的分割效果。

文本識別模塊: 將文本檢測模塊輸出的文本框位置信息與電能表圖片一同輸入到訓練好的文本識別模型中，將識別結果和輸入融合處理后輸出的結果如圖10 所示。

圖10 智能電能表文本識別結果Fig.10 Text recognition results of smart meter

通過對多組不同環境下拍攝的不同型號智能電能表圖片進行文本檢測和文本識別測試，證明了文中使用的文本檢測模塊和文本識別模塊相結合可以克服光線，模糊等環境因素，較為準確且全面地檢測識別出智能電能表所攜帶的電能表信息，部分實驗結果如圖11 所示。

圖11 不同型號的智能電能表文本提取測試結果Fig.11 Text extraction test results of different types of smart meters

將文中設計的兩階段文本識別系統和Jinjin Zhang等人設計的attention ocr 文本識別系統( 開源項目) 進行對比實驗，其文本檢測算法由Tensorpack FasterRCNN 改進而來，文本識別算法引入了注意力機制，曾獲得ICDAR2019 任意形狀文本上穩健閱讀挑戰賽道的冠軍，在電能表圖片上識別的效果與文中設計的文本識別系統局部對比圖見圖12。

圖12 文中設計的文本識別系統( 左) 與Attention OCR文本識別系統( 右) 在智能電能表圖片上的識別部分結果對比Fig.12 Comparison between the results of the text recognition system designed in the article ( left) and the Attention OCR text recognition system ( right) on the smart meter picture

通過大量對比實驗發現，文中設計的文本識別系統在電能表圖片文本檢測上的表現更加優秀，檢測到更多文本框的同時很好地處理了文本框堆疊現象，在文本識別部分相較于Attention OCR 系統能夠更好地識別密集數字編碼，同時整體系統面對電能表圖片亮度、模糊度、角度等干擾具有更好的魯棒性。

3 結束語

文中基于改進的PSENET 與CRNN 算法設計了一種兩階段的電能表文本識別系統，實現了智能電能表信息的自動檢測與識別功能，檢測精度達到0.9360，算法實現了以下創新:

1) 設計精細的文本檢測模塊，加強對電能表信息細粒度特征的利用，使模型能夠有效應對文本區域邊界模糊的問題;

2) 基于電能表文本區域間的相關性，通過基于LSTM 的深層雙向RNN 網絡保留上下文關系，推理出難以識別的文本內容;

3) 設計完整的智能電能表文本識別系統，為遠程電能表信息采集、智能電能表云管理等電能表智能化管理項目提供了關鍵技術手段。

文中高效精準的智能電能表場景文字識別技術有效地提取了高密度多聚集的字符圖標混雜條件下的信息，提高資產信息提取的智能化水平。算法在電能表圖像的識別具有良好的魯棒性，降低人工采集的風險，提升資產信息采集的安全級別。為建立完善的貫穿整個生命周期的設備檔案庫提供了技術手段，能夠有效地提升資產管理和運行管理的自動化水平。