基于高斯密度圖估計的自然場景漢字檢測

摘 要： "針對自然場景下中文小文本難以定位的問題，提出了基于高斯密度圖估計的并行深度網絡對自然場景漢字進行檢測。首先將中文數據集中的漢字位置信息轉換為高斯文字密度圖；其次引入一種多級并行連接結構，提高網絡細節信息捕捉能力；最后再融合網絡中的上采樣特征信息得到高精度文字密度圖，最終實現對文字區域的定位。在中文數據集CTW（Chinese text in the wild）上進行了實驗，實驗結果表明提出方法準確率和召回率均有較大提升，證明了該方法的可行性和準確性。

關鍵詞： "漢字檢測； 高斯密度圖估計； 特征融合； 自然場景

中圖分類號： "TP391.41 """文獻標志碼： A

文章編號： "1001-3695（2022）02-053-0623-05

doi：10.19734/j.issn.1001-3695.2021.06.0262

Chinese character detection in natural scene based on "Gaussian density map estimation

Hu Qiaoyu， Tong Minglei

（School of Electronics amp; Information Engineering， Shanghai University of Electric Power， Shanghai 200090， China）

Abstract： "Aiming at the nodus of small Chinese text detection in natural scene，this paper proposed a parallel deep network based on Gaussian density map estimation to detect Chinese characters in natural scene.Firstly，it converted the position information of Chinese characters into a Gaussian text density map.Secondly，in order to improve the ability to capture network details，it used a multi-level parallel connection structure.Ultimately，the network combined the upsampling operation to fuse the feature information in the network to obtain a high-precision text density map，then realized the positioning of the text area through post-processing.This paper experimented on Chinese dataset CTW.The results show that the precision and recall rates of the method are both improved，demonstrate the feasibility and accuracy of the method.

Key words： "Chinese character detection； Gaussian density map estimation； feature fusion； natural scene

0 引言

場景文字檢測與識別是近年來計算機視覺領域的研究熱點，在自動化生產中具有潛在的應用價值。文字區域檢測作為文本識別的基礎環節， 其準確率將直接影響識別結果，在整個文字識別任務中占有舉足輕重的地位。隨著神經網絡的發展，涌現出一批基于深度學習的高精度場景文字檢測算法，但大多適用于英文數據集，對中文檢測的研究相對欠缺［1］。除了自然場景中普遍存在的環境干擾大、光照條件不穩定等問題外，中文文字檢測還存在字體形態多變、文字總量大等特點，復雜程度與其他語言相比更高，因此漢字檢測技術的研究仍有很大的提升空間［2］。

在深度學習出現之前，場景文本檢測主要采用自下而上的方式，以手工設計特征為基礎， 包括基于連通域和滑動窗口兩種方法。這類方法根據人類視覺的特點提取圖像中具備區分能力的特征，如SWT（stroke with transform）［3］、MSER（maximally stable extremal regions）［4］等。傳統方法易于設計但其過于 依賴數據庫，需要適用不同數據集的特點，對光線不均勻、形狀不規則的文字檢測效果不佳，其魯棒性和可靠性較差。

目前，傳統的文字檢測方法逐漸被基于深度學習的檢測方法所代替，主流方法大致可劃分為兩類：a）由目標檢測發展而來的基于候選框的文本檢測方法，如CTPN（connectionist text proposal network）［5］、TextBoxes［6］等，其大致思想是根據設置的anchor產生一系列候選文本框，再調整和篩選獲得最終的文本邊界框，這類方法在運算速度上很有優勢，但在準確率方面稍有欠缺；b）由語義分割發展而來的基于圖像分割的文本檢測方法，利用卷積神經網絡對特征進行提取，再對每個像素進行前景與背景的分類，如CCTN（cascaded convolutional text network）［7］、PixelLink［8］、IncepText［9］等，這類方法能更好地對任意形狀文字進行檢測，雖然準確率得到提升，但耗時較長。

目前主流的文字檢測算法大多針對英文數據集，對中文數據集進行的研究較少，且對于自然場景下尺寸較小的文字區域檢測效果不佳。本文針對這些問題，提出一種基于高斯密度圖估計（GDM）的文字檢測方法，將中文數據集中的位置信息轉換為高斯文字密度圖，設計多層并行深度卷積網絡結構，將算法模型中淺層網絡與深層網絡相結合，結合池化及上采樣操作獲得多尺度融合的高質量文本密度圖，經過后處理實現高精度的自由的自然場景文字區域檢測。

1 高斯文字密度圖

1.1 高斯密度圖

高斯分布（Gaussian distribution）又稱做正態分布（normal distribution），是一個廣泛應用在數學及工程領域的概率分布函數［10］，其二維曲線為兩頭低、中間高、左右對稱的鐘型結構，如圖1所示。高斯函數曲線的物理意義是：一個隨機樣本與函數中心點的距離越近則代表其發生的概率越高。本文將這個特性應用到文本檢測領域，每個文字所在區域都用一個高斯核函數進行擬合［11］，將文字位置信息轉換為該像素點文字區域的概率分布問題，整張圖片中所有字符信息整合起來就得到了高斯文字密度圖，利用密度圖對網絡進行訓練，實現文本密度分析。高斯核的數學表達式為

G（x，x′）= e -γ‖x-x′‖2 ""（1）

其中： x′ 表示核函數中心； γ 表示核函數超參數； G 值在一定范圍內隨著空間中任意一點 x 距離核函數中心 x′ 的距離而減小，直觀反映了該點為函數中心的概率大小，其平滑程度由 γ決定。γ 越大，函數峰值越高，起伏越大； γ 越小，函數峰值越低，波動越小。

1.2 數據集真值圖

本文使用中文數據集CTW進行實驗。對于數據集內的圖像，使用字符級的邊框來生成文本區域的真值映射。給定區域得分高低代表該像素為字符中心的概率大小，某像素點距離字符中心點越近則代表該點檢測為文字的概率越高。傳統二進制標記模式產生的標記是離散的，當文本密度高時將對檢測準確率產生很大影響，本文采用高斯核卷積式生成的高斯分布將文字概率密度表達為一個連續的概率密度函數。如圖2所示，將 γ 為100的二維高斯分布圖像經過仿射變換映射到真值圖中，實現對數據集的預處理。

2 多層融合神經網絡結構

針對自然場景圖像中背景復雜多變、小尺寸文本難以定位的問題［12］，本文提出了一種多層融合的神經網絡模型。圖3是對GDM估計法文字檢測網絡的高級概述，主要分為特征提取主干、特征融合模塊和特征加固模塊三部分。由圖3可以看到，輸入原圖像進入特征提取網絡，經特征融合網絡融合成多尺度不同像素級別的特征圖，再通過特征加固模塊生成文本密度圖，密度圖經后處理得到字符級文本框。網絡中特征融合模塊的目的在于提高網絡細節捕捉能力，特征加固模塊的目的在于提高密度圖局部相關性，它們的具體結構如圖4所示。

2.1 特征提取主干

文字特征提取主干網絡使用的是VGG16的前10層，其中包含10個卷積層和3個最大池化層，卷積層采用大小為3×3的卷積核，池化層采用大小為2×2的最大池化核，步長為2。該主干網絡生成四個級別分辨率特征圖，如圖5所示。尺寸分別為輸入圖像的1、1/4、1/16、1/32倍大小，其通道數由輸入圖像的3通道分別變為64通道、128通道、256通道及512通道。

2.2 特征融合模塊

目前大多數網絡為達到多尺度特征提取的目的，采用最大池化的方法生成低分辨率的目標特征圖，再由低分辨率特征圖上采樣得到高分辨率圖片。顯然這種方法沒有考慮到淺層網絡邊緣、形狀等細節特征，當文字尺寸較小或環境干擾較大時則無法較好地完成文字檢測任務。為解決這一問題，本文提出將深層網絡與淺層網絡并行連接起來，以實現將不同分辨率的特征圖相互融合，強化網絡捕捉圖像細節信息的能力。

相關研究［13，14］表明，尺度不同的特征圖包含了不同的圖像信息，且這些信息互補程度非常高，高級的語義信息可以從深層的特征圖像中提煉，而細節信息則需要通過淺層網絡獲取，將深淺層網絡并行連接起來使得網絡在處理數據的過程中可以從其他并行表示中獲得高階信息，提高像素定位的準確率，獲得高精度字符區域密度圖。在特征融合模塊中，每個分支逐層融合從特征提取網絡中提取到的不同像素等級的特征圖像，其具體融合方式如式（2）所示。

m i= ""conv "3×3（n i：［ up （n i+1）］） "if "ilt;4

n i "if "i=4 """"（2）

其中： n i 代表特征提取主干生成的特征圖； m i 代表經過特征融合后的特征圖；（，：，）代表特征圖之間進行通道上的融合，up代表步長為2的上采樣操作。每層特征提取主干提取到的特征圖與下一層特征圖上采樣還原出的圖片相連接，再經過一個conv 3×3模塊獲得特征加固模塊的輸入。

2.3 特征加固模塊

在文字檢測任務中，加強細節特征學習的同時也要注重學習全局特征，增強文字密度圖的局部相關性，在提高檢測準確率的同時幫助網絡收斂。鑒于此，在網絡中添加特征加固模塊，其結構如圖6所示。將特征融合模塊產生的像素級別不同的特征圖像作為該模塊的輸入，并對其進行上采樣—融合連續操作，在上采樣同時，將上采樣得到的特征圖與特征融合模塊生成的特征圖交互融合，最后得到還原到原圖尺寸的特征圖，經ReLU激活函數生成字符級文字密度圖。其具體操作方式如式（3）所示。

l i= "［m i： up （m i+1）］ "if "ilt;3

［ conv "3×3（l i-2）： up［conv "3×3（l i-1）］］ "if "i=3 """"（3）

其中： m i 代表經過特征融合后的特征圖； l i 代表特征加固模塊產生的特征圖。

表1對比不使用和使用特征加固模塊兩種情況下生成的文字密度圖與真值圖之間的結構相似性指數（structural similarity index，SSIM），驗證特征加固模塊對生成文字密度圖局部相關性的影響。SSIM的數值大小始終在0～1，數值越大，代表兩圖的結構相似程度越高，通過實驗結果的對比可知，特征加固模塊的添加使文字密度圖的局部相關特性得到了很大程度的加強。

3 損失函數

損失函數的作用是反映模型中預測數值與真實數值間的差異大小。由于在中文自然場景圖像中字符所占面積較小，文字檢測任務的難度隨之增大。為了實現精準檢測中文字符，要針對網絡結構選取適當的損失函數對網絡進行訓練。

圖像恢復相關研究如文獻［15］所述，使用基于像素獨立性假設計算的歐幾里德距離作為損失函數來反映密度圖與真值圖差異大小時，會忽略掉密度圖的局部相關特性，通過在2.3節中的實驗結果得知，模型中的特征加固模塊能夠提高密度圖的局部相關性，因此選定損失函數時可以忽略密度圖局部相關特性的影響，采用最為常用、計算量不大、 代碼實現簡單的均方差（mean square error，MSE）函數作為模型損失函數。均方誤差是回歸損失函數中最常用的誤差，計算模型預測值與實際值之間的歐氏距離來反映預測值與真實值之間的接近程度，其函數表達式如下：

loss= 1 N ∑ N i=1 （ "i-y i）2 ""（4）

其中： N 代表樣本點總數； ""i 代表模型預測值； y i 代表標記值。

4 實驗過程

4.1 實驗環境

本文實驗使用的系統為Ubuntu 16.04，GPU型號為GTX Titan X，顯存為12 GB，核心頻率為1 075 MHz，深度學習前端框架選用Keras 2.2.4，后端框架選用TensorFlow-GPU 1.13.1。

4.2 實驗用數據集

實驗采用CTW數據集［16］，CTW是由騰訊—清華大學聯合發布的大型自然場景中文文本數據集，主要來自清華—騰訊100K數據集和騰訊街景數據集，數據集由拍攝者在十幾個城市隨機拍攝獲取，其中共包含32 285張街景圖像，大小為2 048×2 048，每張圖像按字符級進行標注，其中分為訓練集、測試集、驗證集三部分，比例為8 ：1： 1。圖7給出了CTW數據集中的部分樣本圖片。

4.3 實驗評價指標

為了客觀評價本文方法在漢字定位方面的實際效果，采用在ICDAR大賽中定義的準確率（precision， P ）、召回率（recall， R ）以及綜合 F 值 （F -score）三項數值對模型表現情況進行評估［17］。其中準確率 P 是指在所有預測樣本中正確樣本的比例， P 越高誤報越少，其定義為

P= TP TP+FP """（5）

其中： TP 代表真陽性部分； FP 代表偽陽性部分。

召回率 R 是指真值樣本中被預測為正的部分在所有真值樣本中所占的比例， "R 越高假負越少，其定義為

R= TP TP+FN """（6）

其中： FN 代表偽陰性部分。

準確率 P 與召回率 R 成反比，準確率 P 增大則召回率 R 減小，同樣當召回率 R 增大則準確率 P 減小。鑒于此，引入 F -score來綜合評價網絡的檢測效果， F -score為準確率 P 和召回率 R 的加權調和平均值，其定義為

F= 2PR P+R = 2TP 2TP+FP+FN """（7）

4.4 訓練過程

4.4.1 數據集預處理

a）由于CTW數據集中測試集及驗證集的標記文件不完整，本文將24 290張訓練集圖片按照8 ：1： 1的比例重新分配，將其作為實驗數據。

b）按照1.2節中提到的處理方式生成所有實驗數據所需的真值圖。

c）數據集中單張圖片尺寸為2 048×2 048，由于整張圖片放入網絡訓練難度較大，為了不犧牲字符區域的細節特征，將每張圖片掃描分塊讀入，每次讀入圖片尺寸為512×512，在下一次讀入時按輸入方向與上一次輸入圖像重疊128×512個像素，避免了圖像切割造成的邊緣像素的特征損失。

4.4.2 參數設置

a）為了使模型更快地收斂，在訓練過程中使用了Adam優化器。

b）為了使網絡更快地得到最優解，在學習率方面利用回調函數，在訓練過程中對學習率進行動態化調整，在前、后期學習率分別為10-3、10-4，加速網絡收斂且避免過擬合現象。其他具體參數如表2所示。

4.4.3 實驗后處理

首先將文本得分圖二值化，將二進制圖歸零初始化后進行閾值分割，其表達式如下：

T（x，y）= ""1 T（x，y）≥τ 0 T（x，y）lt;τ """"（8）

其中： τ 代表文本區域分割閾值，參考預處理時真值框附近的像素值，本文實驗選用 τ =0.4。

對分割后生成的二值圖膨脹處理后利用連通域分析（connected component labeling，CCL）進行標記；求得每個連通區域外接矩形，完成字符級漢字定位。

5 實驗結果分析

5.1 CTW數據集對比實驗

為驗證提出模型的有效性，本文在相同實驗條件下采用CTW數據集進行了實驗，實驗結果如表3所示。其中，CTPN［5］、SegLink［18］、EAST［19］、PSENet［20］為文字檢測領域的經典模型。由于本文方法采用VGG16作為特征提取主干，為了保證對比實驗的嚴謹性與可信性，在進行對比實驗時所有的對比方法均使用VGG16作為特征提取網絡，且未調用任何預訓練模型。由表3可知，本文模型較所列模型的 F -score分別提高了16.94%、8.82%、5.73%、2.03%，在準確率和召回率方面的優勢也很明顯。

為了測試提出的方法在英文數據集上的效果，在實驗過程中也采用英文數據集進行了相關探討性實驗。由于英文語法機制與中文大相徑庭，實現其單個字母的檢測對于了解場景環境信息意義不大，無法采用字符級別的標注；當對數據集進行單詞級別的真值圖映射時發現自然場景中遠處的長單詞由于其幾何形狀十分細長，而本文方法對于文字區域寬高值相差不大的小尺寸文字中心點的檢測效果較好，所以不適用于自然場景下英文數據集中小尺寸文本的檢測。

5.2 消融對比實驗分析

為了驗證本文網絡效果，對模型進行了消融對比實驗，結果如表4所示。在核密度估計方法的基礎上進行對比實驗來驗證網絡的結構合理性，訓練過程中未使用任何預訓練模型，實驗參數完全一致，由于數據集龐大，只選用了部分數據集作為訓練樣本。a）方法+使用VGG16網絡作為模型主要網絡結構，特征提取選用VGG16前10層，之后利用卷積＋上采樣的方法還原圖像尺寸得到文本密度圖；b）方法+ +在特征提取主干后添加了特征融合模塊，將特征融合模塊得到的特征圖直接上采樣后融合，期間不進行不同分辨率特征圖之間通道上的融合，去除了特征加固模塊，其實驗結果中召回率較方法+提升了5.56%，說明特征融合模塊的添加對漏檢現象優化明顯；c）方法+ + +將特征提取主干生成的特征圖不進行不同分辨率之間的融合，去除了特征融合模塊直接將其作為特征加固模塊的輸入，其實驗結果中，準確率較方法+提升了2.71%，說明特征加固模塊的添加使模型檢測的正確性得到優化。

5.3 實驗結果可視化

5.3.1 本文方法

為使可視化更直觀，圖8中的結果都是從原圖大小的圖像中截取出的部分結果，其文字區域在原圖中所占比例非常小，實驗結果可視化直觀地展現出了本文方法的性能。當處于復雜的自然場景下時，遠處較小的漢字也能夠被準確定位，體現了模型的準確性；且當文字部分存在部分遮擋時，該模型仍實現了漢字區域的檢測，呈現出較好的魯棒性。

5.3.2 對比方法

圖9是對比實驗可視化結果，為了突出本文方法在定位不同尺寸漢字時的優越性能，選用不同尺寸的漢字目標來進行實驗結果可視化分析，左圖代表中型漢字，其文字邊界長度在原圖中為80像素左右；右圖代表小型漢字，其文字邊界長度在原圖中為30像素左右。通過對比不同方法的實驗結果可以發現，CTPN模型由于只能實現水平方向的檢測，在面對自然場景中的傾斜文本時其檢測效果不佳，且受其anchor大小的限制導致其在定位小型文本時效果也不甚理想；SegLink模型在CTPN模型的基礎上增加了角度的檢測，可以實現傾斜文本的檢測，但由于其字符連接機制的限制，導致對漢字字符定位的效果不穩定，對小型漢字檢測的效果也欠佳；EAST模型在英文數據集中利用不同尺度特征合并可以檢測不同尺度的文本，既能實現單詞級別的檢測也可以實現文本行的檢測，但其在中文數據集中表現欠佳，存在一定不足；PSENet模型在各方面的表現較其他對比方法更穩定，但處于復雜場景中時也容易出現小字符定位不準和遺漏的問題；本文方法更注重字符級特征，當字符存在部分遮擋時仍能定位到字符區域，魯棒性與準確性更強。通過以上對比，說明本文提出的文字密度圖與多級并行連接網絡相結合的模型結構，在中文自然場景字符級檢測任務中展現了優越性能。

6 結束語

本文提出并介紹了一種基于高斯密度圖估計的自然場景漢字檢測模型，對自然場景中環境復雜、小尺寸文本漏檢率較高的問題，將文字密度估計方法與深度網絡特征融合相結合，添加特征融合模塊加強網絡對細節信息的捕捉能力，添加特征加固模塊提高文字密度圖局部相關性。實驗表明，該方法在處理漢字檢測問題時較傳統方法更自由、更準確，且能更好地應對自然場景中小型文本的檢測問題。同時，該方法也有值得改進之處，在后處理方面可以進一步加強，在實現字符級檢測的同時實現對文本行的準確檢測，并可將該成果應用于其他任務場景的檢測。

參考文獻：

［1］ "白志程，李擎，陳鵬，等.自然場景文本檢測技術研究綜述［J］.工程科學學報，2020， 42 （11）：1433-1448. （Bai Zhicheng，Li Qing，Chen Peng， et al .Text detection in natural scenes：a literature review［J］. Chinese Journal of Engineering， 2020， 42 （11）：1433-1448.）

［2］ 張正夫.基于深度學習的場景文字檢測與識別方法研究［D］.深圳：中國科學院大學（中國科學院深圳先進技術研究院），2020. （Zhang Zhengfu.Deep learning based methods research on scene text detection and recognition［D］.Shenzhen：University of Chinese Academy of Sciences（Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences），2020.）

［3］ Epshtein B，Ofek E，Wexler Y.Detecting text in natural scenes with stroke width transform［C］//Proc of IEEE Computer Society Confe-rence on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2010：2963-2970.

［4］ Donoser M，Bischof H.Efficient maximally stable extremal region（MSER） tracking［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2006：553-560.

［5］ Tian Zhi，Huang Weilin，He Tong， et al .Detecting text in natural image with connectionist text proposal network［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：56-72.

［6］ Liao Minghui，Shi Baoguang，Bai Xiang， et al .TextBoxes：a fast text detector with a single deep neural network［C］//Proc of the 31st AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017.

［7］ He Tong，Huang Weilin，Qiao Yu， et al .Accurate text localization in natural image with cascaded convolutional text network［EB/OL］. （2016-03-31）.https：//arxiv.org/pdf/1603.09423.pdf.

［8］ Deng Dan，Liu Haifeng，Li Xuelong， et al .PixelLink：detecting scene text via instance segmentation［EB/OL］. （2018-01-04）.https：//arxiv.org/pdf/1801.01315.pdf.

［9］ Yang Qiangpeng，Cheng Mengli，Zhou Wengmeng， et al .IncepText：a new inception-text module with deformable PSROI pooling for multi-oriented scene text detection［C］//Proc of the 27th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：1071-1077.

［10］ 代文征，楊勇.基于改進高斯—拉普拉斯算子的噪聲圖像邊緣檢測方法［J］.計算機應用研究，2019， 36 （8）：2544-2547，2555. （Dai Wenzheng，Yang Yong.Noise image edge detection based on improved Gauss-Laplacian operator［J］. Application Research of Computers ，2019， 36 （8）：2544-2547，2555.）

［11］ 王振武，何關瑤.核函數選擇方法研究［J］.湖南大學學報：自然科學 版，2018， 45 （10）：155-160. （Wang Zhenwu，He Guanyao.Research on selection method of kernel function［J］. Journal of Hunan University：Natural Sciences ，2018， 45 （10）：155-160.）

［12］ 羅時婷，顧磊.基于深度神經網絡損失函數融合的文本檢測［J］.計算機工程與應用，2020， 56 （16）：90-96. （Luo Shiting，Gu Lei.Text detection based on depth neural network loss function fusion［J］. Computer Engineering and Applications ，2020， 56 （16）：90-96.）

［13］ Zeng Lingke，Xu Xiangmin，Cai Bolun， et al .Multi-scale convolutional neural networks for crowd counting［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2017：465-469.

［14］ Zhang Lu，Dai Ju，Lu Huchuan， et al .A bi-directional message passing model for salient object detection［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1741-1750

［15］ Zhao Hang，Gallo O，Frosio I， et al .Loss functions for image restoration with neural networks［J］. IEEE Trans on Computational Imaging， 2016， 3 （1）：47-57

［16］ Yuan Tailing，Zhu Zhe，Xu Kun， et al .A large Chinese text dataset in the wild［J］. Journal of Computer Science and Technology ，2019， 34 （3）：509-521.

［17］ Van Pham K，Lee G S.Robust text detection in natural scene images［C］//Proc of the 29th Australasian Joint Conference on Artificial Intelligence.Cham：Springer，2016：720-725.

［18］ Shi Baoguang，Bai Xiang，Belongie S.Detecting oriented text in natural images by linking segments［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：2550-2558.

［19］ Zhou Xinyu，Yao Cong，Wen He， et al .EAST：an efficient and accurate scene text detector［EB/OL］.（2017-07-10）.https：//arxiv.org/pdf/1704.03155v2.pdf.

［20］ Wang Wenhai，Xie Enze，Li Xiang， et al .Shape robust text detection with progressive scale expansion network［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Press，2019：9336-9345.