基于高斯密度圖的自然場景中文文字檢測

王昌波，仝明磊

（上海電力大學電子與信息工程學院，上海 200000）

隨著人工智能學科的快速發展，文字檢測技術得到了廣泛的應用，如智能導航[1]、證件識別[2]、銘牌識別[3]和單據識別[4]等。目前深度學習方向的文字檢測方法分為基于目標檢測和基于圖像分割的方法[5]。目標檢測的方法通過CNN（卷積神經網絡）提取圖片的高層次特征，再生成預選錨框，通過目標框回歸的方法找到合適的錨框。該方式具有計算量小、速度快的優勢，但識別準確率略有欠缺，代表方法有CTPN[6]、TextBoxes[7]等。圖像分割的方法本質上是對圖片的像素點進行二分類，代表網絡有U-net[8]等，這類檢測方法具有精度高的優點，并且可以將任意形狀的文字直接生成檢測框，但計算量有所提升，并且分類結果之間是孤立離散的，代表方法有SegLink[9]、PixelLink[10]、InceptText[11]等。

雖然許多研究者提出了一些效果良好的文字檢測方法，但大多是應用在英文文本的方法。對比英文文本，中文文本種類更多，文字更密集[12]。為了適應中文的特點，該文設計了一種適合中文文字檢測任務的網絡結構和方法，使用高斯分布密度圖作為文字區域的標注，設計了一種類U-net結構的語義分割網絡，并且將特征融合部分的結構由原來的跳躍連接模塊改成了基于transformer[13]的交叉通道融合注意力模塊，以解決編解碼階段特征集不兼容的問題。除了模型的改進外，該文針對密集文本區域預測出的密度圖中，文本區域重疊的問題提出了解決方法。

1 方法建模

1.1 網絡模型整體結構

該文針對中文文字檢測的應用場景，設計了一種新的適合中文檢測任務的網絡。該網絡由特征編碼、特征解碼和特征融合部分構成。特征編碼部分采用VGG16 作為backbone，每個ConvBlock 部分添加了BN 層(Batch Norm layer)，用來加快網絡訓練的收斂速度，防止梯度爆炸或消失。編碼網絡累計下采樣五次，取1/2、1/4、1/8、1/16 這四個尺度特征圖作為特征融合模塊的輸入。特征解碼部分使用雙卷積模塊和線性插值函數逐層恢復特征尺度，同時在對應的尺度上疊加特征融合部分輸出的特征圖。多層次特征融合部分借助交叉通道融合注意力模塊將不同層次的特征進行合理融合，解決了特征集不兼容的問題。模型的整體結構如圖1 所示。

圖1 模型結構

相比較于原始的U 型編解碼網絡，該網絡結構著重考慮了不同層次特征融合的權重對輸出結果的影響，能自適應地調整不同尺度下特征圖所傳遞的語義信息。相比于同樣的編解碼結構，該網絡能獲得更好的收斂效果和收斂速度。

1.2 高斯分布密度圖標簽生成

高斯分布在自然和社會科學中經常被用來代表一個不明的隨機變量。若隨機變量X服從一個位置參數為μ、尺度參數為σ的高斯分布，記為：

其概率密度函數為:

通常距離文本框中心位置越近的像素點屬于該文本的概率越高。文中將普通的四邊形文字標注框轉化成高斯分布的密度圖標注。相較于傳統二進制離散的數據標注，這種標注的內容是連續的數值，能夠包含一定像素點間的關聯信息[14]，因此在密集文本檢測中能顯著提高檢測的準確率。

實現中首先將實驗數據集標注的四邊形標注框映射到一張與輸入圖片同尺寸的空白背景圖上，再通過仿射變換的方法將標準的二維正態分布圖分別扭曲到該圖上的每一個標注框內，生成計算網絡損失的真值圖(Ground Truths)文中由于輸入圖片的尺寸并不是原始尺寸，因此標注框還要跟網絡訓練時輸入的圖片保持同比例的縮放。

1.3 交叉通道融合注意力機制

U-net 與簡單的編解碼網絡相比，其優勢在于其跳躍連接模塊能夠融合網絡在下采樣過程中丟失的語義信息。但是在文獻[15]中提到U-net 的4 個跳躍連接模塊并不是對模型性能提升都有幫助，甚至有些部分還對網絡的性能有負面影響。因此，該文采用交叉通道融合注意力模塊（CCTM）取代傳統的特征融合結構，交叉通道融合注意力模塊如圖2所示。

圖2 交叉通道融合注意力模塊

編碼網絡提取出的特征圖經過一個Embed 模塊變成一個單維的張量，該張量被輸入到線性歸一化模塊LN 中，LN 的輸出與其他三個層次特征圖的輸出一同經過交叉通道映射模塊后，被送入多頭注意力機制模塊MSA。MSA 模塊的輸出首先疊加經過Embed 模塊的特征張量，再輸出到下一部分的LN 模塊和MLP 模塊。從Embed 模塊到MLP 模塊的流程是一個CCTM 的Block，然后可以根據需要調整Block的數量。在CCTM 的輸出結果之后，需要經過一個Reconstruct 操作將單維張量再轉換回特征圖，該圖與解碼網絡中的同尺度特征相疊加，至此完成交叉通道融合注意力的工作。

1.4 網絡工作過程

該文在網絡加載數據時還需要根據原始標注信息生成由高斯分布標注構成的GT 圖。該圖是一個取值范圍在[0,1]區間連續的并且尺寸與網絡輸入圖片相同的單通道圖片。由于該文網絡中添加了BN層，因此，網絡的輸入圖片需要縮放到網絡指定的輸入尺寸，再作歸一化處理。然后將歸一化圖片輸入到網絡，網絡輸出文字密度圖。在網絡訓練過程中，該文用網絡輸出的密度圖和預處理得到的GT 計算網絡的MSE(Mean Square Error,均方差損失)，反向傳播、調整網絡權重。在測試過程中，將該密度圖輸入到后處理流程中生成預測框。網絡工作流程如圖3所示。

圖3 網絡工作流程

1.5 預測框的生成

文中網絡輸出的是文字密度圖，無法直接用于評估和展示，因此在后處理部分需要將密度圖轉換為文字預測框。

首先，將網絡輸出的密度圖進行二值化，得到一張像數值僅有0 和1 的單通道圖片。然后，對該圖片進行連通域處理，得到文字分布的連通域信息。之后，篩選掉面積過小的部分，為保留下來的連通域生成最小的外接矩形。一般來說，該矩形可以作為文字預測框輸出，但經過該文實驗驗證，在中文文本密集且文本面積較小的區域，容易出現不同文本區域，預測出來的連通域存在重疊的情況，嚴重影響了檢測的準確率，因此文中提出了采用對矩形框內的圖片向矩形的長邊進行垂直投影的方法，以劃分出矩形內重疊的文本區域。具體實現如下：

如果生成的矩形符合長寬比在0.56 到1.8 之間，則直接輸出該矩形作為預測框；否則，就認定該矩形框為異常檢測框。對于異常檢測框，首先對二值化圖上的該矩形部分進行透視變換，使其長邊映射到x軸上，如圖4 所示。然后將透射圖上的像素點在x軸上進行投影，獲得投影曲線用f(x)表示，如圖5 中粗實線。對投影曲線進行求導獲得投影導數曲線，用f′(x)表示，如圖5 中細實線。

圖5 投影曲線、導數曲線和分割點

設h為透視圖片的高度，垂直分割超參數為α，表示重疊區域高度和圖片高度比值的閾值，水平分割超參數為β，h×β被用于控制相鄰重疊區域的最小分割間隔，x0為當前分割的位置，x-1是前一個分割點的位置，則滿足式（3）-（6）要求即可逐個獲取分割點。圖5 中的垂直虛線為計算出來的分割點。

按照待分割點占長邊的比例將原矩形框沿長邊分解為多個矩形框，新產生的矩形框作為預測框。經實驗證明，該方法能大幅提高檢測的準確率。有無異常檢測框再分割方法的輸出結果如圖6 所示。

圖6 無再分割和有再分割對比

2 實驗

2.1 實驗環境

實驗采用的系統為Ubuntu 20.04，GPU 型號為GTX Titan X，顯存為12 GB，核心頻率為1 075 MHz，Python 版本為3.6，Pytorch 版本為1.7.0。

2.2 數據集

實驗在CTW(Chinese Text in the Wild)數據集[16]上完成。該數據集包含100 萬個漢字，共由3 850 個字符構成，這些漢字由人工在30 000 多張街景圖像中進行注釋。同時，這些圖片里還包含了多種類型自然場景下的文本，如平面文本、凹凸文本、弱光環境下的文本和部分遮擋的文本等。

2.3 評估指標

該文采用文字檢測任務廣泛采用的準確率P(Precision)、召回率R(Recall)以及F1 值三項具體數值對模型進行評估。在該指標中使用的4 個參數分別是TP(真陽性)、TN(真陰性)、FP(假陽性)和FN(假陰性)。

Precision 為預測結果中正確預測的比例：

Recall 為真實正例中被預測出的比例：

F1 值是綜合考慮Precision 和Recall 的指標：

2.4 數據預處理

由于CTW 數據集中測試集和驗證集的標注文件不完整，該文實驗將數據集按8∶1∶1 的比例劃分為訓練集、驗證集和測試集，其中，訓練集圖片數量大約有14 000 張，驗證集和測試集圖片數量大約有1 700 張。考慮到網絡訓練采用原始的2 048×2 048分辨率的圖片，對硬件要求高且實驗周期長，該文將使用的圖片尺寸設定為1 024×1 024 分辨率，既保證了實驗對硬件條件要求寬松，又能夠縮短網路的訓練時間。該文的數據預處理是與訓練或測試過程同步進行的，根據網絡參數要求調整輸入圖片的尺寸，同時也計算出與圖片保持相同縮放比的新標注框，并且在網絡訓練階段還需生成真值圖。

2.5 模型訓練

該文訓練的模型采用了Adam 優化器[17-20]，并且為了保證模型的收斂速度和收斂效果，采用了學習率動態調整的策略。該文訓練的所有版本的模型訓練次數均為8 個epoch，訓練時的batch_size 參數設置為2，測試時為設置10。

2.6 消融實驗

為了驗證該文方法的效果，進行了消融實驗。結果如表1 所示。方法1 使用VGG16 作為編碼網絡，特征融合部分采用U-net 的跳躍連接結構，在生成GT 時采用標準二維高斯分布圖扭曲到原標注框的方法，解碼網絡采用了雙卷積加上采樣的方式。方法2 是在方法1 的基礎上添加交叉通道注意力機制。方法3 是在網絡與方法2 相同的基礎上添加了后處理的異常檢測框，再進行分割的方法。由表1可以明顯看出，方法2 對比方法1 在三個方面均有一定幅度提升，顯示了交叉通道注意力機制對該文實驗是有效的。方法3 比方法2 在三個指標上有很大提升，這表示該文提出的異常檢測框再分割的方法對實驗結果有非常明顯的優化效果。

表1 不同方法消融對比

2.7 顯性結果展示

為了使實驗的結果更加直觀，圖7 展示了網絡輸出的密度圖和標出預測框的原圖。在復雜的自然場景中，該文方法對大目標或密集的小目標都有很好的檢測效果，即使有文字目標存在部分遮擋的情況也能檢測到，顯示了該文方法具有很好的準確性和魯棒性。

圖7 部分結果展示

3 結論

該文提出了一種基于高斯密度圖區域標注的中文文本檢測方法，該方法針對密集中文文本精確度差和小文本難以定位的問題，將高斯分布圖作為標注的方式應用在深度學習網絡上，有效地提高了分割的準確率。并且在網絡的特征融合部分采用了交叉通道注意力機制，提高了網絡的收斂效果和性能。對于密集文字區域網絡輸出的密度圖容易有區域重疊的問題，根據中文文本通常成行或列出現的特點，提出異常檢測框再分割的方法，應用在后處理中能夠極大地提高密集文本檢測的準確率。