面向自然場景文本檢測的改進NMS算法

楊有為，周 剛

新疆大學信息科學與工程學院，烏魯木齊 830046

自然場景文本檢測是許多計算機視覺應用的基礎，如自動導航、場景文本翻譯[1]等等，其檢測效果將直接影響后續應用的效果。近十年來，神經網絡的發展已經大幅度的提升了其檢測效果，但場景文本檢測領域仍然面臨著文本框形狀差異大、自然背景復雜混疊等問題。自然場景文本檢測算法大多在經典的目標檢測算法基礎上進行改進。目前的目標檢測算法根據其檢測定位方式的不同主要可以分為one-stage 如SSD[2]、YOLO[3]、CornerNet[4]和two-stage 如Faster R-CNN[5]、R-FCN[6]、Deformable CNN[7]、Mask R-CNN[8]、Light-Head R-CNN[9]兩大類。無論是one-stage 系列還是two-stage 系列算法，作為后處理的NMS 算法都是它們不可缺少的一部分。上述的two-stage 方法如Faster R-CNN[5]、Mask R-CNN[8]、one-stage方法如SSD[2]、YOLO[3]均采用了NMS算法，該算法對檢測框的選擇具有重要作用。

如圖1（b）所示，在實驗中，觀察到前端檢測算法會產生大量候選框，其中大部分候選框并不緊靠目標文本區域，并且該類候選框的存在將直接導致最終檢測效果較差。檢測效果較差主要由兩種情況造成：（1）如圖1（c）中紫色檢測框所示，對長文本區域，受卷積核感受野等影響，選擇單一檢測框定位往往不夠準確。（2）如圖1（c）中紅色檢測框所示，對多個鄰近文本區域，相鄰檢測框易產生混疊現象，對文本區域定位較差。在本文中，針對自然場景文本檢測在后處理階段產生的檢測結果不緊靠文本區域的問題，提出了一種改進的NMS算法。

圖1 NMS算法檢測結果Fig.1 NMS algorithm test results

本文方法主要做了以下改變：針對部分候選框檢測結果偏差較大的情況，設計了排序濾波與融合計算算法，既將所有候選框各坐標集合進行排序，濾除偏差較大的坐標值，再將剩余候選框進行融合計算，獲得更加緊靠文本區域的檢測結果。

1 相關工作

隨著深度學習的快速發展，使用卷積神經網絡的場景文本檢測算法逐漸成為主流。Liao等人[10]提出了一種新型的全卷積網絡結構，基于SSD[2]網絡結構進行改進，在輸出端通過text-box 層預測目標文本區域的候選框，再通過NMS 算法得到檢測框。Jiang 等人[11]在Faster R-CNN[5]框架上進行改進，在其池化層進行多尺度池化去適應多尺度訓練，再通過NMS 算法得到檢測框。Zhou等人[12]提出對全卷積網絡方法進行改進，將不同卷積層的特征級聯再進行像素級別的預測，最后再通過Locality-Aware NMS[12]算法得到檢測框。

上述方法均使用了NMS 算法，NMS 算法在選擇最優候選框時將與最大置信度候選框交并比值（既目標預測框和真實框的交集與并集的比例，簡稱IoU 值）小于預設閾值的候選框全部刪除，在實際情況中往往描述不夠精確。因此，NMS類算法在近些年來也得到了快速的發展，許多改進的NMS算法被提出。如Incline NMS[11]，在IoU的計算上提出了創新，根據文本的傾斜情況與檢測目的，更改IoU定義重新訓練數據，減少了普通IoU誤差帶來的影響，實驗證明其有效地提高了檢測效果。如Soft NMS[13]，對濾除候選框的策略進行改進，認為NMS算法會將原本是目標物體的候選框濾除，應將小于閾值的候選框進行降低得分而不是完全抑制。又如Softer NMS[14]，認為不能以置信度作為選擇標準，提出候選框置信度得分與其位置準確性并非強相關，實際過程中存在大量置信度得分較低但定位良好的候選框在NMS算法中由于抑制被舍棄。所以，研究一種新參數去衡量候選框的定位準確性是有必要的。Softer NMS[14]針對網絡模型進行改進，在輸出全連接層的同時訓練一個位置參數用于后續改進NMS 算法，精確定位候選框的位置。但這些方法如Incline NMS[11]、Softer NMS[14]都需重新訓練，不同模型訓練后參數設置并非一致，這樣會使得算法的嵌入性降低，復雜度提升。

2 方法

傳統的NMS 算法對于多文本混疊和長文本區域，由于卷積核感受野的限制與周邊區域的影響，選擇單一框去作為檢測結果時效果往往較差。針對上述情況，提出了一種新的NMS 算法，使用排序濾波與融合計算的方法去獲取檢測框。圖2（a）所示為未經過NMS處理前的候選框集合；如圖2（b）所示，在融合前進行排序濾波處理，將同一文本區域預測產生的所有候選框相同位置的坐標按照從小到大排序，取中間一部分保留進行接下來的融合計算，經過排序濾波與融合計算后得到的檢測框如圖2（c）所示。

圖2 算法原理Fig.2 Algorithm principle

2.1 方法理論

Softer NMS[14]中將候選框各坐標建模成不同的高斯模型，使用候選框各坐標所服從高斯分布的方差去衡量其定位的精度，認為方差越小時，該坐標的預測效果越好。具體模型如公式（1）所示，xp為預測候選框的某一坐標，方差σ2由其網絡訓練輸出的全連接層預測所得，其中標注框（簡稱GT 框）各坐標視為σ→0 時的高斯模型。

考慮到重新訓練參數帶來的影響，本文中采用了排序濾波算法，其原理既將候選框相同位置的坐標中偏差較大的坐標進行濾除，使剩余坐標更接近他們的中值，該算法無需重新訓練，其嵌入性較高，復雜度較低。

根據Softer NMS[14]中推論與排序濾波后剩余坐標的特性，假設經過排序濾波后，同一文本區域保留的候選框相同位置的坐標服從同一方差的高斯分布，模型同公式（1）。設經過排序濾波后，相同位置剩余m個坐標，由高斯分布的性質，將這m個服從高斯分布的坐標平均融合后得到的檢測框坐標也將服從高斯分布，且融合后檢測框坐標所服從高斯分布的方差將變為原來的m分之一，融合后方差計算方式見公式（2）。

如圖2（b）高斯曲線所示（紅色為GT框），融合后檢測框的高斯分布曲線將會更窄，其預測將會更加接近GT框。

2.2 排序濾波與融合計算

本文算法簡稱Order NMS，算法原理如算法1所示。其中S是所有候選框的集合，每個候選框由8個坐標組成，i為候選框8個坐標的編號，pmax[i]、q[i]、F[i]對應候選框某個坐標的索引，i∈[0,7]，N值為執行排序濾波與融合計算前要求的最低候選框數量，N≥3。在每一次循環中，找到候選框集合S中預測某一文本區域最大置信度的候選框，以該最大置信度候選框為基準，將集合S中所有候選框逐一與最大置信度候選框進行IoU 值比較，若大于預設融合IoU 閾值（具體融合閾值分析見實驗部分），則將其4 個頂點的8 個坐標按照順時針方向從左上角開始依次存入8 個集合Gi中，i∈[0,7]，直到遍歷所有候選框，遍歷完后保留了n個候選框既每個Gi中保留了n個坐標，再將每個集合Gi內元素進行從小到大排序。若n大于N，則濾除每個Gi集合內首尾Δ 個偏差較大的坐標值，濾除完后每個Gi中保留了m個坐標，將每個Gi中保留的m個坐標根據i值對應，依次存放在8 個新集合Hi中，i∈[0,7]，再將每個Hi進行融合計算得到最終檢測框各坐標。若n小于等于N，則不執行排序濾波與融合計算，直接選取最大置信度候選框為最終檢測框（具體N值分析見實驗部分）。F[i]為最終檢測框8個坐標，i∈[0,7]。

算法1 OrderNMS

在實驗中，直接采用排序濾波與融合計算時效果并不理想（具體分析見實驗3.1部分）。由于場景文本十分密集，存在較多條文本并排情況，當以最大置信度候選框為基準進行融合閾值篩選時，保留的候選框并不全是該目標文本區域預測產生的候選框，其中夾雜著一類周邊文本區域預測產生的候選框。如算法1 中方框標注代碼所示，為了解決該問題，結合了Soft NMS[13]的方法，將其用于此類候選框的濾除。在每輪算法執行時降低剩余候選框的置信度得分，通過設置濾除閾值抑制小于指定置信度得分的候選框，減少此類候選框在后輪算法中被重復保留的情況。

Soft NMS[13]降低得分機制見公式（3），其中Si為當前候選框得分，Nt為預設IoU值。

圖3 直觀地展示了排序濾波與融合計算的實際效果。圖3（a）為未經過NMS處理的候選框集合。圖3（b）為排序濾波后的候選框集合，觀察發現，偏差較大的候選框數量有效減少，這對后續的融合計算十分有利。圖3（c）為直接進行融合計算得到的檢測框，由于融合了偏差較大的候選框，效果并不理想。圖3（d）為排序濾波后進行融合計算的檢測框結果，可觀測到其對長文本和混疊文本等情況有較大改善。

圖3 排序濾波與融合計算前后對比Fig.3 Comparison before and after sortingfiltering and fusion computing

3 實驗

為保證實驗數據的公平，本文統一在Zhou等人[12]提出的網絡模型上進行NMS模塊對比。將Locality-Aware NMS[12]、NMS、Soft NMS[13]，與是否結合Soft NMS[13]的Order NMS 在相同條件下，在ICDAR2015[15]數據集和MSRATD500 數據集上進行實驗比較。測試實驗均使用resnet50[16]模型，使用批量梯度下降（BGT），指數衰減學習率，學習率初始值設置為0.000 1。ICDAR2015數據集迭代6萬次，MSRATD數據集迭代10萬次。

3.1 實驗結果

實驗結果如表1與表2，展示5種算法在ICDAR2015[15]數據集與MSRATD500數據集上recall、precision、F-score值的大小。

表1 5種方法ICDAR2015實驗結果對比Table 1 Comparison of ICDAR2015 experimental results of five methods

表2 5種方法MSRA500實驗結果對比Table 2 Comparison of MSRA500 experimental results of five methods

根據表1與表2的實驗結果發現，結合Soft NMS[13]與Order NMS的F-score值對比其他算法得到了明顯提升，這也證明了本文算法方法理論部分提出的假設是正確的。僅使用Order NMS 時，受鄰近區域預測候選框的干擾，排序濾波算法無法有效發揮其實際作用。Soft NMS[13]算法原本是用來檢測重疊物體區域的，本文主要應用其降低得分機制去優化排序濾波算法，因此，結合Soft NMS[13]的Order NMS取得了明顯效果。

3.2 重要參數對比

以ICDAR2015[15]數據集為實驗基礎，在同等實驗條件下通過控制變量法對不同閾值進行實驗比較。

如表3展示了濾除閾值對實驗結果的影響，濾除閾值既允許候選框存在的最小置信度得分，實驗時Nt設置為0.1。觀察發現，濾除閾值取大取小對實驗結果均有提升，濾除閾值取0.6時效果最佳。

表3 不同濾除閾值下ICDAR2015實驗結果對比Table 3 Comparison of ICDAR2015 experimental results under different filtering thresholds

如表4展示了融合閾值對實驗結果的影響，觀察發現，融合閾值設置過高會減少預融合候選框數量，過低則會加大極端候選框數量，融合閾值取0.3時效果最佳。

表4 不同融合閾值下ICDAR2015實驗結果對比Table 4 Comparison of ICDAR2015 experimental results under different fusion thresholds

如表5 展示了N值對實驗結果的影響，觀察發現，N值越小對實驗結果的提升越大，N值取3時效果最佳。

表5 不同N 值下ICDAR2015實驗結果對比Table 5 Comparison of ICDAR2015 experimental results under different N values

4 結束語

NMS算法一直都是場景文本檢測中的一個重要環節。在本文中，提出了一種基于排序濾波與融合計算的NMS算法。通過在ICDAR2015[15]數據集與MSRATD500數據集上的實驗，證明了本文算法能夠提高最終的檢測結果，并且對長文本和混疊文本的情況更加有效。