基于啟發(fā)式規(guī)則和SVM的自然場(chǎng)景中文文本定位

喻勃然，萬(wàn)洪杰

（北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，北京100029）

基于啟發(fā)式規(guī)則和SVM的自然場(chǎng)景中文文本定位

喻勃然，萬(wàn)洪杰

（北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，北京100029）

為了實(shí)現(xiàn)自然場(chǎng)景下的中文文本定位，設(shè)計(jì)實(shí)現(xiàn)了一種啟發(fā)式規(guī)則過(guò)濾和SVM精確分類(lèi)的層次定位方法。首先通過(guò)最大穩(wěn)定極值算法提取區(qū)域，對(duì)于漢字筆畫(huà)分離的問(wèn)題，用形態(tài)學(xué)運(yùn)算進(jìn)行筆畫(huà)融合。再根據(jù)漢字的特點(diǎn)，設(shè)計(jì)啟發(fā)式規(guī)則過(guò)濾非文本區(qū)域，其中通過(guò)候選字符區(qū)域的橢圓擬合，引入橢圓的偏心率作為文本判別規(guī)則。最后提取HOG特征，通過(guò)SVM精確分類(lèi)實(shí)現(xiàn)文本定位。實(shí)驗(yàn)證明本文方法在復(fù)雜的自然場(chǎng)景下取得了良好的文本定位效果。

最大穩(wěn)定極值區(qū)域；啟發(fā)式規(guī)則；HOG；SVM；文本定位

隨著智能手機(jī)，數(shù)碼相機(jī)等移動(dòng)智能終端的普及，圖片和視頻已經(jīng)成為人們傳遞信息的重要載體。其中包含的文字信息對(duì)基于語(yǔ)義的圖像理解和場(chǎng)景認(rèn)知有重要的意義。利用計(jì)算機(jī)對(duì)海量的圖片提取信息，已成為國(guó)內(nèi)外研究者關(guān)注的熱點(diǎn)。自然場(chǎng)景圖像各式各樣，光照不均，其中包含的文字字體多變、布局不一、背景復(fù)雜。因此精確地檢測(cè)和定位場(chǎng)景圖像中的文字仍然是一項(xiàng)充滿(mǎn)挑戰(zhàn)的任務(wù)。

目前，主要的場(chǎng)景文本定位方法有基于邊緣的方法，基于紋理的方法和基于機(jī)器學(xué)習(xí)的方法。在文獻(xiàn)[1]和[2]中，分別提出了多尺度的LoG邊緣檢測(cè)子和密集的垂直邊緣進(jìn)行文本定位。該方法的運(yùn)行速度較快，對(duì)于文本邊緣明顯的情況定位準(zhǔn)確率較高。文獻(xiàn)[3]中重新定義了基于DCT的特征，并通過(guò)一個(gè)無(wú)監(jiān)督的閾值法來(lái)對(duì)文本分類(lèi)，能適應(yīng)較復(fù)雜的背景，但對(duì)文本的尺度變化較敏感。Epshtein等人[4]提出了筆畫(huà)寬度變換的方法，通過(guò)計(jì)算每個(gè)像素點(diǎn)的值與該像素點(diǎn)相關(guān)的筆畫(huà)寬度來(lái)定位文本。文獻(xiàn)[5]通過(guò)AdaBoost機(jī)器學(xué)習(xí)算法訓(xùn)練了一個(gè)由4個(gè)強(qiáng)分類(lèi)器組成的串聯(lián)分類(lèi)器，用了79個(gè)特征對(duì)候選文本區(qū)域分類(lèi)。Lukas等人[6]利用最大穩(wěn)定極值區(qū)域作為候選字符區(qū)域，通過(guò)SVM分類(lèi)器進(jìn)行文本和非文本的判別，該方法對(duì)自然場(chǎng)景有良好的適應(yīng)性。

雖然英文文本定位的研究已取得了一定成果，但針對(duì)中文文本定位的研究還很缺乏。文中在相關(guān)研究的基礎(chǔ)上，設(shè)計(jì)實(shí)現(xiàn)了適用于中文文本定位的方法并進(jìn)行了改進(jìn)。算法首先提取最大穩(wěn)定極值區(qū)域，采用數(shù)學(xué)形態(tài)學(xué)運(yùn)算融合分離的筆畫(huà)，將融合后的連通區(qū)域作為候選字符區(qū)域。然后設(shè)計(jì)了一組啟發(fā)式的規(guī)則對(duì)候選字符區(qū)域進(jìn)行過(guò)濾，減少了分類(lèi)的計(jì)算量，加快了算法的速度。最后計(jì)算方向梯度直方圖特征，通過(guò)支持向量機(jī)實(shí)現(xiàn)對(duì)文本的精確定位。

1 基于最大穩(wěn)定極值算法的候選字符提取

1.1 最大穩(wěn)定極值算法

最大穩(wěn)定極值（Maximally Stable Extremal Regions，MSER）是一種圖像區(qū)域檢測(cè)算法，它最初用來(lái)解決立體寬基線(xiàn)匹配問(wèn)題[7]，具有很好的仿射不變性和光照魯棒性，因此在物體識(shí)別、文字檢測(cè)等應(yīng)用中取得了良好的效果。MSER算法使用不同的灰度閾值對(duì)圖像進(jìn)行二值化。選取閾值t={0，1，…，255}，從0到255取值，將灰度值高于閾值t的點(diǎn)置為白色，低于閾值的點(diǎn)置為黑色。得到一系列黑色或白色的嵌套極值區(qū)域，可表示為Q1，…Qi-1，Qi，…，其中Qi?Qi+1。在極值序列Q1，…Qi-1，Qi，…中，極值意味著區(qū)域中所有像素的灰度值都高于或低于其外部邊界的像素值。如果極值區(qū)域在一定的灰度值范圍內(nèi)是穩(wěn)定的，這些區(qū)域就定義為最大穩(wěn)定極值區(qū)域。用公式表示為，當(dāng)且僅當(dāng)i=i*：

如果式（1）在i*處存在局部最小值，那么Qi*就是最大穩(wěn)定極值區(qū)域。其中Δ表示灰度閾值變化的步長(zhǎng)。

1.2 數(shù)學(xué)形態(tài)學(xué)筆畫(huà)融合

漢字具有不同于英文字符的特殊性，它有橫、豎、撇、捺、點(diǎn)、折、鉤7種基本筆畫(huà)，再由這7種基本筆畫(huà)組合與變形，形成了2萬(wàn)多個(gè)漢字[8]。單個(gè)漢字的筆畫(huà)之間往往是互相分離的。為了將分裂的筆畫(huà)融合，我們把MSER算法提取的區(qū)域通過(guò)數(shù)學(xué)形態(tài)學(xué)操作。文中采用閉運(yùn)算對(duì)圖像進(jìn)行形態(tài)學(xué)操作，閉運(yùn)算能較好地保持圖像中目標(biāo)物體的大小。圖1顯示原圖與閉運(yùn)算圖像對(duì)比，這時(shí)單個(gè)漢字已經(jīng)能作為一個(gè)連通區(qū)域被檢測(cè)出來(lái)。

圖1 原圖與閉運(yùn)算圖像對(duì)比

2 啟發(fā)式過(guò)濾規(guī)則設(shè)計(jì)

經(jīng)過(guò)MSER提取和數(shù)學(xué)形態(tài)學(xué)運(yùn)算后，將檢測(cè)到的連通區(qū)域作為候選字符區(qū)域。由圖1（b）可以看出其中包含了大量的非文本區(qū)域干擾。如果直接將這些候選字符區(qū)域進(jìn)行分類(lèi)，勢(shì)必大大增加計(jì)算量，造成算法效率低下。因此根據(jù)漢字的特點(diǎn)設(shè)計(jì)了一組啟發(fā)式的規(guī)則來(lái)對(duì)候選字符進(jìn)行初步判斷。

令提取的候選字符的集合為S，其中包含了字符ci和非字符nj，集合S定義如下：

考慮如下幾點(diǎn)：

1）場(chǎng)景圖像中的字符的面積不會(huì)過(guò)大或過(guò)小。令候選字符區(qū)域sk的外接矩形為rk，Area（rk）表示外接矩形的面積，經(jīng)過(guò)大量實(shí)驗(yàn)統(tǒng)計(jì)，候選字符sk的限定條件表述為：

將外接矩形面積小于15 000像素和大于150 000像素的區(qū)域視為非文本區(qū)域。

2）漢字字符形狀呈近似的正方形，即其外接矩形的長(zhǎng)寬比接近于1。令外接矩形rk的寬高分別為width（rk）和height（rk）。寬高比的限定條件為：

3）經(jīng)過(guò)上述兩條規(guī)則，過(guò)濾掉了一部分非文本區(qū)域，然而還有一些明顯的非文本區(qū)域通過(guò)了過(guò)濾規(guī)則，如圖2所示。

圖2 未被過(guò)濾的非文本區(qū)域

它們的外接矩形的幾何特征恰好落在限制條件之內(nèi)。這些區(qū)域多呈傾斜的狹長(zhǎng)形狀。根據(jù)此特點(diǎn)，將候選字符區(qū)域進(jìn)行橢圓擬合，引入擬合橢圓的偏心率作為過(guò)濾規(guī)則。擬合橢圓的數(shù)學(xué)推導(dǎo)可見(jiàn)文獻(xiàn)[9]。令擬合橢圓的偏心率為Ec（sk），將偏心率大于0.75的區(qū)域視為非文本區(qū)域。即限制條件為：

將目標(biāo)圖像通過(guò)上述規(guī)則過(guò)濾，去除了大量非文本區(qū)域，使得支持向量機(jī)判別的計(jì)算量減少，提高了整個(gè)算法的效率。過(guò)濾后效果如圖3所示。

圖3 啟發(fā)式規(guī)則過(guò)濾后圖像

3 HOG+SVM分類(lèi)

通過(guò)啟發(fā)式規(guī)則過(guò)濾后，候選字符中還包含有少量的非文本區(qū)域，我們將提取候選字符的方向梯度直方圖[10]（Histogram of Oriented Gradient，HOG）特征來(lái)訓(xùn)練一個(gè)支持向量機(jī)分類(lèi)器，對(duì)剩下的候選字符區(qū)域進(jìn)行精確的分類(lèi)判別。

3.1 HOG特征提取

HOG特征對(duì)于圖像的幾何變化和光照變化都有很強(qiáng)的適應(yīng)性，因此用于自然場(chǎng)景文字檢測(cè)相比于其他算子更有優(yōu)勢(shì)。將前文中經(jīng)過(guò)啟發(fā)式規(guī)則過(guò)濾后的區(qū)域按照它們的外接矩形切分出來(lái)。分別對(duì)其提取HOG特征。主要步驟如下：計(jì)算梯度，像素點(diǎn)(x，y)的梯度為：

式中，Gx（x，y），Gy（x，y）分別表示像素點(diǎn)（x，y）的水平方向的梯度和垂直方向的梯度。H（x，y）是像素點(diǎn)（x，y）的值。（x，y）處的梯度幅值和方向?yàn)椋?/p>

將候選字符歸一化為48×48像素大小，以8×8個(gè)像素為一個(gè)細(xì)胞單元，在細(xì)胞單元中的每個(gè)像素點(diǎn)都要基于某個(gè)梯度方向的直方圖投票，梯度方向取為0°～180°，劃分為9個(gè)區(qū)間，形成一個(gè)9維向量。直方圖采用加權(quán)投票，即每個(gè)像素的梯度幅值作為投票的權(quán)值。

最后將細(xì)胞單元組合成塊（block），相鄰的2×2個(gè)細(xì)胞單元作為一個(gè)塊，塊每次移動(dòng)為1個(gè)細(xì)胞單元大小。因此每個(gè)塊中共有4個(gè)細(xì)胞單元，塊中向量的維度為4×9=36。被測(cè)圖像總共形成25個(gè)塊，所以每個(gè)候選字符區(qū)域的HOG特征向量維度為36×25=900維。

3.2 支持向量機(jī)分類(lèi)

支持向量機(jī)（Support Vector Machine，SVM）是建立在統(tǒng)計(jì)學(xué)習(xí)理論VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。它利用一個(gè)分類(lèi)超平面最為決策面，最大化兩類(lèi)樣本的間隔距離。對(duì)于線(xiàn)性可分的情況，它將分類(lèi)問(wèn)題轉(zhuǎn)化為求解不等式約束下的最優(yōu)化問(wèn)題。對(duì)于非線(xiàn)性可分的情況，需要進(jìn)行核函數(shù)映射。將原空間中的非線(xiàn)性問(wèn)題轉(zhuǎn)換為新空間中的線(xiàn)性問(wèn)題。常用的核函數(shù)有線(xiàn)性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)。使用支持向量機(jī)分類(lèi)的主要步驟為：收集制作正負(fù)樣本，提取正負(fù)樣本的特征向量，通過(guò)交叉驗(yàn)證獲取最優(yōu)參數(shù)，利用獲得的最優(yōu)參數(shù)訓(xùn)練支持向量機(jī)模型，最后用待分類(lèi)的樣本測(cè)試，得到分類(lèi)結(jié)果。

4 實(shí)驗(yàn)及分析

文中通過(guò)手機(jī)拍攝了400幅場(chǎng)景圖像作為實(shí)驗(yàn)的數(shù)據(jù)集，像素為800萬(wàn)。場(chǎng)景圖像包括道路的指示牌，戶(hù)外廣告，提示標(biāo)志和建筑物的名稱(chēng)等內(nèi)容，其中的漢字字符有不同的排列方向。從數(shù)據(jù)集中隨機(jī)選取出200幅圖像作為訓(xùn)練集，剩下的200幅圖像作為測(cè)試集。

將訓(xùn)練集中的圖像經(jīng)過(guò)MSER提取和啟發(fā)式過(guò)濾。切分出候選字符區(qū)域，并統(tǒng)一歸一化為48×48像素。通過(guò)人工標(biāo)注，將候選字符中的文字區(qū)域作為SVM分類(lèi)器的正樣本，非文字區(qū)域作為負(fù)樣本。總共生成正樣本1 451個(gè)，負(fù)樣本3 694個(gè)。

將收集的正負(fù)樣本按前文所述步驟提取HOG特征以訓(xùn)練SVM分類(lèi)器，核函數(shù)選擇徑向基函數(shù)。核函數(shù)半徑g和懲罰系數(shù)C對(duì)SVM模型有重要影響。如果懲罰系數(shù)過(guò)高，雖然交叉驗(yàn)證效果較好，但會(huì)造成過(guò)學(xué)習(xí)狀態(tài)，導(dǎo)致分類(lèi)器推廣能力差。文中利用libSVM[11-12]工具箱參數(shù)尋優(yōu)，通過(guò)網(wǎng)格搜索尋找C和g的值，然后進(jìn)行交叉驗(yàn)證，獲取精度最高的參數(shù)。最優(yōu)參數(shù)為C=27.857 6，g=0.062 5，交叉驗(yàn)證精度為95.743 4%。

從測(cè)試集中隨機(jī)選取50幅圖像驗(yàn)證啟發(fā)式規(guī)則過(guò)濾性能。讓圖像通過(guò)過(guò)濾規(guī)則，分別對(duì)包含擬合橢圓偏心率約束（即前文規(guī)則3）和不包含偏心率約束規(guī)則的情況，統(tǒng)計(jì)候選字符區(qū)域的過(guò)濾數(shù)目。如圖4所示。

圖4 啟發(fā)式規(guī)則過(guò)濾效果

橫坐標(biāo)1表示未進(jìn)行過(guò)濾前的候選字符數(shù)目和實(shí)際字符數(shù)目，2表示未加入偏心率約束的過(guò)濾效果，3表示加入偏心率約束規(guī)則后過(guò)濾效果。50幅圖像共有候選字符區(qū)域3 742個(gè)，實(shí)際字符282個(gè)，未加入偏心率規(guī)則時(shí)，過(guò)濾掉非字符區(qū)域2 765個(gè)，加入偏心率約束后過(guò)濾掉區(qū)域3 137個(gè)，過(guò)濾性能提高了13.45%，同時(shí)字符區(qū)域數(shù)量保持不變。完整的啟發(fā)式規(guī)則能過(guò)濾掉候選字符中82.51%的非文本區(qū)域。

對(duì)整個(gè)測(cè)試集進(jìn)行綜合檢測(cè)，通過(guò)精確率（precision）和召回率（recall）來(lái)評(píng)估本文的方法。精確率和召回率表達(dá)式為（10），（11）。其中T表示正確檢測(cè)出的字符數(shù)目，N表示總的檢測(cè)結(jié)果。C表示圖像中包含的所有字符數(shù)目。將文中的方法與其他英文字符檢測(cè)定位方法對(duì)比，見(jiàn)表1。可以看出，文中在召回率上高于其他方法，同時(shí)準(zhǔn)確率也達(dá)到了較高水平。圖5為本文方法的部分檢測(cè)結(jié)果展示。

表1 不同算法結(jié)果對(duì)比

圖5 文本定位結(jié)果

5 結(jié)束語(yǔ)

文中針對(duì)自然場(chǎng)景下的中文文本定位問(wèn)題進(jìn)行了研究，通過(guò)數(shù)學(xué)形態(tài)學(xué)融合了文字筆畫(huà)，設(shè)計(jì)實(shí)現(xiàn)了啟發(fā)式規(guī)則過(guò)濾和基于支持向量機(jī)的兩層文本定位結(jié)構(gòu)。實(shí)驗(yàn)證明，設(shè)計(jì)的啟發(fā)式規(guī)則能快速有效地過(guò)濾非文本區(qū)域，同時(shí)文字區(qū)域得以保留。再經(jīng)過(guò)支持向量機(jī)的精確分類(lèi)，準(zhǔn)確地定位了文本區(qū)域。文中的方法在光照變化，不同的文字排列方式和復(fù)雜背景的情況下均取得了很好的效果。但是對(duì)于文字前景遮擋和文字與背景過(guò)于接近的情況，候選字符區(qū)域提取的效果不佳，這也是文中后續(xù)研究的方向。

參考文獻(xiàn)：

[1]Chen Xi-lin，Yang Jie，Zhang Jing，et al.Automatic detection and recognition of signs from natural scenes[J].IEEE Transactions on Image Processing，2004，13（1）:87-99.

[2]Kumar M，Lee G.Automatic text location from complex natural scene images[C]//International Conference on ComputerandAutomationEngineering，Singapore，2010，3:594-597.

[3]Goto H.Redefining the dct-based feature for scene text detection analysis and comparison of spatial frequency-based features[J].IJDAR，2008，11（1）:1-8.

[4]Epshtein B，Ofek E，Wexler Y.Detecting text in natural scenes with stroke width transorm[C]//Proc.CVPR，2010，11（1）:1-8.

[5]Chen Xiang-rong，Yuille A L.Detecting and reading text in natural scenes[C]//Proc.CVPR，2004:366-373.

[6]Neumann L，Matas J.A method for text localization and recognition in real-world images[C]//Proc.ACCV，2010:20-25.

[7]Matas J，Chum O，Urba M，et al.Robust wide baseline stereo from maximally stable extramal regions[C]//Proc.British Machine Vision Conference，2002:384-396.

[8]Gao Yan，Jin Lian-wen，Yang Wei-xin.An Empirical comparative study of online handwriting Chinese character recognition:simplified vs.traditional[C]//2013 12th ICDAR， 2013:862-866.

[9]柳濤.多通道圖像MSER局部不變性特征提取算法研究[D].長(zhǎng)沙:國(guó)防科技大學(xué)，2010.

[10]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005，1:886-893.

[11]Chang Chih-chung，Lin Chih-jen.LIBSVM-A library for Support Vector Machines[EB/OL].[2015-03-01]http://www. csie.ntu.edu.tw/～cjlin/libsvm/index.html#nuandone.

[12]Faruto.libsvm-3.1-FarutoUltimate3.1code[EB/OL].[2015-03-01].http://www.matlabsky.com/thread-17936-1-1.html.

[13]Shahab A，Shafait F.Dengel A.ICDAR 2011 robust reading competition challenge 2:reading text in scene images[C]// 2011 International Conference on Document Analysis and Recognition，2011:1491-1496.

[14]Yi Chu-cai，Tian Ying-li.Text string detection from natural scenes by structure-based partition and grouping[J].IEEE Transactions on Image Processing，2011，20（9）:2594-2605.

[15]Pan Yi-feng，Hou Xin-wen，Liu Cheng-lin.A robust system to detect and localize text in natural scene images[C]//The Eighth IAPR International Workshop on Document Analysis Systems，DAS’08，2008:35-42.

Chinese text localization in natural scene based on heuristic rules and SVM

YU Bo-ran，WAN Hong-jie
（College of Information Science and Technology，Beijing University of Chemical Technology，Beijing 100029，China）

To realize the Chinese text location in the natural scene，a level positioning method combined with heuristic rules filtering and SVM scientific classification is designed.Firstly，the Maximally Stable Extremal Regions algorithm is adopted to achieve stroke amalgamation and consequently the heuristic rules are made based on the characteristics of Chinese characters to filter non-text regions.By ellipse fitting in the candidate character zone，eccentricity ratio of ellipse is taken as decision rule of text，and finally given the extracted HOG features，SVM is used to do accurate classification to realize text location.It is shown in the experiment that proposed method in the paper gets good test location effect in the complex natural scene.

MSER；heuristic rules；HOG；SVM；text location

TN911.73

A

1674－6236（2016）24-0161-04

2015-12-07 稿件編號(hào)：201512069

喻勃然（1988—），男，貴州黔西人，碩士研究生。研究方向：圖像處理、模式識(shí)別。