視頻幀中改進的字幕檢測定位方法

2011-04-13 12:20:20唐思源王曉琴

科技傳播 2011年5期

唐思源，苗玥，王曉琴

包頭醫學院計算機科學與技術系，內蒙古包頭 014060

0 引言

圖像中的文本包含豐富﹑明確的信息。如果這些文本能被自動地提取出來，則對圖像高層語義的自動理解﹑索引和檢索是非常有價值的。圖像中的文本提取可概括為兩個步驟：1）文本定位[1]。即找出圖像中文本所在的位置或剛好包圍文本的矩形區域；2）文本識別[2]。對定位出的文本區域進行二值化﹑增強處理，再送入光學字符識別系統（OCR）中進行字符識別。文本定位是文本識別的前提，是文本提取的關鍵，本文主要提出了一種文本定位技術的改進方法。

1 視頻字幕的特點

圖像中文字可以分為人工文本和場景文本[1]。人工文本是指通過圖像處理工具對圖像進行編輯，人工加在圖像上的文本。場景文本是指拍攝場景中所包含的文字。它是場景的一部分，隨場景一同被拍攝到圖像中，如廣告牌﹑車牌等。場景文字的方向﹑大小沒有限制，顏色千變萬化，圖像的光照情況與場景所在的環境有很大關系；而且由于攝影機的投影變換關系，圖像中的文字有可能會發生移動﹑旋轉﹑縮放等變形，定位難度較大，所以本文主要是針對人工文本進行定位。

2 文本區域的檢測

字幕要被正確識別就必須和背景有區分，也就是需要呈現一定的邊緣特征和強度帶，所以通過對視頻幀邊緣強度進行分析來檢測字幕是一個有效的辦法。本文的方法如下：我們處理的都是灰度圖像，如果是彩色圖像，先轉換成灰度圖像。然后對灰度圖像進行邊緣檢測，考慮到中文字幕自身的一些特點，傳統的方法都是采用Sobel[3]算子進行字幕邊緣的提取，采用這樣的算子將保證其對垂直和水平邊緣都具有較大的影響。但可以對Sobel算子進行改進，本文應用改進的Sobel算子把視頻幀圖像轉換成邊緣強度圖；再用一種自適應閾值的方法將文字行檢測出來，然后過濾背景噪聲；在文字區域的定位方面，本文用的是投影分析方法，因為文字區域的象素密度在一定范圍之內并形成一定紋理，再依據紋理測量濾去非文字區域，分割出可能的文字區域；最后將字幕區域進行二值化，以備后期輸入OCR識別軟件進行字幕識別的處理。

2.1 圖像預處理

由于彩色圖像處理的復雜性，圖像預處理部分首先將輸入的圖像去掉彩色信息，進行灰度化。本文根據NTSC[4]視頻標準公式：Gray=0.3red+0.59green+0.11blue

將彩色圖像轉化為灰度圖像。

2.2 邊緣檢測

本文采集到一段視頻片段的幀序列，提取某一幀圖像進行處理，接下來用改進的Sobel算子計算每個像素點的邊緣強度值。Sobel 算子由兩個卷積核組成，一個核對水平邊緣的響應最大，另一個核對垂直邊緣響應最大。由于漢字中橫和豎的筆劃都比較多，因此本文用Sobel算子分別檢測出視頻幀的水平和垂直邊緣，并把水平和垂直方向的邊緣疊加在一起，加強了檢測到的文字的邊緣；同時中文中有很多傾斜的筆畫，所以用改進的Sobel算子效果更好，改進的Sobel算子又增加了兩個卷積核，即對左對角線，右對角線兩個方向的邊緣也產生響應，邊緣檢測結果如圖2所示。

2.3 文字邊緣連接成塊

由于利用改進的Sobel算子提取出的文字邊緣比較粗略，不能完全與背景邊緣區分出來，并且有些并不閉合，所以利用數學形態學算法對圖像進行形態學膨脹，目的是將文字邊緣連接成塊。膨脹[5]是將與某物體接觸的所有的背景點合并到該物體中的過程。腐蝕[5]是消除物體所有邊節點的過程。然后再通過閉運算，平滑其邊緣。閉運算：先膨脹后腐蝕它具有填充物體內部的小的空洞。連接相連臨近的物體，在不明顯改變物體面積的情況下平滑其邊緣的作用，文字邊緣連接成塊結果如圖3所示。

2.4 文字行的檢測

通常的方法是按著經驗設定一個閾值，但這種方法的閾值設定不能滿足視頻圖像復雜背景的變化，檢測錯誤率高。本文應用一種新的自適應迭代檢測[6]算法。迭代步長選為邊緣密度的均值，非文子行的排除條件是文字行的高度都應該大于10個象素，而循環迭代停止的條件是本次循環中所剩余的候選文字行的邊緣密度填充率大于50%，或前后兩次循環得到的文字候選行個數不再發生變化。

2.5 背景噪聲去除

這個時候，還有很多背景噪聲塊，而這些噪聲塊都是從邊緣往里延伸的。這里我們采取一種周邊融合的方法去除背景噪聲。把圖片周邊一定象素寬的所有象素都變成黑色，這樣就把和邊緣相通的背景噪聲塊以及和邊緣相隔一定象素寬的背景噪聲塊連成一個連通區，直接把這個連通區去掉就達到去除噪聲的目的，背景噪聲去除結果如圖4所示。

2.6 文字區域檢測

首先根據字幕區域本身的特點，本文將探測到的文本區域用一個矩形框來表示，設定一些規則，目的是將文本區域矩形框的上下左右邊界提取出來，大體定位出文字區域。規則如下：

Step1：自下而上﹑自左至右對圖像進行水平掃描。計算每行灰度值＞40的像素數目，若像素數目＞ 0.1*Wide（其中，Wide為圖像的寬度）, 則認為該行可能是字幕行，將該行是否為字幕行的標志I置為真；

Step2：自下而上﹑自左至右對圖像進行水平掃描，若連續字幕行的數目＞5，則記錄連續字幕行的上下位置，分別標記為top和bottom，作為候選字幕區域的上下邊界，進入Step3。否則，從top的下一行開始繼續進行水平掃描，重復Step2，直至掃描結束；

Step3：自左而右﹑自下而上對bottom和top之間的區域進行垂直掃描，采用類似Step1的步驟，判斷bottom與top之間的區域是否為字幕列。即計算每列灰度值＞40的像素數，若像素數＞0.2*（top-bottom），則認為該列為字幕列，并將該列是否為字幕列的標志I置為真；

Step4：自左而右﹑自下而上對bottom和top之間的區域進行垂直掃描，若連續字幕列的個數＞10，則記錄連續字幕列的左右位置，分別標記為left和right，作為候選字幕區域的左右邊界。返回Step2，從top的下一行開始重新進行水平掃描。

接著依據紋理測量[7]濾去非文字區域。通過對圖像有關屬性的統計分析，可以把圖像中不同的區域區分為不同紋理，對圖像屬性的統計分析，有一階統計[7]方法﹑二階統計方法[7]等。一階統計方法計算簡單，一些實驗表明，其正確率優于二階統計方法，我們可以使用一階統計方法計算出像素及其鄰域的灰度分布。實驗結果如圖5右所示。

2.7 二值化

經過去處背景噪聲和濾去非字幕區域的之后，最終得到的字幕區域將是符合條件的字幕區域，該階段主要負責將字幕區域進行二值化，以備后期輸入OCR識別軟件進行字幕識別的處理。所謂的圖像二值化[8]是將圖像分成對象與背景兩部分的一種操作，這時圖像里只有黑白兩色了。最簡單的圖像二值化方法是，可以通過設定閾值實現。如果圖像中某像素的灰度值小于該閾值，則將該像素的值設為0，否則設為255。

本文采用了一個窗口來掃描灰度圖，通過對局部背景進行分析以找到一個恰當的閾值，能夠既保留文字筆畫的清晰和完整又使文字和背景盡量分開。我們先用最大類間方差法[9]得到一個局部閾值T，然后再對局部閾值T進行一系列的調整，得到調整后的閾值T new，最后把灰度低于T new的象素點轉成黑色點，高于T new的轉換成白色點。這樣就可以把灰度圖轉換成二值圖了。