一種動態文稿邊緣自適應檢測與糾偏方法

陳建促，王 越，李章宇，林志航

(重慶理工大學 計算機科學與工程學院， 重慶 400054)

1 研究背景

在日常辦公中，通過掃描紙質文檔進行電子存檔十分常見。傳統的機器掃描方法存在效率低、耗材昂貴等問題，而通過攝像頭對文稿進行實時掃描則較為方便和環保。使用攝像頭對文稿進行拍攝過程中會存在攝像頭畸變問題，導致文稿產生形變，達不到傳統機器掃描的效果。因此，對圖像中的文稿進行糾偏是很重要的環節，而對文稿進行準確糾偏的核心在于對圖像中的文稿邊緣進行準確檢測。在實際應用環境中，受復雜背景的干擾，往往無法準確檢測出文稿邊緣。本文對復雜背景下的文稿邊緣檢測進行邊緣定位精度與檢測準確率的提升，以完成復雜背景下的文稿邊緣檢測。

在文稿糾偏的相關研究中，王咸鋒等[1]提出的基于OpenCV實現文檔物體的糾偏方法能夠準確完成單一背景下的文稿糾偏，但不適用于復雜背景的情況；王恒友等[2]提出的基于低秩矩陣分解的方法通過迭代對每一列進行適當旋轉，對圖像進行偏轉角的估計與糾偏，平均耗時為1.5 s；張盛南等[3]提出的斜角檢測方法通過預估傾斜角度，在二值圖像中檢測文檔的傾斜情況；Kao Chih-Hong等[4]從文字字符本身的特征出發，采用文本的線性度量在圖像中對文字內容進行定位及矯正。但是上述方法[2-4]僅考慮了圖像的偏移角度，未能去除文稿區域以外的復雜背景干擾。苑擎飏等[5]提出了改進Hough變換圖像糾偏方法，但也未考慮到文稿區域以外的復雜背景干擾。綜上，以上方法雖取得了一定的成果，但不適用于受復雜背景干擾的文稿邊緣檢測與糾偏。

在邊緣檢測算法中，Canny算法[6]的檢測精度高，但存在抗噪能力差、穩定性低以及適用場景受限制的問題。針對這種情況，很多學者對其進行了改進。侯濤等[7]使用加權中值濾波對圖像進行預處理，并添加45°與135°方向梯度模板對高速列車車輪輪踏面的損傷程度進行評估；顏麗等[8]針對AAM主動表現模型對外輪廓定位不準確、容易陷入局部最優解的問題，通過與Canny算法進行融合完成對人臉輪廓的定位；楊先鳳等[9]將融合梯度計算、邊緣連接及閾值選取的方法應用于油管裂紋的檢測；徐駿驊[10]結合Canny算法與Lab顏色空間轉換解決車臉識別中存在的車輛成像效果差與光照干擾強的問題；王慧[11]將邊緣檢測算法應用到紅棗分級，通過Canny算法、小波變換以及梯度算法結合的方式對紅棗大小及表面缺陷比率進行評估與分級；王忠華等[12]在幀間差分法的基礎上改進Canny算子與運動關聯法，解決傳統幀間差分法在運動目標檢測時造成的目標空洞以及輪廓丟失問題，以提升檢測性能并保證運動目標輪廓；王鳳燕等[13]通過雙邊濾波對Canny算法進行改進，并根據多數投票原則對年輪圖像進行樹齡檢測；高春霞等[14]使用人頭顏色空間和輪廓信息進行行人檢測，在輪廓提取時使用了改進的Canny算法；黃山等[15]通過數據場理論進行圖像灰度值特征空間與數據場勢空間的轉換，并引入歐式距離完成圖像勢值計算，最后采用Canny算法對勢值圖進行邊緣提取。

結合前期研究，本文將Canny邊緣檢測算法應用于文稿的邊緣檢測，提出了一種動態文稿邊緣自適應檢測與糾偏方法。該方法在融合圖像壓縮比、形態學變換與Canny算子的基礎上，根據文稿輪廓特征，結合多邊形逼近、最小矩形包裹與面積篩選的方法對復雜背景下的文稿進行邊緣檢測與糾偏。本文的主要貢獻如下：

1) 引入圖像壓縮比的方法，保持了文稿布局在糾偏前后的一致性。

2) 將Canny邊緣檢測算法運用于文稿邊緣檢測，結合Canny算法的邊緣檢測的優勢，通過引入多邊形逼近、最小矩形包裹與面積篩選方法，降低復雜背景對文稿邊緣檢測與糾偏的影響，提升文稿邊緣檢測的準確率與糾偏效果。

2 基于文字區域的文稿檢測與糾偏方法

基于文字區域的文稿動態檢測與糾偏方法的核心在于對文稿中的文字區域進行提取。對文稿進行特征提取之前，對圖像進行灰度化預處理，并使用Sobel對文稿進行邊緣檢測，然后通過形態學變換與文字區域篩選方法確認待糾偏區域，最后使用仿射變換進行文稿糾偏。基于文字區域的文稿檢測方法處理過程如圖1所示。

圖1 基于文字區域的文稿檢測方法處理過程

使用攝像頭進行圖像捕捉，捕捉到的圖像為RGB顏色模式。對RGB圖像需要進行3種分量的處理，處理的復雜度高，且不能反映圖像的形態特征，而灰度化能夠將RGB圖像轉化為二維圖像。Sobel邊緣檢測算法分別將表示橫向和縱向亮度的3×3矩陣與圖像作平面卷積，得到橫向及縱向的差分亮度近似值。形態學變換中的二值化能夠在保持像素值與位置關系不變的基礎上，減少后期的數據處理量與壓縮量。使用膨脹方法對兩個集合進行合并，生成的連通區域圖像能夠突出所需要的特征，弱化其他特征。最終通過矩形輪廓篩選與仿射變換完成糾偏。該方法對單一背景的文字區域選擇有較好的效果；對于復雜背景，會形成虛假塊，直接影響文字區域的檢測與糾偏結果。針對復雜背景影響以及基于文字區域檢測方法的局限性，本文基于文稿邊緣進行分析。

3 動態文稿邊緣自適應檢測與糾偏方法

動態文稿邊緣自適應檢測與糾偏方法的核心在于能夠忽略掉背景的影響，對文稿外邊緣進行準確檢測。文稿邊緣自適應檢測與糾偏方法處理過程如圖2所示。

圖2 文稿邊緣自適應檢測與糾偏方法處理過程

視頻由連續的視頻圖像幀組成，動態檢測的基礎在于調用攝像頭對視頻中每一幀圖像進行實時捕獲。為了使糾偏后的圖像保持原有的布局，通過獲取相機行和列的最大值與閾值的比例，對后續糾偏后的文稿圖像大小進行調整。在圖像預處理階段，使用圖像灰度化減少后期處理的復雜度。對預處理后的圖像采用Canny邊緣檢測算法、多邊形逼近、最小矩形包裹與面積篩選及仿射變換，完成文稿邊緣的檢測與糾偏。

3.1 圖像壓縮比

圖像壓縮比為攝像頭獲取到的圖像寬高比。通過圖像壓縮比對進行仿射變換的文稿區域的4個角點坐標做調整，保證糾偏文稿的原始布局。

3.2 灰度化處理

對于攝像頭獲取的彩色圖像，每個像素點的顏色分別由R、G、B3個分量決定，每個分量分別有155種取值。1個像素點的顏色變化范圍達1 600多萬(255×255×255)。但對于R、G、B3個分量相同的灰度圖像，1個像素點的顏色變化范圍為255，大幅度減少了圖像的計算量。由于圖像邊緣存在于灰度值發生劇烈變化的區域內，灰度變化率最大的位置極可能代表了圖像的邊緣，因此，對圖像的灰度化處理有利于后期的圖像邊緣分割。

3.3 邊緣檢測

邊緣檢測提取目標與背景之間的邊界，圖像邊緣的表現形式包括階躍型、脈沖型與屋頂型。在對文稿進行邊緣檢測與糾偏的應用過程中，背景顏色與文稿顏色對比度大時，圖像像素點的變化特征為先快速增大、后快速減小，適合采用1階零點或2階極值點對邊緣點進行求解；背景顏色與文稿顏色對比度小時，圖像像素點的變化特征為穩定增大或穩定減小，適合采用1階極值點或2階零點的方式進行求解。1階檢測算法在進行灰度化處理時存在邊緣無法檢測的情況，而采用2階微分運算對于檢測邊緣效果顯著。另外，考慮到文稿邊緣為直線的特性，以及對文稿邊緣的檢測要求不及對行人、汽車檢測的邊緣細節要求高，為了計算的高效與簡單，本文選用Canny算法進行文稿邊緣檢測。

假設Canny算法采用的卷積算子為

(1)

其x向、y向的1階偏導數矩陣分別為：

P[i,j]=(f[i,j+1]-f[i,j]+

f[i+1,j+1]-f[i+1,j])/2

(2)

Q[i,j]=(f[i,j]-f[i+1,j]+

f[i,j+1]-f[i+1,j+1])/2

(3)

梯度幅值為

(4)

梯度方向為

θ[i,j]=arctan(Q[i,j]/P[i,j])

(5)

3.4 邊緣查找及檢測

圖像邊緣是指圖像周圍的像素灰度值有階躍變化、脈沖變化或屋頂變化的像素集合點，反映了圖像灰度的不連續性。圖像邊緣是包含了幅度以及方向的矢量對象。在一定條件下，不同的邊緣點包含了不同的圖像信息。由于復雜背景以及攝像頭畸變導致文稿存在矩形、梯形或不規則四邊形的情況，因而需要篩選出文稿的邊緣。

根據文稿特性，邊緣查找與邊緣檢測的保留準則包括：

1) 對檢測輪廓采用多邊形逼近approxPolyDP方法，并篩選去除相近的點；

2) 篩選去除相近的點之后不為四邊形，使用最小矩形包裹；

3) 根據邊緣查找到輪廓的起始點位置，按照面積進行排序篩選。

3.5 仿射變換

仿射變換的本質是將圖像投影到一個給定4個角點位置、最大寬度與最大高度的新平面上。假設世界坐標點為(xi,yi)，圖像坐標點為(ui,vi)，若要將(xi,yi)映射到{(ui,vi),i=1,2,3,4}，則

(6)

對式(8)進行仿射變換系數求解：

ui=C00×xi+C01×yi+C02

(7)

vi=C10×xi+C11×yi+C12

(8)

1=C20×xi+C21×yi+C22

(9)

即：

ui=C00×xi+C01×yi+C02=

ui×(C20×xi+C21×yi+C22)

(10)

vi=C10×xi+C11×yi+C12=

vi×(C20×xi+C21×yi+C22)

(11)

4 實驗結果與分析

4.1 實驗環境

Intel(R) Core(TM) i7-6700HQ，CPU @2.60 GHz 2.59 GHz，Windows10 64位操作系統，Android SDK。

4.2 實驗結果

為了對比基于文字區域與基于文稿邊緣的檢測與糾偏方法，分別進行單一純色背景、單一非純色背景和復雜背景下的文稿檢測與糾偏結果對比。圖3為基于文字區域方法在3種背景條件下的文稿糾偏結果。其中，圖3(a)～(c)為視頻獲取的待糾偏圖片，(d)～(f)為對應的糾偏結果。圖4為基于文稿邊緣方法在3種背景條件下的文稿糾偏結果。其中，圖4(a)～(c)為視頻獲取的糾偏圖片，(d)～(f)為對應的糾偏結果。

圖3 基于文字區域的檢測與糾偏方法

圖4 基于文稿邊緣的自適應檢測與糾偏方法

實驗結果表明：基于文字區域的檢測方法僅在單一純色背景下有良好的表現，在單一非純色背景及復雜背景下的糾偏表現均不理想，文稿邊緣定位精度低，不能對文稿完成準確糾偏。另外，雖然在單一純色背景下表現出良好的糾偏能力，但基于文字區域的糾偏結果會破壞文稿的原始布局，達不到類似掃描的效果；而基于文稿邊緣自適應動態檢測方法在單一純色背景、單一非純色背景與復雜背景下均表現出了良好的定位精度與準確的糾偏能力，且保留了原始的文稿布局。

4.3 性能分析

為了驗證本文方法的實時性與有效性，對完成糾偏的平均時間以及適應場景進行實驗。圖5顯示了基于文字區域方法與基于文稿邊緣方法在單一或復雜背景下進行100次糾偏試驗的耗時。表1為基于文字區域方法和基于文稿邊緣方法在不同場景下的平均耗時與場景適應情況。基于文字區域方法在單一背景下100次實驗的平均耗時為0.327 2 s，而基于文稿邊緣的自適應動態檢測與糾偏方法在單一背景或復雜背景下100次實驗的平均耗時分別為0.609 2 s和0.663 8 s，耗時高于前者，但能滿足實時檢測的要求；而基于文字區域檢測與糾偏方法在復雜情況下實驗100次的平均耗時為1.666 7 s，且不能準確糾偏。因此，基于文稿邊緣的自適應檢測與糾偏方法在整體上性能更優。

圖5 進行100次糾偏試驗的耗時分布

表1 不同場景下的平均耗時與場景適應情況

5 結束語

本文提出了一種基于文稿邊緣的自適應檢測與糾偏方法。該方法將Canny邊緣檢測算法運用于文稿邊緣檢測，結合Canny對邊緣檢測的優勢，引入高斯濾波減少噪聲的影響以提升檢測性能。另外，通過多邊形逼近、最小矩形包裹與面積篩選相結合的方法去除稿件畸變或復雜背景對文稿檢測與糾偏的影響，增加了文稿糾偏的適用場景，且滿足文稿糾偏的實時性要求。由于在實際糾偏過程中，因光照產生的陰影未得到去除，因此對糾偏后的圖像進行陰影去除是下一步研究的內容。