基于智能手機的拍攝文檔的預處理系統

董屹晨，張嚴嚴，趙鵬飛

（江蘇大學 計算機科學與通信工程學院，江蘇 鎮江 212013）

0 引 言

隨著科技的飛速發展，各種圖像信息也在辦公、學習方面得到了廣泛的應用。我們一般會將紙質文本拍照或掃描成圖像，經過計算機處理得到相應的電子材料。然而，拍照得到的紙質文本往往會出現大量問題。例如，由于光線環境的不同，文本往往會出現大量的陰影。若重新打印該文本圖像，會使得陰影嚴重影響文本的觀感。由于手機的角度與文本的角度都存在傾斜，會導致圖像出現透視的問題。印刷紙張存在一定的質量問題，也會導致文本圖像中產生大量的噪點，文字本身也會顯得粗糙，能夠明顯看到紙張本身出現的痕跡，從而進一步影響文本圖像的觀感。由于書本較厚，書本的頁面會彎曲，導致拍攝的文本也變得扭曲。因此，在對文本圖像進行進一步處理（如光學字符識別（Optical Character Recognition, OCR））之前，需要消除文本的失真感。

1 文本粗糙問題的解決

在目前，針對文本出現的陰影現象的解決方法漸漸趨于成熟，市面上出現了大量軟件能夠實現自適應二值化。在背景灰度漸變情況下，各類自適應二值化的算法能夠很好地將文本前景與圖像背景分離，從而實現陰影的去除。針對圖像的出現傾斜與透視的問題，其解決方案也較為容易，利用透視變換也能很好地將文本圖像進行校正。然而，針對印刷紙張粗糙的文本圖像，部分文本掃描類軟件可能會產生誤識別的行為，將紙面的粗糙處與噪點錯誤地認作文本前景并進行銳化與增強。針對文本所在頁面的扭曲現象，僅僅使用透視變換仍然不能很好地解決文本行彎曲的問題。

如圖1所示，我們一般會將紙質文本拍照或掃描成圖像，再經過計算機一系列的處理，得到相應電子材料，以便互聯地交流和分享。而拍照或掃描出的圖像可能會出現模糊、歪斜、不平整等狀況，影響人們的日常使用。

圖1 拍照掃描示例圖

在本文中，將著力于解決文本粗糙與頁面扭曲的問題。經過本文的算法的處理，可以將其內容變得清晰校正歪斜等，結果如圖2所示。很大程度上提高了原圖像的可讀性。

圖2 軟件處理效果示例圖

1.1 文本粗糙問題簡介

文本圖像有以下幾個特點：首先，紙張中存在需要去除的細節。紙張本身的褶皺與噪點即為需要去除的、不重要的細節。其次，文字本身是存在大量細節的。與外文文本的區別是，在中文文本圖像中，文字本身的細節更為豐富。由于文字的筆畫的寬度較小，所以中文文字的每一個筆畫都可以視作圖像的邊緣信息。因此，邊緣保持平滑（EPS）能夠很好地解決文本圖像的處理問題。邊緣保持平滑（EPS）本身作為一個計算機視覺領域的熱門課題，有兩種方法得到了廣泛的發展：基于加權平均的方法和基于全局優化的方法。

基于加權平均的方法也稱為基于濾波器的方法或卷積方法。然而，傳統的濾波器方法難以兼顧邊緣保持與平滑。若卷積核導致過大的平滑強度，可能導致文字變得更模糊，也可能導致梯度翻轉。

基于全局優化的方法包括總變差平滑、加權最小二乘平滑、梯度范數平滑和相對總變化平滑等。比起基于加權平均的方法，全局優化的方法可以更好地避免諸如梯度反轉和光暈等偽影等諸多問題。

基于金字塔的方法也能夠進行邊緣保持的平滑。然而，其運行效率仍然低于基于全局優化的方法。局部拉普拉斯濾波器是一種邊緣察覺型圖像處理技術，它通過構造輸出圖像的拉普拉斯金字塔｛[]｝得到最終結果。非規范化雙邊濾波是一種基于雙邊濾波和局部拉普拉斯濾波器折中的濾波，有著與局部拉普拉斯濾波器相似的策略：基于非線性的且依賴參考值。文獻[4]基于這個策略，設計了一個快速局部拉普拉斯濾波器，在保持局部拉普拉斯濾波器細節與邊緣處理細膩的優點的同時使運算更加快速。

基于深度學習的方法利用不同的深度神經網絡架構模仿現有濾波器的平滑效果。然而，訓練深度神經網絡需要的參數難以確定且可解釋性較差。

基于結構提取的方法針對自然場景、布藝品以及手工藝品等都包含不同的紋理結構，例如毛衣、沙發、墻面涂鴉等。這些圖像中，有意義的結構圖和不同樣式的紋理融合在一起。然而，面對拍攝的紙質文本圖像，結構提取的算法卻會錯誤地將文本的前景進行過度的平滑，反而將文本模糊化，達不到預期的效果。

因此，本文使用基于全局優化的方法進行圖像的平滑。本文將著重介紹文獻[1]提出的迭代最小二乘法平滑與文獻[2]提出的范數平滑。

1.2 迭代最小二乘法平滑

迭代最小二乘法的整體流程為：

第二步，對于迭代次數，循環地計算（1）和（2），循環次。

第三步，得到u，即為最終處理完成后的圖像。

迭代最小二乘法的處理速度非常快，且在大部分情況下能夠較大程度地完成圖像去噪、平滑的任務，且文字本身的細節能夠被保留。基本滿足文本圖像修復工作，提高了文本圖像的可讀性。

1.3 L0 梯度平滑

香港中文大學徐立等人所做的范數梯度平滑是一種經典的邊緣保留的平滑算法。盡管這一算法較為經典、處理效果也較好，然而，其處理速度相比于迭代最小二乘法接近實時的效果，效率較為低下，不適用于需要批量處理文本圖像時的應用場景，且在處理尺寸較大的文本圖像時也需要較長的時間。該算法整體流程為：

第一步，輸入原圖像，平滑權值，參數和，迭代率κ。

第二步，進行初始化，←，←，←0。

最后更新，←κ。直到≥時，循環結束。

第四步，輸出最終圖像。

2 文本扭曲問題的解決

2.1 文本扭曲問題簡介

在拍攝紙質文檔時，由于紙質文檔角度的傾斜，手機本身角度的傾斜，所以利用手機拍攝出的紙質文檔也會出現傾斜與透視的現象。對圖像的傾斜、透視進行校正的方法很簡單，使用透視變換即可。然而，由于紙質書籍存在一定的厚度，書本的頁面會存在扭曲、彎曲的現象，使得原本應當處于同一行、同一條直線上的文字沒有正確地被處理到同一行。如圖3所示，左半頁書由于頁邊的彎曲出現了扭曲的現象，在拍攝的圖像中，每一行都被彎曲了。而在右半頁書中，由于拍攝角度的問題，出現了透視的現象。透視變換的流程較為簡單，在此不贅述。

圖3 扭曲與透視

2.2 行連通域的判斷與獲取

本文采用了字符分割的方法，使用文獻[5]中基于文本域的檢測的方法，并使用基于文獻[6]的基于連通域的扭曲圖像校正方法，對其進行一定的改進，一定程度上減小了該方法的耗時。本文使用的文本扭曲校正算法整體流程如下：首先，輸入待處理圖像，對其進行形態學腐蝕操作，并將其映射為一維形式。然后，逐步對點連通域、字連通域和行連通域進行搜索。最后，根據每一行中心點的位置進行圖像的校正。整體流程如圖4所示。

圖4 整體流程

在腐蝕時需要設定卷積核參數。若卷積核參數元素過小則會導致某些文字仍有一部分與其主體未連通，若參數元素過大則會導致文字與相鄰文字被連通。經測試，卷積核參數中，卷積核內部元素均為3 較為合適。

由于圖像是二維化存儲的，為了在遍歷圖像時提高效率，需要將圖像映射成一維。記圖片的高為，長為，則對于（，）點，可得pos=*+。在將pos 點映射回二維點位時，=mod，=/。

由于對圖像的掃描與遍歷時從上到下，從左到右的，所以在判斷某點與其鄰域的關系時，只需判斷其左上結點、左結點與上結點。若當前結點為黑色，且其左結點為黑色，認為當前結點與左結點在同一連通域內。對于上結點、左上結點，同理。為了提高對判斷連通域時的效率，可以用到并查集的算法。

首先，每個點自成一個并查集。

然后，從上到下，從左到右掃描所有結點。每次掃描到某個結點，就逐次遍歷其左上結點、左結點以及上結點。當判斷結點與其像素值都為1 時，則認為所判斷結點與當前結點同屬一個連通域，并將其加入當前結點的集合。

最后，完成對所有結點的搜索，將所有結點劃分為若干個點連通域。

由于漢字的特性，部分漢字的偏旁與部首不一定與漢字的主體直接連通而會存在空隙，所以需要將點連通域合并成字連通域，使得每一個字連通域與每一個漢字一一對應。

對于每一個點連通域，首先創建一個矩形將該點連通域包裹住。該矩形具有六個屬性：up，down，left，right，C，C，對應這個矩形的頂邊、底邊、左邊、右邊，中心點橫軸坐標、中心點縱軸坐標。

其次，統計每個矩形的高度，即down-up 的值，并將down-up≤5的矩形視為噪點或標點符號，不進行計算。同時，對該值取平均，得到文字的平均高度值。

接著，按照一定的順序，對上下結構的文字進行循環相鄰合并。其合并的過程是與文獻[6]是一致的。先判斷是否存在重疊的矩形區域，進行重疊合并。在進行重疊合并完成后，合并具有上下結構或左右結構的漢字。該合并過程循環進行，直到沒有能夠合并的漢字為止，構建字連通域。

對于文本行的檢索，本文循環地查找某一文字與行內與該文字最近的文字，從而構建行連通域。

根據在3.2.4 章節中得到的字連通域，計算每個文字C所在的字連通域的中心坐標（C，C）。對于文字C和C，若C的上邊界小于C的下邊界或C的下邊界大于C的上邊界，則認為這兩個字塊不在同一行。根據中心坐標，計算C與左右兩側文字的中心間距，并分別選取左右兩側間距最小的文字C和C。C和C即為C的左右鄰居字塊。

最后，將文字聚合成行。通過遍歷各連通域，找出行首文字，即沒有左鄰居的文字。然后，從每個行首文字開始，逐個查找其右鄰居，直至行末文字，即沒有右鄰居的文字。

此時的文檔圖像可能的層次結構如圖5所示。

圖5 圖像可能的層次結構

2.3 基于行連通域的文本扭曲校正

本文利用已經確定的文本行和文字位置信息，移動單個文字即可完成校正過程。由于每個文字的面積接近，只需要將所有文字移到適當位置即可完成校正操作。

首先，對圖像按從上到下的順序進行逐行遍歷，同時每行按照從左至右的順序進行遍歷。例如，對于第行L的最左文字作為標記文字C，然后遍歷其他文字C，并計算其校正位移。對于，有計算公式如下：=C-C

同時，由于當前字連通域塊的高度小于或等于5，則認為該連通塊為標點符號。此時，校正位移為最左文字下邊界與當前字連通域下邊界的差值，即=C-C。

然后，將C按照校正位移進行垂直移動，并繪制在新圖像上，避免相鄰兩行出現重疊。測試時使用了文獻[6]提供的圖像。

圖6（a）是原圖，圖6（b）是校正后圖像。在圖6（a）中文字所在行區域是歪斜的，而在圖6（b）中文字所在的行區域變得平整了，歪斜能夠得到校正如圖6所示。

圖6 歪斜能夠得到校正

3 實驗與測試

本文在Pycharm2021 社區版環境下采用Python3.8 語言采用OpenCV 庫進行編碼與實驗，在前端使用PyQt5 并集成了第二章與第三章涉及的算法。利用手機拍照獲取數據與原圖像。

針對圖像的平滑問題，進行以下測試。

如圖7（a）所示，原圖像為紙質文本圖像，然而由于紙張本身質量較差，顯得較為粗糙，再經過反復地放大與縮小后出現了失真的現象，一定程度上影響了觀感。使用迭代最小二乘法處理，得到圖7（b）中。可以明顯觀察到：這種粗糙感與圖像在放大后的失真感在一定程度上成功地被緩解了。與此同時，比起較為傳統的線性加權平均值算法，文字的邊角等細節卻能得到較為完好地保存。從而得以改善文本的可讀性。使用梯度最小化平滑，得到圖7（c）。盡管算法運行了較長時間，但是效果較好地平滑了紙張的褶皺質感。

圖7 針對圖像的平滑問題測試

以圖像中的某一行為例，在原圖像中該行的灰度級曲線為曲折，保留了大量的無意義的細節。在經過迭代最小二乘法平滑的處理之后，灰度級曲線明顯地變得平滑了，且文字前景與圖像背景部分的對比度變得更大，以便于后續的二值化處理。梯度最小化的平滑效果，其平滑的效果較好，但運行時間較長。截取某行得到的灰度級對比如圖8所示。

圖8 截取某行得到的灰度級對比

以“雙邊濾波”四字為例，在未經過平滑處理的圖像中，直接運用二值化時，仍然可以看到文字周圍存在大量的噪點，如圖9（a）。而在經過平滑后，噪點數量明顯變少，文字本身的筆畫線條被更為清晰地提取了出來，如圖9（b）與圖9（c）。

圖9 處理效果圖

10（a）是生活中較為常見的一種場景：拍攝書本上的一個歪斜、彎曲的頁面，而這一頁面內的行在經過第二章與第三章所使用的算法的綜合處理后，得到了圖10（b）。其扭曲的現象被成功地校正了，一定程度上提升了文本的可讀性。

圖10

處理前后對比在圖11 的實例中，可以觀察到其印刷紙張粗糙、泛黃。其背面頁文字的陰影也能在當前頁面中看到。

圖11 紙質明顯粗糙的圖像

針對本示例，本文的平滑效果能夠成功地將文本前景與背景很好地分離，并在二值化中處理出文本的前景，如圖12（a）。市面上常用的文本圖像掃描處理軟件為掃描全能王。而使用掃描全能王卻會錯誤地將需要去除的背景當做前景進行增強，如圖12（b）。

圖12 處理效果對比

4 結 論

針對手機拍攝的文本圖像，本文先利用邊緣保留的平滑對其進行平滑去噪，將文本內容與紙張進行分離，基于行連通域的文本行校正方法對分離出來的文本的扭曲現象進行校正。相比其他方法，本文提出的方法能夠取得較好的效果。

目前本文使用的算法只能處理純文字的文本圖像，帶有圖片與表格等復雜信息的文本圖像的處理亟待后續研究與進一步處理。同樣，漢字本身的存在傾斜扭曲現象的判斷、檢測與校正也亟待進一步的研究。