用于原文傳遞的手機拍攝文本圖像批量自動校正程序設計

朱玉強 范翠麗

摘 要 為解決原文傳遞業務中使用手機拍攝所得文本圖像的傾斜、畸變等問題，在使用鐵架臺固定手機采集圖像環境下，使用Python及其第三方圖像處理庫編制程序，對采集圖像進行批量自動幾何校正，在拓展手機攝像頭掃描功能的同時提升了讀者閱讀體驗，取得較好效果。

關鍵詞 文本圖像 幾何校正 原文傳遞 圖像處理

分類號 G255.1

DOI 10.16810/j.cnki.1672-514X.2021.06.009

Abstract In order to solve the problems of skew and distortion in the text image captured by mobile phone in the original text transmission business， Python and its third-party image processing library are used to program the collected images in batch under the environment of fixed mobile phone image acquisition with iron frame platform， which can expand the scanning function of mobile phone camera and improve readers reading experience， and achieve good results.

Keywords Text image. Geometric correction. Original text transmission business. Image processing.

圖書館文獻傳遞工作中，“復制——非返還”型業務以傳遞電子文獻為主。由傳統紙質文獻轉為電子文獻，大多借助掃描儀完成，其優點為數據質量統一、資料平整清晰，缺點為掃描耗時長、工作效率偏低。隨著智能手機日益普及及手機攝像頭像素越來越高，文獻傳遞員遇到用戶“只想看一眼，不用多高清”的需求時，可以用手機隨手拍發給用戶，快速便捷，缺點為成像距離不同、易傾斜易畸變等。本文通過編制程序，自動批量校正手機拍攝文本圖片，兼顧手機拍照的便利性與掃描儀成像的易讀性，有助于提高圖書館文獻傳遞員工作效率和讀者體驗。

1 研究背景

傳統平板式掃描儀成像質量高但效率偏低，價格相對昂貴，低價位設備大多需連接電腦工作。便攜式掃描儀攜帶方便，工作速度一般高于平板式掃描儀，但畫質稍遜。高拍儀價格及成像質量介于平板式掃描儀與便攜式掃描儀之間，一般自帶圖片傾斜旋轉功能，但也需連接電腦才能工作。上述3種掃描儀平均像素基本都高于手機平均像素，成像質量也高于手機拍照質量。

已知華為、小米、VIVO、蘋果、魅族、flyme等手機原生內置“文檔校正”（或“文檔矯正”等類似叫法）功能，即用戶拍照后，內置軟件可自動或半自動校正圖片傾斜、梯形或桶形畸變等[1]。另有很多運行于Android或IOS平臺的第三方App，主打擴展手機攝像頭掃描功能，如“掃描全能王”“全能掃描王”“掃描文件全能王”[2]，“vFlat”等實現了“文檔校正”功能[3]。不以掃描為主打功能但帶有“文檔校正”功能的第三方App還有印象筆記等[4]。上述手機或App每當用戶拍攝完畢即彈出窗口提示交互操作，一般不支持批量自動處理圖片，不方便處理大宗相同或近似質量文檔。

“文檔校正”功能屬于圖像處理范疇，其核心原理為在原圖中計算并劃定待處理像素點，遍歷各點，根據一定算法將各點映射到理想圖片中坐標點并重排構建，使用一定算法自動生成像素點填充理想圖片中可能出現的“孔洞”。束彩煒以驗證有效的圖像幾何校正算法編寫程序，應用于Android智能手機，實現了圖像校正功能[5]。劉鈴等使用Harris角點檢測方法對掃描后傾斜的文檔進行校正，取得良好效果[6]。王兆亮基于Snakes模型對中文扭曲文檔圖像進行校正，提升了校正后OCR文字識別率[7]。羅曉萍利用向上優先區域生長法搜索行間留白的文檔圖像，分割得到彎曲行圖像，進而拆分并重新拼接為校正后的新圖像[8]。馮雷使用hough變換對傾斜文檔圖像快速校正，提高了分割和識別精度[9]。何希平等提出一種傾斜校正算法實現圖像旋轉變換，同時解決由于整數運算所造成的“鋸齒”現象[10]。曾凡鋒等根據形態學特征在復雜版面中定位文本行、提取文本線，以文本線為基準進行校正并重構圖像[11]。向世明等針對積厚文檔不能緊貼于掃描平面導致出現黑色陰影及文本扭曲現象，采用分塊自動閾值算法去除陰影，通過估計的幾何參數和分片四邊形映射方法糾正扭曲，取得較好效果[12]。

本文利用智能手機，充分拓展攝像頭掃描的功能，基于Python并利用其效率較高的第三方圖像處理庫編程[13]，對手機拍攝文本圖像進行批量自動幾何校正，并將其應用于圖書館原文傳遞業務，取得了良好效果。

2 程序設計思路及實施方案

系統總體目標為將使用智能手機拍攝的、具有相同或相似質量的文本型圖片自動批量校正并個性化，實現圖片旋轉、畸變校正、亮度對比度調整、加水印、轉PDF、文字識別等功能。為獲取大致相同質量的圖片數據，本文模擬高拍儀攝像頭布局方案，將智能手機固定于鐵架臺上，使手機屏幕朝上平行于鐵架臺底座，啟用后置攝像頭方便取景，用戶可單擊觸摸屏或另接自拍桿使用物理按鍵拍攝。系統由圖像采集、同步電腦、圖像處理3層結構組成，如圖1所示。圖像采集由智能手機拍攝完成;同步電腦模塊將手機圖片導入電腦;圖像處理為核心模塊，實現自動校正等個性化功能。

3 關鍵方法與技術

3.1 旋轉圖片

所拍攝圖片往往存在不同角度的傾斜，可使用“霍夫變換”檢測圖片中直線[14]，通過求直線斜率得到旋轉角正切值，使用反三角函數計算旋轉角，自動旋轉實現校正。Python核心算法如下：

gray = cv2.cvtColor（img，cv2.COLOR_BGR2GRAY） # 將BGR格式圖片轉為灰度圖片

edges = cv2.Canny（gray，50，150，apertureSize = 3） # 使用Canny算子獲取圖片邊緣

lines = cv2.HoughLines（edges，1，np.pi/180，0） # 使用霍夫變換檢測直線

for p，e in lines[0]：

a = np.cos（e）

b = np.sin（e）

x0 = a*p

y0 = b*p

x1 = int（x0 + 1000*（-b））

y1 = int（y0 + 1000*（a））

x2 = int（x0 - 1000*（-b））

y2 = int（y0 - 1000*（a））

tg = float（y2-y1）/（x2-x1） # 求直線斜率，即旋轉角正切值

r_angle = math.degrees（math.atan（tg）） # 取反正切值得旋轉角

如圖2所示，傾斜圖片經程序自動順時針旋轉約3度已被校正，右圖中鉛垂線為程序自繪霍夫線。為突出效果，保留了圖片旋轉后的黑色背景，實際工作中將黑色替換為白色、再使用三方庫PIL的im.crop方法剪切邊界可提升讀者體驗。

3.2 切割雙面拍攝圖片為單面

原則上將雙面圖片折半處理即為單面圖片，為精確切割，先使用3.1所述方法按需旋轉圖片，再使用“最小面積外接矩形法”取各單頁輪廓，按取回矩形的四個角點坐標進行精準切割。Python核心算法如下：

m， n = cv2.threshold（cv2.cvtColor（img， cv2.COLOR_BGR2GRAY）， 127， 255， cv2.THRESH_BINARY） # 二值化圖片

o， h = cv2.findContours（n， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_SIMPLE） # 找圖片輪廓

for c in o：

r = cv2.minAreaRect（c） # 找最小區域

b = cv2.boxPoints（r） # 算最小面積矩形坐標

b = np.int0（b）

cv2.drawContours（img， [b]， -1， （0， 255， 0）， 2） # 繪矩形

處理結果如圖3所示，雙面拍攝的圖片上已繪制兩個矩形外框，取各矩形頂點坐標，使用三方庫PIL的im.crop方法各自剪切成單面文檔即可。

3.3 梯形圖片自動校正

將手機攝像頭利用鐵架臺、自拍桿等輔助工具支撐好，使之與被拍攝紙張平行，可有效防止圖片出現梯形畸變。算法原理為，取原圖四個角點坐標，計算各角點在校正后理想圖片中映射位置，并將原圖四個角點內部各像素點逐一填補到校正后圖片中。核心代碼如下：

point1 = np.array（[[150，100]，[418，108]，[0，512]，[404，573]]，dtype = "float32"） # 原圖四角坐標：左上/右上/左下/右下

point2 = np.array（[[0，0]，[295，-25]，[0，500]，[380，510]]，

dtype = "float32"） # 欲調整圖片四角坐標M = cv2.getPerspectiveTransform（point1，point2） # 透視變換核心命令一

out_img = cv2.warpPerspective（img，M，（w，h）） # 透視變換核心命令二

如3.2所述，圖片四個角點坐標可通過cv2.minAreaRect（）“找最小區域”的方法獲得，取回矩形不唯一時，最大外輪廓四個角點坐標可通過各矩形輪廓角點加和求出，此不贅述。梯形校正效果如圖4所示，可再用PIL的im.crop方法進一步剪切。

3.4 桶形圖片自動校正

桶形畸變屬徑向畸變之一種，畸變沿透鏡半徑方向發生。如所拍攝資料過厚，拍照時書頁未被壓實，圖片容易出現桶形畸變。自動校正原理為，忽略切向畸變和離心畸變，僅考慮徑向畸變，使用以下公式計算原圖片像素點與校正后圖片像素點對應關系：

其中，r2=x原2+y原2，k1、k2、k3為徑向畸變系數。本文忽略k2和k3對結果影響（影響非常小），使用Matlab仿真得到k1值。對于相同手機、拍攝位置固定的情形，k1值為同一常數。灰度校正采用最鄰近插值法，“孔洞”填充采取8領域內均值濾波。桶形校正后，可按3.3所述方法再進行一次梯形校正，效果如圖5所示。雖未被完全“平整化”，但已基本達到文獻傳閱需求，可再用PIL的im.crop方法進一步剪切。

3.5 個性功能

程序可實現個性功能，如文字識別、加水印、轉PDF、亮度對比度調節等。在Python中，可通過三方庫pytesseract調用Tesseract-OCR，利用經過訓練的語言包（*.traineddata文件）進行中英文、數字識別;可通過三方庫PIL的draw.text方法添加文字水印;可通過三方庫fitz和pymupdf將JPG批量轉PDF;可通過三方庫matplotlib調節圖片亮度與對比度;可通過三方庫selenium操作http：//send.firefox.com網頁，后臺靜默上傳生成的PDF文檔并自動生成下載鏈接供讀者使用等，此不贅述。

4 應用效果評價

程序主體使用Python編寫，過程調用了Matlab仿真結果，各模塊可穩定運行于32位和64位Windows7和Windows10操作系統。文中圖片除圖1外均使用三星GT-I9118單一后置攝像頭拍攝，攝像頭參數為500萬像素，圖像尺寸平均2560像素寬、1920像素高，水平與垂直分辨率均為72DPI，位深度為24。旋轉圖片、切割雙面圖片功能對不同批次作業通用，無需調整任何代碼段;梯形圖片與桶形圖片校正功能，需根據所拍攝圖片微調部分參數，自動化率不低于95%。抽檢自動處理后圖片，根據圖像評價的5分制“全優度尺度”[15]，圖片合格率不低于98%。

“復制——非返還”型原文傳遞業務需要掃描速度快、成像質量適中的掃描工具及圖像處理軟件，本文拓展智能手機攝像頭功能作掃描儀用，編制程序自動批量校正手機拍攝圖像，基于原文傳遞業務需求提供加水印、轉PDF等個性化功能，實踐表明程序處理后圖片可基本平衡大部分原文傳遞業務對工作時間和閱讀體驗需求，自動化程度高，具有推廣性。然而程序對梯形和桶形圖像的處理尚未實現全自動，仍需人工微調少量參數，尚待完善。

參考文獻：

阿里巴巴（中國）網絡技術有限公司.手機_淘寶

搜索[EB/OL].[2020-07-05].https：//s.taobao.com/search？q=%E6%89%8B%E6%9C%BA&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20200704&ie=utf8.

百度在線網絡技術（北京）有限公司.百度手機助手，安卓軟件，安卓游戲，下載[EB/OL].[2020-07-05].https：//shouji.baidu.com/s？wd=%E6%89%AB%E6%8F%8F&data_type=app&f=header_all%40input.

小眾軟件.vFlat —會彎曲校正、移除手指頭的紙質書籍掃描儀（Android）[EB/OL].[2020-07-05].https：//www.appinn.com/vflat-book-scanner-for-android/.

北京印象筆記科技有限公司.一站式完成知識信息的收集備份、高效記錄、分享、多端同步和永久保存[EB/OL].[2020-07-05].https：//www.yinxiang.com/product/main/.

束彩煒.基于智能手機的多視角文檔圖像幾何校正[D].南京：南京郵電大學，2019.

劉鈴，陳立峰，彭向前.基于角點檢測的傾斜文檔校正[J].機電信息，2019（27）：136-137，139.

王兆亮.基于Snakes模型的中文扭曲文檔圖像校正技術研究[D].北京：北方工業大學，2017.

羅曉萍.基于行間留白的文檔圖像校正方法[J].計算機工程，2017，43（4）：277-280，286.

馮雷，耿英楠.基于hough變換的傾斜文檔圖像快速校正[J].內蒙古師范大學學報（自然科學漢文版），2017，46（2）：219-222.

何希平，李云峰，朱慶生.彩色文檔圖像的傾斜自動校正算法[J].中國圖象圖形學報，2006（3）：367-371，297.

曾凡鋒，段漾波.一種復雜版面扭曲文檔圖像快速校正方法[J].計算機應用與軟件，2016，33（6）：172-175，286.

向世明，趙國英，陳睿，等.積厚文檔掃描圖像校正[J].計算機輔助設計與圖形學學報，2005，17（1）：42-48.

深圳華秋電子有限公司. Python中最常用十大圖像處理庫詳細介紹[EB/OL].[2020-07-05].http：//m.elecfans.com/article/986147.html.

DUDA R O ， HART P E. Use of the hough transform to detect lines and curves in pictures[J]. ACM Community Management，1972，15（1）：11-15.

一牛網.圖像質量評價的兩個方法_一牛網[EB/OL].[2020-07-05].http：//bbs.16rd.com/blog-32023-2989.html.