移動設備的信用卡號碼自動提取技術

陳佳林

（應急管理部信息研究院，北京 100029）

隨著智能手機、PAD 等智能設備的迅速發展，移動支付不斷普及。對于移動支付而言，需要用戶綁定16～19 位信用卡號碼。手機端手工輸入信用卡號碼速度慢、易出錯，造成用戶體驗差。為提高在移動終端設備包括智能手機、PAD 等的信用卡號碼錄入速度和準確率，提高移動支付用戶體驗，如何快速自動提取并錄入信用卡號碼則成為一個充滿商機和亟待解決的問題。

字符識別技術研究，特別是印刷體字符的識別研究已經相對成熟。字符識別技術可以簡單分為基于傳統模式識別技術和基于深度學習的字符識別技術。傳統的字符識別技術，由圖像預處理、特征提取、分類器設計等幾個關鍵步聚組成。經典的字符識別特征包括Gabor 特征[1]、方向線素特征[2-3]、梯度方向特征[4-5]等。分類器則有最小距離分類器MDC、修正二次鑒別分類MQDF[6]、支持向量集SVM等。基于深度學習的字符識別技術采用卷積神經網絡CNN 提取特征和分類[7-9]，是一種端到端（Endto-End）的識別技術。基于深度學習的識別技術需要大量的訓練樣本，并且在一些中低端移動設備的推理速度較慢，很難達到實時。而傳統的識別技術，只要每個類別字符樣本數不為0 就可以訓練，預測速度遠快于基于深度學習的算法。信用卡作為個人隱私數據，很難收集大量樣本，所以采用了傳統技術方案。

傳統的OCR 方法一般基于二值圖像進行定位、切分和識別。很明顯信用卡號碼無法通過二值化得到滿意的效果，必須另尋他路[10-19]。根據手機預覽圖像視頻流識別的模式，文中設計了圖像預處理、信用卡號碼行定位、信用卡號碼字符串分割、單字符識別引擎、識別結果校驗等幾個主要模塊。

1 算法設計

1.1 圖像預處理

信用卡因為其商業性一般采用絢麗的背景加Farrington-7B 字體進行凸印，如圖1 所示。

圖1 信用卡號碼樣本

通過手機等移動終端設備的相機預覽視頻流獲取的圖像一般會包含目標圖像外的復雜背景，并且目標圖像伴有透視變形和模糊現象。對于因圖像模糊造成無法定位卡號或識別結果不滿足LUHN 校驗規則的情況，不會產生錯誤識別結果，可以不用考慮。但透視變形會造成銀行卡號的大范圍梯形形變或傾斜，必須處理。文中設計了基于檢測銀行卡四邊的方法，得到銀行卡在原始圖像中的4 個頂點坐標。通過構建固定大小的目標圖像，來完成圖像的校正規一化。

算法描述如下：

步驟1：提取圖像彩色Sobel 梯度，獲得彩色梯度圖；

步驟2：在彩色梯度圖像上進行LSD 直線檢測，并進行線段合并；

步驟3：根據規則計算信用卡上、下、左、右4 條邊界線，計算相鄰邊界線交點。

步驟4：根據獲得的4 個原始頂點，通過構建目標圖像大小獲得4 個目標頂點，從而得到4 組（8 個）對應點，通過式（1）和式（2）進行空間變換。

x′、y′表示失真圖像中的坐標點，x、y為校正后的坐標點。系數k1～k8 可通過解方程得到，通過反向變換完成原圖的變形校正。圖2(a)表示變形圖像，經過圖像歸一化后，圖2(b)表示校正后的圖像。

圖2 圖像歸一化

1.2 銀行卡號定位模塊

對校正后的信用卡圖像，需要準確定位到卡號所在的位置，鑒于信用卡背景的復雜性，無法通過傳統二值化或投影方法得到卡號的準確行坐標。考慮到手機的處理速度，設計了一種基于梯度積分圖的卡號定位算法。

通過1.1 節的算法，已獲得規一化的寬為856 像素，高為540 像素的裁切圖像。根據實驗觀察和總結，假定銀行卡號所在位置區域梯度值較高，基于此假設，設計卡號行定位算法，如下：

步驟1：通過Sobel算子提取已校正圖像的梯度圖；

步驟2：計劃梯度圖像的積分累加圖；

步驟3：以步長為2，在窗口高為40～60 之間搜索梯度最大值區域。

步驟4：對不同窗口得到的梯度最大值區域進行加權，獲取卡號精確坐標。圖3(a)表示定位候選區域，圖3(b)表示進行區域加權融合后的卡號定位。

圖3 卡號定位

1.3 卡號字符串分割

銀行卡的前景和背景顏色接近，無法通過連通域搜索或投影的方式獲取信用卡號碼的字符切分結果。設計了一種基于SVM 的滑動窗口判定策略，實現信用卡號碼切分。

首先，訓練基于SVM 的字符前景和背景判定模型，該模型可以判斷當前窗口圖像是信用卡號碼前景字符還是背景圖像。具體來說，就是將窗口內的灰度圖像規一化到48*48 大小，通過提取水平和垂直梯度，進行子窗口劃分，得到32 維的分類特征，SVM 模型訓練和檢測均采用此類型特征。

然后，通過滑動窗口，得到一系列判定結果，通過加權融合得到前景字符的精確坐標。通過此方法并不保證得到全部卡號字符坐標，最終需要通過插補得到切分結果。

最后，只要滑動窗口方法能找到3～4 個以上字符的精確坐標，可以通過設置字符寬高插值，計算補全其他字符。需注意，通過補齊得到的切分序列可以大于實際的銀行卡號長度，最終需要通過OCR 識別和結合LUHN 校驗得到最終的識別結果。圖4(a)表示基于SVM 模型獲取字符坐標，圖4(b)表示通過插補后得到的切分圖像。

圖4 卡號切分

1.4 單字符識別引擎設計

通過對比Gabor 和8 方向梯度特征識別率和識別速度，最終選定以梯度特征作為單字符識別引擎的特征類型。方向梯度特征對規一化后的灰度字符圖像，通過Sobel 算子進行水平和垂直梯度提取。在(x,y)坐標位置梯度G(x,y)=[Gx,Gy]提取方法如下：

Gx(x,y)=f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)-f(x-1,y-1)-2f(x-1,y)+f(x-1,y+1)；

Gy(x,y)=f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-f(x-1,y-1)-2f(x,y-1)+f(x+1,y-1)；

梯度的強度和方向均可由G(x,y)得到。將梯度方向從0～360 度等分為8 份，即分成8 個方向平面，分別統計各方向平面梯度分布情況。當梯度位于兩個標準方向之間時，可采用四邊形分解到兩個最近鄰平面。

預先將單字符圖像規一化到48*48 大小，并將每個方向平面分成窗口為8*8 大小的36 個網格，共8個方向平面，因此可以得到36*8=288 維方向梯度特征，如圖5 所示。

圖5 梯度強度分解圖

信用卡號碼識別字符集為數字0～9，為了能夠較好地區分背景噪聲，增加一個負樣本‘X’來表示一些非法字符，因此字符集為{0,1,2,3,4,5,6,7,8,9,X}。

將預先采集好的單字符樣本進行分類，分成0～9 和X共計11 個類別。原則上可以采用每個類別字符的均值向量直接作為模板，生成共計11 個模板字典。但考慮到信用卡字符的復雜性，采用了更高效的LVQ 模板學習策略。

LVQ 學習向量量化基本原理是通過迭代學習使正確的模板距離樣本更近，使錯誤的模板與樣本變遠。對于一個輸入樣本x，尋找與其距離最近的兩個模板類mi、mj（mi為類別正確的模板，mj為類別錯誤的模板），并且x滿足條件：

min(di/dj,dj/di)>(1-w)/(1+w)；

則更新模板

mi=mi+a(t)(x-mi)；

mj=mj-a(t)(x-mj)；

w為窗口大小，a(t)為學習因子,di、dj為樣本與mi、mj的歐氏距離。

學習過程如下：

1）對11 類字符樣本特征向量進行類內K-means聚類，得到初始模板；

2）對生成的初始模板進行LVQ 迭代學習；

3）將LVQ學習結束后的模板作為最終識別字典。

2 實驗結果

在LVQ 分類器識別引擎中，單類字符類別采用的模板（原型prototypes）數量，對識別率有決定作用，通過實驗獲取模板數量對識別率的影響情況。由圖6 可以看到，當模板數量由5 增加到9 時，識別率有顯著提高。當模板數量增加到13 時，識別率趨于飽和，進一步增加模板數量，識別率增長緩慢。

圖6 LVQ中模板數量與識別率關系

為了獲得最優的識別率，實驗評估了以8 方向梯度特征加MQDF 分類器的識別率。MQDF 分類器的識別率和主子空間維數K有關系，實驗結果如圖7所示。

圖7 MQDF識別率與主子空間維數關系

通過圖6 和圖7 測試獲得的數據，設計分類器參數。LVQ 分類器采用每個字符類別生成15 個原型模板，MQDF 分類器主子空間維數選為60，進行識別率性能對比，如表1 所示。

表1 LVQ和MQDF識別性能對比

從識別率測試情況看，訓練集上LVQ 的識別率明顯高于MQDF 分類器，這得益于LVQ 的訓練機制。在測試集上兩種分類器識別率相近，MQDF 分類器略高于LVQ 分類器。從識別速度和字典體積來看，LVQ 分類器性能要明顯優于MQDF。因為最終產品會用在手機移動設備上，綜合性能考慮，采用LVQ 分類器。

鑒于預覽視頻流模式測試識別率困難，文中測試了導入靜態圖像的識別率。通過對3 950 張靜態信用卡圖像進行PC 端導入識別測試，信用卡號碼整體識別率為86.53%。在實際移動設備應用場景中，采用視頻流模式即可獲得信用卡的多幀圖像，相當于有多次識別機會，直到識別出結果。理論上其識別率要遠高于靜態模式導入識別樣本的準確率，粗略統計識別率應高于90%。

3 結論

該文針對移動設備對信用卡卡號識別的需求，設計了從圖像校正、卡號定位、卡號切分識別和卡號校驗的整套解決方案。提出了一種基于Sobel 梯度積分圖快速定位卡號的方法，這種技術可以推廣到其他的識別場景。提出了一種基于SVM 滑窗的卡號分割算法，通過對卡號位置進行水平滑窗，作SVM分類，判斷當前窗口是否為有效字符位置，這樣可以得到多個字符錨點，然后通過插值切分整個卡號行。設計了一種基于梯度方向特征和LVQ 分類器的單字符識別方案。通過對比MQDF 分類器識別率和字典體積，驗證了所提字符識別方法的有效性。通過實驗測試結果表明文中所提方法靜態圖像識別率為86.53%，視頻流動態圖像識別率大于90%，達到了預先設計需求。

文中方法在處理一些背景極度復雜的銀行卡號時，會有誤識現象，這將是下一步要研究的方向，后續還會增加對信用卡截止日期和持卡人姓名的識別。