基于深度學(xué)習(xí)的供應(yīng)商資質(zhì)證書智能識(shí)別技術(shù)研究

程 博，張開洋，唐 波，付震坤，胡義勇

（1.濰柴動(dòng)力股份有限公司大數(shù)據(jù)部，山東 濰坊 261000；2.湖南工商大學(xué)大數(shù)據(jù)與互聯(lián)網(wǎng)創(chuàng)新研究院，湖南 長沙 410205）

0 引言

隨著人工智能、大數(shù)據(jù)技術(shù)的興起，越來越多的企業(yè)將大數(shù)據(jù)和人工智能領(lǐng)域的技術(shù)應(yīng)用在辦公場景下，因此人工智能領(lǐng)域的相關(guān)技術(shù)成為實(shí)現(xiàn)辦公自動(dòng)化的一種重要的手段，通過人工智能算法自動(dòng)化完成繁瑣且單一的人工業(yè)務(wù)，可以使供應(yīng)商管理環(huán)節(jié)更加高效，也能避免人工驗(yàn)證出現(xiàn)的錯(cuò)誤。本文提出的主要優(yōu)化技術(shù)是基于深度學(xué)習(xí)的OCR 識(shí)別技術(shù)。

OCR 技術(shù)是通過掃描等光學(xué)輸入方式，將書籍、發(fā)票等文本印刷物品中的文字部分轉(zhuǎn)為圖像數(shù)據(jù)，再通過文字識(shí)別算法將圖像數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別的字符數(shù)據(jù)。OCR 技術(shù)的概念最早在1929由德國科學(xué)家Tasheck 首次提出，在20世紀(jì)90年代開始被應(yīng)用于小規(guī)模的票據(jù)電子化處理[1-2]。近年來，OCR 技術(shù)被應(yīng)用于各種領(lǐng)域，主要是金融、證券以及保險(xiǎn)等行業(yè)[3]。目前OCR 技術(shù)發(fā)展成熟的應(yīng)用有車牌識(shí)別、證件識(shí)別以及文檔識(shí)別等。

隨著深度學(xué)習(xí)領(lǐng)域的快速發(fā)展，基于深度學(xué)習(xí)的圖像文本檢測和識(shí)別模型已然成為文本識(shí)別領(lǐng)域的翹楚，檢測和識(shí)別的精度已經(jīng)超越了傳統(tǒng)圖像識(shí)別算法。深度學(xué)習(xí)的優(yōu)勢在于參數(shù)較多并且模型層次分明，將低層的特征轉(zhuǎn)換為高層抽象的特征表示，因此比傳統(tǒng)的圖像識(shí)別算法擁有更良好的特征表示和更高的文字識(shí)別率。

近年來越來越多的研究者開始探討基于深度學(xué)習(xí)的OCR 技術(shù)在各類專項(xiàng)領(lǐng)域的應(yīng)用：

黃妙紅等[4]將OCR 技術(shù)應(yīng)用計(jì)算機(jī)審計(jì)工作中，何震等[5]探究了如何通過OCR 技術(shù)將金融票據(jù)電子化，丁明宇等[6]研究了將基于深度學(xué)習(xí)的OCR 技術(shù)應(yīng)用于電商領(lǐng)域的商品參數(shù)提取，Wiseman 等[7]將OCR 應(yīng)用于公路收費(fèi)項(xiàng)目上，Hosozawa 等[8]應(yīng)用OCR 技術(shù)檢測食品的過期時(shí)間。

OCR 技術(shù)可以應(yīng)用于生活的方方面面，本文將基于深度學(xué)習(xí)的OCR 技術(shù)應(yīng)用于供應(yīng)商證書識(shí)別業(yè)務(wù)，本方法將證書識(shí)別分成了兩個(gè)部分：文字區(qū)域檢測和文本識(shí)別，即利用計(jì)算機(jī)視覺技術(shù)檢測證書圖像中文本區(qū)域，然后將文本區(qū)域切分后進(jìn)行字符識(shí)別，通過以上過程將證書圖片信息轉(zhuǎn)為計(jì)算機(jī)字符信息。

1 供應(yīng)商采購流程自動(dòng)化需求分析

大型企業(yè)的供應(yīng)商數(shù)量上千家，公司的采購部需要對每一位供應(yīng)商質(zhì)量管理體系認(rèn)證證書的執(zhí)照信息、征信信息進(jìn)行識(shí)別鑒定，鑒定過程主要是以下兩個(gè)方面：①將證書與網(wǎng)上公開的信息進(jìn)行對比查詢，辨別真?zhèn)危虎趯ψC書的有效期進(jìn)行查證。資質(zhì)證書的人工鑒定過程復(fù)雜，并且工作量巨大，給采購部門的任務(wù)繁重。

供應(yīng)商證書類型主要是質(zhì)量管理體系認(rèn)證證書（ISO9001）和IATF（International Automotive Task Force）證書，提取證書的主要參數(shù)信息（企業(yè)名稱、證書編號、有效日期、經(jīng)營范圍和企業(yè)地址）。但是各種證書的樣式不同，難以對齊分類整理，只能招聘一些業(yè)務(wù)人員專門負(fù)責(zé)整理資質(zhì)證書，并通過官方網(wǎng)站利用證書號檢驗(yàn)證書的真?zhèn)魏陀行浴＿@樣的業(yè)務(wù)流程消耗了業(yè)務(wù)部門大量的人力成本，影響部門工作效率。

如果能通過智能識(shí)別技術(shù)優(yōu)化供應(yīng)商資質(zhì)鑒定流程，會(huì)大大的減少業(yè)務(wù)部門人力物力的成本消耗，并且能提升證書識(shí)別的準(zhǔn)確率和效率。而基于深度學(xué)習(xí)的OCR 技術(shù)是解決資質(zhì)證書查驗(yàn)工作最適合的方法。

2 供應(yīng)商證書智能識(shí)別方法

2.1 OCR 智能識(shí)別資質(zhì)證書流程

OCR（Optical Character Recognition.光學(xué)字符識(shí)別）技術(shù)，指利用電子設(shè)備（例如掃描儀或數(shù)碼相機(jī)）檢查紙上打印的字符，通過檢測暗、亮的模式確定其形狀，后用字符識(shí)別方法將形狀，翻譯成計(jì)算機(jī)文字的過程[9]。OCR 技術(shù)可以將圖片信息轉(zhuǎn)化為計(jì)算機(jī)文本，本文利用基于深度學(xué)習(xí)的OCR 技術(shù)識(shí)別供應(yīng)商的資質(zhì)證書信息。

由于證書的板式不固定，不同的發(fā)行機(jī)構(gòu)有不同的樣式，無法通過劃定指定區(qū)域的方法切割文字區(qū)域。本文采用先識(shí)別后提取的方法，先識(shí)別證書的所有文字信息，在通過正則表達(dá)式提取出證書的主要參數(shù)信息（如企業(yè)名稱，證書編號等）。

圖1 供應(yīng)商智能識(shí)別流程

證書智能識(shí)別流程如圖1所示，多種類型的證書圖像信息傳入基于深度學(xué)習(xí)的識(shí)別模型，分別經(jīng)過了圖片預(yù)處理、文本檢測、文本識(shí)別以及文本糾錯(cuò)，通過以上步驟將證書中的文字信息提取出來轉(zhuǎn)換為計(jì)算機(jī)可以處理的字符信息。

2.2 圖像預(yù)處理

為了使文字檢測和識(shí)別模型能夠較好的提取證書文本信息，在證書識(shí)別前對圖像進(jìn)行預(yù)處理。預(yù)處理操作包括以下幾個(gè)方面：

2.2.1 去證書印章干擾

在證書上印章覆蓋的區(qū)域內(nèi)，文字檢測和識(shí)別率很低，因此在圖像預(yù)處理環(huán)節(jié)應(yīng)該對印章區(qū)域進(jìn)行過濾，這樣可以有效地避免印章區(qū)域?qū)ξ淖謾z測和識(shí)別的影響。本文采用的方案是根據(jù)彩色圖的RGB三通道方法[10]，因?yàn)橘Y質(zhì)證書的印章大部分是紅色樣式，可以通過過濾與R 相近通道的顏色，以此能在不破壞資質(zhì)證書文字信息的情況下，有效的去除紅色印章，而對于沒有紅色印章的圖片沒有影響。

2.2.2 圖像二值化處理

資質(zhì)證書大部分是彩色圖片，具有占用內(nèi)存大，底紋干擾的缺點(diǎn)。對圖像進(jìn)行二值化處理，這樣可以將彩色底紋過濾掉，留下白色背景和黑色文字。圖像二值化處理的效果如圖2（a）和2（b）所示。

圖2（a） 原始圖像

圖2（b） 經(jīng)過二值化處理的圖像

接下來，我們可以計(jì)算窗口內(nèi)的任何一個(gè)像素，并規(guī)定二者中的絕對值最大值（D）作為這一像素的輸出，在累加把這個(gè)區(qū)域內(nèi)所有像素點(diǎn)，并且將累加的和輸出為特征，即：

接下來所要介紹的方法：自動(dòng)閾值的選擇。這個(gè)方法可以用來計(jì)算新圖像的閾值，將新圖像中的每一像素的灰度值與閾值作比較，必然存在兩種可能：

然后，我們默認(rèn)為圖像的灰度范圍為1到L，第一步我們可以通過一個(gè)方法把圖像的全部像素分為兩大組：即灰度范圍是（1，2，……，k）的一組和灰度范圍為（k+1，k+2，……，L）的一組，這兩組的概率分為如式（2）和式（3）：

整幅圖像總的平均灰度為：

兩大組之間的方差為：

2.2.3 去底紋噪聲

噪聲是圖像中亮度或顏色的隨機(jī)變化，會(huì)使圖像的文本更難以識(shí)別。在二值化步驟中，神經(jīng)網(wǎng)絡(luò)識(shí)別圖像文本無法去除某些類型的噪聲，這會(huì)導(dǎo)致準(zhǔn)確率下降。證書圖片中包含很多底紋，底紋的存在會(huì)影響證書的文字識(shí)別，增加識(shí)別難度，所以要盡可能清除圖片的干擾噪聲源。主要運(yùn)用濾波器和像素變化技術(shù)進(jìn)行了底紋去除處理，通過反復(fù)測試得出較合適的閾值。

2.2.4 色域平滑與圖像增強(qiáng)

通過以上3個(gè)步驟的圖像預(yù)處理后，發(fā)現(xiàn)在證書圖片因底紋、印章部分覆蓋的文字有可能在處理后被模糊化或者變成殘缺的文本圖片信息，不利于后續(xù)的文字檢測和識(shí)別。因此本方案通過調(diào)整對比度和色度對圖片進(jìn)行色域平滑處理。圖像增強(qiáng)方面采用了Lanczos 算法進(jìn)行插值，然后進(jìn)行色域過濾，再進(jìn)行文字膨脹以及邊框填充，使用Clahe 算法進(jìn)行平滑增強(qiáng)和對殘缺的文字進(jìn)行了增強(qiáng)處理。

Clahe 算法全稱是限制對比度自適應(yīng)直方圖均衡的算法，Clahe 算法可以通過改變直方圖的分布，將像素級限制在一定的范圍內(nèi)，提高圖片的對比度，以此來展現(xiàn)證書圖片中因模糊化而無法識(shí)別的細(xì)節(jié)部分。為了使Clahe 算法能達(dá)到良好的效果，需要對圖像數(shù)據(jù)進(jìn)行歸一化處理[11]。歸一化處理的方式是對其進(jìn)行min-max 標(biāo)準(zhǔn)化（Min-Max Normalization），使結(jié)果值由原來的[0，255]限制在[0-1]數(shù)值范圍內(nèi)。Min-Max 標(biāo)準(zhǔn)化的公式如下：

歸一化處理后，再用Clahe 算法處理圖像數(shù)據(jù)，Clahe 算法的具體實(shí)現(xiàn)步驟如下所示：

①將輸入的圖像數(shù)據(jù)切割成相同形狀和大小（像素?cái)?shù)為M）的矩形塊，像素值M的值越大，圖像增強(qiáng)效果越好；②計(jì)算每個(gè)矩形塊的直方圖，x表示矩形塊的灰度級，x的取值范圍是[0，N-1]，其中N是此時(shí)的灰度級；③計(jì)算受限制值，公式如下所示：

圖3 直方圖裁剪處理效果

通過以上證書圖片處理流程，證書圖片已經(jīng)轉(zhuǎn)化為清晰的白底黑字圖，可以幫助智能識(shí)別模型提高檢測和識(shí)別的效率和精準(zhǔn)度。

2.3 文字檢測

供應(yīng)商證書圖片文字檢測是證書信息智能識(shí)別的必要步驟，先檢測出證書圖片中的文本區(qū)域，再對文本區(qū)域劃分成單個(gè)字符的圖片，這樣方便后續(xù)的文本識(shí)別工作。

在具體工作中，一般需要在文本識(shí)別之前，通過文本檢測技術(shù)對圖像中文本位置進(jìn)行畫框定位，并存儲(chǔ)其文本區(qū)域塊[12]。本文采用了主流的CTPN 文本檢測算法[13]，CTPN 中用檢測小框代替大文本框，以及引入了RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）中的BiLSTM（雙向LSTM）模型，有著較好的文本檢測效果。

在CTPN 模型出現(xiàn)前，文本檢測模型中Faster-RNN表現(xiàn)較好。在許多文本檢測算法中對其進(jìn)行了優(yōu)化，由于Fast-RNN 自身沒有考慮到文字本身的特征，使得其檢測效果無法顯著提升。CTPN 模型依據(jù)文本行是由水平矩形模塊，文本之間存在間隔，并且每個(gè)文本互相存在著語義關(guān)聯(lián)這一特性，提出

圖4 CTPN網(wǎng)絡(luò)結(jié)構(gòu)圖

圖5 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)圖

圖6 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

了拆分檢測的思想，首先檢測固定長短的小文本框，然后將文本連在一起，組成文本行。

CTPN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其的具體實(shí)現(xiàn)步驟如下[9]：

①使用VGG-16網(wǎng)絡(luò)（其完整架構(gòu)如圖5所示）的前5個(gè)卷積層提取獲得了大小為特征圖。

②然后，使用3×3的滑動(dòng)窗口在第一步的基礎(chǔ)上進(jìn)一步提取特征，并用這些特征預(yù)測多個(gè)目標(biāo)候選區(qū)域。

③將上一步得到的結(jié)果輸入一個(gè)BiLSTM 網(wǎng)絡(luò)中，BiLSTM 是以LSTM（一種循環(huán)神經(jīng)網(wǎng)絡(luò)）為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，輸入模型后得到W×256的結(jié)果，然后將其輸入到一個(gè)512維的全連接層。

④最后經(jīng)過類似Faster R-CNN 的RPN 網(wǎng)絡(luò)，獲得文本序列框。

2.4 文字識(shí)別

文本識(shí)別是OCR 技術(shù)的核心模塊，對檢測出的文本區(qū)域快進(jìn)行文字識(shí)別，將圖像信息轉(zhuǎn)換為計(jì)算機(jī)的字符信息。本文所使用的文本識(shí)別模型是CRNN，其網(wǎng)絡(luò)架構(gòu)如圖7所示，這是一種基于CNN（卷積神經(jīng)網(wǎng)絡(luò)）[14]、BiLSTM（雙向長短期記憶人工神經(jīng)網(wǎng)絡(luò)）[15]、CTC（一種時(shí)間序列算法）的模型結(jié)構(gòu)。該模型是集成特征提取、序列預(yù)測、序列標(biāo)注和序列對齊的端到端的網(wǎng)絡(luò)模型，結(jié)合了CNN 網(wǎng)絡(luò)和RNN 網(wǎng)絡(luò)的優(yōu)點(diǎn)，提高了文字識(shí)別的準(zhǔn)確率和效率。

圖7 CRNN網(wǎng)絡(luò)架構(gòu)圖

2.5 文本糾錯(cuò)

本文采用的文本糾錯(cuò)方式有兩種，對于文本參數(shù)（如企業(yè)名稱、企業(yè)地址等）是通過上下文語序的方法為名稱或者地址文本中字詞計(jì)算其置信度，用來判斷文本中OCR 識(shí)別錯(cuò)誤的文字，并且給出相應(yīng)的錯(cuò)誤位置；利用統(tǒng)計(jì)語言模型與同一特征多角度相結(jié)合的方式對錯(cuò)誤處進(jìn)行改進(jìn)[16-18]。對于證書編號和時(shí)間參數(shù)是通過正則表達(dá)式判斷證書編號是否符合ISO9001證書和IATF 證書編號規(guī)律，以及時(shí)間參數(shù)是否符合“yyyy-mm-dd”的格式，然后對不符合的數(shù)據(jù)按照編號規(guī)律以及規(guī)范的時(shí)間格式作出相應(yīng)的修改。

3 結(jié)束語

本文通過智能識(shí)別技術(shù)，實(shí)現(xiàn)了企業(yè)采購流程中供應(yīng)商資質(zhì)驗(yàn)證自動(dòng)化，不僅提高了資質(zhì)驗(yàn)證的效率和精確度，還為企業(yè)在供應(yīng)商管理過程中節(jié)省了大量的人力物力成本。基于深度學(xué)習(xí)的OCR 技術(shù)在證書識(shí)別和企業(yè)資格認(rèn)證方面有長遠(yuǎn)的發(fā)展前景和應(yīng)用價(jià)值值得我們?nèi)ヌ剿骱脱芯俊?/p>