基于KNN算法的OCR系統的設計

楊廣　韓震宇　王云萍　沈臻

摘 要：針對半導體芯片加工生產線，設計出一種基于KNN算法的OCR識別系統，滿足了企業自動處理芯片加工批號信息的需求。本文主要介紹了系統通過相機外觸發的方式獲取原始圖像，并進行圖像中字符的識別，硬件部分由典型的機器視覺系統構成，主要包括工業相機、鏡頭、光源、傳感器等。軟件部分主要闡述了圖像預處理模塊與字符識別模塊的實現，在進行字符識別前，圖像預處理模塊可以為字符識別提供良好的圖像數據來源。經過現場實驗表明，系統具有較高的可靠性與穩定性。

關鍵詞：OCR系統；圖像預處理；KNN算法

DOI：10.16640/j.cnki.37-1222/t.2019.15.146

1 前言

1.1 背景

OCR是指采用光學的方式，將紙質或圖片文檔中的文字轉換成為黑白點陣的圖像文件，并通過識別軟件將圖像中的文字轉換成文本格式，供文字處理軟件進一步編輯加工的技術[1]，也就是將圖像上的文字轉化為計算機可編輯的文字內容。評價一個OCR系統的性能優劣的指標主要包括，識別準確率，識別速度，用戶界面的友好性，識別的穩定性，易用性等，其中，識別的準確率是OCR系統最重要的指標。到20世紀90年代以后，隨著我國信息自動化和辦公自動化的普及，大大推動了OCR技術的進一步發展，隨著對OCR技術的研究更為深入，OCR的識別率，識別速度等都已經逐漸可以滿足廣大用戶的需求。

1.2 設計需求

針對某實際半導體的生產線，設計一套識別芯片料盒的OCR系統。整個生產線分為上料和下料兩個工位，芯片料盒上標注著此次需要加工的芯片批號的索碼號，在上料工位上，原有的方式是通過人工記錄芯片料盒上的編號，并通過這個編號來找到芯片的批號，將批號上傳至控制中心，告知當前正在加工的芯片批號。在下料工位人工再次上傳芯片的批號，告知當前批號芯片加工完成。這種人工記錄的方式無法滿足企業的自動化要求，并且在人工記錄，查詢芯片批號，以及上傳產品批號的過程中均容易出現錯誤，這樣給企業的管理帶來了一定的不便，嚴重影響生產的效率。

根據企業的需求，將人工記錄改為計算機自動化處理，在上料工位通過OCR系統對索碼號的自動識別，獲取到索碼號信息，并傳遞給企業內部數據庫，通過企業提供的接口，自動獲取到芯片批號，并通知終端控制室此芯片批號正在加工。在下料工位上，再次對芯片料盒進行一次識別，再次獲取到索碼號信息后，傳遞到數據庫中，此時會將索碼號與芯片批號解除綁定，表示這批芯片加工完成。

2 系統設計

2.1 系統的硬件設計

本系統的硬件部分包括工業相機，鏡頭，光源，光電傳感器。通過相機對芯片料盒的字符拍照，經過字符識別算法處理，最終獲得芯片的索碼號。系統采用GigE接口的工業相機，LED的光源。芯片料盒用機械手放在生產線上，在機械手放置料盒的固定位置加裝一個光電傳感器，以此來觸發相機進行拍照獲取到圖像，并最終通過軟件識別出索碼號信息。

2.2 系統軟件的整體設計

整個軟件系統運行在芯片加工的生產線上，需要與企業內部以及現場硬件（主要包括相機，傳感器）進行交互，最終通過字符識別后，完成系統的功能，實現系統整體的協調運行。

系統的主要功能就是通過相機對芯片料盒進行拍照，通過軟件處理之后，獲得芯片生產批號的索碼號，并傳遞給企業內部的數據庫。整個系統主要的開發平臺為vs2010+openCV庫，系統的流程圖如圖1所示：

2.3 系統中重要模塊的實現

系統的重要模塊包括圖像預處理模塊和字符識別模塊。

在軟件部分的處理中，原始輸入數據為通過工業相機拍到的圖片，由于系統的運行環境是在生產現場，所以對于獲得的圖片會有各種各樣的噪聲影響，所以在進行正式地識別之前，必須要進行圖像的預處理，以消除在識別前的噪聲干擾，提高識別的準確率以及系統的穩定性。系統的最核心部分就是字符識別的算法，這是成功獲得芯片批號的前提，所以對于料盒索碼號的準確識別是關鍵。接下來將對這兩個模塊分別進行介紹。

2.3.1 圖像預處理模塊設計

在圖像處理中，圖像的質量直接影響后續圖像的分析，它的主要目的就是消除圖像中無關的信息，恢復其有用的真實信息，增強有關信息的可檢測性，在最大程度上簡化數據，從而提高特征提取，匹配以及識別的可靠性。工業現場的光線變化、噪聲等干擾會給字符識別造成較大的影響。為了有效地保證字符的識別率、識別系統的可靠性和穩定性，字符識別的預處理部分就顯得至關重要[2]。

系統的原輸入圖像見圖2。

在圖像預處理中，首先需要在相機拍到的圖片中提取出字符所在的區域，即是進行圖像處理的ROI區域的選取，同時我們為了減少圖像處理的數據量，對ROI區域圖像進行灰度化。得到灰度圖像之后，為了方便對字符特征的提取，需要將區域內的字符圖像統一到相等的大小，即進行圖像的歸一化操作。此時得到的圖像如圖3所示：

平滑處理是一種簡單且使用頻率很高的圖像處理方法，消除圖像中的噪聲成分叫作圖像的平滑化或濾波操作。均值濾波，是最簡單的一種濾波操作，輸出圖像的每一個像素是核窗口內輸入圖像對應像素的平均值[3]。圖像經過均值濾波后的圖像如圖4所示：

圖像的閾值操作是最簡單的圖像分割，對圖像進行二值化后，可以進一步降低數據的計算量，增加識別的效率。通過調用openCV里閾值操作函數對其進行二值化，由于圖像受到光照強度，陰影等因素的影響，其中二值化的閾值參數的確定需要通過現場試驗獲得，二值化后的圖像如圖5所示：

通過均值濾波之后的二值圖像，還存在著一定的離散的干擾點，為了準確地識別出字符，需要先去除這些孤立干擾點的影響。

在形態學操作中，腐蝕可以將圖像中面積較小的區域消除，而膨脹可以連接間距較小的區域，在膨脹和腐蝕后，目標區域的面積變化比較大。為了讓目標區域的面積變化較小，定義了開運算和閉運算。開運算是用形態學運算的內核對圖像進行腐蝕后，再用相同的內核對圖像進行膨脹。閉運算是用形態學運算的內核對圖像進行膨脹后，再用相同的內核對圖像進行腐蝕。開運算的作用與腐蝕的作用類似，閉運算的作用與膨脹類似。

運用開運算對干擾點區域進行處理的效果圖如圖6所示，從圖中可以看出，運用開運算可以較好地去除孤立的干擾點。

綜上，圖像預處理步驟如下：（1）提取ROI區域；（2）灰度化，歸一化；（3）均值濾波；（4）二值化；（5）開運算。

2.3.2 KNN算法

KNN算法，即KNN近鄰分類法，是一種基本的分類和回歸方法。這個算法通過先存儲訓練樣本，然后通過分析新輸入的樣本周圍K最近鄰從而給出該樣本所屬的類別，所以這種算法就是基于樣本的學習算法。核心思路就是，輸入一個樣本，從訓練樣本中找出K個與其最相近的樣本，然后計算這些樣本中相應類別的數量，數量最多的類別就定為該樣本的類別。

K近鄰分類法的具體實現過程如下：（1）計算已知類別數據集中每個樣本與當前輸入樣本的距離。（2）統計與當前輸入樣本距離最近的K個點。（3）統計這K個點中每個樣本出現的頻率。（4）選取出現頻率最高的樣本類別返回作為當前輸入樣本的類別。

2.3.3 字符識別關鍵模塊設計

在字符的識別過程中，先輸入在圖像預處理階段已經生成的圖像，然后利用openCV中提供的findContours函數尋找出整張圖的輪廓數據，由于還可能存在圖像非識別區域輪廓的干擾，所以應該對其孤立干擾區域輪廓進行去除，經過分析可以得到，要識別的字符所具有的輪廓相對于孤立干擾區域的輪廓面積大很多，所以可以設置出一個輪廓面積臨界值來濾除掉干擾區域。

由于在實際地識別中，并不是對單個字符的識別，而是一行字符的識別，所以在識別之前，要先對一行字符進行相應的分割，變成一個一個字符，然后再對一個一個字符進行識別。對字符的單個分割可以采用對輪廓的外接矩形來實現。用輪廓的外接矩形來將字符分割開，并對其進行分別識別。

對于KNN算法的實現主要借助openCV提供的Knearest類，先輸入訓練樣本進行學習，分別生成相應的訓練樣本數據文件與標簽數據文件，通過train函數將訓練樣本數據與標簽數據建立對應關系，再通過find_nearest函數輸入需要識別的樣本，通過尋找K近鄰的方法確定當前輸入樣本的類別，即為輸出結果。識別結果如圖7所示，其中上料盒信息即為芯片的索碼號。

3 實驗結果及分析

系統設計完成后，通過在生產現場搭建好硬件環境，調試運行本系統。調試時，需要先對其需要識別的字符進行樣本的學習，生成相應的KNN算法需要的訓練文件，其格式為XML。同時，由于環境的影響，需要預先將圖像處理中二值化的閾值作為系統參數傳入，直接運行系統，識別可靠性與穩定性很好，對于識別有誤差的字符，需要再次擴大樣本學習的容量，實驗證明，可以準確識別。

4 結束語

系統基于KNN算法，設計出了針對工業現場的OCR系統，經過現場實驗，系統的識別結果準確，運行穩定，為生產過程中的管理控制，以及自動化提供了可靠的解決方案。

參考文獻：

[1]肖堅.基于學習的OCR字符識別[J].計算機時代，2018，13（07）：48-49.

[2]李杜，白瑞林，高保平，溫振市.工業字符識別中實用的預處理技術[J].江南大學學報（自然科學版），2011，10（01）：16-17.

[3]毛星云，冷雪飛等.openCV3編程入門[M].北京：電子工業出版社，2015：154-157.

作者簡介：楊廣（1995-），男，四川達州人，碩士研究生在讀，主要從事測量與控制方向的研究。