基于機器視覺的LTE模塊編帶系統

趙宇航，胡 偉

（河南理工大學電氣工程與自動化學院，河南焦作 454000）

0 引言

隨著工業生產自動化的不斷提升，機器視覺技術的使用越來越廣泛，機器視覺已然成為推動工業生產提高生產效率和自動化程度的關鍵技術。LTE 通信模塊是智能設備的關鍵零部件，在生產過程中，存在讀取表面刻蝕信息的場景，通過讀取與上傳相關信息，完成編帶包裝前的過站檢查。因機器視覺具有高精度、高效率、無傷檢測的特點，機器視覺技術廣泛應用與電子零部件的過站檢測中。隨著對檢測穩定性與生產自動化程度要求的不斷提高，這就需要有新的系統來滿足新的需求。傳統的編帶設備只具有單一的編帶功能，無法實現模塊表面信息的提取。模塊編帶前，需讀取其屏蔽罩表面字符信息并上傳至MES（制造執行系統）中，傳統人工使用掃描槍檢測的方法勞動強度大，存在漏檢復檢等問題，因此編帶機結合視覺檢測實現LTE 模塊的信息提取與自動編帶具有較高研究價值。

提高字符識別準確率時，傳統方法主要是提高硬件性能，這使得項目成本有所增加，在有限的成本內通過改進視覺算法提升字符識別的準確率成為研究的重點。王琦、李洪[1]研究提出使用MLP 分別對數字與字母創建分類器的方法提高識別率；林輝、蔡秉華等[2]提出使用形狀匹配與MLP 多層感知器的方法提高車牌字符識別的穩定性；祁俊輝、龍華等[3]提出將特征向量的相似度進行融合以提高字符識別準確率，以上方法在項目實際應用中存在普適性和穩定性欠佳的問題。本文根據實際項目，采用中值濾波濾除噪聲干擾、灰度變換增強字符邊緣灰度特征、形狀匹配完成目標定位、MLP 多層網絡感知器與特征向量相似度融合等數字圖像處理技術實現LTE 屏蔽蓋表面鐳雕信息的提取。

1 系統架構

本系統由編帶系統和視覺系統兩部分組成，編帶系統負責接收視覺信號并執行相應動作，視覺系統接收觸發信號完成視覺檢測，視覺系統的硬件設備主要由相機、鏡頭、光源、控制器、工控機等組成，實現功能包括圖像采集、圖像處理和數據通訊。編帶系統結構如圖1 所示，系統平臺如圖2所示。

圖1 系統結構Fig.1 System structure diagram

圖2 系統平臺Fig.2 System platform

編帶系統上位機軟件的人機交互界面使用VS2019的Winform 窗體設計，C#完成軟件功能邏輯設計，核心視覺算法通過視覺算法軟件Halon完成設計與封裝。

2 圖像預處理

2.1 圖像濾波

因系統工作環境存在電磁干擾，圖像會受到噪聲污染，后續圖像處理的穩定行受到一定影響，因此通過濾波消除圖像噪聲。常用的濾波方法有中值濾波、均值濾波、Gauss 濾波等[4]。經過對比驗證，本項目采用中值濾波方法消除圖像噪聲，處理效果如圖3所示。

圖3 中值濾波Fig.3 Median filtering effect

2.2 圖像增強

中值濾波在消除圖像噪聲的同時也降低了圖像邊緣特征，加之屏蔽蓋金屬氧化后出現字符灰度特征減弱等現象，需使用圖像增強改善字符對比度。圖像增強可分為空域圖像增強和頻域圖像增強兩種方法，其中空間域圖像增強是直接對圖像中的像素進行處理[5-6]，經過對比驗證，本文適合使用灰度變換方法增強圖像邊緣。圖像增強效果如圖4所示。

圖4 圖像增強Fig.4 Image enhancement

3 匹配定位

為提高字符識別效率，系統使用圖像匹配完成目標定位。匹配方法有基于組件、灰度值、形狀匹配等[7]，因生產車間存在環境光干擾，為保證檢測穩定性，系統采用形狀匹配完成字符區域定位。形狀匹配基于圖像邊緣特征完成定位，匹配前計算模板邊緣點梯度，匹配時計算匹配分值，計算如式（1）所示。在匹配分值超過閾值時輸出匹配結果。

式中：cos(αi)為像素向量夾角余弦值；N為遍歷時模板對應的圖像區域像素數量；P為匹配分值。

4 字符識別

定位完成后，需對屏蔽蓋表面序列號字符進行識別，并將識別結果上傳MES 系統。常用的字符識別方法主要有特征統計法、神經網絡法、模板匹配法、支持向量機等[8]。為提高字符識別穩定性與準確率，系統使用多層感知分類器（MLP）進行初識別，然后篩選出低置信度字符圖像，提取字符特征向量，計算歐幾里得距離、向量空間余弦相速度與皮爾森相關系數，并由此計算出融合后的特征相似度，對比置信度閾值后輸出最終識別結果，算法流程如圖5所示。

圖5 字符識別流程Fig.5 Character recognition flowchart

4.1 MLP分類網絡設計

MLP 多層感知器也叫神經網絡，由多層前饋神經網絡發展而來的前饋人工神經網絡[9-10]。MLP網絡可以高效的進行識別對象的訓練學習，網絡由輸入層、隱私層和輸出層組成[11]。其結構如圖6所示。

圖6 激光焊縫跟蹤控制系統

圖6 神經網絡結構Fig.6 Neural network structure diagram

在訓練MLP 分類器前，需要確定網絡各層節點數量。網絡輸入層神經元數量等于特征向量維數，本文選用字符圖像灰度投影、字符區域縱橫比、相對矩I1和I2作為特征分量，其中灰度值投影為字符在像素行坐標與列坐標方向的像素灰度投影均值，計算如下：

式中：f(r)與f(c)為投影數據；(r, c)為區域內像素坐標；R為對應字符的最小外接矩形區域；n為區域像素行數或列數。

字符區域縱橫比為字符最小外接矩形長寬的比值，計算如下：

相對矩計算如下：

式中：Mij為字符區域的幾何中心矩；(r0, c0)為區域重心坐標。

根據輸入網絡的特征向量維數，網絡輸入層神經元數量應設置為5。網絡隱私層神經元數量，可根據Kolmogorov定理，通過如下計算得到：

式中：s為隱私層神經元數量；n為特征向量維數。

網絡輸出層節點數應與分類數一致，這里將輸出層節點數設置為36。確定網絡各層節點數量后，還需使用收集的字符樣本數據集對網絡進行訓練，獲取最優分類網絡參數，使網絡達到最佳分類效果。若已知輸入層特征向量為（x1,x2,x3,…,xn），隱私層的神經元輸出計算如下：

式中：ωij為輸入層與隱私層間神經元權重系數；bj為隱私層神經元閾值；f1為隱私層傳遞函數，這里選用S型正切函數。

輸出層神經元根據式（8）處理隱私層輸出。

式中：ωjk為隱私層與輸出層神經元權重系數；bk為輸出層神經元閾值；f2為輸出層傳遞函數，這里選用純線性函數。

根據輸出層輸出結果計算誤差并在網絡中反向傳播以修正網絡各層權值系數，通過不斷的正像傳播和反向修正使誤差小于給定值從而完成網絡訓練。

4.2 向量相似度計算

使用單一的相似性度量值對字符進行衡量并不嚴謹，這里通過對不同相似性度量進行融合，并引入基于樣本數據的權重系數，以提高字符識別準確率。

在灰度投影、區域縱橫比、相對矩I1和I2基礎上添加字符區域連通數和區域孔洞數組成字符特征向量。求取字符樣本數據集的平均特征向量作為基準向量X0，提取待識別字符特征向量Xi。這里選擇特征分類問題中較常用的歐幾里得距離、向量空間余弦相似度和皮爾森相關系數進行相似性度量和融合[12-13]，計算X0與Xi的

式中：Xi為特征向量；X0為基準特征；dist(Xi,X0)為Xi與X0的歐幾里得距離；n為特征向量維數；cos(θi)為向量余弦相似度；θ為兩特征向量的空間夾角；γ(Xi,X0)為皮爾森相似系數。

這里定義相似性融合系數γs來表示dist(Xi,X0)、cos(θi)與γ(Xi,X0)的融合結果，定義式如下：

式中：a1、a2與a3為權重系數，用以減少樣本特征差異對干擾式對γs影響。

權重系數計算如下：

式中：D(dist)為樣本各特征向量與基準向量的歐幾里得距離方差；D( cos(θ))為余弦相似度偏差；D(γ)為皮爾森系數方差。

根據計算出的融合相似度，比對相似度閾值輸出字符識別結果。

4.3 字符識別

4.3.1 字符分割提取

通過形狀匹配定位字符區域后，為保證字符識別的穩定性和準確性，需要對傾斜的字符進行角度矯正，矯正后的字符ROI圖像如圖7所示。

圖7 焊縫數據提取程序段

圖7 字符ROI提取Fig.7 Character ROI extraction

字符ROI 圖像進行分類前還需要進行圖像分割。分析圖像可知，字符與圖像背景灰度差異明顯且字符邊緣灰度特征較穩定，因此使用二進制閾值分割來處理字符圖像，結果如圖8（a）所示，最后通過特征選擇、字符灰度投影和區域形狀轉換完成字符分割，結果如圖8（b）所示。

圖8 字符分割提取Fig.8 Character angle correction and ROI extraction

5.3.2 字符分類與數據分析

本文通過do_ocr_multi_class_mlp 算子實現MLP 多層感知分類器對序列號字符的初步識別，圖像處理軟件Halcon完成字符特征提取，Visual C#負責處理特征數據。MLP 與融合相似度的字符識別結果統計如表1 所示，傳統人工OCR 掃描槍檢測與機器視覺檢測結果統計如表2所示。分析數據可知，機器視覺檢測時間較人工提高近1.07 s，準確率提升約5.7%。

表1 字符識別數據Tab.1 Character recognition data

表2 測試數據對比Tab.2 Test data comparison

5 結束語

針對LTE 模塊傳統人工檢測效率和準確率較低，檢測與編帶無法同時進行，本文設計了基于機器視覺的LTE 模塊編帶系統。根據視覺功能要求與系統現場工作環境，提出使用中值濾波濾除噪聲干擾，灰度變換增強字符邊緣灰度特征、MLP 多層網絡感知器對字符進行初步識別，計算歐幾里得距離、余弦相似度與皮爾森相似系數，最終根據融合后的相似度對字符進行準確識別。經過實際生產測試，系統符合項目設計要求，滿足實際生產需求，在提高LTE 模塊生產自動化程度的同時，模塊檢測效率和準確率較傳統人工檢測有明顯提高。