基于中心化Jaccard匹配的SD卡光學字符驗證

李天賀，吳靜靜，安 偉

(1.江南大學 機械工程學院，江蘇 無錫 214122；2.江南大學 江蘇省食品先進制造裝備技術重點實驗室，江蘇 無錫 214122)

0 引言

SD卡是一種基于半導體快閃記憶器的新一代記憶設備，體積小、傳輸速度快，被廣泛地應用于數碼相機、多媒體播放器等各種便攜裝置。不同型號的SD卡表面具有不同的字符，方便消費者根據需求選擇。在實際生產中，由于操作錯誤或設備故障導致打印的SD卡表面字符和真實型號不符，給制造商增加了高額成本，同時影響了消費者的使用體驗。當前工序中普遍采用人工驗證的方法，效率低、準確性易受主觀因素影響。因此，研究一種基于機器視覺的圖像質量自動檢驗方法代替人工目檢是一種必然趨勢。

光學字符驗證(OCV，optical character verification)是圖像質量自動檢驗的核心環節，其本質是驗證待測圖像與模板圖像表面字符是否相同，在目標檢測和計算機視覺等領域具有廣泛的應用。OCV算法主要可以分為兩大類：基于深度學習的驗證算法和基于匹配的驗證算法。在深度學習驗證算法的研究方面，Chun-Hui Lin[1]等人通過輪廓邊界檢測方法確定感興趣區域，利用CNN中的結構和細化機制能夠檢測出印刷電路板中錯位、缺失和反極性零件的字符。Ribeiro[2]等人提出了一種OCV自適應深度學習框架，使用k均值聚類算法對CNN提取的特征進行聚類，使用k近鄰方法結合CNN計算的質心，可以識別食品飲料等零售包裝品上錯誤或缺失的信息。雖然兩種深度學習算法檢測準確率較高，但是需要有大量的數據來進行擬合，而實際工業場景存在難以收集缺陷樣本的問題，在小樣本條件下模型的精度會受到影響，并且當圖像特征變化較多時會導致訓練復雜、模型過大。

另一類是基于匹配的OCV方法，原理是提取圖像的某種特征，計算待測圖像與給定模板圖像特征之間的相似度。如劉毅飛[3]等人利用歸一化互相關算法中模板圖像在待檢測圖像中逐像素搜索并計算相關性的特點，將檢測區域分成六部分并行搜索，在不同圖像位置采用不同模板大小，實現了多核歸一化互相關圖像匹配算法，但是對圖像的灰度值變化比較敏感，魯棒性較低。李勝輝[4]等人提出了一種C-ORB匹配驗證算法，將圖像的顏色不變量與ORB特征描述子相結合，獲取到不同光照強度、不同光照方向圖像的更多細節，但是該算法要求圖像具有較多的特征點，局限性明顯。左川[5]等人利用加速分割檢測算法提取ORB特征，使用改進的二進制魯棒獨立基本特征算法進行特征點描述，同時結合透視變換模型進行圖像采樣和漢明距離作為相似度量準則進行圖像匹配，該算法具有較強的抗視角變換能力，但是對于相似度較高的圖像中驗證準確率不高。劉歡[6]等提出了一種三組合Hu不變矩方法用于圖像匹配，能夠解決模糊噪聲引起的檢測準確率下降問題，但是算法依賴于提取角點信息的正確性，難以解決亮度的非線性變換問題。綜上，以上基于匹配的驗證算法在光照變化、目標旋轉以及相似度高的OCV問題中，精度將會下降。

因此，當同時存在以上幾種問題時，為了提高SD卡字符驗證精度，本文提出了一種基于中心化Jaccard匹配的字符驗證方法。該方法首先利用HSV三通道直方圖實現特征顯著SD卡圖像的快速驗證。對于特征相似的SD卡，在快速驗證的基礎上提出了一種精密驗證方法。針對SD卡圖像在驗證過程中容易受到光照和旋轉變化等因素干擾導致驗證誤差的問題，通過提取V通道圖像降低灰度值對光照的敏感程度，通過提取像素的四方向梯度信息，使得HOG特征向量具有抗旋轉變化特性。針對傳統相似度指標難以對高度相似字符進行準確驗證的問題，提出了一種中心化廣義Jaccard系數精確量化特征向量的相似度，提高了相似字符的驗證精度，以實現復雜場景下SD卡的高精度光學字符驗證。

1 SD卡OCV原理與存在的問題

OCV工位實際采集的SD卡圖像如圖1(a)所示，SD卡結構可分為logo、內存、速度等級、系列號4個功能區域，如圖1(b)所示。SD卡OCV的主要目標是檢測待測圖像4個功能區域的字符是否與模板圖像一致，從而判斷打印程序是否出錯。傳統基于匹配的方法通常提取模板圖像與待測圖像的特征向量，然后利用相似度指標計算向量之間的相似度值，通過比較相似度值與設定閾值的大小判斷二者是否相同。但是本文SD卡OCV場景較為復雜，傳統的簡單特征匹配方法往往會引入較大誤差。例如圖2(a)由于采集設備變化導致表面特征出現明暗動態變化的圖像、圖2(b)由于機械定位誤差導致出現微小旋轉的圖像，傳統特征提取方法會產生驗證誤差；SD卡圖像種類繁多，對于圖2(c)特征高度相似的圖像，傳統的相似度指標模型會產生計算誤差。

圖1 SD卡示意圖

圖2 生產過程中復雜多樣的SD卡圖像

基于以上分析，本文設計了一種高精度的SD卡OCV算法，算法主要包括快速檢測模塊和精密檢測模塊兩部分，具體流程如圖3所示。首先對采集到的原始圖像進行感興趣區域(ROI，region of interest，如圖1(a)方框內區域所示)粗劃分，保證ROI內只有一顆SD卡，去除圖像中其余的干擾目標，在ROI內通過模板圖像利用模板匹配算法定位到待測圖像；然后將模板圖像和待測圖像輸入快速檢測模塊，充分利用HSV三通道直方圖特性，以巴氏距離為測度，分別計算二者的H、S、V3個通道的直方圖相似度，若3個相似度值均小于設定的閾值，則輸出驗證結果為“相異”；若3個相似度值至少有一個大于設定的閾值，則將模板圖像和待測圖像輸入精密檢測模塊進行精密驗證，首先將圖像劃分為4個子檢測區域(如圖1(b)方框內區域所示)，提取灰度穩定性高的V通道圖像，然后利用改進的HOG特征提取四組特征向量，最后基于本文提出的中心化廣義Jaccard系數計算四組特征向量的相似度值，選擇最大的相似度值與設定的閾值進行比較，若大于閾值則輸出驗證結果為“相同”，否則輸出“相異”。通過所述新算法快速檢測和精密檢測模塊互補，提升復雜場景下SD卡OCV的精度與魯棒性。

圖3 算法流程圖

2 基于HSV顏色直方圖的快速檢測

SD卡的種類多種多樣，會出現模板圖像和待測圖像顏色、字符等特征相差較大的情況(如圖2(a1)和圖2(b1)所示)，可以對此類SD卡進行快速驗證。本文提出了一種基于HSV顏色直方圖的快速檢測方法，提高算法的整體運行效率。HSV顏色空間[7-9]是由RGB顏色空間衍生出來的一種面向對象的色彩模型，其中H(Hue)表示色調，S(Saturation)表示飽和度，V(Value)表示亮度，這3個分量互相不會產生影響，對其中任何一個分量進行處理不會對其它兩個分量造成任何的影響。HSV顏色空間中的圖像具有失真小、顏色逼真的特點，其構建是基于人類的視覺感知，色彩表現更符合人眼的視覺特性，能夠準確地反應圖像的顏色和灰度信息[10]，在機器視覺領域具有很高的應用價值。因此，在利用模板匹配算法定位到待測圖像I后，將I和模板圖像T由RGB顏色空間轉換到HSV顏色空間，轉換公式如下：

max=Max[R/255，G/255，B/255]

(1)

min=Min[R/255，G/255，B/255]

(2)

(3)

(4)

V=max

(5)

式中，R、G、B分別表示圖像中某一像素點的紅、綠、藍3個通道的像素值，max表示R、G、B像素值歸一化之后的最大值，min表示R、G、B像素值歸一化之后的最小值，H、S、V表示轉換后像素點的色調值、飽和度值和亮度值。

轉換后利用巴氏系數計算I和T的H、S、V3個通道的直方圖相似度B1、B2、B3，分別與設定的閾值T0進行比較，若B1、B2、B3均小于閾值，則輸出最終驗證結果“相異”。巴氏系數[11]的計算方法如下：

(6)

式中，p(i)、q(i)分別表示I和T直方圖第i個灰度等級的概率分布，N表示灰度等級的總個數。

為了驗證HSV三通道直方圖在快速檢測方法上的有效性，選擇圖2(a1)、圖2(b1)兩張表觀特征相差較大的SD卡圖像以及圖2(c1)、圖2(c2)兩張表觀特征相似的SD卡圖像作為對照樣本進行相關試驗，圖4為三通道直方圖對比效果。計算得到圖2(a1)、圖2(b1)兩個樣本的H、S、V直方圖巴氏系數分別為0.231、0.215、0.244；圖2(c1)、圖2(c2)兩個樣本的H、S、V直方圖巴氏系數分別為0.841、0.826、0.831。可見，這兩類樣本的直方圖巴氏系數相差很大，閾值T0可選取的范圍為0.3至0.8之間，本文選擇的閾值為0.55。

圖4 三通道直方圖對比效果

3 基于改進HOG相似度的精密檢測

當模板圖像和待測圖像表觀特征相差較大時，通過快速檢測可以直接輸出最終結果；但是當二者特征相似時，H、S、V三通道直方圖分布非常接近，因此快速檢測將無法完成準確判斷，會產生驗證錯誤，需要精密檢測進一步進行驗證。精密檢測中特征提取和相似度指標是決定驗證精度的兩個關鍵環節。當模板圖像和待測圖像高度相似時，微小旋轉和光照變化引起的特征提取誤差、相似度計算誤差都會使得OCV驗證精度下降。因此，本文從特征提取和相似度指標兩方面進行優化，提出了一種改進HOG特征相似度的精密檢測方法。

3.1 改進的HOG特征提取算法

HOG特征[12-15]是一種常用的形狀特征，它能夠捕獲圖像的輪廓，描述圖像的邊緣信息，具有抗陰影和幾何變換的優點。HOG特征描述子是通過統計圖像中局部區域像素的梯度幅值和梯度方向來獲取圖像的特征，其計算過程是一個區域特征組合的過程。根據預先設置的參數將待測圖像劃分為多個小塊(block)，每一個小塊又可以劃分為多個細胞單元(cell)，每一個細胞單元可以根據像素的梯度信息計算得到一組特征向量。將小塊內所有細胞單元的特征向量串聯組合起來可以得到每一個小塊的特征向量，最后將所有小塊的特征向量串聯組合起來即可得到最終的HOG特征向量。

然而，傳統的HOG特征提取方法對于旋轉和光照變化缺乏魯棒性。傳統HOG特征只考慮了單個像素水平和垂直方向上的梯度信息[16]，不具備旋轉不變性。此外，當圖像采集條件改變時，HOG特征將包含光照變化的偽邊緣。旋轉和光照變化場景下的干擾特征將導致較大的OCV特征匹配計算誤差。本文根據V通道圖像灰度穩定性較高的特點，以V通道圖像作為原始輸入圖像，提高HOG特征的光照魯棒性。針對微小旋轉圖像引起的驗證誤差問題，在傳統HOG水平和垂直方向的基礎上，引入兩條對角線方向的梯度信息，對HOG特征向量進行增廣，使得HOG特征具備旋轉魯棒性。本文提出的改進HOG特征具體方法如下。改進后的HOG特征算法流程如圖5所示。

圖5 改進的HOG特征算法流程圖

1)將圖像由RGB顏色空間轉換到HSV顏色空間，提取V通道圖像Vi，然后利用式(7)對Vi進行Gamma校正，目的是減少由于光照不均勻引起的圖像局部陰影的影響。

Ib(x，y)=Ia(x，y)Gamma

(7)

式中，Ib(x，y)代表Gamma校正后的圖像，Ia(x，y)代表原始輸入的V通道圖像，本文中Gamma取1/2；

2)以3×3個像素為梯度提取單元，中心點p(x，y)為旋轉中心，將p(x，y)周圍的8個像素點依次順時針旋轉1、2、3個像素，梯度提取單元旋轉示意圖如圖6所示。計算梯度提取單元無旋轉以及旋轉3次的梯度幅值和梯度方向。以梯度提取單元無旋轉為例，計算公式如式(8)；

圖6 梯度提取單元旋轉示意圖

(8)

式中，Gx(x，y)、Gy(x，y)、H(x，y)分別表示圖像像素點(x，y)處的水平方向梯度、垂直方向梯度和像素值。G(x，y)、θ(x，y)分別表示圖像像素點(x，y)處的梯度幅值和梯度方向。

3)把圖像分為尺寸相同的cell，將cell的梯度方向180度分為9個被稱為bin的方向塊，即每20度劃分為一個bin，統計各個cell內所有梯度提取單元無旋轉以及旋轉3次的梯度方向直方圖，對應的就是4個9維的特征向量；

4)將2×2個cell組合成一個block，block內所有cell的特征向量串聯在一起得到此block的特征向量，若一個cell的特征向量為9維，那么一個block的特征向量為2×2×9=36維，最終可以得到4個36維的block特征向量。對block的特征向量做歸一化操作，目的是進一步地降低光照和陰影對圖像的影響，公式如下：

(9)

式中，ε是一個常量，是為了防止分母等于0，本文中取0.001；

5)按照一定的步長沿著行列方向對圖像進行滑窗操作得到多個block，再計算每一個block的特征向量，并將他們串聯在一起即可得到最終的4個HOG特征向量Hi1、Hi2、Hi3、Hi4。傳統HOG特征與改進的四方向HOG特征效果對比如圖7所示。可見，與傳統HOG特征相比，改進的四方向HOG特征保留了微小旋轉圖像更多的邊緣細節，對比度也有明顯的提升。

圖7 傳統HOG特征與四方向HOG特征效果對比

3.2 基于中心化Jaccard系數的相似度計算方法

相似度指標能夠量化特征向量相似程度，決定了驗證精度，常見的相似度指標有夾角余弦[17]、相關系數[18]、廣義Jaccard系數[19-22]等，表達式如式(10)～(12)：

(10)

(11)

(12)

本文對這幾種常見的相似度指標設計了對比試驗。試驗選擇的模板圖像為圖2(c1)紅框區域的字符；選擇相同字符的100幅圖像作為驗證樣本集S，相似字符(圖2(c2)紅框字符所示)的100幅圖像作為對照樣本集D。對比試驗曲線如圖8所示。其中，夾角余弦和相關系數曲線在多個樣本上出現了交叉，類間方差很小，將引入驗證誤差；與之相比，廣義Jaccard系數曲線性能最佳，類間方差增大，但在個別樣本(如第83和84幅)上仍然有交叉，存在誤分類的風險。可見相比于其他相似度指標，廣義Jaccard系數對相似字符具有更大的區分度。

圖8 3種相似度指標計算的相似度曲線圖

廣義Jaccard系數可以表示為兩個向量的交集特征占并集特征的比例，值越大表明二者越相似。由于本文提取出來的特征向量維數較大，而字符相似部分的維數占總維數的比例較小，廣義Jaccard系數不能很好地放大此部分。考慮到廣義Jaccard系數相比較其他相似度指標的優越性以及在相似字符區分度上的潛力，本文設計了一種中心化Jaccard系數，表達式如下：

(13)

改進后對特征向量進行了中心化處理，用每一個元素減去所有元素的平均值。相比中心化前，平方或相乘后的特征向量元素曲線分布更加均勻，數據基本分布在原點上下，從而能夠更好地凸顯兩個特征向量的差異部分。改進的廣義Jaccard系數曲線如圖9所示，數據無交叉且可以用一條閾值曲線0.82分開，增大了類間方差，提高了字符驗證的準確性。

圖9 改進的廣義Jaccard系數相似度曲線圖

4 試驗設計與分析

為了驗證本文所設計OCV算法的有效性，采用現場采集到的SD卡圖像進行了相關試驗。試驗環境為：AMD Ryzen 7 5800H，16 GB內存的PC機，Windows10 64 bit操作系統。開發環境為：Visual Studio 2015，opencv3.4.6庫函數。

4.1 相似字符驗證性能對比試驗

為了驗證本文所提出的高度相似字符驗證算法的有效性和穩定性，設計了如下對比試驗。試驗圖像集選用4個功能區域各5幅模板圖像；對于每幅模板圖像，選擇相同字符的100幅圖像作為驗證樣本集，相似字符的100幅圖像作為對照樣本集。使用夾角余弦、相關系數、歸一化歐氏距離、夾角余弦和相關系數組合[23]、廣義Jaccard系數以及改進的廣義Jaccard系數6種相似度指標分別計算模板圖像與驗證樣本集、對照樣本集的相似度值，共100組。為了直觀觀察相似度指標在OCV問題中的準確性，計算100組相似度值的歐式距離，距離越大，表明類間方差越大，相似度指標的分辨能力越強。歐氏距離計算公式如下：

(14)

式中，xi和yi分別為驗證樣本集和對照樣本集圖像的第i個相似度值。試驗結果如圖10所示。

圖10 相似度指標檢測性能對比圖

試驗結果表明，對于4個功能區域的20幅模板圖像，改進的廣義Jaccard系數相比于其他幾種相似度指標計算得到的歐式距離都是最大的，其中logo區域的平均歐式距離為2.331，內存區域的平均歐式距離為5.240，系列號區域的平均歐式距離為3.471，速度等級區域的平均歐式距離為4.649，且每一個檢測區域的歐氏距離數據起伏較小，可見其穩定性較高，對相似圖像具有較強的分辨能力。

4.2 微小旋轉字符驗證性能對比試驗

為驗證本文所提出的微小旋轉字符驗證算法的有效性，設計了如下試驗。試驗圖像集選用4個子檢測區域各1幅模板圖像；對于每幅模板圖像，選擇同型號具有微小旋轉的100幅驗證樣本集。基于傳統HOG特征和改進的HOG特征分別提取模板圖像和待測圖像的特征向量，對比特征向量相似度值的大小。試驗結果如圖11所示。

圖11 特征向量相似度對比結果圖

試驗結果表明，當圖像出現微小旋轉時，4個功能區域的相似度值均有明顯的提升，分別平均提高了0.163、0.132、0.188、0.159，驗證了改進HOG特征抗旋轉變化的有效性。

4.3 字符驗證準確率消融試驗

為驗證本文提出的檢測算法的準確率與魯棒性，設計了如下消融試驗。試驗圖像集選用9幅不同型號的模板圖像；對于每幅模板圖像，選擇3種采集條件下各20幅圖像作為驗證樣本集，共9×3×20=540幅。分別基于傳統HOG特征+廣義Jaccard系數(HOG+Generalized Jaccard，HOG+G-Jaccard)、傳統HOG特征+改進廣義Jaccard系數(HOG+Revised Generalized Jaccard，HOG+RG-Jaccard)、改進HOG特征+廣義Jaccard系數(Revised HOG+Generalized Jaccard，R-HOG+G-Jaccard)以及本文提出的算法(Revised HOG+Revised Generalized Jaccard，R-HOG+RG-Jaccard)作為驗證算法，共9×540=4 860項。驗證準確率對比結果如表1所示。

表1 驗證準確率對比

試驗結果表明，本文所提出的算法與其他幾種組合算法相比驗證準確率最高，達到99.15%，驗證了算法的可行性與魯棒性，能夠滿足生產要求。

5 結束語

本文綜合分析SD卡OCV場景特點，設計提出了一種SD卡光學字符自動驗證算法。該算法首先采用HSV三通道直方圖，實現了特征顯著SD卡圖像的快速驗證；其次利用V通道圖像，提取多方向HOG特征，提高了微小旋轉與光照變化場景下OCV的準確率；最后提出一種改進的中心化廣義Jaccard系數，提高了相似度指標的量化精度，確保了特征相似SD卡圖像的精密驗證。通過相似字符和微小旋轉字符驗證性能對比試驗，證明了本文改進HOG特征和中心化廣義Jaccard系數的有效性；通過字符驗證準確率消融試驗，證明了本文所提出OCV算法的魯棒性，具有良好的實用價值。

本文良好檢測結果的前提是待測圖像的精確定位，而模板匹配方法容易受到圖像采集環境變化的影響，導致待測圖像定位誤差。因此，下一步將研究一種更魯棒的目標定位方法，進一步提高算法檢測精度。