基于關鍵點匹配的煙包標簽錯誤檢測算法

王家壽,李 達*,袁湘云,葛 文,王保云

(1.紅云紅河煙草(集團)有限責任公司,中國 昆明，650231；2.云南師范大學數學學院，中國 昆明，650500)

在煙盒包裝過程中，標簽粘貼錯誤是一種常見的系統問題。此類錯誤的產生具有偶發性、突發性、間斷性等特點，包裝機操作工人無法控制，包裝設備又不能杜絕該類不合格煙包的產生。為了找到不合格煙包，需耗費大量的人力物力，降低了設備效率。該類有外包質量缺陷的不合格煙包最終有可能直接進入市場，這將嚴重影響企業的產品質量和聲譽。因此，如何實現錯誤標簽的自動識別成為亟待解決的問題。

沈濤等[1]運用多光譜分析對煙包外觀進行檢測，實現了包裝紙和透明紙的同步檢測。顏西斌[2]從視覺感知的角度提出了一種新的特征提取算法，可以實現條煙中小包缺失與破損、煙支缺失與錯排等問題檢測。趙眾等[3]結合邊緣檢測和Radon變換了實現煙包封條的缺陷檢測。馮玉[4]認為視覺系統在不合格煙包的發現與剔除過程中，起到了重要的作用。沈宇航[5]、陳海需[6]、常燦[7]等人對煙盒內襯紙缺陷、煙包封條、煙包外觀的錯誤檢測進行了較為深入的討論。以上這些方法運用視覺系統、傳感系統等對卷煙流水線上錯誤進行針對性的檢測與識別，能夠有效降低生產線的廢品率，在生產過程中實現提質降耗。但是對于標簽粘貼錯誤這一常見問題，卻鮮見針對性研究。

本文在尺度不變特征變化(Scale-invariant feature transform，SIFT)算法[8]的基礎上，設計了一種基于關鍵點匹配的煙包標簽錯誤檢測算法，能夠較為精確地識別標簽傾斜、折角、位移等粘貼錯誤。

1 煙包標簽錯誤類型

由于包裝機的高速運轉經常受到設備工況、物料質量的影響，產生標簽粘貼錯誤。常見錯誤類型包括標簽偏移、傾斜、折角等，如圖1所示。

圖1 煙包標簽錯誤類型

標簽向上和向下偏移是比較常見錯誤，如圖1中(a)和(b)。傾斜和折角(嚴重的翹邊)也是較為明顯的標簽錯誤，圖1(c)為標簽傾斜，圖1(d)和(e)為折角。在包裝機上，煙包移動方向為恒定的，所以標簽的傾斜和折角也只偏向一個方向。

在圖1的錯誤圖像中，可以看到除了前面所述的明顯錯誤之外，還存在褶皺、輕微翹邊和撕破等問題。由于這些錯誤較為輕微，且均與上下偏移、傾斜和折角等錯誤相伴出現，所以本文重點探討標簽的垂直位移、水平位移、傾斜和折角這4類錯誤問題。

2 基于SIFT算法的煙包標簽關鍵點匹配

SIFT算法是David Lowe于1999年提出并進一步改進的關鍵點匹配算法[8-10]。SIFT算法對旋轉、尺度縮放、亮度變化不敏感，在角點檢測、物體識別、圖像配準等領域得到了廣泛的應用。

2.1 關鍵點檢測

在SIFT算法中，首先定義圖像的尺度空間[11]為

L(x,y,σ)=G(x,y,kσ)*I(x,y)，

式中k為尺度變化量，σ為尺度參數，I(x,y)為原始圖像，G(x,y,kσ)為尺度可變高斯函數，L(x,y,σ)為I(x,y)在尺度σ下的表示。

為保證后續特征點檢測的穩定性,一般采用不同高斯差分核(Difference of Gaussian, DoG)與圖像卷積生成高斯差分空間:

D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)。

在高斯差分空間中，尋找局部極大值和極小值點，并對這些點坐標和尺度通過精確定位，得到局部關鍵點，形成關鍵點集

2.2 關鍵點特征提取

對于關鍵點，計算其所在高斯金字塔圖像3σ鄰域內的梯度與方向分布。將相同梯度方向的梯度幅值進行累計，得到關鍵點的梯度統計函數c(grad)。對c(grad)求極值，即可得到當前關鍵點的3σ鄰域內的梯度方向dmax和幅值。

對所得到的關鍵點，將相應尺度的16×16鄰域旋轉角度dmax，使其與該點主方向一致。然后將其分成4×4的子塊，共有16個子塊。對每一個子塊，計算其8個方向的導數。這樣，就可以形成關鍵點的16×8=128維描述特征。

2.3 關鍵點匹配

2.4 匹配結果分析

由于參考圖像與待匹配圖像中標簽部分較為相似，關鍵點匹配過程也是粗定位過程。直接應用SIFT進行關鍵點匹配，效果并不理想，如圖2所示。在圖2中，第(i)行為標簽參考圖像及其分區示意圖，(ii)行為SIFT檢測結果，(iii)行為改進算法的檢測效果(算法詳見第4節)。第(ii)和(iii)行中的五幅圖像，分別與圖1(a)～(e)對應。為方便顯示，在圖2(ii)和(iii)行中均將標簽參考圖像移到待匹配圖像的上中部。

圖2 關鍵點匹配情況

從圖中可以看出，SIFT算法的失配點較多，圖1(b)和(c)的失配率均超過80%。匹配錯誤的點對所占比例也較高，圖1(b)和(d)的錯配率都超過25%。詳細的統計信息見表1。

另一方面，由于只考慮局部梯度，導致參考圖像和待匹配圖像中存在大量的相似點對，如圖3所示。在圖3中，參考圖像中的點之間的相似性超過0.9，待匹配圖像中的點亦如此。圖3(a)和(b)中標有“o”的點為最佳匹配點，相似度高達0.963 2。同時，圖3(a)中標“o”的點與圖3(b)中其它點的相似度最高可達0.928 8。根據匹配規則，二者失配。可見，由于點之間的相似性，會導致本來應該正確匹配點對出現失配的情況。同樣的問題也出現在圖3(c)和(d)中，最佳匹配點相似度為0.946 1，因為次佳匹配點相似性為0.930 2，多個點過于相似，只能判定為失配。

圖3(e)和(f)、圖3(g)和(h)展示了類似情況，只不過最佳匹配點對是錯誤的。在圖3(e)和(f)中，標有“o”的一對點，雖然并非匹配點，但相似性高達0.958 2，在圖3(g)和(h)中的相似度為0.932 3。

圖3 關鍵點自相似點簇與失配情況

由于SIFT算子不適用于此類場景，導致失配率、錯配率比例很高，無法進一步計算標簽錯誤類型。

3 基于關鍵點匹配的煙包標簽錯誤類型檢測算法

煙包的成像環境較為穩定，整個成像過程中光照和設備工況基本不變，這使得圖像的色彩、明暗、成像角度和成像距離的變化都不大。所以，關鍵點的顏色空間、顯著度信息可以作為新的特征。本文提出基于多特征聯合的煙包標簽錯誤識別算法，算法流程如圖4所示。

圖4 標簽錯誤識別流程

首先對參考圖像和待匹配圖像都運用SIFT算法進行關鍵點提取，并在此基礎上提取關鍵點的色彩、顯著度等擴展特征；接著進行相似點簇聚類，同時進行對應關系評估；然后依據關鍵點匹配結果進行標簽參數計算；最終根據標簽參數得到錯誤類型。

3.1 基于SIFT關鍵點提取的擴展特征描述子

根據前述分析可知，對于同一類型煙包，外觀顏色、形狀、圖案均相同。再加上成像設備與實物距離不變，成像光照環境較為穩定，使得圖像數據的光照、對比度差異較小，故而所得煙包圖像具有以下特征：

(1)煙包圖像之間的空間分辨率不變；

(2)煙包圖像之間的顏色差異很小；

(3)煙包圖像在整幅圖中的位置較為固定。

關鍵點和局部顯著度特征[12]采用如下公式計算：

結合上述二者，得到擴展特征

3.2 相似點簇聚類與對應關系評估

對應關系評估包括相似點簇匹配校正和基于聚類的錯誤匹配去除。

對類別特征向量進行K-means聚類，得到不同點對類別集。因為正確匹配的點對較為集中，所以點對數目最多的類別即為正確匹配的類別，其它類別為錯誤匹配的類別。

通過上述步驟，可以大幅提升配準率，同時降低錯配率，如圖2中(c)行所示。表1中給出了圖1(a)～(e)的關鍵點匹配情況。表中失配率和配準率表示失配點數和配準點數占參考圖像關鍵點總數的比例，錯配率表示已配對的點對中匹配錯誤的比例。可以看出改進前的匹配率較低，最為主要的是錯配率過高，導致無法計算標簽參數，也就難以判斷標簽的錯誤類型。而改進之后的算法，在提高配準率的同時，大大降低了錯配率，錯配點接近為0，匹配效果較好，在此基礎上可以很方便地計算標簽的錯誤類型。

表1 關鍵點匹配情況統計

3.3 標簽參數計算

圖5 標簽參數計算

標簽參數計算分為位置判斷、傾斜角計算和折角計算。位移計算主要是計算參考圖像的A，B，C和D共4個區域的關鍵點匹配情況，判斷標簽是否出現垂直方向和水平方向的位移。傾斜角計算是標簽的傾斜程度。折角計算主要是計算4個區域被折疊的程度，折角大多發生在D區域。

式中，m0和mref分別為參考圖像的中心點和待匹配圖像中標簽的中心位置。ΔS的第一分量為水平位移，第二分量為垂直位移，正數為右移和下移，負數為左移和上移。

4 結果與分析

4.1 標簽錯誤參數計算

對圖1中5幅具有代表性的標簽錯誤圖像進行參數計算，得到結果如表2。

表2 錯誤標簽的參數值

從表中可以看出改進的算法能夠大幅提高參數值的精度。在圖1(a)中，其錯誤類型為標簽下移，移動幅度為16像素，SIFT算法計算結果為18像素，而本文算法與真實值一致。圖1(b)中，標簽發生了嚴重的上移，移動幅度為35像素，導致區域A和B沒有成功匹配點。這時用SIFT算法的話，由于錯配點較多，使得計算誤差較大。其它圖1(c)-(e)也是類似的情況。

4.2 錯誤類別判斷

實驗共使用了3 000張圖像進行測試，其中標簽傾斜480張、折角455張、垂直位移546張和水平位移426張，其余1 093張為標簽粘貼正確的圖像。為方便比較不同類型錯誤的嚴重程度，以下列3組公式來歸一化錯誤參數：

d垂直移動率=垂直位移值/垂直位移最大值，

d水平移動率=水平位移值/水平位移最大值，

d左傾率=左傾值/左傾最大值，

在垂直移動中，上移情況較為嚴重，最高可達70像素，因此垂直移動最大值取70像素。標簽的水平移動方向都是向左(順著煙包移動方向)，一般移動像素不超過80像素，因此水平移動最大值取80像素。同樣地，左傾最大值取45像素。

對于煙包進行檢測時，檢測垂直位移、水平位移、左傾和折角的比率，以最大值對應的類型來判定圖像的錯誤。識別率計算公式為

p識別率=正確識別張數/該錯誤類型張數×100%，

漏檢率計算公式為

虛警率計算公式為

檢測結果如表3所示，可以看出本文算法對于常見的標簽錯誤識別率均超過99%，且虛警率和漏警率均低于5%。

表3 錯誤類型判斷

5 結論

針對煙包標簽參數計算與錯誤類型識別問題，提出了基于關鍵點匹配的煙包標簽錯誤檢測算法。首先改進了SIFT算法，運用擴展特征、相似點簇聚類與對應關系評估等提高了關鍵點的配準率。在此基礎上，計算標簽的參數，并據此計算標簽的錯誤類型。算法主要的貢獻為：

(1)運用擴展特征、相似點簇聚類和配準關系評估等方法，改進了關鍵點匹配算法。

(2)實現了煙包標簽錯誤的準確檢測。

在本文實驗中，成像環境較為穩定，圖像中除標簽外的背景部分也較為一致，這為本算法的實現便利之處。同時，這也是本算法的局限性所在。當圖像中背景部分變化較大時，需要對標簽部分和背景部分進行更為復雜的識別，這是以后工作的方向。