基于LBP直方圖和SIFT的藥品包裝缺陷檢測方法

陳財彪，于惠鈞，張發明，吳婉，周志偉

（湖南工業大學電氣與信息工程學院，湖南株洲412007）

基于LBP直方圖和SIFT的藥品包裝缺陷檢測方法

陳財彪，于惠鈞，張發明，吳婉，周志偉

（湖南工業大學電氣與信息工程學院，湖南株洲412007）

針對鋁塑泡罩藥品包裝缺陷檢測問題，提出了基于LBP直方圖的SIFT匹配方法。先提取鋁塑泡罩藥品包裝圖像中的特征點，再計算其周圍區域上的LBP直方圖，最后進行特征點匹配，判斷該藥品包裝是否有缺陷。試驗結果表明，此方法與SIFT算法相比，計算速度更快，且能滿足工業生產要求。

LBP直方圖；SIFT；關鍵點；缺陷檢測

0 引言

隨著時代的發展，人們對健康和衛生的要求越來越高，藥品作為生活中不可或缺的部分，藥品的包裝要求也越來越嚴格。鋁塑泡罩藥品包裝是當今的主流封裝形式之一，其具有輕便、安全、經濟等諸多優點[1]。在藥品泡罩包裝過程中，通常要經過攪拌、給藥、壓封、切割等一系列流水作業，易出現漏裝、碎片、夾雜異物等現象，而且其中過多的手工化操作，使生產車間內難以達到無菌要求，更不能通過國家藥監部門的GMP生產認證。因此，如何自動發現并剔除由此產生的不合格藥品產品，成為了一個重要的研究課題。

圖像匹配是鋁塑泡罩藥品包裝缺陷檢測系統的一個關鍵環節，主要研究的是2幅圖像對應像素點的匹配。隨著圖像匹配的必要性的增加和應用的越來越廣泛，圖像處理中出現的圖像匹配方法種類很多，但最終的目標，都是為了提高圖像匹配的實時性、準確性，匹配時的抗干擾性以及通用性。總結目前所有的研究狀況，大體可將圖像匹配方法分為3大類：基于灰度、基于特征和基于解釋[2]。其中，基于特征的方法是現今圖像匹配的主要研究與發展方向。這種匹配方法的原理是，尋找待處理圖像某區域中的特征點或者關鍵點，在計算特征點周圍的特征相似度后，進行2幅圖像之間的匹配。首先提取2幅匹配圖像中的某局部區域的特征點或關鍵點集，然后通過比對這個區域中2個點集之間的函數關系，計算出2個特征點間的相似度，以達到圖像匹配的目的。基于特征的方法不是直接采納全部的圖像內容進行匹配，而是有針對性地選取局部區域的紋理特征，這樣算法具有較強的抗干擾性和不變性,因此可以在計算量小的同時兼備魯棒性高的特性。基于特征的匹配方法流程如圖1所示。

圖1 特征匹配方法框圖Fig.1The block diagram of feature matching method

目前已經研究出的特征匹配方法中，由加拿大教授D. G. Lowe提出的SIFT（scale invariant feature transform）算法是一種用于興趣點的檢測和描述的算法。不變性是它最根本的特點。由于其計算量比較大，大大影響了現實所要求的匹配快速性[3]。因此，需要對SIFT算法進行改進。LBP（local binary patterns）算法是一種描述某像素點與周圍像素點之間的大小關系的二進制描述。LBP算法具有相平移不變性，且計算簡單。為滿足泡罩包裝檢測中準確性和快速性的要求，本文提出了一種基于LBP直方圖的SIFT匹配方法。

1 LBP描述

LBP是對圖像局部鄰域的紋理特征進行二進制描述的算子。本文以3×3鄰域窗口（見圖2）為例來說明其計算過程[4]：

第1步在圖2a 3×3 大小的9格窗口中，將目標中心點的灰度值作為閥值，與鄰域內四周8個像素點的灰度值進行比較，作二值化處理。即若鄰域像素點的灰度值比中心像素點的灰度值小，則將該鄰域像素點的灰度值置為0；否則置為1，如圖2b所示。

第2步將鄰域8個二值結果分別與圖2c中2的指數次權值矩陣作乘積運算，計算結果如圖2d所示。

第3步將圖2d中鄰域8個加權值全部相加，進行加權求和，得到的十進制數就是3×3鄰域窗口的LBP特征值，即中心像素點的LBP特征值為1+2+4=7。

圖2 LBP特征值的計算過程Fig.2The LBP calculation process

因為LBP特征不只是局限于3×3鄰域，為了提高其表達能力，可以在以特征點為中心、半徑為1的圓周上均勻地取8個點[5]，如圖3所示。下面通過公式（1）說明擴展LBP特征的計算過程。假設go是中心像素點的灰度值，g1, g2, …, g8分別是鄰域8個采樣點的灰度值，中心像素點鄰域窗口的LBP特征計算公式為

式中，函數S將gi與go的差作二值化處理[6]。

圖3 P=8, R=1.0時的圓對稱區域Fig.3The circularly symmetric area of P=8 and R=1.0

由于本文以藥品鋁塑泡罩包裝為研究對象，因此取了4幅藥品鋁塑泡罩包裝的圖像，第一副是標準的模版圖，第二幅是底板空洞的圖像，第三幅是缺粒空亮的圖像，第四幅是缺粒空暗的圖像，如圖4所示。

圖4 鋁塑泡罩包裝原圖Fig.4The diagram for aluminum-plastic blister packaging

當圖像發生旋轉時，圓形鄰域各點的灰度值gi仍然以go為圓心，半徑為R的圓周上運動。由式（1）可以得出，若通過S(gi-go)得到的值不是全部為0或者1，當圖像旋轉時，將得到不同的LBP特征值[7]。LBP直方圖具有平移不變性。圖4的4幅圖像的LBP直方圖如圖5所示。

圖5 LBP直方圖Fig.5The LBP histogram

2 特征點提取

SIFT算法是由D. G. Lowe 提出的一種描述子，描述對象是局部區域。該算法在尺度空間的基礎上，檢測出圖像的關鍵點，對圖像的旋轉和縮放能保持不變性[8]。

通常，某一尺度下幾乎檢測不到其它尺度下的特征。SIFT算子是在不同尺度空間中比較圖像的灰度值來確定特征點，采用差分高斯函數D(x, y,)[9]來提取目標圖像的穩定特征，其是通過對相鄰層的卷積結果進行差值處理得到，表達式如下

函數G為高斯函數；

函數L為對應圖像的尺度空間。

對圖4中的4幅鋁塑泡罩圖像采用SIFT算法提取特征點，如圖6所示。

圖6 鋁塑泡罩圖像特征點Fig.6The feature points of aluminum-plastic blister image

3 特征點匹配

SIFT算子具有獨特性好、信息量豐富、匹配能力強等特點。因此，基于LBP直方圖的SIFT匹配算法既解決了基本LBP算子的旋轉變化性問題，又減少了SIFT算子的計算量，這樣可以達到互補的效果[10]。

本文通過在高斯多尺度空間中剔除極值點中不穩定的點，穩定點作為待提取的關鍵點[11]。之后，對關鍵點周圍作LBP直方圖描述。根據此描述，利用SIFT算法對2幅圖像進行匹配。該算法流程如圖7所示。

圖7 算法流程圖Fig.7Flow chart of the algorithm

藥品鋁塑泡罩包裝的標準模板圖與底板空泡圖的匹配如圖8所示。標準模板圖與缺粒空亮圖的匹配如圖9所示。標準模板圖與缺粒空暗圖的匹配如圖10所示。

圖8 鋁塑泡罩標準模板圖與底板空泡圖匹配Fig.8The feature matching of the blister standard template image and bottom cavitation image

圖9 鋁塑泡罩標準模板圖與缺粒空亮圖匹配Fig.9The feature matching of the blister standard template image and the lack grain light image

圖10 鋁塑泡罩標準模板圖與缺粒空暗圖匹配Fig.10The feature matching of the blister standard template and the lack grain dark image

試驗數據如表1所示。

表12 種算法測試結果表Table 1Test results of two algorithms

上述試驗結果表明，針對藥品鋁塑泡罩包裝中底板空泡、缺粒空亮、缺粒空暗等一些常見的包裝缺陷，本算法能準確檢測出這些缺陷[12]。從表1可以看出，本方法與單純的SIFT方法相比，標準模板圖分別與底板空泡圖、缺粒空亮圖、缺粒空暗圖進行匹配所需時間相應地節約了13%, 15%, 23%，本方法更符合工業生產中實時、快速的要求。

4 結語

藥品鋁塑泡罩包裝具有保護藥品、生產速度快、成本低、儲存占用空間小、重量輕等優點，因此，多數藥品都是采用鋁塑泡罩包裝。針對藥品鋁塑泡罩包裝缺陷檢測問題，本文提出了一種基于于LBP直方圖的的SIFT匹配方法。在保證不變性的同時，在一定程度上減少了運算時間，提高了檢測效率，更符合工業生產中的實際要求。

[1]劉莉，薛凡. 包裝標準化影響因素實證分析：以長株潭地區包裝企業為例[J]. 包裝學報，2012，4(4)：50-54. Liu Li，Xue Fan. Empirical Study of Influencing Factors on Packaging Standardization：Taking Packaging Firms in Chang-Zhu-Tan District as an Example[J]. Packaging Journal，2012，4(4)：50-54.

[2]朱伯誠. 基于特征點的圖像匹配算法的研究與實現[D].成都：電子科技大學，2012. Zhu Bocheng. Research and Implementation of Image Matching Algorithm Based on Feature Points[D]. Chengdu：University of Electronic Science and Technology of China，2012．

[3]李巖琪. 基于SIFT算子的雙目視覺立體匹配算法研究[D]. 西安：西安電子科技大學，2010. Li Yanqi. Research on an Algorithm for Binocular Stereo Vision Image Matching Based on SIFT Operator[D]. Xi’an：University of Electronic Science and Technology of Xi’an，2010．

[4]王瑋，黃非非，李見為，等. 采用LBP金字塔的人臉描述與識別[J]. 計算機輔助設計與圖形學學報，2009，21(1)：94-100．Wang Wei，Huang Feifei，Li Jianwei，et al. Face Description and Recognition by LBP Pyramid[J]. Journal of Computer-Aided Design & Computer Graphics，2009，21(1)：94-100．

[5]Julsing B K. Face Recognition with Local Binary Patterns [D]. Bachelor Assignment：University of Twente，2007.

[6]Frank R. Scattered Data Interpolation：Test of Some Methods[J]. Mathematics of Computation，1982，38(157)：181-200.

[7]Ojala T，Pietik inen M，M enp T. Multiresolution Gray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence，2002，24(7)：971-987.

[8]趙立輝，楊紅喆，郭棟，等. 印品檢測過程中基于SIFT算法縮小匹配范圍的方法[J]. 包裝工程，2013(9)：104 -107. Zhao Lihui，Yang Hongzhe，Guo Dong，et al. Method to Reduce Matching Range in Print Detection Based on SIFT Algorithm[J]. Packaging Engineering，2013(9)：104-107.

[9]潘子昂. 基于SIFT算法的圖像匹配研究[D]. 西安：西安電子科技大學，2012. Pan Ziang. Research of Image Matching Based on SIFT Algorithm[D]. Xi’an：Electronic and Science University of Xi’an，2012.

[10]鄭永斌，黃新生，豐松江. SIFT和旋轉不變LBP相結合的圖像匹配算法[J]. 計算機輔助設計與圖形學學報，2010，22(2)：286-292． Zheng Yongbin，Huang Xinsheng，Feng Songjiang. An Image Matching Algorithm Based on Combination of SIFT and the Rotation Invariant LBP[J]. Journal of Computer Aided Design & Computer Graphics，2010，22(2)：286-292．

[11]Gao Ke，Lin Shouxun，Zhang Yongdong，et al. Attention Model Based SIFT Keypoints Filtration for Image Retrieval// 7th IEEE/ACIS International Conference on Computer and Information Science. [S. l.]：IEEE，2008：191-196.

[12]Sirmacek B，Unsalan C. Urban-Area and Building Detection Using SIFT Keypoints and Graph Theory[J]. IEEE Transactions on Geosciences and Remote Sensing，2009. doi:10.1109/TGRS.2008.2008440.

（責任編輯：鄧彬）

Pharmaceutical Packaging Defect Detection Method Based on LBP Histogram and SIFT

Chen Caibiao，Yu Huijun，Zhang Faming，Wu Wan，Zhou Zhiwei
（School of Electrical and Information Engineering，Hunan University of Technology，Zhuzhou Hunan 412007，China）

In view of the defect detection of aluminum-plastic blister drug packaging, put forward a matching method based on LBP histogram and SIFT. First, extracted the feature points in the image of aluminum-plastic blister drug packaging, and then calculated the LBP histogram of the surrounding area. Finally matched the feature points to judge if there is defect on the medicine packaging. The test results show that compared to common SIFT algorithm, the method has faster computing speed and meets the demand of industrial production.

LBP histogram；SIFT；key points；defect detection

TP391.413

A

1673-9833(2014)04-0091-05

10.3969/j.issn.1673-9833.2014.04.020

2014-05-29

湖南省科學計劃基金資助項目（2012FJ4265）

陳財彪（1990-），男，湖南郴州人，湖南工業大學碩士生，主要研究方向為信息集成與協調控制，E-mail：05biao@sina.com