一般光照條件下鋁塑泡罩藥品包裝檢測(cè)系統(tǒng)

張中然 焦波 孫志勇 丁明娜

摘要：鋁塑泡罩包裝是目前主要的藥品包裝形式，其表面在不同的光照和拍攝角度下成像情況變化較大。為了解決包裝過程中產(chǎn)生的漏粒問題，采用視覺在線檢測(cè)技術(shù)代替?zhèn)鹘y(tǒng)人工檢測(cè)，設(shè)計(jì)了目標(biāo)區(qū)域分割算法，對(duì)不同尺寸、形狀的鋁塑泡罩包裝的藥品快速準(zhǔn)確提取目標(biāo)區(qū)域。針對(duì)實(shí)際檢測(cè)中光照情況不穩(wěn)定和藥品包裝表面復(fù)雜的反射情況，設(shè)計(jì)了圖像分割算法，可在準(zhǔn)確分辨藥片位置。開發(fā)了基于OpenCV和Qt的視覺檢測(cè)系統(tǒng)，并搭建實(shí)驗(yàn)平臺(tái)，采用30萬像素200幀攝像機(jī)拍攝，圖像檢測(cè)速度在150ms以內(nèi)，能適應(yīng)非白色藥品的多種鋁塑泡罩包裝的檢測(cè)。系統(tǒng)對(duì)照明要求低、適應(yīng)性強(qiáng)。可以代替人工檢測(cè)。

關(guān)鍵詞：

藥品包裝檢測(cè)；圖像分割；圖像處理

DOI：1015938/jjhust201705012

中圖分類號(hào)： TP216

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2017）05-0065-05

Detecting System for Pharmaceutical AluminumPlastic Blister

Packaging under Common Lighting Conditions

ZHANG ZHongran1，JIAO Bo1，SUN Zhiyong2，DING Mingna1

（1Rongcheng Campus，Harbin University of Science and Technology，Rongcheng 264300，China；

2Shandong Dynemarine Biopharmaceutical Limited by Share Ltd，Rongcheng 264300，China）

Abstract：At present，aluminumplastic blister packaging is the main method of pharmaceutical packaging， whose imaging changes greatly as the light or shooting angle varies on its surface Therefore， the visual lineinspection technology， instead of traditional manual inspection， is adopted in this paper to solve the grainleaking problem during the packaging process An segmentation algorithm of target region is designed to precisely extract the target region of aluminumplastic blister packaging with different sizes or shapes At the same time， an image segmentation algorithm is designed to distinguish the position of tablets accurately under the unstable light and complicated surface reflections in the actual detection And then， the visual inspection system based on Open CV and Qt has been developed Using 200 million pixels 30frame camera， an experiment platform has been set up， which can adapt to a variety of nonwhite pharmaceutical packaging of aluminumplastic blister detection， as its image detection speed must be within 150m/s Besides， the system has lower requirement for illumination and can replace manual inspection with its great adaptability

Keywords：detection for medicine packaging； image segmentation； image processing

收稿日期： 2016-01-17

基金項(xiàng)目： 山東省高等學(xué)校科技計(jì)劃項(xiàng)目（J16LB62）

作者簡介：

張中然（1983—），男，碩士；

孫志勇（1986—），男，學(xué)士

通信作者： 焦波（1981—），女，博士，Email：jiaobo@hrbust.edu.cn

0引言

鋁塑泡罩包裝是目前發(fā)展前景最好的藥品包裝材料之一，由于在包裝過程中會(huì)出現(xiàn)藥品漏裝、缺損等情況，因此藥品包裝質(zhì)量檢測(cè)成為藥品生產(chǎn)中的重要環(huán)節(jié)[1-2]。目前國內(nèi)的許多制藥廠家，還是采用人工檢測(cè)的辦法來檢測(cè)藥品包裝質(zhì)量。人工挑選成本高、分選差異性大，勞動(dòng)強(qiáng)度大，難以保證準(zhǔn)確度。因此代替人工實(shí)現(xiàn)藥品鋁塑泡罩包裝檢測(cè)自動(dòng)化設(shè)備很有必要。

近年來發(fā)達(dá)國家在藥品包裝在線質(zhì)量檢測(cè)方面不斷開展研究。例如，美國康耐視公司開發(fā)InSight視覺系統(tǒng)可在藥片封裝前進(jìn)行檢測(cè)，但系統(tǒng)操作復(fù)雜，價(jià)格高，并要求操作者具備一定的專業(yè)知識(shí)[3]。美國 PTI公司的泡罩藥品檢測(cè)系統(tǒng)，可以檢測(cè)泡罩缺粒、破損、藥片顏色、形狀基本功能，其檢測(cè)速度有待提高[4]。德國的MVTec公司，加拿大的達(dá)爾薩（DALSA）公司分別推出了視覺檢測(cè)產(chǎn)品。我國視覺檢測(cè)產(chǎn)品的研究尚處于起步階段，天津大學(xué)搭建了基于DSP了泡罩藥品視覺檢測(cè)系統(tǒng)，西安至信控制系統(tǒng)集成有限責(zé)任公司推出的基于工控機(jī)的藥品包裝檢測(cè)產(chǎn)品，文[4]指出以上產(chǎn)品或未投入實(shí)際工業(yè)應(yīng)用或者系統(tǒng)對(duì)拍攝環(huán)境要求高致使產(chǎn)品結(jié)構(gòu)復(fù)雜，且需要工控機(jī)完成處理過程，系統(tǒng)體積過大。大恒圖像研發(fā)的藥片檢測(cè)機(jī)，文[3]指出其檢測(cè)精度過高，對(duì)拍照條件要求高，致使機(jī)構(gòu)復(fù)雜不易對(duì)生產(chǎn)線直接進(jìn)行改造。endprint

很多圖像檢測(cè)系統(tǒng)未投入實(shí)際使用的一個(gè)主要原因是對(duì)照明條件變化非常敏感，檢測(cè)結(jié)果在不同的光照下不穩(wěn)定[5-6]。對(duì)于藥品鋁塑泡罩包裝而言，其情況更加復(fù)雜，因?yàn)樗幤放菡职b鋁塑表面為強(qiáng)反射，凸起的藥片會(huì)在周圍產(chǎn)生陰影，凸起的弧面頂端會(huì)反射周圍光源形成光斑，而且由于封裝工藝，包裝本身不平整，背景反光不均勻，這都進(jìn)一步增加了檢測(cè)的難度[7-12]。以黃色藥片為例，提取能區(qū)分背景和藥片的藍(lán)色分量，在照射條件中改變環(huán)境光，其最佳的灰度分割值會(huì)放生變化，如圖1所示。第一組圖片的灰度分割值是85取得了很好的效果，但由于環(huán)境光的變化，后面兩組圖片分割效果不是很好，為后續(xù)的處理帶來了很大的困難。所以很多檢測(cè)系統(tǒng)為了可以提高實(shí)踐檢測(cè)的穩(wěn)定性，都設(shè)計(jì)了特定的光源以及拍攝環(huán)境，這樣做使得檢測(cè)機(jī)構(gòu)復(fù)雜，不易對(duì)現(xiàn)有生產(chǎn)線進(jìn)行改造，限制了檢測(cè)系統(tǒng)的使用[3，13-14]。另外，如圖2所示，相同的照明環(huán)境下，由于藥板的強(qiáng)反射，加上彎曲情況和擺放情況不同，表面成像也會(huì)有較大差異。

檢測(cè)速度也是制約檢測(cè)系統(tǒng)應(yīng)用的因素之一。隨生產(chǎn)的集成和自動(dòng)化程度越來越高，實(shí)時(shí)控制，體積小巧，有自主知識(shí)產(chǎn)權(quán)的智能化設(shè)備已經(jīng)成為發(fā)展趨勢(shì)，所以越來越多的嵌入式系統(tǒng)代替?zhèn)鹘y(tǒng)工控機(jī)，由于一般的嵌入式系統(tǒng)相對(duì)與工控機(jī)來說運(yùn)算速度較低，這就對(duì)圖像處理算法提出了更高的要求[4，15-16]。

本文開發(fā)了基于視覺的鋁塑泡罩藥品包裝檢測(cè)系統(tǒng)，對(duì)非白色藥品缺粒進(jìn)行檢測(cè)，設(shè)計(jì)了不需要圖像前期處理直接對(duì)藥品包裝進(jìn)行定位的二維間隔掃描法，提高了算法的處理速度，設(shè)計(jì)了在一般照明條件下，對(duì)藥片進(jìn)行分割和個(gè)數(shù)統(tǒng)計(jì)的圖像算法，并搭建了試驗(yàn)平臺(tái)對(duì)檢測(cè)效果進(jìn)行檢驗(yàn)。

1二維間隔掃描法目標(biāo)區(qū)域提取

圖像檢測(cè)只需要處理藥品包裝的區(qū)域，無需對(duì)相機(jī)拍攝的整幅圖片進(jìn)行處理，而且在實(shí)際生產(chǎn)線上藥品包裝的排列是大致規(guī)律的，如圖3所示，所以本文應(yīng)用了平行于相機(jī)坐標(biāo)XY軸的圖像切割提取方式，雖然由于相機(jī)坐標(biāo)和實(shí)際藥品包裝邊緣會(huì)有一定傾斜，使提取區(qū)域增大，但實(shí)際當(dāng)中增加值比較小。本文研究中，相機(jī)的X軸方向與包裝機(jī)運(yùn)行方向大致相同，藥板長邊與包裝機(jī)運(yùn)行方向大致平行。將拍攝的圖片在X軸方向間隔t個(gè)像素取1列，共取n列，n的數(shù)值如式1所示：

n=nxt（1）

式中：nx為圖像列數(shù)。分別求出各列像素和Sx（j）如式2所示

Sx（j）=∑nyi=1f（i，tj），j=1，2，3，4，……，n，i=1，2，3，4，……，ny（2）

式中：f為原圖像像素灰度值，Sx（j）為在寬度方向上間隔t個(gè)像素選取一列的所有像素灰度值之和，ny為圖像行數(shù)。當(dāng)t=6時(shí)，Sx（j）值的分布如圖4所示，可以看到所取列的灰度值和在藥品區(qū)域比較高，背景區(qū)域較低，而且由于藥品包裝的表面強(qiáng)反射，光照越強(qiáng)這種差別也會(huì)越大。之所以高低值之間不是突然變化，是因?yàn)樗幇逑鄬?duì)于相機(jī)坐標(biāo)存在一定傾斜，調(diào)整傳動(dòng)機(jī)構(gòu)可以減小這種誤差。截取精度取決于選擇t的大小，可以根據(jù)實(shí)際情況進(jìn)行選擇。

然后用最小二乘法以多項(xiàng)式（3）對(duì)離散數(shù)據(jù)進(jìn)行曲線擬合。在實(shí)驗(yàn)階段中，對(duì)100張圖片數(shù)據(jù)進(jìn)行了數(shù)據(jù)擬合，當(dāng)擬合函數(shù)次數(shù)k=20時(shí)，F(xiàn)（j）在數(shù)據(jù)點(diǎn)（j，Sx（j））處的偏差平方和最小，擬合效果最優(yōu)，得到擬合函數(shù)F（j）如圖5所示。

F（j）=a0+a1j+a2j2+…+akjk（3）

求一階導(dǎo)數(shù)F′（j）為零的所有根，并取相鄰根的縱坐標(biāo)值進(jìn)行依次求差，找出最大值Um和最小值Un，如式（4）所示，對(duì)應(yīng)的tjm和tjn就為目標(biāo)所在列的范圍。這種方法可以使數(shù)據(jù)波形變得平緩，起到近似濾波的作用，使受到外界環(huán)境的因素大大降低。目標(biāo)所在行范圍求法相同與列范圍相同，這樣就可以確定檢測(cè)目標(biāo)所在的區(qū)域。

F′（j）=a1+2a2j+…+kakjk-1（4）

Um=max{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤m≤k-1）

Un=min{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤n≤k-1）

2一般光照條件下的圖像分割

所謂一般光照條件是指不需要使用復(fù)雜的工業(yè)光源，如漫散圓頂光源、平頂光源等，而使用普通光源，如平板LED燈、日光燈管，對(duì)攝像鏡頭也沒有經(jīng)過特殊的調(diào)整。

21圖像的預(yù)處理

由于泡罩包裝藥品的圓弧凸起表面會(huì)反射光源等發(fā)光體，呈現(xiàn)光斑，給后期的圖像處理帶來不便，實(shí)驗(yàn)時(shí)通過濾波方式減少光斑的影響，再與后面介紹的圖像處理算法配合，得到了比較滿意的結(jié)果。經(jīng)對(duì)多種濾波方式進(jìn)行比較后，最后選擇了高斯濾波。

高斯濾波器對(duì)圖像初步降噪，其是對(duì)每一個(gè)像素點(diǎn)做高斯卷積。在高斯濾波器中，像素的權(quán)重與它離開中心像素點(diǎn)的距離成正比。二維高斯函數(shù)如式（5）所示[17]：

G0（x，y）=Ae-（x-ux）22σ2x+-（y-uy）22σ2y（5）

歸一化系數(shù)A使得不同權(quán)重之和為一，σ值控制高斯函數(shù)的高度。這個(gè)值越大，生成的函數(shù)越平坦，該處理使得圖像看起來變得模糊。

22圖像分割

通過遍歷圖像，比較每一個(gè)點(diǎn)與目標(biāo)顏色點(diǎn)的距離，選擇其中距離低于某一閾值的部分保留下來[18]。結(jié)果如圖6中以白色區(qū)域所示。

在準(zhǔn)備使用分水嶺算法獲得圖像的邊緣之前，為了避免均值區(qū)過多，首先生成前景圖和背景圖，疊加后再進(jìn)行分割。通過多次膨脹獲得背景圖，如圖7（a）所示；通過多次腐蝕后，顏色取反得到前景圖，如圖7（b）所示。通過使用腐蝕與膨脹，濾除了圖像中的噪點(diǎn)與孔洞[19-20]。

使用分水嶺算法，通過對(duì)背景圖與前景圖的范洪處理，得到比較準(zhǔn)確的目標(biāo)提取區(qū)域，如圖8所示。在一般光照射環(huán)境下，成功地將背景圖像與前景藥片分離，為后處理輪廓檢測(cè)與形狀描述奠定了基礎(chǔ)。endprint

3連通區(qū)域輪廓檢測(cè)及數(shù)量統(tǒng)計(jì)

為了計(jì)算藥片的個(gè)數(shù)，對(duì)連通區(qū)域進(jìn)行輪廓檢測(cè)。使用了OpenCV的FindContours函數(shù)用于檢測(cè)連通區(qū)域的輪廓。對(duì)圖像進(jìn)行連通區(qū)域輪廓提取，需要首先聲明輪廓向量與輪廓參數(shù)向量，然后通過繪制輪廓函數(shù)繪制圖像，即連通區(qū)域的輪廓，結(jié)果如圖9所示，由于采用普通LED平板燈照明，所以藥品輪廓提取精確度不高。計(jì)算出連通區(qū)域的輪廓后，通過迭代器對(duì)輪廓向量進(jìn)行遍歷，得到檢測(cè)出的輪廓數(shù)量，從而統(tǒng)計(jì)出藥片個(gè)數(shù)。

4藥品泡罩包裝檢測(cè)實(shí)驗(yàn)平臺(tái)

檢測(cè)平臺(tái)主要針對(duì)泡罩包裝生產(chǎn)過程中出現(xiàn)的缺粒問題實(shí)現(xiàn)了檢測(cè)與剔除功能，其包含五個(gè)部分：工控機(jī)、下位機(jī)控制單元、工業(yè)相機(jī)、光源、分選裝置，結(jié)構(gòu)如圖10所示。相機(jī)下方的光電傳感器檢測(cè)的藥片位置，通過下位機(jī)傳遞給上位機(jī)軟件，上位機(jī)軟件控制工業(yè)相機(jī)拍攝，并對(duì)圖像進(jìn)行分析，分析完成后將結(jié)果傳遞給下位機(jī)，由下位機(jī)控制分選裝置執(zhí)行相應(yīng)動(dòng)作。工控機(jī)用戶界面分為下位機(jī)串口設(shè)置、相機(jī)設(shè)置、藥品設(shè)置、傳送帶控制、分選裝置控制、檢測(cè)狀態(tài)顯示、圖像采集結(jié)果顯示、視覺檢測(cè)處理結(jié)果顯示等部分，如圖11所示。

在實(shí)驗(yàn)平臺(tái)上，反復(fù)使用藥品樣本（如圖12所示）進(jìn)行檢測(cè)，每次1000次檢測(cè)，其中500次檢測(cè)的為不合格品。分別在8：00、12：00和17：00在進(jìn)行實(shí)驗(yàn)，表1為該實(shí)驗(yàn)平臺(tái)在實(shí)驗(yàn)室環(huán)境下統(tǒng)計(jì)結(jié)果，其中第二次實(shí)驗(yàn)誤檢是由于中午光線直射過強(qiáng)，藥片包裝表面強(qiáng)反射，引起的傳感器誤動(dòng)作，在實(shí)際應(yīng)用中經(jīng)調(diào)整后可以改善。

5結(jié)論

本文針對(duì)藥品鋁塑泡罩包裝在一般光照條件下檢測(cè)的問題，設(shè)計(jì)了快速提取目標(biāo)區(qū)域和反光不均勻背景下的目標(biāo)識(shí)別方法。二維間隔掃描法可以不經(jīng)過前期處理，快速提取目標(biāo)區(qū)域，減小了處理圖片的尺寸，從而提高了計(jì)算速度。采用30萬像素200幀攝像機(jī)拍攝，圖像檢測(cè)速度在150ms以內(nèi)，如提高工控機(jī)性能，速度可進(jìn)一步提高，滿足了大多數(shù)檢測(cè)的需求。設(shè)計(jì)目標(biāo)識(shí)別方法其對(duì)拍攝環(huán)境要求低，設(shè)備簡單，增強(qiáng)了檢測(cè)系統(tǒng)的適應(yīng)性，可以便捷的對(duì)現(xiàn)有生產(chǎn)線進(jìn)行改造。搭建了藥品包裝質(zhì)量檢測(cè)系統(tǒng)實(shí)驗(yàn)平臺(tái)，對(duì)系統(tǒng)的有效性進(jìn)行了驗(yàn)證。

參 考 文 獻(xiàn)：

[1]朱俊.藥品鋁塑泡罩包裝印刷材料的發(fā)展創(chuàng)新引領(lǐng)未來[J].印刷質(zhì)量與標(biāo)準(zhǔn)化，2014（9）：16-22

[2]楊忠敏 解讀藥品的鋁塑泡罩包裝的應(yīng)用與發(fā)展[J]. 機(jī)電信息，2015（5）： 56-59

[3]符翔 泡罩包裝藥品視覺檢測(cè)系統(tǒng)圖像處理方法研究[D]. 湘潭： 湖南科技大學(xué)，2014：5-18

[4]呂忠偉 泡罩藥丸包裝缺陷的機(jī)器視覺檢測(cè)技術(shù)研究 [D]. 武漢： 華中科技大學(xué)，2011：8-20

[5]JOHN A， HUDE W， SCALZETTI E M， et al Performance of a Single Lookup Table for Displaying Chest CT images[J]. Academic Radiology， 2004， 11（6）：609-616

[6]RESENDIZE， HART J M， AHUJA N Automated Visual Inspection of Railroad Tracks[J]. IEEE Transactions on Intelligent Transportation Systems， 2013， 14（2）：751-760

[7]賀振東 基于反向PM擴(kuò)散的鋼軌表面缺陷視覺檢測(cè)[J]. 自動(dòng)化學(xué)報(bào)，2014，40（8）： 1667-1679

[8]曹頻 球面光學(xué)元件表面疵病評(píng)價(jià)系統(tǒng)中關(guān)鍵技術(shù)研究[D]. 浙江大學(xué)， 2015：10-50

[9]汪佛池， 閆康， 張重遠(yuǎn)，等 采用圖像分析與神經(jīng)網(wǎng)絡(luò)識(shí)別絕緣子憎水性[J]. 電機(jī)與控制學(xué)報(bào)， 2014， 18（11）：78-83

[10]ZHANG Y， TANG J， YANG D Detection of Defects on A Shiningmetal Surface Using Reflective Fringe Pattern[J]. Metrology & Measurement Technology， 2013（33）：100-102

[11]SU P， KHREISHI M， SU T， et al Aspheric and Freeform Surfaces Metrology with Software Configurable Optical Test System： A Computerized Reverse Hartmann Test[J]. Optical Engineering， 2013， 53（3）：123-128

[12]YU D， HAN J， JIN X， et al Efficient Highlight Removal of Metal Surfaces[J]. Journal of Signal Processing， 2013， 103（10）：367-379

[13]王義文， 藺勇智， 賈冬開， 等 空氣與油液介質(zhì)下鋼球表面缺陷檢測(cè)效果對(duì)比分析[J]. 軸承， 2010（5）：37-39

[14]張怡卓， 許雷， 丁亮， 等 基于圖像融合分割的實(shí)木地板表面缺陷檢測(cè)方法[J]. 電機(jī)與控制學(xué)報(bào)， 2014（7）：113-118

[15]周祖德，龍毅宏 嵌入式網(wǎng)絡(luò)數(shù)控技術(shù)與系統(tǒng)[J]. 機(jī)械工程學(xué)報(bào)，2007，43（5）： 1-7

[16]趙繼焊縫磨拋機(jī)器人視覺算法實(shí)現(xiàn)及其試驗(yàn)研究[J]. 機(jī)械工程學(xué)報(bào)，2013，49（20）： 42-48

[17]孫慧利用特征空間主分量分解實(shí)現(xiàn)自適應(yīng)小目標(biāo)檢測(cè)算法[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2011， 16（3）： 62-67

[18]JIANG M H， KIM SW， FALOUTSOS C et al.Accurate Approximation of the Earth Movers Distance in Linear Time[J]. Journal of Computer Science and Technology， 2014， 29（1）：142～154

[19]VACHIER C， MEYER F The Viscous Watershed Transform[J]. Journal of Mathematical Imaging and Vision， 2005， 22（2-3）：251-267

[20]佘青山， 楊偉健， 田卓， 等 基于運(yùn)動(dòng)輪廓標(biāo)記提取的分水嶺運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 大連理工大學(xué)學(xué)報(bào)， 2014（6）：656-661

（編輯：關(guān)毅）endprint