基于機(jī)器視覺的煙絲質(zhì)量特征在線量化分析

康曉珍，楊 義，謝尚宇，孫 哲，方世杰

（1.河南中煙工業(yè)有限責(zé)任公司黃金葉生產(chǎn)制造中心，鄭州 450000；2.首域科技（杭州）有限公司，杭州 310000）

隨著企業(yè)品牌規(guī)模擴(kuò)大，產(chǎn)品均質(zhì)化生產(chǎn)成為企業(yè)關(guān)注的焦點(diǎn)之一。煙絲過程質(zhì)量的穩(wěn)定性對(duì)成品卷煙質(zhì)量的均質(zhì)化具有重要意義。目前煙絲過程質(zhì)量在線檢測指標(biāo)有限，煙絲物理指標(biāo)檢測方法復(fù)雜，人工抽檢數(shù)據(jù)量少，不能全程檢測煙絲質(zhì)量，存在一定的局限性。

視覺檢測在煙絲外觀質(zhì)量特征識(shí)別方面有一定的技術(shù)優(yōu)勢(shì)，且在煙草生產(chǎn)領(lǐng)域，對(duì)煙絲外觀質(zhì)量的檢測有很大的研究空間，探索煙絲外觀質(zhì)量特征與煙絲物理指標(biāo)之間的關(guān)聯(lián)關(guān)系，不僅可以增加過程煙絲檢測指標(biāo)維度，對(duì)煙絲過程質(zhì)量的評(píng)價(jià)也將是一個(gè)新的突破點(diǎn)。

夏營威[1]等設(shè)計(jì)出離線煙絲寬度測量裝置，其基于制絲過程中切絲所造成的平直切口邊緣為測量點(diǎn)，來進(jìn)行切口匹配進(jìn)行寬度的測量，其實(shí)現(xiàn)了離線煙絲寬度的測量，并達(dá)到0.1 mm的精度。2014年，研究人員[2]提出使用多項(xiàng)式函數(shù)曲線方程來擬合煙絲骨架走勢(shì)，通過求取骨架上具體點(diǎn)位的切線斜率和其斜率法線與煙絲的2個(gè)相交點(diǎn)，將兩相交點(diǎn)之間距離表示為單個(gè)煙絲寬度測量值。

2021年，趙繼俊等[3]實(shí)驗(yàn)對(duì)比了基于圖像處理的煙絲寬度測量方法和ISO 20193—2019《煙草和煙草制品.煙絲條寬度的測定》[4]文件所提出國際標(biāo)準(zhǔn)煙絲寬度測量方法的精密度、效率。吳文強(qiáng)等[5]設(shè)計(jì)出結(jié)合風(fēng)選結(jié)構(gòu)方式和圖像識(shí)別技術(shù)的在線煙絲檢測方式，應(yīng)用于制絲風(fēng)選室內(nèi)實(shí)現(xiàn)在線實(shí)時(shí)檢測統(tǒng)計(jì)煙絲長度、寬度和面積等。2022年，劉洪坤等[6]提出新的基于變徑圓的煙絲寬度檢測方法，通過最大類間方差法分割煙絲和背景，并基于煙絲骨架線尋找一系列點(diǎn)作為圓心，在骨架線中畫出多個(gè)煙絲內(nèi)切圓，并將多個(gè)內(nèi)切圓的平均直徑作為煙絲寬度，其方法對(duì)比于ISO投影法和Hough變化法，整體提高了煙絲寬度檢測的效率和準(zhǔn)確率。

本文介紹了一種使用機(jī)器學(xué)習(xí)算法在線測量煙絲特征的新型檢測儀，其設(shè)計(jì)應(yīng)用于煙絲烘絲產(chǎn)線后實(shí)時(shí)在線檢測煙絲的不同形態(tài)特征，并能及時(shí)通過應(yīng)用終端向操作人員實(shí)時(shí)展示煙絲尺寸的各項(xiàng)數(shù)值（包括但不限于煙絲長度、煙絲寬度和煙絲卷曲度等參數(shù)），從而及時(shí)調(diào)整各項(xiàng)生產(chǎn)指標(biāo)，保證煙絲整體的產(chǎn)品質(zhì)量，幫助煙廠把控?zé)熃z工藝質(zhì)量，提高煙絲品質(zhì)。

1 測量儀系統(tǒng)組成

本在線煙絲測量儀由抖料裝置系統(tǒng)、圖像采集系統(tǒng)組成，如圖1所示。

圖1 在線煙絲測量儀系統(tǒng)構(gòu)造圖

1.1 抖料系統(tǒng)

抖料系統(tǒng)主要負(fù)責(zé)獲取、分離并攤平煙絲，最后將攤平的煙絲通過皮帶送入圖像采集系統(tǒng)中。

抖料裝置主要由自動(dòng)獲取煙絲的伸縮接料裝置和用于分離、攤開煙絲的兩軸震動(dòng)散料裝置（如圖2所示）組成，其中兩軸震動(dòng)散料裝置又由用于分離成團(tuán)煙絲的漏斗和用于攤平煙絲的水平震動(dòng)槽組成。儀器在運(yùn)行過程中，伸縮接料裝置從運(yùn)行的產(chǎn)線中接取成坨煙絲物料，并送入上下抖動(dòng)的漏斗中，漏斗由電機(jī)驅(qū)動(dòng)，按照固定的頻率進(jìn)行往返振篩，煙絲在經(jīng)過抖動(dòng)漏斗中，由其內(nèi)部結(jié)構(gòu)（共3層）進(jìn)行分離，最后經(jīng)過振篩的煙絲會(huì)落到漏斗正下方的水平震動(dòng)槽上。水平震動(dòng)槽表面由小米粒板組成，水平震動(dòng)槽同樣進(jìn)行著高頻率的震動(dòng)使掉入其中的煙絲能夠被高速抖動(dòng)送入水平皮帶裝置，并最終落入水平皮帶裝置表面。落入水平皮帶表面的煙絲能夠基本達(dá)到互相分離、不重疊的狀態(tài)，被繼續(xù)被運(yùn)動(dòng)的皮帶送入圖像采集系統(tǒng)中。

圖2 兩軸煙絲震動(dòng)散料裝置結(jié)構(gòu)圖

1.2 圖像采集系統(tǒng)

圖像采集系統(tǒng)如圖3所示，由遮光罩、相機(jī)組件和水平皮帶裝置組成。水平皮帶為不反光的墨綠色皮帶，高速運(yùn)動(dòng)的皮帶將經(jīng)過抖料裝置分離后落下的煙絲送入遮光罩中。遮光罩由黑色亞克力材質(zhì)制成，用于遮擋外部光線。遮光罩內(nèi)部上方配有LED面光源（400 mm×300 mm發(fā)光面積）照明系統(tǒng)，以保證遮光罩內(nèi)擁有充足的光照，且使視場內(nèi)的亮度、均勻度保持一致。遮光罩正上方處開有一圓形孔洞用于放置相機(jī)組件，相機(jī)組件由面陣相機(jī)（4 096×3 000，14 fps）和鏡頭（16 mm焦距）組成。相機(jī)能夠?qū)崟r(shí)快速拍攝煙絲圖片，并基于機(jī)器視覺算法對(duì)圖片進(jìn)行處理。

圖3 圖像采集系統(tǒng)結(jié)構(gòu)圖

2 相機(jī)標(biāo)定和矯正

這一部分將詳細(xì)介紹如何計(jì)算相機(jī)投影矩陣（相機(jī)內(nèi)外參數(shù)）來減少鏡頭畸變所帶來的影響。

相機(jī)鏡頭的畸變實(shí)際上是由光學(xué)透鏡所固有的透視失真特性而造成的，相機(jī)的畸變通常分為3類：桶形畸變、線性畸變和枕形畸變。相機(jī)畸變會(huì)使拍攝到的物體產(chǎn)生輕微或嚴(yán)重的變形，其對(duì)測量精度要求較高的物體的影響較大，為了保證算法測量計(jì)算出的煙絲特征與煙絲本身的真實(shí)屬性盡可能地逼近，因此對(duì)采集到的圖像先進(jìn)行矯正是十分重要的。

相機(jī)的畸變矯正通過求解相機(jī)的內(nèi)外參數(shù)，使用世界坐標(biāo)系到圖像坐標(biāo)系的映射關(guān)系來調(diào)整圖像，從而盡可能地使矯正后的圖像逼近于真實(shí)圖像。

內(nèi)外參數(shù)的求解通常有2種方法。

第一種是利用給定的標(biāo)定物，拍攝多張不同照片，通過提取控制點(diǎn)來對(duì)相機(jī)內(nèi)外參數(shù)進(jìn)行計(jì)算[7-8]，此方法適用于任意的相機(jī)模型，且標(biāo)定精度較高，但是標(biāo)定過程相對(duì)復(fù)雜，對(duì)標(biāo)定物的精細(xì)程度有一定的要求，且對(duì)噪聲較為敏感。其中張敏等[9]在基于直線特征的非線性畸變校正方法的基礎(chǔ)上提出了一種全新的帶權(quán)重因子的彎曲測度指標(biāo)函數(shù)，這一改進(jìn)大大地提高了畸變矯正的精度。

另一種方法是相機(jī)的非量測畸變校正方法，與第一種方法相比，其不再需要精密的標(biāo)定物件，而是利用了共線點(diǎn)的投影幾何不變性來快速地進(jìn)行參數(shù)的求解[10-11]，張靖等[12]通過構(gòu)建直線和畸變曲線直線的面積參數(shù)，通過遺傳算法來搜索畸變參數(shù)的最小值，據(jù)研究表明該方法具有更好的抗噪聲能力。

本文使用Matlab軟件自帶的相機(jī)標(biāo)定庫（Camera Calibration Toolbox）來進(jìn)行相機(jī)內(nèi)外參數(shù)的計(jì)算，其矯正原理是基于標(biāo)定物的張正友[13]畸變矯正方法。張正友畸變矯正法克服了標(biāo)定物需要高精度這一限制，而僅需要打印出的黑白格棋盤（如圖4所示）作為標(biāo)定物即可。

圖4 黑白棋盤標(biāo)定板圖

將拍攝的不同角度的標(biāo)定板照片送入Matlab軟件處理，設(shè)定棋盤的實(shí)際參數(shù)尺寸，經(jīng)過軟件計(jì)算就可得到相應(yīng)的鏡頭畸變矯正內(nèi)外參數(shù)矩陣和相應(yīng)的重投影誤差。重投影誤差定義為特征點(diǎn)在相機(jī)坐標(biāo)系下的估計(jì)值和觀測值的差。在本次矯正中平均誤差約為0.14，如圖5所示。

圖5 重投影誤差結(jié)果圖

同樣地能夠通過黑白棋盤來進(jìn)行相機(jī)標(biāo)定的工作。通過相機(jī)標(biāo)定，可以計(jì)算得到相機(jī)鏡頭的精度K，其表示相機(jī)拍攝的圖像中1個(gè)像素所代表的實(shí)際空間距離（mm）。對(duì)于測量儀所使用的鏡頭型號(hào)，通過計(jì)算，相機(jī)精度K約為0.059 7，意味著圖片中的1個(gè)像素距離代表現(xiàn)實(shí)空間中0.059 7 mm。

3 圖像處理

在這一部分將會(huì)分析討論，通過圖像YUV顏色通道來處理采集到的煙絲圖片，獲得煙絲的各個(gè)參數(shù)指標(biāo)，如寬度、長度等。

3.1 基于YUV顏色通道的顏色分割

一張彩色的圖像可以由不同的顏色空間來表示，比如最常見的RGB（紅綠藍(lán)）色彩空間，工業(yè)印刷所采用的CMY（青（Cyan）、洋紅（Magenta）和黃（Yellow））色彩空間，以及本文采用的YUV色彩空間。夏營威[1]等使用了RGB色彩空間的Red和Blue分量差值來作為閾值進(jìn)行圖像的分割，將煙絲和背景圖像進(jìn)行提取。在本文介紹的測量儀圖像處理系統(tǒng)中，基于背景皮帶的顏色和改變相機(jī)的拍照參數(shù)與光照效果，選擇通過YUV顏色通道對(duì)煙絲進(jìn)行圖像背景分割。煙絲原圖如圖6所示。

圖6 煙絲原圖

對(duì)煙絲原圖分別進(jìn)行YUV彩色空間各個(gè)單通道的圖像提取，并統(tǒng)計(jì)其各通道的顏色分布，結(jié)果如圖7和圖8所示。

圖7 煙絲YUV單通道圖

圖8 煙絲圖片YUV分布圖

從結(jié)果上看，煙絲在V通道上與背景的差異較大，并且V通道中像素值主要分布在120范圍內(nèi)。本算法使用V通道圖來對(duì)煙絲背景進(jìn)行分割，通過測試選擇閾值T來使用式（1）對(duì)圖像進(jìn)行精準(zhǔn)分割。

式中：T為人為設(shè)定的閾值；P為圖像V通道下像素的值；Pfinal為經(jīng)過閾值變化后的結(jié)果。

經(jīng)過式（1）的處理，將圖像處理為0和1的二值圖像，結(jié)果如圖9所示。

圖9 煙絲二值圖

由圖9可知，經(jīng)過閾值劃分處理的二值圖上仍然存在許多噪聲，使用濾波操作去除噪聲有時(shí)會(huì)破壞煙絲的完整性，將1根煙絲斷成多根煙絲。為了消除噪聲和保護(hù)煙絲的完整性，將采用連通性標(biāo)記的方式去除噪聲。

3.2 連通性標(biāo)記和骨架提取

連通性描述了像素區(qū)域和邊界的概念，連通性標(biāo)記能夠標(biāo)記出相連的具有相同（或相似）像素值的像素點(diǎn)，常用的連通性處理有4鄰域和8鄰域，如圖10所示。

圖10 4鄰域和8鄰域

4鄰域只考慮目標(biāo)像素上、下、左、右4個(gè)相鄰位置的像素是否有相同的像素值，若有，則將其標(biāo)記為相同標(biāo)記。8鄰域在4鄰域的基礎(chǔ)上，額外加入了斜對(duì)角4個(gè)方向的像素來評(píng)估目標(biāo)像素的連通性。

圖像經(jīng)過連通性標(biāo)記后，所有像素?fù)碛懈髯缘臉?biāo)記類別，再根據(jù)人為設(shè)定的閾值來去除小于一定面積的具有同種標(biāo)記類別的連續(xù)像素，使用此方法可以去除噪聲且不會(huì)破壞煙絲本身的完整性。進(jìn)一步，可以通過調(diào)整閾值，去除識(shí)別圖像中面積過小的煙絲碎末等小顆粒物體。處理后的圖像如圖11所示。

圖11 去噪后的煙絲二值圖

去除噪聲之后，需要對(duì)煙絲進(jìn)行骨架提取操作，骨架是二維二元目標(biāo)的重要拓?fù)涿枋鯷14]，其主要表示目標(biāo)物體中心的骨架部分，是描述圖像幾何和拓?fù)涮匦缘闹匾卣髦弧Ｈ鐖D12所示。

3.3 煙絲長度和寬度計(jì)算

骨架化會(huì)將二進(jìn)制目標(biāo)對(duì)象減少到1像素寬的形式表示，從而可以統(tǒng)計(jì)出煙絲骨架中像素的具體構(gòu)成個(gè)數(shù)n，用其乘以相機(jī)的實(shí)際精度K就可以獲得較為精準(zhǔn)的煙絲長度L（mm）。煙絲骨架如圖12所示。

圖12 煙絲骨架圖

式中：L為煙絲長度；n骨架像素個(gè)數(shù)；K為相機(jī)標(biāo)定時(shí)得到的相機(jī)精度值。

同樣，在煙絲骨架的基礎(chǔ)上，進(jìn)行煙絲寬度的計(jì)算。將煙絲骨架當(dāng)作煙絲的中心線，在煙絲二值圖中求中心線上每個(gè)像素（像素值為1）到背景（像素值為0）的最短距離d（最少像素個(gè)數(shù)）。將中心線上的每個(gè)像素的最短距離相加求平均，獲得煙絲寬度的一半。煙絲整體寬度計(jì)算如式（3）所示

式中：n為煙絲中心線上像素的個(gè)數(shù)；di（i=1，2，3，…，n）為第i個(gè)像素到背景的最短距離；K為相機(jī)的標(biāo)定精度，Width為類煙絲寬度。

4 實(shí)驗(yàn)與分析

4.1 對(duì)比試驗(yàn)

為測試煙絲寬度計(jì)算方法的準(zhǔn)確性，使用符合ISO 20193—2019[4]標(biāo)準(zhǔn)的TPI150-Ⅱ型煙草數(shù)字投影儀進(jìn)行對(duì)比試驗(yàn)。實(shí)驗(yàn)煙絲樣本容量為10根，實(shí)驗(yàn)步驟為：①隨機(jī)挑選10根長度大于等于20 mm的煙絲；②將煙絲無重疊地水平放置在測試區(qū)域，進(jìn)行圖像采集并使用算法計(jì)算并統(tǒng)計(jì)煙絲寬度；③取出測試區(qū)域的10根煙絲并垂直平整地粘貼在“煙絲寬度測量夾具”中（如圖13所示），將測量夾具放在煙草數(shù)字投影儀（如圖14所示）的測量平臺(tái)上；④移動(dòng)測量平臺(tái)，尋找第一根煙絲的左邊緣進(jìn)行測量點(diǎn)標(biāo)記（起點(diǎn)），后水平移動(dòng)平臺(tái)，尋找煙絲右邊緣進(jìn)行測量點(diǎn)標(biāo)記（終點(diǎn)），將2點(diǎn)之間的距離作為煙絲寬度；⑤反復(fù)執(zhí)行操作④，每根煙絲取20個(gè)寬度，并獲取平均值當(dāng)作最終寬度；⑥重復(fù)執(zhí)行操作④和⑤，直到10根煙絲全部測量完成。實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)見表1。

表1 儀器測量和算法測量煙絲寬度對(duì)比

圖13 煙絲寬度測量夾具圖

圖14 煙草數(shù)字投影儀界面圖

本實(shí)驗(yàn)采用符合ISO標(biāo)準(zhǔn)人工測量儀器和本文介紹的煙絲寬度測量算法作對(duì)比，采用相同10根實(shí)現(xiàn)樣本。結(jié)果所示，算法相較于ISO方法測量的標(biāo)準(zhǔn)值，誤差范圍在0.1 mm之內(nèi)，標(biāo)準(zhǔn)差σ=0.033 9 mm，平均相對(duì)誤差為4.16%。

4.2 實(shí)際運(yùn)用

經(jīng)過實(shí)驗(yàn)表明，煙絲測量算法相較于ISO標(biāo)準(zhǔn)測量方法誤差在期望之內(nèi)，為進(jìn)一步測試測量儀的整體效果，選取一定量的煙絲樣本進(jìn)行較為完整的實(shí)驗(yàn)。將煙絲樣本加入抖料裝置中，啟動(dòng)抖料機(jī)器、相機(jī)系統(tǒng)和數(shù)據(jù)分析軟件獲取并分析數(shù)據(jù)。煙絲經(jīng)過抖料分離裝置打散分離成一根根獨(dú)立的煙絲，然后連續(xù)流入相機(jī)拍攝系統(tǒng)，通過圖像識(shí)別與后期計(jì)算，可以得到煙絲的各種尺寸形態(tài)特征數(shù)據(jù)。對(duì)整個(gè)畫面的煙絲進(jìn)行統(tǒng)計(jì)分析，可以得到每張圖片所有煙絲的統(tǒng)計(jì)量，再對(duì)所有圖片數(shù)據(jù)進(jìn)行加總統(tǒng)計(jì)分析，可以得到整批煙絲樣本的統(tǒng)計(jì)量。由圖15可知相機(jī)拍攝出來的某1張煙絲分布畫面，可以看出，煙絲經(jīng)過抖料系統(tǒng)得到了很好的分離。軟件系統(tǒng)可以分析每根煙絲的形態(tài)尺寸參數(shù)，表2列舉了圖15中煙絲A的尺寸形態(tài)參數(shù)，除了常規(guī)的長度和寬度，還可以測量每根煙絲的周長、面積和卷曲度等參數(shù)。表3統(tǒng)計(jì)了圖15中所有煙絲的長度分布及平均寬度等參數(shù)，表4則展示了整批樣本煙絲的整體統(tǒng)計(jì)結(jié)果。所設(shè)計(jì)的煙絲結(jié)構(gòu)檢測儀既能測量單根煙絲的參數(shù)，又能統(tǒng)計(jì)整批煙絲的結(jié)構(gòu)參數(shù)，提供了多維度多尺度的信息。

表2 圖15中煙絲A的尺寸形態(tài)參數(shù)

表3 圖15所有煙絲的統(tǒng)計(jì)量

表4 整批樣本煙絲總體統(tǒng)計(jì)量 （%）

圖15 單張圖相中的煙絲形態(tài)分布展示

5 結(jié)論

本文介紹了一種檢測煙絲結(jié)構(gòu)的在線檢測儀，其實(shí)現(xiàn)了從煙絲生產(chǎn)線上自動(dòng)取料，通過振篩的方式分離并攤平煙絲，通過圖像采集系統(tǒng)獲取圖像參數(shù)較為穩(wěn)定的圖像，并通過鏡頭的畸變矯正盡可能地減少獲取圖像中的煙絲和真實(shí)目標(biāo)的誤差。煙絲檢測算法基于機(jī)器視覺，通過圖像分割，骨架提取等方式，來準(zhǔn)確地計(jì)算煙絲的長度和寬度。

通過對(duì)比實(shí)驗(yàn)驗(yàn)證了算法煙絲寬度測量的平均相對(duì)誤差在5%以內(nèi)。在線檢測儀相較于離線的測量設(shè)備，其在保證一定的檢測精度下極大地提高了測量的效率，節(jié)省了人力和時(shí)間成本。所設(shè)計(jì)的煙絲結(jié)構(gòu)檢測儀既能測量單根煙絲的參數(shù)，又能統(tǒng)計(jì)整批煙絲的結(jié)構(gòu)參數(shù)，提供了多維度多尺度的信息，并且可以實(shí)現(xiàn)在線檢測分析，為制絲工藝質(zhì)量的監(jiān)控及精細(xì)調(diào)控提供了重要基礎(chǔ)支撐。