戴建民 曹鑄 孔令華



摘要:煙葉品質等級大多是由人工通過觸摸手感及視覺感官主觀地進行判斷。以煙葉為研究對象,設計了一種基于機器視覺的煙葉自動分級系統。首先通過機器視覺采集B2F、B3F、C2F、C3F、X2F、X3F各等級煙葉圖像,再將圖像進行中值濾波法預處理。提取煙葉的長度、長寬比、圓形度、紋理等幾何特征;提取煙葉RGB(red,green,blue)顏色空間及HSV(hue,saturation,value)顏色空間各通道的顏色特征。利用多特征模糊識別方法進行煙葉自動分級,選用Matlab平臺進行編程運行,得到煙葉各項特征值數據及分級結果。系統驗證試驗表明,分級正確率可達到煙葉分級標準。
關鍵詞:煙葉分級;煙葉外表特征;模糊識別;Matlab
中圖分類號: TS47? 文獻標志碼: A? 文章編號:1002-1302(2020)20-0241-06
煙葉分級是煙草公司產業運作中的一個至關重要的環節。隨著煙草行業的不斷發展,人們對煙葉品質的要求也不斷提高,而煙葉分級的準確與否直接影響著后期生產的卷煙品質。為了解決人工煙葉分級存在的主觀性、模糊性與低效率等問題,市場急需一套可以進行煙葉智能分級的設備。“中國制造2025”概念的提出,在工業發展趨勢的探索之路上,點燃了一盞明燈。隨著機器視覺技術的發展在煙草行業越來越受到重視,檢測產品的質量可以滿足客觀、精準等要求。
莊珍珍應用機器視覺提取煙葉的外觀特征,采用梯形和半階梯隸屬函數計算各個外觀特征對煙葉等級空間的隸屬度,利用最大隸屬識別算法進行煙葉自動分級[1]。陳朋利用圖像處理技術進行煙葉分級,值得一提的是其基于Gabor小波變換對煙葉表面紋理進行分析研究,提取紋理平均值和標準差,最后基于支持向量機一對多的思想進行煙葉的自動分級模型的搭建[2]。趙世民等對比了常用的顏色模型特點,分析得到HIS顏色空間更貼近人的視覺原理,同時可以一定程度上避免彩色信息的影響。其中3個分量相互獨立、互不影響[3]。從上述的各項研究來看,目前在煙葉分級檢測技術上有著許多研究成果,但是不足之處仍存在;采集煙葉圖片是在一個密閉的空間里,其中的光照系統強度需要進行實時調整使其一直處于最佳狀態。相機的標定以及焦距的調整也會影響煙葉圖片的質量,尤其是在動態的生產線上,獲取精準優質的煙葉圖像較困難[4]。為解決這類問題需要更精準的煙葉定位及算法的優化,以期待能早日應用于實際生產。
1 研究對象及圖像處理算法
1.1 研究對象
6級煙草樣本(共計121份)由福建武夷煙葉有限公司在2018年提供。樣品如下:B2F、B3F、C2F、C3F、X2F、X3F。其中訓練樣本60件,測試樣本61件,試驗中的選擇遵循隨機選取的原則。本研究設計采用高分辨率工業數字CCD攝像機(MV-CA050-20GM型)拍攝煙草圖像。選用光源型號為MV-ML182×17-V的4個白色條形光源,選用SV-AP2U4CH四路光源控制器,用于調節所需的光照強度。選用PIXCIELIDB采集卡裝插在計算機上,將相機與計算機連接起來,實現實時拍照獲取煙葉圖片。
1.2 圖像的預處理
采集圖像的過程中,由于環境中光照因素的影響以及圖片掃描的過程本身就會引入噪聲。在圖像數據進行傳輸過程中也會引入噪聲。而噪聲會影響煙葉特征值的提取,可能存在較大誤差,影響分級結果。為了保證特征值提取的有效性,有必要進行圖片的去噪預處理。
1.2.1 中值濾波法 中值濾波法以非線性的方法將圖像中一個像素點的值用該點的周圍領域各個像素點的中值替代[5]。中值的定義如下:一組數據x1,x2,…,xn,把n個數按值的大小順序排列:x1≤x2≤…≤xn。
1.2.2 自適應濾波法 自適應濾波法是將圖像中某一個區域方差調整其輸出值。當區域方差大時,平滑效果較差;當區域方差小時,濾波器的平滑效果較好。像素的區域矩陣和方差:
從以上幾幅試驗圖形可以很明顯地看出中值濾波法更適合于本研究,經過濾波的煙葉圖形條理更加清晰,更有利于后期的煙葉特征的提取。本研究選用中值濾波的方法進行圖像的預處理。
1.3 煙葉形態特征及顏色特征的提取
本研究根據福建武夷煙葉有限公司技術中心清選車間分級要求和國家煙葉分級標準,對煙葉質量進行分級。
煙葉的形態結構特征包括煙葉長度、寬度、長寬比、周長、面積、圓形度,都可提取作為煙葉分級的重要特征。根據國家煙葉分級標準在主組中,分為上部、中部、下部。在特殊情況下,部位的劃分可以通過脈相,葉型為依據。其中上部的煙葉脈相較粗,較顯露至突起;葉面稍折皺至平坦,可以通過煙葉的紋理特征值進行部位的區分,使其更具說服力;葉型較寬或較窄都比較極端,葉尖部較銳說明角度較小成銳角,可以通過提取煙葉葉尖的邊緣曲線所成的角度特征值來區分煙葉的部位。中部煙葉葉脈較上部煙葉略細一些,只能略微清晰看到大致脈絡,葉尖處微微彎曲;葉面較皺縮;葉型一般較寬,葉尖部較鈍說明邊緣曲線的角度較大。下部煙葉較上、中部更纖細,葉型較寬圓;葉面較平坦。
綜上所述,須要提取的煙葉形態特征值有長度、寬度、長寬比、周長、面積、圓形度、紋理特征值等。
1.3.1 煙葉長度、寬度和長寬比的提取 然而在煙葉分級生產線上,煙葉經過傳送帶傳入視覺檢測裝置時,并不能完全保證煙葉是水平放置在載物臺上,所放位置和煙葉主葉脈方向均有所不同,增加特征提取的難度,要求能夠提取擺放任何角度的煙葉的長度特征。本研究采用最小外接矩形法進行長度和寬度的特征提取。
首先得到煙葉圖像邊界線的點集,通過Matlab 的convhull()函數得到點集的多邊形凸包,計算凸包的所有邊與相鄰邊的夾角θ,選取其中一條邊作為起始邊,尋找距離該邊最遠點,重合該邊且過該點計算最小外接矩形,保存矩形4個端點坐標和面積;逆時針旋轉θ到相鄰邊,用相同的方法計算重合該邊的最小外接矩形,保存矩形4個端點坐標和面積;將凸包的所有的外接矩形求出存入1張表,再將表中的面積進行比較,選取最小值作為最小面積外接矩形[6]。同時將對應的最小面積外接矩形的坐標輸出。該方法可以解決煙葉不同擺放位置,也可計算出準確的長寬值。設輸出的最小面積矩形的4個端點坐標分別為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),長度、寬度計算公式為若A>B,則規定A為煙葉的長度值,B為煙葉的寬度值;若A 1.3.2 煙葉周長、面積和圓形度的提取 煙葉周長指煙葉的邊界長度,本研究用邊界線上每個像素之和作為周長,f(x,y)為煙葉圖像邊界的坐標像素,公式如下:
1.3.3 煙葉的紋理特征提取 煙葉紋理的量化是一種重要的區域描述方法。而煙葉在做部位分級時可以通過葉面的平坦、皺縮的紋理特征準確區分上中下部,為煙葉的準確分級提供了一種可行的方法。本研究的紋理特征提取利用統計法[8],統計法是基于圖像的灰度直方圖的特征來描述紋理。灰度均值m的n階距可以用下式來計算:
式中:L為圖像可能的灰度級數,zi為表示灰度的隨機數,p(zi)為區域灰度直方圖。μ2表示方差;μ3表示直方圖的偏斜度;μ4則描述了直方圖的相對平坦性。紋理的統計度量有:
1.4 煙葉顏色特征的提取
我國煙葉分級標準是采用部位、顏色2個分組因素對煙葉進行分組,根據煙葉在煙株上的著生位置不同,分為上部(B)、中部(C)、下部(X)3個部位組,劃分依據因素是外觀葉片結構特征。根據煙葉顏色分為檸檬黃(L)、橘黃(F)、紅棕(R)。煙葉顏色是非常直觀的外觀特征,不同顏色的煙葉通過肉眼便可非常容易區分出來。因此,把顏色作為劃分煙葉質量等級的重要分組因素。在人工煙葉分級中,通過肉眼觀察對煙葉顏色進行定性描述。而要通過視覺檢測技術實現煙葉自動化分級,則需要對煙葉的顏色特征進行定量化描述,進而提取煙葉顏色特征值。
1.4.1 RGB通道 自然界的各種顏色光都可以由紅、綠、藍(R、G、B)這3種顏色的光按不同比例合成[9]。通過配色公式可配出任意顏色,公式如下:
1.4.2 HSV通道 顏色模型是一個三維坐標系統,表示一個彩色空間。采用不同的基本量來表示顏色就可以得到不同的顏色模型,不同的顏色模型都能表示同一種顏色,因此它們之間可以相互轉換的。利用以下算法可以實現RGB通道與HSV通道之間的轉換。H、S、V分量可以由r、g、b表示為在研究中,采集的煙葉圖像是RGB顏色通道和HSV顏色通道的數字圖像。
2 基于模糊識別的煙葉分級系統
2.1 模糊模式識別算法
提取和量化信息是利用計算機進行模式識別的前提,在計算機中具有時空分布的信息,在形式上表現為向量或數組,向量或數組中的序號可以對應時間與空間,當然也可以對應其他的標識[10]。
人類生活中,常常使用一些含義模糊的語言表述,正如煙葉的顏色特征常用的表述有偏黃、偏紅等。應用模糊數學都可以得到較好地表達。模糊識別是在模糊數學理論的基礎上,結合特殊的數學方法解決分類的問題,在特征空間的各個模式之間不存在明確的邊界[11]。本研究采用模糊模式識別算法實現煙葉分級系統識別,選用擇近原則識別法實現煙葉分級。
2.1.1 貼近度 貼近度是通過比對2個模糊子集,統計相似的部分計算相似的百分值[12]。設A、B為U上的2個模糊子集,它們之間的貼近度定義為理想的貼近度應當具備以下性質:σ(A,A)=1;σ(A,B)=σ(B,A)≥0;若對任意的x∈U,有μA(x)≤μB(x)≤μC(x)或μA(x)≥μB(x)≥μC(x),則σ(A,C)≤σ(B,C)。
2.1.2 擇近原則識別法 設U上有n個模糊子集A1、A2、…、An及另一模糊子集B,若貼近度則稱B與Ai最貼近,則B屬于Ai類。在該方法中樣本和類都用模糊子集來表示,取值范圍U中的每個元素代表了一個特征維度。
2.2 基于模糊識別算法的煙葉分級試驗
2.2.1 建立等級標準庫及各參數權重的確定 通過大量的試驗觀察得到影響各標準的以下特征量更適合煙葉的分級,分別為長度值、長寬比、紋理特征的均值、標準差、RGB分量、HSV分量。將這些特征量分別用X1、X2、X3、X4、X5、X6、X7、X8、X9、X10來表示。通過對60個訓練樣本進行試驗得到煙葉的標準模型庫見表1。
由于各項特征參數影響該標準的程度不同,所以在實際操作中,其權重也不同[13]。分配權重如下:長度權重為 0.08,長寬比權重為0.12,紋理特征均值、標準差權重分別為0.10、0.09,RGB分量權重分別為0.11、0.12、0.09,HSV分量權重分別為016、0.06、0.07。權重矩陣為 ω=[0.08,0.12,0.10,0.09,0.11,0.12,0.09,0.16,0.06,0.07]。
2.2.2 標準庫數據、待測樣本數據歸一化處理 由于各特征向量的量綱不同,為方便計算,對表1中的
3 結果與分析
分別采集6個等級的煙葉樣本,其中每個等級有10張,提取各個等級煙葉的長度、長寬比、圓形度,求出10張煙葉的長度、長寬比均值,即為該等級煙葉的長度、長寬比均值。圖3、圖4分別為提取的煙葉長度、長寬比均值。
從煙葉長度均值直方圖可以看出,從部位上中下來看,長度在逐漸減少,其中C2F數據存在較大誤差。因此,在已確定主組的情況下,通過煙葉長度來劃分等級有非常好的效果。
從煙葉長寬比均值直方圖可以看出,上部位煙葉與中部位和下部位的長寬比均值差距明顯,上部位煙葉長寬比均值明顯大于中部位和下部位。上部位的長寬比均值范圍是4.54~5.53,中部位的長寬比均值范圍是3.05~3.27,下部位的長寬比均值范圍是3.33~3.53。因此,通過煙葉長寬比均值劃分上部位與中部位、上部位與下部位,有非常好的效果。
同理統計紋理特征的均值、標準差平均值見圖5。
從紋理特征直方圖可以看出,同一主組煙葉,等級越高,其紋理均值越高,特別是上部位煙葉和中部位煙葉,這個規律較明顯;上部位、中部位各等級煙葉的紋理均值都低于下部位的,這對于區分出下部位煙葉有效果。
同理求出RGB分量均值直方圖,如圖6所示。
由于HSV分量數據較其他分量的數據差距較大,放在一張直方圖中不方便進行分析,故將其分成2張分量,分別見圖7、圖8。
從RGB分量直方圖可以看出:一是在各主組煙葉中,各等級的R和G通道顏色特征值依次遞減,相鄰等級之間數值變化梯度大;二是上部位煙葉的R和G通道顏色特征值均小于中部位和下部位。因此,R和G通道顏色特征值對劃分部位都是有幫助的,它們能將上部位煙葉劃分出來,且在已劃分好主組的情況下,R和G通道顏色特征值還對劃分等級有明顯效果。
從HSV分量直方圖可以看出:中部位煙葉的H通道顏色特征值均明顯小于上部位和下部位的,即可通過H通道顏色特征值把中部位煙葉有效地劃分出來,因此認為H通道顏色特征值對劃分部位是有幫助的,考慮把它作為后續訓練煙葉質量等級分類模型的重要參數。在各主組煙葉中,各等級的S通道顏色特征值依次遞減,相鄰等級之間數值變化梯度非常大。因此,在已劃分好主組的情況下,S通道顏色特征值還對劃分等級有明顯效果,將它作后續訓練煙葉質量等級分類模型的重要因素。分析V通道顏色特征均值直方圖可得到2個明顯的規律:一是在各主組煙葉中,各等級的V通道顏色特征值依次遞減,相鄰等級之間數值變化梯度大;二是上部位煙葉的V通道顏色特征值均小于中部位和下部位。因此,V通道顏色特征值對劃分部位都是有幫助的,它們能將上部位煙葉劃分出來,且在已劃分好主組的情況下,它還對劃分等級有明顯效果。在后續訓練煙葉質量等級分類模型時,考慮把V通道顏色特征值作為重要因素。
4 結論
通過機器視覺采集B2F、B3F、C2F、C3F、X2F、X3F各等級煙葉圖像,將圖像進行自適應濾波法等預處理。提取最優幾何分級特征:長度、長寬比、圓形度、紋理等幾何特征;提取煙葉顏色特征:RGB顏色空間分量和HSV顏色空間分量。采用模糊識別擇近原則法進行煙葉分級,通過訓練試驗表明,分級正確率可達到煙葉分級標準。
參考文獻:
[1]莊珍珍. 基于機器視覺的煙葉自動分級方法研究[D]. 重慶:西南大學,2016.
[2]陳 朋. 煙葉紋理表面的視覺檢測技術研究與應用[D]. 貴陽:貴州大學,2017.
[3]趙世民,王 惠,董昆樂,等. 顏色模型在煙葉自動分級中的應用[J]. 科技視界,2017(1):35-36.
[4]馬文杰,賀立源,徐勝祥,等. 基于烤煙透射特征的煙葉圖像分割研究[J]. 農業工程學報,2006,22(7):134-137.
[5]劉華波. 基于計算機視覺的煙葉自動分級研究[D]. 武漢:華中農業大學,2009.
[6]胡厚利. 圖像處理技術與支持向量機在煙葉分級中的應用研究[D]. 昆明:昆明理工大學,2014.
[7]殷蘇民,朱錦萍,王祖聲,等. 基于頂帽變換和最大類間方差法的圖像分割方法研究[J]. 科學技術與工程,2014(7):60-64.
[8]臧 帥. 基于模糊規則的煙葉分級方法研究[D]. 鄭州:鄭州大學,2015.
[9]楊曉娟. 基于最近鄰的煙葉智能分級研究[D]. 鄭州:鄭州大學,2015.
[10]劉 鵬. 無損檢測技術在食品品質檢測中的應用[J]. 現代食品,2016,5(9):43-44.
[11]Blu T. Iterated filter banks with rational sampling factors:links with discrete wavelet transforms[J]. IEEE Transactions on Signal Processing,1993,41(12):3232-3244.
[12]Kumar A,Pang G K. Defect detection in textured materials using optimized filters[J]. IEEE Trans on Systems,Man and Cybernetics Part B,2002,32(5):553-570.
[13]劉自遠,劉成福. 綜合評價中指標權重系數確定方法探討[J]. 中國衛生質量管理,2006,13(2):44-46,48.羅 巍,陳曙東,王福濤,等. 基于深度學習的大型食草動物種群監測方法[J]. 江蘇農業科學,2020,48(20):247-255.