基于機器視覺技術(shù)的苦豆子顆粒外觀質(zhì)量評價研究

郭 超，焦淑珍，徐 超，劉立軒，孔陽陽，冷曉紅*

(1.寧夏職業(yè)技術(shù)學(xué)院，銀川 750021；2.寧夏大學(xué)，銀川 750021)

機器視覺也稱為計算機視覺，是用計算機模擬人眼的視覺功能，是一門涉及人工智能、神經(jīng)生物學(xué)、心理物理學(xué)、計算機科學(xué)、圖像處理及模式識別等多個領(lǐng)域的交叉學(xué)科[1]，

利用代替人眼的圖像傳感器獲取物體圖像信息，轉(zhuǎn)換成數(shù)字圖像，并利用計算機模擬人的判別準(zhǔn)則去理解和識別圖像，達(dá)到分析圖像并做出結(jié)論的目的，最終用于實際檢測和控制[2]。目前機器視覺技術(shù)已廣泛應(yīng)用于農(nóng)產(chǎn)品品質(zhì)鑒定[3-6]、工況監(jiān)視[7-9]、成品檢驗和質(zhì)量控制等研究領(lǐng)域[10-11]。

《中國藥典》(2015年版)中規(guī)定顆粒劑應(yīng)干燥，顆粒均勻，色澤一致，無吸潮、軟化、結(jié)塊、潮解等現(xiàn)象[12]，顆粒劑的外觀特征在一定程度上反應(yīng)了顆粒劑內(nèi)在質(zhì)量情況。而中藥顆粒劑因中藥原料質(zhì)量波動、提取物差異、工藝復(fù)雜等原因容易造成顆粒外觀不一致，不同批次產(chǎn)品質(zhì)量波動較大等問題[13,14]。且現(xiàn)階段對于中藥顆粒劑外觀質(zhì)量評價主要仍以人眼觀察，人工評價為主，存在評價結(jié)果差異較大、準(zhǔn)確性較低等問題。

機器視覺技術(shù)在物體外觀評價方面有著快速、簡便、穩(wěn)定、準(zhǔn)確等優(yōu)勢，苦豆子顆粒為一種用于治療雞白痢的新中獸藥，其主藥為苦豆子總堿提取物，外觀為深黃色，色澤一致，大小均勻。因其外觀特征明顯，因此本文以苦豆子總堿顆粒為研究對象，創(chuàng)新性的利用機器視覺技術(shù)通過對苦豆子顆粒進(jìn)行數(shù)字圖像采集、特征提取、特征降維、對照特征指紋向量建立、相似度計算等，建立苦豆子顆粒外觀對照特征圖譜，將參比顆粒外觀特征圖譜與苦豆子顆粒對照指紋圖譜進(jìn)行相似度計算，以相似度值為標(biāo)準(zhǔn)對參比顆粒外觀質(zhì)量進(jìn)行評價，利用機器視覺技術(shù)對苦豆子顆粒劑外觀進(jìn)行快速準(zhǔn)確的質(zhì)量評價，以提高苦豆子顆粒的整體質(zhì)量控制水平。

1 材 料

Nikon D5100數(shù)碼相機(日本尼康公司)，Matlab2019b軟件(美國MathWorks公司)，苦豆子總堿提取物(寧夏紫荊花制藥有限公司，批號190522)。依據(jù)《寧夏回族自治區(qū)重點研發(fā)項目重大項目-苦豆子提取物治療雞白痢新獸藥研發(fā)》項目中制定的苦豆子顆粒制備工藝，自制6批標(biāo)準(zhǔn)苦豆子顆粒(SG1～SG6)用于建立苦豆子顆粒外觀特征對照指紋圖譜，6批參比標(biāo)準(zhǔn)苦豆子顆粒(RSG1～RSG6)用于評價相似度計算結(jié)果準(zhǔn)確性，6批標(biāo)準(zhǔn)苦豆子顆粒及6批參比標(biāo)準(zhǔn)苦豆子顆粒外觀為深黃色、色澤一致、大小均勻，主藥苦豆子總堿提取物含量為20%，平均水分為3.0%，外觀、粒度、水分等各項指標(biāo)均符合要求。

采用不同苦豆子總堿提取物加入量、不同黏合劑加入量、不同烘干條件等方法，自制苦豆子總堿提取物含量15%且吸潮結(jié)塊苦豆子顆粒6批(RG1～RG6)，制備苦豆子總堿提取物含量5%苦豆子顆粒2批(RG7-1、RG7-2)、含量10%苦豆子顆粒2批(RG8-1、RG8-2)、含量15%苦豆子顆粒2批(RG9-1、RG9-2)、含量25%苦豆子顆粒2批(RG10-1、RG10-2)。參考《中國藥典》(2015年版)[12]中藥顆粒劑粒度、水分的有關(guān)要求制備不同粒度、水分苦豆子顆粒，其中不能通過一號篩的大顆粒量為15%的苦豆子顆粒3批(RG11-1～RG11-3)、不能通過一號篩的大顆粒量及能通過五號篩的細(xì)粉量各7.5%的苦豆子顆粒3批(RG12-1～RG12-3)、能通過五號篩的細(xì)粉量為15%的苦豆子顆粒3批(RG13-1～RG13-3)。制備水分5.0%的苦豆子顆粒3批(RG14-1～RG14-3)、水分8.0%的苦豆子顆粒3批(RG15-1～RG15-3)、水分11.0%的苦豆子顆粒3批(RG16-1～RG16-3)。

2 方 法

2.1 機器視覺系統(tǒng)建立 根據(jù)研究需要，構(gòu)建基于機器視覺技術(shù)的顆粒劑外觀評價系統(tǒng)，該系統(tǒng)由數(shù)字圖像采集系統(tǒng)、數(shù)字圖像處理系統(tǒng)構(gòu)成。數(shù)字圖像采集系統(tǒng)由數(shù)碼相機、采集箱、LED光源、相機支架組成，主要用于顆粒劑數(shù)字圖像采集，如圖1所示。數(shù)字圖像處理系統(tǒng)由計算機及Matlab2019b軟件組成，主要用于數(shù)字圖像特征提取、特征降維、數(shù)字圖像指紋圖譜構(gòu)建及相似度評價。

1.數(shù)碼相機；2.LED光源；3.采集箱；4.相機支架；5.待采集顆粒圖1 數(shù)字圖像采集系統(tǒng)Fig 1 Digital image acquisition system

2.2 外觀特征指紋圖譜建立

2.2.1 數(shù)字圖像采集 將不同批次苦豆子顆粒，裝滿平鋪于長方形盒中，放入采集箱中，打開LED光源，采集顆粒圖片。圖像采集背景環(huán)境、相機角度、焦距等要求保持一致。將所采集到的苦豆子顆粒數(shù)字圖像使用Matlab2019b軟件裁剪至1500像素×2000像素的統(tǒng)一尺寸。

圖2 苦豆子標(biāo)準(zhǔn)顆粒(SG1～SG6)Fig 2 Sophora alopecuroides standard granules(SG1～SG6)

圖3 參比苦豆子顆粒(RG1～RG6)Fig 3 Reference Sophora alopecuroides granules (RG1～RG6)

圖4 參比苦豆子顆粒(RG7-1～RG10-2)Fig 4 Reference Sophora alopecuroides granules (RG7-1～RG10-2)

圖5 參比苦豆子顆粒(RG11-1～RG13-3)Fig 5 Reference Sophora alopecuroides granules (RG11-1～RG13-3)

圖6 參比苦豆子顆粒(RG14-1～RG16-3)Fig 6 Reference Sophora alopecuroides granules (RG14-1～RG16-3)

2.2.2 圖像特征模式選擇 苦豆子標(biāo)準(zhǔn)顆粒與參比顆粒在人眼觀察時發(fā)現(xiàn)，標(biāo)準(zhǔn)顆粒與參比顆粒外觀在顏色深淺、顏色均勻度、顆粒空隙顏色等顏色特征方面有比較明顯的差異。數(shù)字圖像色彩模式中，RGB色彩模式為工業(yè)界的一種顏色標(biāo)準(zhǔn)，其通過對紅(R)、綠(G)、藍(lán)(B)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍(lán)三個通道的顏色，RGB標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，為目前運用最廣的顏色系統(tǒng)之一。因此本文以數(shù)字圖像RGB色彩模式的色彩特征為苦豆子顆粒的主要外觀特征，對苦豆子顆粒進(jìn)行外觀特征指紋圖譜建立與質(zhì)量評價。

2.2.3 特征提取 實驗采用Matlab2019b軟件對所采集的苦豆子顆粒數(shù)字圖像進(jìn)行讀取，得到2000×1500×3個unit8型數(shù)據(jù)組成的數(shù)據(jù)組。后將數(shù)組按R、G、B三個通道分別進(jìn)行提取，得到由2000×1500個unit8型數(shù)據(jù)組成的3個二維數(shù)據(jù)組。

圖7 RGB三通道數(shù)據(jù)二維線圖Fig 7 RGB 3-channel data 2 d line graph

圖7顯示特征降維前RGB三通道數(shù)組數(shù)據(jù)量巨大、維度高、無明顯規(guī)律性，進(jìn)行評價分析工作難度巨大。

圖8 標(biāo)準(zhǔn)苦豆子顆粒RGB三通道特征向量二維線圖Fig 8 Standard Sophora alopecuroides granules RGB 3-channel eigenvector 2 d line graph

通過圖8可以看出，通過特征降維后得到的RGB三通道特征向量數(shù)據(jù)量大幅減少，圖譜具有明顯的規(guī)律性，降低了計算的復(fù)雜度，可以用于圖像相似度計算。

2.2.5 外觀特征對照指紋圖譜建立 對6批標(biāo)準(zhǔn)苦豆子顆粒數(shù)字圖像(SG1～SG6)如圖2所示，進(jìn)行特征提取及特征降維后得到的R、G、B三通道的3個特征向量進(jìn)行加權(quán)平均得到苦豆子顆粒數(shù)字圖像R、G、B三通道的對照特征指紋向量。

圖9 苦豆子顆粒對照特征指紋向量二維線圖Fig 9 Sophora alopecuroides granules particle control characteristic fingerprint vector 2 d line graph

2.3 外觀質(zhì)量評價

2.3.1 外觀質(zhì)量評價方法 采用參比顆粒數(shù)字圖像特征指紋向量與對照特征指紋向量進(jìn)行相似度計算的方法，對參比顆粒的外觀進(jìn)行評價，相似度越高說明參比顆粒與標(biāo)準(zhǔn)顆粒在外觀方面越一致，越符合質(zhì)量標(biāo)準(zhǔn)要求。

2.3.2 相似度計算方法選擇 常用相似度計算方法有歐氏距離、曼哈頓距離、切比雪夫距離、閔可夫斯基距離、標(biāo)準(zhǔn)化歐氏距離、巴氏距離、夾角余弦、杰卡德距離等。本文選擇數(shù)字圖像相似度計算中常用的巴氏距離法和夾角余弦法[15,16]對6批苦豆子標(biāo)準(zhǔn)顆粒(SG1～SG6)、6批與苦豆子標(biāo)準(zhǔn)顆粒差異較大的苦豆子參比顆粒(RG1～RG6)如圖3所示，分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，對不同相似度計算方法所得結(jié)果的準(zhǔn)確性進(jìn)行評價，選擇準(zhǔn)確性評價較高的方法作為本文所采用的相似度計算方法。其中將標(biāo)準(zhǔn)顆粒定義為相似顆粒，與苦豆子標(biāo)準(zhǔn)顆粒差異較大的苦豆子參比顆粒定義為不相似顆粒。

相似顆粒相似度評價結(jié)果準(zhǔn)確性(Se)= 平均相似度值

不相似顆粒相似度評價結(jié)果準(zhǔn)確性(DSe)= 1-平均相似度值

Se值越大說明該方法在計算相似顆粒的外觀相似性時準(zhǔn)確性越高；DSe值越大說明該方法在計算不相似顆粒的外觀相似性時準(zhǔn)確性越高。

顆粒劑相似度計算結(jié)果綜合準(zhǔn)確性(Gsea)=Se + Dse

Gsea值越高說明該相似度計算方法用于顆粒劑外觀相似度評價時越準(zhǔn)確。

3 結(jié)果與分析

3.1 相似度計算方法 將苦豆子標(biāo)準(zhǔn)顆粒SG1～SG6作為相似顆粒，苦豆子參比顆粒RG1～RG6作為不相似顆粒，分別采用巴氏距離法及夾角余弦法與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，計算結(jié)果見表1。

表1 相似與不相似苦豆子顆粒不同相似度評價方法計算結(jié)果Tab 1 Calculation results of different similarity evaluation methods for similar and dissimilar Sophora alopecuroides granules

Gsea巴氏距離法 = Se巴氏距離法 + Dse巴氏距離法 = 1.3708

Gsea夾角余弦法 = Se夾角余弦法 + Dse夾角余弦法 = 1.2745

Gsea巴氏距離法>Gsea夾角余弦法

根據(jù)以上計算結(jié)果可知巴氏距離法用于顆粒劑外觀評價時的綜合準(zhǔn)確性高于夾角余弦法，因此本研究選擇巴氏距離法作為顆粒外觀評價所使用的相似度計算方法。

3.2 外觀評價結(jié)果 將所制得的4類32批參比苦豆子顆粒分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，通過相似度計算對參比顆粒進(jìn)行外觀質(zhì)量評價。

3.2.1 外觀質(zhì)量合格苦豆子顆粒相似度值 將所制得的質(zhì)量合格的6批苦豆子參比標(biāo)準(zhǔn)顆粒(RSG1～RSG6)分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，相似度計算結(jié)果見表2，6批參比標(biāo)準(zhǔn)顆粒相似度平均值0.9362，相對標(biāo)準(zhǔn)偏差1.26%，說明該方法在評價質(zhì)量合格的苦豆子顆粒時有較高的相似度計算結(jié)果及評價準(zhǔn)確性。

表2 6批苦豆子參比標(biāo)準(zhǔn)顆粒外觀相似度值Tab 2 Appearance similarity values of reference granules of 6 batches of Sophora alopecuroides granules

3.2.2 主藥含量不合格苦豆子顆粒外觀質(zhì)量評價 將所制得的4級8批苦豆子總堿提取物含量不同的苦豆子參比顆粒(RG7-1～RG10-2)如圖4所示，作為參比顆粒分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，相似度計算結(jié)果見表3，4級不同苦豆子總堿含量的苦豆子外觀相似度均顯著低于6批主藥苦豆子總堿提取物含量20%的參比標(biāo)準(zhǔn)顆粒外觀相似度平均值0.9362，說明該方法可以對主藥含量不合格的苦豆子顆粒通過外觀質(zhì)量評價與標(biāo)準(zhǔn)顆粒進(jìn)行區(qū)分。另通過圖10可以直觀看出相似度越高的參比顆粒的特征指紋向量二維線圖與對照特征指紋向量二維線圖越一致。

表3 不同主藥含量苦豆子顆粒外觀質(zhì)量評價結(jié)果Tab 3 Evaluation results of appearance quality of Sophora alopecuroides granules with different main drug content

圖10 不同參比苦豆子顆粒特征指紋向量與對照特征指紋向量二維線圖Fig 10 2 d line graph of different reference Sophora alopecuroides granules characteristic fingerprint vector and control characteristic fingerprint vector

3.2.3 不同粒度苦豆子顆粒外觀質(zhì)量評價 將3批不能通過一號篩的大顆粒量為15%的苦豆子顆粒(RG11-1～RG11-3)、3批不能通過一號篩的大顆粒量及能通過五號篩的細(xì)粉量各7.5%的苦豆子顆粒(RG12-1～RG12-3)、3批能通過五號篩的細(xì)粉量為15%的苦豆子顆粒(RG13-1～RG13-3)，如圖5所示，作為參比顆粒分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，相似度計算結(jié)果見表4。根據(jù)計算結(jié)果可知，上述3類不能通過一號篩與能通過五號篩的總和為15%的處于粒度臨界值的顆粒相似度計算結(jié)果均顯著低于6批參比標(biāo)準(zhǔn)顆粒相似度平均值0.9362，說明該方法可以將處于粒度臨界值的不同粒度組成的參比顆粒與標(biāo)準(zhǔn)顆粒通過外觀質(zhì)量評價進(jìn)行區(qū)分。

3.2.4 不同水分苦豆子顆粒外觀質(zhì)量評價 將3批水分5.0%的苦豆子顆粒(RG14-1～RG14-3)、3批水分8.0%的苦豆子顆粒(RG15-1～RG15-3)、3批水分11.0%的苦豆子顆粒(RG16-1～RG16-3)，如圖6所示，作為參比顆粒分別與苦豆子顆粒對照特征指紋向量進(jìn)行相似度計算，相似度計算結(jié)果見表5。根據(jù)計算結(jié)果可知，上述3類不同水分含量的苦豆子顆粒的相似度計算結(jié)果均顯著低于6批參比標(biāo)準(zhǔn)顆粒相似度平均值0.9362，且水分在5.0%～11.0%范圍內(nèi)，水分越高，相似度值越低，說明該方法可以將不同水分的參比顆粒與標(biāo)準(zhǔn)顆粒通過外觀質(zhì)量評價進(jìn)行區(qū)分。

表4 不同粒度苦豆子顆粒外觀相似度結(jié)果Tab 4 Results of appearance similarity of Sophora alopecuroides with different granules size

表5 不同水分苦豆子顆粒外觀相似度結(jié)果Tab 5 Results of appearance similarity of Sophora alopecuroides granules with different water content

3.2.5 苦豆子顆粒外觀質(zhì)量評價相似度合格值 中國藥典(2015年版)對中藥顆粒劑粒度要求不能通過一號篩與能通過五號篩的總和不得超過15%，水分不得超過8.0%[12]。研究中水分8.0%的苦豆子顆粒外觀相似度值平均值為0.8889，高于3類處于粒度臨界值的苦豆子顆粒相似度平均值0.7840、0.7472、0.7208，且因在一定范圍內(nèi)水分值越高，苦豆子顆粒外觀相似度值越低。因此在以中國藥典為要求的基礎(chǔ)上，結(jié)合考慮數(shù)字圖像采集誤差建議將水分8.0%的苦豆子顆粒相似度平均值的-2%，0.8700作為苦豆子顆粒外觀質(zhì)量快速評價的相似度合格值，即苦豆子顆粒劑外觀相似度值若高于0.8700，說明該顆粒劑的粒度、水分均符合中國藥典的相關(guān)要求。

4 討論與結(jié)論

研究中所制備的不同主藥含量、不同粒度、不同水分的苦豆子顆粒，通過人眼觀察可直觀發(fā)現(xiàn)，其與合格的標(biāo)準(zhǔn)苦豆子顆粒在外觀上存在較大差異，且本研究結(jié)果中不同類別苦豆子顆粒的外觀質(zhì)量評價的相似度計算結(jié)果也均有顯著差異，表明外觀質(zhì)量評價可以反應(yīng)苦豆子顆粒劑的內(nèi)在質(zhì)量情況。因此本研究建立了一種設(shè)備簡單、操作簡便、快速的苦豆子顆粒的外觀質(zhì)量評價方法，解決了人工外觀質(zhì)量評價結(jié)果差異較大、準(zhǔn)確性較低等問題，但鑒于該方法屬于一種定性評價方法，在后續(xù)研究中考慮可以采用機器視覺結(jié)合機器學(xué)習(xí)的方法，建立苦豆子顆粒外觀質(zhì)量指標(biāo)與內(nèi)在質(zhì)量指標(biāo)相關(guān)性模型，以期實現(xiàn)通過外觀質(zhì)量評價對苦豆子顆粒內(nèi)在質(zhì)量情況進(jìn)行精準(zhǔn)定量評價。

另外后續(xù)亦可將該方法結(jié)合質(zhì)量源于設(shè)計(quality by design，QbD)[17]及智能制藥[18]理念，通過對數(shù)據(jù)采集方法和數(shù)據(jù)處理軟件的改進(jìn)，實現(xiàn)顆粒生產(chǎn)過程中以外觀變化為主要監(jiān)測點的在線實時工藝監(jiān)控，通過建立過程工藝參數(shù)標(biāo)準(zhǔn)，及時發(fā)現(xiàn)生產(chǎn)過程中的問題并實時糾正，滿足QbD中建立工藝控制策略，控制過程和產(chǎn)品質(zhì)量變異以及對工藝過程進(jìn)行持續(xù)監(jiān)控和質(zhì)量改進(jìn)的相關(guān)要求[19]，以數(shù)據(jù)為驅(qū)動，用更高的標(biāo)準(zhǔn)以及更智能的方法，提升中藥顆粒劑整體生產(chǎn)質(zhì)量控制水平。