基于通道注意力機制的中藥飲片圖像識別方法

周蘇娟 李嘉濤 何啟森 孟江 劉波

摘要：針對中藥飲片識別采用人工方式存在的耗費人力物力、主觀性強，容易造成偏差等問題，提出基于通道注意力機制的中藥飲片圖像識別方法。首先，構建中藥飲片圖像數據庫；然后，采用改進的AlexNet模型對莪術、姜、橘核和牡丹皮的飲片圖像進行識別；最后，針對同一飲片不同炮制品的圖像特征差異不明顯問題，引入通道注意力機制。對比實驗結果表明：基于通道注意力機制的AlexNet模型比AlexNet模型的平均精確度提高了2.18%，識別準確率提高了2.05%；且降低了參數量及FLOPs。

關鍵詞：中藥飲片；圖像識別；通道注意力機制；AlexNet模型

中圖分類號：TP391.4??????????文獻標志碼：A ???????????文章編號：1674-2605（2023）05-0010-06

DOI：10.3969/j.issn.1674-2605.2023.05.010

Image Recognition Method for Chinese Herbal Pieces Based on

Channel Attention Mechanism

ZHOU Sujuan^1，2??LI Jiatao²??HE Qisen²??MENG Jiang³??LIU Bo¹

（1.School?of?Automation，?Guangdong?University?of?Technology，?Guangzhou?510006，?China

2.College of Medical Information Engineering， Guangdong Pharmaceutical University， Guangzhou 510006， China

3.College of Traditional Chinese Medicine， Guangdong Pharmaceutical University， Guangzhou 510006， China）

Abstract：?A channel attention mechanism based on?image recognition method for Chinese herbal pieces is proposed to address the issues of human and material resources consumption， strong subjectivity， and bias in manual recognition of Chinese herbal pieces. Firstly， construct an image database of Chinese herbal pieces; Then， an improved AlexNet model was used to recognize the sliced images of Zedoary Turmeric， Ginger， Orange Kernel， and Moutan Cortex; Finally， a channel attention mechanism is introduced to address the issue of insignificant differences in the characteristics of different processed products of the same slice. The comparative experimental results show that the AlexNet model based on channel attention mechanism has an accuracy improvement of 2.18% and a classification accuracy improvement of 2.05% compared to the AlexNet model; And it reduces the number of parameters and FLOPs.

Keywords：?Chinese herbal pieces; mage recognition; channel attention mechanism; AlexNet model

0 引言

中醫中藥是我國醫藥行業的重要組成部分。在中藥蓬勃發展的過程中，中藥飲片的識別技術占據了重要的地位。目前，中藥飲片的識別主要根據專家的知

識和經驗或通過圖像比對做出判斷^[1]，不僅耗費大量的人力物力，還具有主觀性，容易造成偏差。隨著人工智能技術的發展，利用機器學習來實現圖像識別逐步應用于中醫藥領域^[2-3]，不僅提高了中藥飲片識別的

自動化程度及穩定性，還確保了統一的識別結果^[4]，推動了中醫藥客觀化、標準化的研究。

近年來，深度學習^[5]在圖像識別領域取得了較大的突破。王健慶等^[6]利用Google Net深度學習模型對常見的100種中藥飲片數據庫進行訓練及識別，達到了92%的平均識別率。胡繼禮等^[7]借助深度遷移學習理論，在Inception-V3模型^[8]上執行自適應和finetune操作，對中藥飲片圖像進行分析處理，平均錯誤率接近人工組，但其最大值與最小值的極差優于人工組。然而，對于相同品種的中藥飲片，如姜有干姜、炮姜、姜炭等不同炮制品，其圖像特征的差異不明顯，且性味、功效各不相同^[9]，如采用以上方法進行識別，效果并不理想。

為此，本文提出基于通道注意力機制的中藥飲片圖像識別方法，通過引入基于注意力機制的AlexNet模型，提高對同一種中藥不同炮制品的識別準確率。

1 深度學習

深度學習是機器學習的熱門研究領域之一，相比傳統的神經網絡，它從輸入層到輸出層經歷的層次數目更多^[10]。近年來，深度學習在語音和圖像識別方面取得了突飛猛進的進展。

1.1??卷積神經網絡

卷積神經網絡（convolutional neural network，CNN）是深度學習的代表算法之一。世界上第一個卷積神經網絡是LECUN^[11]在1998年提出的LeNet。Google Net^[8]、ResNet^[12]和AlexNet^[13]等模型都是在此基礎上發展起來的。AlexNet模型由5個卷積層和3個全連接層組成，采用ReLU作為激活函數，解決了深度網絡中Sigmoid的梯度彌散問題；利用隨機失活方法在訓練過程中隨機忽略一些神經元，避免了過擬合問題。

1.2 ?注意力機制

近年來，注意力機制在圖像理解、語音識別等領域得到一定的應用，其可以輔助模型分析輸入信息對當前任務的作用，通過評判不同輸入信息的重要程度得到信息不同部分的權重，使任務模型更為準確^[14]。注意力模型通常分為通道注意力模型、空間注意力模型、通道和空間混合注意力模型。對于二維圖像的CNN來說，一個維度對應圖像的尺度空間，另一個維度對應通道。本文利用通道注意力機制建立中藥飲片的圖像識別模型。

2??基于通道注意力機制的中藥飲片圖像識別

目前，中藥飲片圖像識別領域暫無公開的標準數據庫用于深度學習研究。本文采用的中藥飲片圖像均由廣東藥科大學中藥數字化質量評價重點實驗室及國家中醫藥管理局/廣東省高校中藥質量工程技術研究中心課題組提供。

2.1??數據集準備

中藥飲片種類繁多，據最新的《中華本草》記載，中藥共有8?980種，常見的中藥飲片有一千余種。本文以4種中藥飲片（莪術、姜、橘核、牡丹皮）和2種中藥飲片不同程度的炮制品（干姜、姜炭、炮姜，牡丹皮輕炭、牡丹皮標炭、牡丹皮重炭）圖像為研究對象，如圖1和圖2所示。

2.2??數據預處理

原始數據集中的圖像大小為4 608×3 456×3 像素，利用OpenCV中的resize將其調整為224×224×3像素。采用隨機旋轉、平移、翻轉、縮放等方式進行圖像增強。增強后的數據集經過旋轉、鏡像、縮放等操作，使圖像數量增倍，減少了模型過擬合的可能性。

2.3??數據集

經過預處理的中藥飲片數據集含有6?400幅圖像，按6∶3∶1的比例劃分訓練集、驗證集、測試集。其中，訓練集有3 840幅圖像，驗證集有1 920幅圖像，測試集有640幅圖像。

2.4??模型構建

基于通道注意力機制的中藥飲片圖像識別方法以AlexNet模型為基礎，通過改進其結構并增添新的機制，使其尾部結構的參數量與計算量大大減少。

首先，在AlexNet模型的第二、三、四、五次卷積后加入批量歸一化操作，以加快網絡收斂速度，為模型提供正則化效果，并在激活操作后加入注意力機制（sequeeze-and-excitation，?SE）模塊。

然后，因為AlexNet模型的3個全連接層參數量多且計算量大（參數量和每秒浮點運算次數（floating point operations，FLOPs）均達56.68?MB），所以刪除AlexNet模型的3個全連接層，增添1個1×1卷積層，利用960個1×1×256的卷積核得到5×5×960的特征映射；利用Hardswish激活函數做批量歸一化處理。

最后，利用全局平均池化操作獲取每個通道的全局信息，得到1×1×960的特征映射，將其展開為960個神經元，加入到有1?280個神經元的全連接層，利用Hardswish激活函數，加入Dropout正則化，以減緩過擬合，輸出層采用softmax回歸。

改進后的AlexNet模型結構如圖3所示。

借助輕量級的核心庫fvcore求得AlexNet模型參數量從56.68?MB降至2.76?MB，FLOPs從56.68?MB降至8.68?MB，參數量與計算量均大為減少。

3??實驗

本實驗采用Pytorch深度學習框架。硬件環境為：處理器Intel（R） Core（TM） i5-8300H CPU @ 2.30?GHz 四核；內存8.00?GB；顯卡NVIDIA GeForce GTX 1050 Ti，顯存4.00?GB。

為驗證同一種中藥飲片不同炮制品的識別效果，將AlexNet模型與基于通道注意力機制的AlexNet模型進行對比實驗，識別結果如表1和表2所示。其中，Precision、Recall、Specificity、F1_Score分別為評估識別性能的精確度、召回率、特異度和F1_Score指標。識別準確率（Accuracy）的計算公式為

A_accuracy =?（TP+TN） / （TP+?FP+TN+FN）

式中：TP為模型正確識別為正例的樣本數，TN為模型正確識別為反例的樣本數，FP為模型錯誤識別為正例的樣本數，FN為模型錯誤識別為反例的樣本數。由表1可知，AlexNet模型對中藥飲片的識別準確率為97.16%，但同一種中藥不同炮制品的識別效果欠佳，F1_Score分數最低的是牡丹皮標炭，僅為92.31%。

由表2可知，基于通道注意力機制的AlexNet模型比AlexNet模型的識別準確率提高了2.05%，炮姜與牡丹皮標炭的F1_Score分別提高了4.73%、5.55%，說明炮姜和牡丹皮標炭這兩種對應姜和牡丹皮的炮制品介于輕炭和重炭之間，在外觀上難以區分。

為了更加直觀地顯示模型的識別效果，AlexNet模型和基于通道注意力機制的AlexNet模型的混淆矩陣分別如圖4和圖5所示。

由圖4可知：利用AlexNet模型，240個牡丹皮標炭被正確識別，9個牡丹皮標炭被錯分為牡丹皮輕炭，4個牡丹皮標炭被錯分為牡丹皮重炭；14個牡丹皮輕炭、4個牡丹皮重炭和2個姜被錯分為牡丹皮標炭；在炮姜識別中，24個炮姜被錯分為姜炭，說明AlexNet模型難以識別不同炮制程度的牡丹皮或姜，容易混淆同一種中藥飲片的不同炮制品。

由圖5可知：利用基于通道注意力機制的AlexNet模型識別炮姜與姜炭、牡丹皮標炭與牡丹皮輕炭時，出錯個數較少，炮姜被錯分為姜炭的個數僅有2個，而利用AlexNet模型識別時，被錯分的個數達24個；在牡丹皮不同炮制程度的識別上，被錯分的個數也有一定程度的減少，說明經過基于通道注意力機制的AlexNet模型的識別效果整體優于AlexNet模型。

4 ?結論

本文構建了莪術、姜、橘核和牡丹皮4種不同中藥飲片的圖像數據庫及姜和牡丹皮不同炮制品的圖像數據庫，研究引入深度學習實現對不同中藥飲片以及同一種中藥飲片不同炮制品的自動識別。實驗結果表明，采用AlexNet模型識別4種不同的中藥飲片圖像能夠達到較好的效果，但對于同一中藥飲片的不同炮制品，由于圖像特征差異不明顯，識別效果不理想。而通過基于通道注意力機制的AlexNet模型來識別，提高了識別準確率，同時參數量以及FLOPs均大幅降低。

本文的中藥飲片識別只涉及到莪術、姜、橘核和牡丹皮4個類別，后期需要進一步擴充更多類別的中藥飲片數據庫，包括同一種飲片的不同炮制品。另外，在中藥飲片質量評價標準方面，本文探討的中藥飲片圖像識別只是涉及外觀上的評價，后期可以結合飲片內在成分含量等多特征角度，進一步完善中藥飲片的綜合評價。

參考文獻

[1] 莊奕珊.基于深度神經網絡的中藥材識別[D].廣州：華南理工大學，2018.

[2] 王一丁，郝晨宇，李耀利，等.基于深度學習的小樣本中藥材粉末顯微圖像識別[J].計算機應用，2020，40（5）：1301-1308.

[3] 陳雁，鄒立思.基于BMFnet-WGAN的中藥飲片智能甄別[J].中國實驗方劑學雜志，2021，27（15）：107-114.

[4] ZHOU S， MENG J， HUANG Z， et al. A method for discrimina-tion of processed ginger based on image color feature and a support vector machine model[J]. Analytical Methods， 2016，8 （10）：2201-2206.

[5] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）：504-507.

[6]?王健慶，戴愷，李子柔.基于深度學習的中藥飲片圖像識別研究[J].時珍國醫國藥，2020，31（12）：2930-2933.

[7] 胡繼禮，王永康，闞紅星.基于深度遷移學習的中藥飲片識別研究[J].新鄉學院學報，2019，36（3）：62-67.

[8] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolu-tions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：1-9.

[9] ZHOU S， MENG J， LIU B. Investigation into the pharma-cokinetic-pharmacodynamic model of Zingiberis Rhizoma/ Zingiberis Rhizoma Carbonisata and contribution to their therapeutic material basis using artificial neural networks[J]. RSC Advances， 2017，7（41）：25488-25496.

[10] 劉飛，張俊然，楊豪.基于深度學習的醫學圖像識別研究進展[J].中國生物醫學工程學報，2018，37（1）：86-94.

[11] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[12] LI X， DING L， WANG L， et al. FPGA accelerates deep residual learning for image recognition[C]//2017 IEEE 2nd Informa-tion Technology， Networking， Electronic and Automation Control Conference （ITNEC）. IEEE， 2017： 837-840.

[13] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017，60（6）：84-90.

[14] 李正濤.基于注意力機制的光譜地物分類方法研究[D].武漢：華中科技大學，2020.

作者簡介：

周蘇娟，女，1978年生，博士研究生，副教授，主要研究方向：醫藥信息學、圖像處理與模式識別。E-mail： 616748266@qq.com

劉波（通信作者），男，1978年生，教授，主要研究方向：機器學習、數據挖掘。E-mail：?csboliu@163.com