基于遷移學習和模型融合的中藥材圖像識別研究

劉偉　鄒偉紅　盧彥杰　胡為　劉塔斯

〔摘要〕 目的 為了提高中藥材圖像識別的準確率，針對中藥材形狀不規則、紋理特征細微、種類繁多等特點，結合深度學習方法開展中藥材圖像識別研究。方法 通過爬蟲獲取中藥材圖像并進行數據預處理，構建中藥材圖像數據集，使用Xception、DenseNet作為主干網絡提取中藥材特征，通過遷移學習、數據增強、模型融合等方法優化網絡結構，并提出一種基于Xception和DenseNet融合的中藥材圖像識別模型DxFusion。結果 通過遷移學習、數據增強和模型融合，DxFusion在60種中藥材測試集上分類精度可達99.65%，效果優于已有分類模型。結論 基于遷移學習和多模型融合的深度卷積神經網絡可以提取圖像中不規則的中藥材特征，有效提升中藥材圖像識別的準確率。

〔關鍵詞〕 深度學習;中藥材識別;卷積神經網絡;遷移學習;數據增強;模型融合

〔中圖分類號〕R282;TP751? ? ? ?〔文獻標志碼〕A? ? ? ? 〔文章編號〕doi：10.3969/j.issn.1674-070X.2022.05.019

Research on image recognition of Chinese medicinal materials based on transfer

learning and model fusion

LIU Wei1， ZOU Weihong1， LU Yanjie1， HU Wei1， LIU Tasi2*

（1. School of Information Science and Engineering， Hunan University of Chinese Medicine， Changsha， Hunan 410208， China;

2. School of Pharmacy， Hunan University of Chinese Medicine， Changsha， Hunan 410208， China）

〔Abstract〕 Objective In order to improve the accuracy of Chinese medicinal materials image recognition， the research of Chinese medicinal materials image recognition is carried out based on deep learning according to the characteristics of irregular shape， subtle texture characteristics， and various types. Methods Images of Chinese medicinal materials were obtained through crawlers and data preprocessing was performed， image data sets of Chinese medicinal materials were established， Xception and DenseNet was used as the backbone network to extract the characteristics of Chinese medicinal materials， and the network structure was optimized by transfer learning， data augmentation and model fusion. A method called DxFusion for image recognition of Chinese medicinal materials based on the fusion of Xception and DenseNet was proposed. Results Through transfer learning， data augmentation and model fusion， the classification accuracy of DxFusion was reached 99.65% on 60 kinds of Chinese medicinal materials test sets， which was better than the existing classification models. Conclusion The deep convolutional neural network based on transfer learning and multi-model fusion can extract the irregular characteristics of Chinese medicinal materials in the image， and effectively improve the accuracy for the image recognition of Chinese medicinal materials.

〔Keywords〕 deep learning; recognition of Chinese medicinal materials; convolutional neural network; transfer learning; data augmentation; model fusion

中藥材是中醫藥事業傳承和發展的物質基礎。隨著科學技術的飛速發展，計算機技術已應用于中藥材的溯源、鑒定、質量控制。近年來，人工智能在自然語言處理、計算機視覺等領域均取得了重要突破。

中藥材圖像識別是通過圖像處理技術對中藥材進行識別，可應用于中藥材自動分揀和快速鑒定等環節。在中藥材領域，深度學習相關研究不斷涌現。莊奕珊[1]使用SqueezeNet、GoogLeNet集成學習提取中藥材特征進行分類;黃方亮等[2]使用AlexNet模型應用于5種中草藥分類;王寒迎[3]使用ZCA白化減少中藥材微性狀圖像間的冗余性，改進卷積神經網絡提取特征;吳沖等[4]使用YOLO提取圖像中的中藥飲片，使用ResNet50和VGG16提取中藥飲片特征然后進行分類;史婷婷等[5]在GoogLeNet網絡增加2個輔助Softmax進行仿野生種植金銀花遙感識別;陶益等[6]使用卷積神經網絡和深度自動編碼器預測干燥黑枸杞中總花色苷、總黃酮和總酚類物質含量。

由于中藥材具有形狀不規則、紋理特征細微、種類繁多等特點，使用傳統機器學習分類算法精度不佳。因此，本文使用MobileNet、Inception、Xception、ResNet、DenseNet卷積神經網絡提取中藥材特征，使用Softmax歸一化分類，通過模型融合、Dropout、BN等方法來優化卷積神經網絡，在60種中藥材類別上取得了99.65%的準確率，提升了中藥材圖像識別的質量。

1 資料與方法

1.1? 中藥材圖像數據集構建

1.1.1? 中藥材類別挑選? 本文選取60種常用的中藥材用于識別研究，具體類別名見表1所示。

1.1.2? 中藥材圖片采集? 在Python語言中，提供了requests、lxml等大量爬蟲工具庫，借助這些模塊，可以快速實現根據關鍵詞爬取百度圖片和谷歌圖片的爬蟲代碼。本文使用多線程和正則表達式等技術實現了根據關鍵詞爬取中藥材圖片。

1.1.3? 中藥材圖片清洗? 在中藥材圖片采集階段共獲得了15 287張圖片，由于存在一些非對應類別、含有大量水印、較為模糊、圖像特征不明顯的圖像數據，因此需要進行人工剔除無用的數據操作。經過數據清洗后，最終選取的中藥材數據集圖片數量為9987張，對應60個類別，且各類別間圖像數量較為均衡。

1.1.4? 圖像歸一化  由于卷積神經網絡模型對輸入尺寸要求為224或299，而采集的圖片輸入尺寸不一，因此需要對圖像進行歸一化操作，即將其處理為統一輸入尺寸，調整為卷積神經網絡標準輸入形式224和299。

1.1.5? 數據集劃分? 為了保證實驗變量的唯一性，本文按照6∶2∶2的比例對原始數據集和增強數據集進行劃分。其中，訓練集、驗證集和測試集均無交集。

1.2? 基礎理論知識

1.2.1? 深度學習與卷積神經網絡? 深度學習是機器學習的一個重要研究方向。它通過學習樣本表現特征和內在規律，從而對新的數據進行解釋推理，解決了很多過去無法實現的模式識別復雜難題[7]。

卷積神經網絡（convolutional neural network， CNN）是目前深度學習計算機視覺（computer version， CV）領域最常用的算法[8-9]，它可以大幅提升圖像分類精度，其基本結構如圖1所示。

1.2.2? 激活函數與優化算法? 神經網絡中每一層的神經元都會接受上一層神經元的輸出作為本層輸入，再將本層神經元的輸出傳遞給下一層。如果輸入與輸出之間不存在函數關系，則神經網絡只是簡單的線性組合關系，表達能力很弱。因此，研究人員在輸入與輸出之間添加了函數關系，使神經網絡的表達能力大大增強，這樣的函數稱為激活函數[10]。

機器學習問題即為最優化問題，使用優化算法來最優化損失函數。按照梯度類型可分為有梯度算法和無梯度算法，其中，有梯度算法包括梯度下降算法[11-12]、動量法、RMSProp[13]、Adam[14]等。

1.2.3? 遷移學習與數據增強? 遷移學習是一種機器學習方法，把某個領域下學習的知識遷移到另外一個領域，使其取得更好的學習效果[15]。通常，當源域與目標域具有相似特征，且源域樣本數據充足，目標域樣本數據較小時，非常適合通過遷移學習來提高樣本不足任務的學習效果。有實驗表明，遷移學習在小樣本下效果顯著[16]。

數據增強是為了減少由于數據集較小而導致模型過擬合現象而提出來的方法[17]。通過對圖像進行各種變化后作為訓練集，進而提高模型的泛化能力。常用的數據增強方法包括圖像旋轉、縮放、平移、噪聲和尺寸變化等[18]。

1.2.4? 模型融合? 模型融合即按照某種方法訓練多個模型?？梢酝ㄟ^數學證明，隨著個體分類器數目的增多，集成的錯誤率將呈指數級下降，最終可以趨于零。

1.3? 經典網絡結構

1.3.1? MobileNet? MobileNet[19]具有輕量級的特點，為了使網絡參數下降，它使用了一種深度可分離卷積，相比于傳統卷積操作大大減少了參數數量，真正達到輕量級的目的。

1.3.2? Inception? Inception[20]通過尋找一個密集成分來代替最優局部稀疏結構，引入了大量的卷積操作進行降維，使得Inception可以高效擬合網絡的稀疏部分，如圖2所示。

1.3.3? Xception? Xception[21]網絡是對InceptionV3網絡的一種改進，Xception想要解耦通道相關性和空間相關性，使用了深度可分離卷積來代替Inception原有的卷積操作。即先使用深度方向卷積，對每個通道進行卷積后連接，再使用逐點卷積，對深度方向卷積連接的結果進行一次卷積。

1.3.4? ResNet? 在殘差網絡沒有出現之前，在計算機視覺領域運用CNN時，當GoogleNet在原有22層或VGG在原有19層再次增加網絡層數后，網絡會出現退化現象，損失由最初的逐漸下降趨于平穩或不斷上升，不再收斂，準確率也不斷下降。在ResNet[22]中，通過殘差網絡來解決這一問題。殘差網絡的基本模塊是殘差塊，其結構如圖3所示。

1.3.5? DenseNet? DenseNet[23]最大的特點是在常規池化層之后使用了一個被稱之為Dense Block的結構連接。DenseNet被稱為密集連接網絡的原因在于：Dense Block中每一層Bottle Neck的輸入均來源于上一層Bottle Neck的輸出和原始輸入的堆疊。

1.4? DxFusion融合模型

本研究對DenseNet和Xception經過全局池化得到的特征向量使用Concatenate層來進行特征融合，再使用全連接層保證足夠多的特征，然后加入Dropout層防止過擬合，最后再使用Softmax進行分類。在本文中，將這個新的網絡結構稱為DxFusion（DenseNet Xception Fusion），其網絡結構如圖4所示。

2 結果與分析

2.1? 圖像分類評價指標

在深度學習計算機視覺領域，對于多分類任務而言，常用評價指標包括準確率（accuracy）、召回率（recall）、精確率（precision）和F1-Score值等。

對于多分類問題而言，平均精確率、召回率和F1-Score值等價于準確率，因此本文選擇測試集準確率作為模型評價指標。具體計算公式如下：

2.2? 遷移學習實驗結果

分別對MobileNet、Inception、Xception、ResNet、DenseNet等網絡結構進行從頭開始和遷移學習兩種訓練方式，目的在于比較遷移學習和從頭訓練在中藥材數據集上的準確率和收斂速率，通過比較分析，得出實驗結果。實驗分為兩個階段，即從頭訓練和微調訓練，基本訓練參數設置如表2和表3所示，訓練結果如圖5和圖6所示。由圖6可知，從頭訓練收斂速率較慢，且由于樣本不夠廣泛，驗證集上模型的準確率不夠高，在中藥材數據集上難以訓練得到一個較好的模型;而遷移學習下的模型收斂速率很快，驗證集上也擁有較高的準確率。

2.3? 數據增強實驗結果

對原始數據集通過垂直翻轉、水平橫移、垂直橫移、隨機旋轉和隨機縮放等方式進行增強，得到增強數據集。原始數據集為經過數據清洗后的9987張圖片，增強數據集圖片數量為34 040張。訓練參數與表2微調訓練一致，訓練結果如圖7和表4所示。由結果數據可知，各個網絡模型在數據增強之后，在驗證集、測試集上的準確率均有一定提升。

2.4? 模型融合實驗結果

本文使用在數據增強實驗階段表現最好的兩個網絡DenseNet和Xception進行模型融合，共同提取特征，構建了DxFusion融合模型。訓練參數與表2微調訓練一致，使用數據增強得到增強數據集，訓練曲線如圖8所示，評價結果如表5所示。由表5中的數據可知，融合后的模型DxFusion在測試集上的準確率（99.65%）均優于單個DenseNet網絡（96.50%）和Xception網絡（96.65%），說明模型融合可以進一步提高模型的識別準確率。

2.5? 方法比較

不同方法的中藥材圖像識別準確率對比結果如表6所示。消融實驗的結果表明，加入遷移學習、數據增強、模型融合等優化策略之后，本文的中藥材識別的準確率取得了顯著提升。為了比較不同網絡結構在不同訓練方式下中藥材圖像識別的差異，本文以測試集準確率作為評價指標。由表6可知，從頭訓練階段，中藥材識別準確率為76.98%;通過遷移學習，中藥材識別準確率為94.18%;通過數據增強，準確率提升為96.56%;通過模型融合，準確率提升至99.65%。

與已有的中藥材圖像識別研究相比[1-5]，本文基于遷移學習和模型融合開展中藥材圖像識別研究，取得了良好的效果，如表7所示。

3 討論

目前，在中藥材圖像識別領域存在缺少大規模樣本、相關研究文獻較少等問題，找不到公開的中藥材數據集，本文通過網絡爬蟲自行構建了數據集。實驗結果說明，遷移學習、數據增強、模型融合等方式可以提高中藥材識別的準確率，利用Xception和DenseNet進行模型融合，在60種類別的測試集上達到了99.65%的準確率，表明了卷積神經網絡可以很好地提取出中藥材的特征，較好地完成了60種中藥材自動識別，具有準確性、高效性等特點，從而減少了人為中藥材辨別的工作量。本文所提出的智能化中藥材圖像識別方法可降低人為識別中藥材的難度和成本。

本文將深度學習遷移學習、數據增強、模型融合等技術并應用于中藥材圖像識別，通過Dropout、BN算法改進卷積神經網絡，為中藥材識別研究提供了一種新思路，主要貢獻和創新點如下：（1）使用了目前較為先進的CNN網絡結構（DenseNet和Xception），并對它們提取的全局特征進行融合，提出了一種新的網絡結構DxFusion，構建了新型融合模型;（2）運用數據增強技術擴充中藥材圖像數據集，構建了超過34 000張圖片的中藥材圖像增強數據集，可廣泛應用于中藥材圖像研究;（3）已有研究存在識別中藥材類別數目較少或識別準確率較低等問題，本文在60種中藥材類別上取得了99.65%的準確率，在識別類別數目和準確率兩個指標上均優于已有大多數中藥材圖像識別方法。

在后續的研究工作中，將進一步增加中藥材類別并擴充數據集。同時充分考慮中藥材紋理底層特性，通過集成學習來進一步提升中藥材識別準確率。此外，還將利用生成對抗網絡來產生對抗樣本，對模型進行對抗訓練，提升圖像識別模型的穩健性和抗干擾能力。

參考文獻

[1] 莊奕珊.基于深度神經網絡的中藥材識別[D].廣州：華南理工大學， 2018.

[2] 黃方亮，俞? 磊，沈同平，等.基于AlexNet深度學習模型的中草藥植物圖像分類研究與實現[J].齊魯工業大學學報，2020，34（2）：44-49.

[3] 王寒迎.基于深度學習的中藥材鑒別方法研究[D].桂林：桂林電子科技大學，2019.

[4] 吳? 沖，譚超群，黃永亮，等.基于深度學習算法的川貝母、山楂及半夏飲片的智能鑒別[J].中國實驗方劑學雜志，2020，26（21）：195-201.

[5] 史婷婷，張小波，郭蘭萍，等.基于深度卷積神經網絡的仿野生種植金銀花遙感識別方法研究[J].中國中藥雜志，2020，45（23）：5658-5662.

[6] 陶? 益，陳? 林，江恩賜，等.人工智能和工業4.0視域下高光譜成像技術融合深度學習方法在中藥領域中的應用與展望[J].中國中藥雜志，2020，45（22）：5438-5442.

[7] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[8] SCHMIDHUBER J. Deep learning in neural networks： An overview[J]. Neural Networks， 2015， 61（1）： 85-117.

[9] ULLAH S， HALIM Z. Imagined character recognition through EEG signals using deep convolutional neural network[J]. Medical & Biological Engineering & Computing， 2021， 59（5）： 1167-1183.

[10] QIAN S， LIU H， LIU C， et al. Adaptive activation functions in convolutional neural networks[J]. Neurocomputing， 2018， 272（1）： 204-212.

[11] BOTTOU L. Large-scale machine learning with stochastic gradient descent[C]//Proceedings of COMPSTAT'2010， Physica-Verlag， 2010： 177-186.

[12] KETKAR N. Deep Learning with Python[M]. Berkeley： Apress， 2017： 113-132.

[13] XU D P， ZHANG S D， ZHANG H S， et al. Convergence of the RMSProp deep learning method with penalty for nonconvex optimization[J]. Neural Networks， 2021， 139（7）： 17-23.

[14] BARAKAT， BIANCHI P. Convergence and dynamical behavior of the ADAM algorithm for nonconvex stochastic optimization[J]. SIAM Journal on Optimization， 2021， 31（1）： 244-274.

[15] 楊? 強，張? 宇，戴文淵，等.遷移學習[M].北京：機械工業出版社， 2020.

[16] 胡勝利，吳? 季.一種基于遷移學習的小樣本圖像分類方法[J]. 湖北理工學院學報，2021，37（2）：27-32.

[17] SHORTEN C， KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data， 2019， 6（1）： 1-48.

[18] MIKOLAJCZYK A， GROCHOWSKI M. Data augmentation for improving deep learning in image classification problem[C]//2018 International Interdisciplinary PhD Workshop， IEEE， 2018： 117-122.

[19] LI G， ZHANG H X， E L N， et al. Recognition of honeycomb lung in CT images based on improved MobileNet model[J]. Medical Physics， 2021， 48（8）： 4304-4315.

[20] LIU Z Y， YANG C， HUANG J ， et al. Deep learning framework based on integration of S-Mask R-CNN and Inception-v3 for ultrasound image-aided diagnosis of prostate cancer[J]. Future Generation Computer Systems， 2021， 114（1）： 358-367.

[21] CHEN B J， JU X W， XIAO B， et al. Locally GAN-generated face detection based on an improved Xception[J]. Information Sciences， 2021， 572（9）： 16-28.

[22] PHAWINEE S， CAI J F， GUO Z Y， et al. Face recognition in an intelligent door lock with ResNet model based on deep learning[J]. Journal of Intelligent and Fuzzy Systems， 2021， 40（4）： 1-11.

[23] HEMALATHA J， ROSELINE S A， et al. An efficient DenseNet-based deep learning model for malware detection[J]. Entropy， 2021， 23（3）： 344.

（本文編輯? 匡靜之）