基于Mask Scoring R-CNN的齒痕舌象識別

芮迎迎，孔祥勇，劉亞楠，董鑫，蔡健，盧嚴磚，況忠伶

上海理工大學醫療器械與食品學院，上海200093

前言

移動健康技術在中醫和遠程醫療中的應用呈增長趨勢，尤其是在新型冠狀病毒肺炎（COVID-19）爆發期間。舌診是中醫診斷中的重要環節，因其無接觸、有效、無創、實時、便捷、成本低等西醫檢測無法比擬的優勢，能在任何時間、任何地點進行輔助診斷，滿足全球初級保健系統的需求。舌象能夠反映內臟虛實、氣血盛衰、病位深淺、預后好壞［1-2］。通過對舌象的客觀化研究，能夠觀察COVID-19 患者的舌象特征及變化，為防治COVID-19 提供治療依據［3-4］。由于傳統舌診主要依據醫師個人經驗，易受環境影響，存在主觀性、評判標準不一致等問題。因此，越來越多的計算機研究人員開始將其結合計算機視覺領域，建立客觀、定量的中醫輔助舌診系統。

齒痕舌的客觀化研究具有重要性和挑戰性，齒痕舌是中醫診斷的一個重要指標。臨床實驗結果表明在不同臨床分型COVID-19患者的舌形分布研究中，齒痕舌易見于普通型患者。據研究，人群中的齒痕舌占比56%，其中嚴重者占比11%［5］。齒痕舌的識別更具挑戰性，主要原因為：（1）齒痕形狀多樣，變化大，如不同顏色、不同形狀、不同類型的齒痕；（2）由于個人隱私和圖像獲取的限制，舌部的圖像數量有限；（3）用于金標準的圖像數量有限。舌象的判讀需要多個專家的參與，但專家在有限時間內只能將圖片分類為有齒痕和無齒痕，并未在圖片上標注出齒痕的位置，無法提供齒痕的位置分布、大小、深度等信息。

舌體分割［6-9］、舌象特征提取及分類取得一定進展，越來越多的學者研究舌象特征與疾病、處方之間的關系［10-12］。Li 等［13］等針對當齒痕舌不是凹入區域時，利用凹入區域信息對齒痕舌進行分類性能不穩定這一問題，提出一種使用多示例學習和卷積神經網絡（CNN）三階段的方法。Sun 等［14］提出一種視覺解釋方法來解決神經網絡學習到的特征可視化問題，該方法將整個舌頭作為輸入，使用卷積神經網絡來提取特征，然后對舌頭進行分類并生成粗略的定位圖，最后使用梯度加權類激活映射齒痕標記區域。Kanawong 等［15］使用機器學習方法中的AdaBoost 和SVM 以及多層感知網絡建立舌象和相應的癥之間的關系，通過對舌頭上的瘀斑點大小、尺寸、分布，來研究其與胃炎之間的聯系。Xiao 等［16］通過使用CNN構建舌診的寒癥、熱癥、正常3種狀態的識別，實驗結果表明該模型對二分類問題識別準確率高于三分類問題。Hu等［17］構建真實世界的舌部圖像和相應處方對應的神經網絡模型，為移動醫療系統中的醫療服務提供新思路。

深度學習的對象檢測取得巨大成功［18］，為提高舌象特征識別準確率提供了契機［19］。本文針對齒痕形狀大小多樣難以識別、用于金標準的舌象數據有限等問題，提出一種基于Mask Scoring R-CNN（以下簡稱MS R-CNN）［20］和遷移學習的舌象特征識別方法，能夠識別齒痕特征、準確定位齒痕位置、標定齒痕大小、提取齒痕個數，可以在一定程度上降低小樣本數據上應用深度學習技術的難度系數，獲得較高的分類準確度。

1 實驗方法

本實驗舌象分類流程如圖1所示。在離線訓練階段，首先篩選符合條件的舌部圖片，構建舌象數據集。接著對圖片進行預處理，并由多個中醫專家對舌象進行標注，最后使用遷移學習的方法訓練模型。在線測試階段，使用測試圖片對模型進行測試，并評估模型性能。

圖1 舌象特征識別實驗流程圖Fig.1 Flowchart of tongue feature recognition experiment

1.1 數據篩選與預處理

本課題組與上海中醫藥大學附屬曙光醫院合作，根據采集標準使用專業采集設備，采集1 500 張臨床舌象照片。為了提高后續研究舌象特征的準確率，由多位專業中醫從業人員幫助標注，完成一致性評價確認。本次實驗共篩選出無齒痕舌400例，齒痕舌756例，分辨率為2 816×2 112。對篩選后的圖片首先進行統一命名，接著使用訓練好的舌部分割網絡模型對采集到的舌部圖像進行裁剪，如圖2所示。一是以減少圖片中面部其他區域對后續工作的影響；二是原圖像數據分辨率大小為2 816×2 112，分辨率較大會增大網絡訓練的難度和訓練時長。最終得到的圖片分辨率大小為563×397，可以直接輸入神經網絡。

圖2 原始圖像與處理后的圖像Fig.2 Original image and processed image

1.2 舌象標注與數據集劃分

MS R-CNN 網絡的訓練不僅需要圖像還要有與之相對應的掩膜信息。使用基于Python 的Labelme開源圖像標注軟件，對舌部區域進行標注和制作掩膜，得到舌體圖像中齒痕的分割信息，如圖3所示。為了保證有充分的數據用于模型的訓練，同時預留一定量的數據用于驗證和測試，避免因數據劃分引入其他偏差，參考數據集劃分的常見方法：留出法。將所有標注完成的數據隨機分為訓練集、驗證集、測試集，最后將訓練集和驗證集的注釋信息按照COCO數據集格式整合到JSON格式文件中。

1.3 舌象特征提取模型構建

圖3 使用標注軟件Labelme對舌象特征進行標注Fig.3 Marking tongue features by Labelme

1.3.1 特征提取網絡模型構建MS R-CNN 是首個解決實例分割假設打分問題的框架，簡單、有效、通用。Huang 等［20］在Mask R-CNN 的基礎上增加用于了解預測掩碼質量的網絡塊，可以檢測目標并同時能夠更準確地評估預測的質量［21-22］。該網絡結合了用于目標檢測的Faster R-CNN 和用于語義分割的FCN，在Faster R-CNN 檢測到目標后，將FCN 用于掩膜預測、邊框回歸、分類、掩膜評分。MS R-CNN 在Mask R-CNN 的基礎上增加一個網絡塊，用來學習預測的實例掩膜的質量。掩膜評分策略校正掩膜質量與掩膜得分之間的偏差，提高實例分割性能，為實例分割的改進提供一個新的方向。

MS R-CNN方法分為4個階段，其網絡結構如圖4所示。第一階段為特征提取，將預處理后的舌圖片輸入ResNet+FPN的主干網絡，從特征金字塔的不同層次提取特征。第二階段為感興趣區域（ROI）生成，通過RPN提取出候選ROI。第三階段使用ROIAlign從每個候選ROI中提取特征，并進行邊框回歸、softmax分類和掩膜預測。最后一個階段是MaskIoU Head，在預測的掩膜和groundtruth掩膜之間進行回歸運算。

圖4 基于Mask Scoring R-CNN 的舌象特征提取網絡結構圖Fig.4 Network architecture of tongue feature extraction based on Mask Scoring R-CNN

1.3.2 遷移學習的應用本文應用遷移學習方法減少訓練時間，防止神經網絡的過擬合。盡管盡量減少神經網絡模型參數可以避免過擬合，然而醫學圖像本身數據難以采集、可以作為金標準的數據量少，無法與十幾萬的開源數據集相比。遷移學習是將在一個任務上訓練好的模型通過調整應用到另一個任務上［23-26］。在本實驗中，使用在COCO 數據集上預訓練的ResNet 主干網絡，刪除預訓練模型的最后一層。因為預訓練的模型是為了不同的分類任務而訓練的，去除全連接層和與分類得分、邊界框預測、掩膜預測層相關的權重和偏差。使用未經訓練的層來替換移除的層，將類別調整為3 類，最后將數據集和相關的掩碼輸入到MS R-CNN 模型架構中，如圖5所示。

圖5 用于舌象數據集上遷移學習的Mask Scoring R-CNN 結構Fig.5 Mask Scoring R-CNN architecture adopted for transfer learning on the tongue image data set

1.4 模型效果評價標準

本實驗采用深度學習中目標檢測任務常用的評價指標：準確率、精確率、召回率（recall）、F1分數。將神經網絡預測類別與真實類別的組合劃分為真陽性（TN）、假陰性（FN）、真陰性（TN）、假陽性（FP），以判別非齒痕舌和齒痕舌為例，若真實類別為齒痕舌，預測類別相同為真陽性，預測類別為非齒痕舌則為假陰性；若真實類別為非齒痕舌，預測類別相同為真陰性，相反為假陽性，具體計算公式如下所示：

2 實驗結果

2.1 訓練平臺

模型訓練在Ubuntu64 位操作系統中離線完成，CPU 為Intel Core i7-9700F，內存32 G，GPU 為GeForce GTX 2080Ti。本文選取Pytorch 作為學習框架，與Tensorflow 相比，PyTorch 的優點是動態圖，能夠在強大的GPU 加速的基礎上實現張量和動態神經網絡。而Tensorflow等都是靜態圖，不利于擴展。

2.2 實驗細節

實驗中使用的主干網絡是由50 層或101 層殘差神經網絡（ResNet-50、ResNet-101）衍生而來的特征金字塔網絡，使用ResNet-50 主干網絡模型的計算量低于ResNet-101，使用ResNet-101可以在不改變模型或者訓練的情況下顯著改善結果。

本實驗使用最初在COCO 數據集上訓練的Resnet-101 網絡，并刪除全連接層，因為預訓練的模型識別88 類樣本。全連接層的去除刪除了與classscore、Bbox 預測、mask 預測層相關的權重，然后使用未經訓練的層替換。接著將數據集和相應的掩膜輸入到MS R-CNN模型架構中。

在遷移學習階段，凍結預訓練的Resnet-101主干網絡的權重，使模型能夠從舌象數據中提取通用的低級特征。然后訓練新添加的全連接層，根據新數據集的分布調整權值。在模型訓練中，網絡進行了更新和微調。

2.3 測試結果與分析

使用232 張舌部測試圖片（包含無齒痕和不同齒痕嚴重程度的齒痕舌）對模型進行評估。TP=101，FN=15，FP=1，TN=115，得到模型F1分數為0.95，準確率為0.93，精確率為0.99，召回率為0.914。從預測結果來看，該模型具有良好的泛化性，針對齒痕舌不同嚴重程度（圖6）（輕度、中度、重度），舌型（圖7）（圓形、三角形、橢圓形、方形等），不同伸舌方向（圖8）具有較好的識別效果。其中，共有15 例無齒痕舌被誤識別為齒痕舌，通過與中醫專家共同分析得出，被模型識別錯誤的無齒痕舌中包含先天性和由牙齒畸形導致的非齒痕凹陷。因此，在下一步工作中將加入更多非齒痕凹陷信息。

圖6 對不同齒痕程度的齒痕舌識別效果Fig.6 Recognition of different degrees of tooth marks

圖7 對不同形狀的齒痕舌識別效果Fig.7 Recognition of different shapes of tooth marks

圖8 對不同伸舌方向的齒痕舌識別效果Fig.8 Recognition of tongue marks with different tongue extension directions

從可視化角度來看，相比于簡單給出舌象的分類，該模型通過提供齒痕部分位置和大小的局部高分辨率可視化，結合置信度、齒痕的數量使研究者更好地理解網絡，為齒痕嚴重程度分析提供依據，更加適用于移動醫療、遠程醫療。

3 總結與展望

本實驗將圖像處理領域的最新研究成果應用到中醫齒痕舌象特征提取及分類中，解決目前舌象識別方法未提供齒痕部分位置和大小的局部高分辨率可視化，深度學習技術難以應用在小樣本醫學數據的問題，提高齒痕舌象分類精度，對提高舌診客觀化分析準確度和醫療保健中的實際應用具有重要意義。該方法首先根據舌象特征識別任務的特點結合深度學習選擇合適的神經網絡；然后為提高算法的分類準確率和多種場景下齒痕舌象分類的魯棒性，采用遷移學習方法。最后對模型進行測試和分析，得到較高的齒痕舌象分類準確率、準確的齒痕位置和齒痕數量。

未來，該研究將朝著以下3個方向繼續深入。首先，提升模型的準確率。接下來將針對舌診客觀化改進模型，使模型更具輕量化，并提高準確率。其次，通過MS R-CNN 的分析與實驗，已了解MS RCNN 在處理中醫舌象分類具有良好的表現。齒痕只是中醫舌象中的一種，該研究繼續將問題擴展到更多分類問題，研究更多舌象分類問題可以更好地幫助診斷和治療。最后，該實驗重點研究舌象特征提取與分類，然而，從中醫的角度來看，要分析一個人的身體健康，應收集望、聞、問、切這四診的所有信息。因此在接下來的工作中，將結合先前的面診、問診等研究，建立更全面的深度神經網絡。希望該工作可以促進醫療健康信息化進一步發展！