基于多視圖舌象特征融合的中醫證型辨識

關鍵詞：舌診；證型辨識；特征融合；多視圖

中圖分類號：TP183 文獻標志碼：A 文章編號：1001-3695（2025）07-026-2116-07

doi：10.19734/j. issn.1001-3695.2024.11.0471

Abstract：Fortongue diagnosis inTCM（traditional Chinese medicine），clinical physiciansobservethequality，coating，and baseof the tongue to understand the patient’s health status and pathologicalchanges.Existing tongue diagnosis auxiliary syndromediferentiation modelslack comprehensiveanalysisand ignore thecomplementarycharacteristicsofthe tonguesurface and tongue base.To solvethe problem，thispaper proposedasyndrome identification model basedon multi-view tongue featurefusion（SI-MTF）.Bycolecting3348tonguesurfaceandtonguebaseimagesandrequestingtraditional Chinese medicine physicianstolabeltheimages with syndrome types，thispaperconstructedatongueimagedatasetand proposedSI-MTF.Firstly，this methodextractedthetongue surfaceand tongue base regions basedon Mask R-CNNand NanoDet，andthenconstructedaconvolutional neural network with denseconnectionsto extractandfusetonguesurfaceandtonguebase features.SI-MTF extractedcolor，shape，andtexturefeaturesof the tongue image throughchannelmeanof HSVcolormodel，localbinarypatternalgorithm，andGaborfilter.Duringthetrainingstage，thismethodusedateacher-studentnetwork toimprovetheability offusingtonguesurfaceandtonguebase.Finall，itusedfullyconnectedlayersandsoftmaxfunctiontolearntherelationship between fusion features and syndrome types for achieving TCM syndrome identification.Basedonthe tongue image dataset， this paper conductedcomparative experiment，parameter discussion，ablation experiment，and robustness experiment，and then the method obtained an accuracy of 76.75% ，improved by 7.51 percentage points compared to the baseline method. Theexperimentalresultsshowthat thecomprehensiveanalysisofthetonguesurfaceandtonguebasebasedonmultiviewcaneffectively improve theperformanceof the tongue diagnosis auxiliary syndrome diferentiation model.

Keywords：tongue diagnosis；syndrome identification；feature fusion；multi-view

0 引言

望診是中醫四診之首，其中舌診作為望診中的關鍵流程，醫師通過觀察舌質、舌苔和舌底變化了解人體生理功能和病理變化，是中醫學獨具特色的診法之一[1]。中醫認為，舌體與人體臟腑和組織通過經絡相互聯系，臟腑生理和病理變化可能反映在舌象上。舌體需要氣血滋養，因此舌象能夠反映氣血盛衰，與脾臟運化功能和氣血生成有直接關聯，比如，如果舌色較正常人淺淡，則有可能是虛證或者寒證，如果舌底脈絡紫且粗張，則可能是氣血不足[2]。中醫通過觀察舌體，包括舌體表面紋路和舌底脈絡，判斷患者健康狀況[3]

傳統舌診方法依賴中醫醫師檢查患者舌體外觀和舌苔情況，包括舌面和舌底色澤、形態和質地等方面的變化，并結合臨床經驗進行診斷[1]。然而，這一過程受到中醫醫師技能水平、臨床經驗等因素影響，主觀性較強，因此，近年來舌診客觀化研究得到重視[4]。通過引入人工智能算法，將傳統中醫舌診與計算機圖像處理相結合，實現舌體圖像的定性和定量分析[5]。然而，目前中醫舌診客觀化研究存在以下問題：a）基于舌象的輔助辨證研究主要關注舌面特征[6-8]，缺乏對舌面和舌底特征的綜合分析，這類研究利用特征提取器從舌面圖像提取關鍵信息特征，利用全連接層進行中醫證型、病位和病性等分類，其存在僅利用舌面圖像特征的局限，而舌底脈絡作為中醫分析氣血運行的重要依據，該類研究未綜合分析舌面和舌底圖像特征；b）在基于舌象的輔助辨證模型中，利用深度學習技術進行舌象特征提取[9＼～11]，其利用CNN、Transformer、MLP（multilayerperceptron）等模型進行自適應特征提取，利用全連接層實現舌色、苔色、病位和病性等分類，該類研究利用模型進行自動特征提取，缺乏對舌象具體特征的挖掘，如紋理、顏色和形狀特征。

因此，利用人工智能技術設計基于舌象的中醫證型輔助辨識模型是必要的。為解決現有研究存在的問題，本文設計密集連接和雙分支結構的卷積神經網絡，同時提取和融合舌面和舌底的特征，以實現舌面和舌底特征綜合分析，并單獨提取舌體的顏色、形狀和紋理特征，將教師-學生網絡融人模型，引入舌象的具體特征。綜上，本文提出基于多視圖舌象特征融合的中醫證型辨識（syndrome identification based on multi-view tonguefeaturefusion，SI-MTF）模型。本文主要貢獻如下：

a）構建多分支密集連接網絡，在提取舌面和舌底的特征同時逐層融合舌面和舌底特征，編碼包含舌面和舌底特征。

b）引入教師-學生網絡，使用特征提取器（HSV通道均值、LBP算法和Gabor濾波器）提取紋理、顏色和形狀特征，與深度學習模型提取的特征進行融合，提取關鍵舌面-舌底特征。

1相關工作

目前利用計算機視覺技術進行中醫舌診相關的研究可分為舌象特征識別和舌象辨證兩類。

1.1 舌象特征識別

目前舌象特征識別的方法，主要利用圖像處理和機器學習算法提取舌象特征，將特征進行定量分析，根據舌象特征進行特征分類、關鍵區域檢測或者分割。Tang等人[12針對手工提取舌苔特征存在固定位置導致在舌苔區域大小或位置變化時性能不穩定的問題，提出基于卷積神經網絡和多實例支持向量機提取和分類舌苔特征的方法。通過先驗知識獲取可疑舌苔區域，利用CNN提取特征，再利用多實例支持向量機進行分類，避免傳統固定位置提取特征局限性，實驗取得 85.00% 準確率和 89.80% 召回率。杜春慧13提出基于同態濾波和C-均值聚類的質色識別方法，用于分離舌質和舌苔較為集中的區域，并提取質色特征，用于舌裂紋、齒痕舌以及質色的識別。Hu等人[14]針對舌底脈絡特征提取和分類缺少針對性算法及高質量數據集的問題，提出基于Swin-Transformer的舌底脈絡區域分割和分類的方法，取得90. 46% 的平均交并比（meanin-tersection over union）和 82.21% 的準確率。Lin等人[15提出基于矩不變量的舌象數據增強方法，緩解傳統數據增強方案在舌象數據集上不穩定的問題，利用該方法進行舌象分割并達到97.01% 的交并比（intersectionoverunion）。 W_u 等人[1針對舌苔特征提取問題，基于TransUNet提出減影特征金字塔和視覺特征增強模型，取得 96.36% 的準確度和 97.43% 的召回率。

1.2舌象辨證

目前基于舌象辨證的研究，主要利用人工設計或者深度學習的特征提取器，將舌象高級特征送入分類器進行預測，得到辨證結果。 Hu 等人[1針對通用卷積網絡對詳細的區域舌象特征建模的能力較弱，忽略卷積通道間組關系，導致模型高冗余度的問題，采用隨機區域池化方法獲取詳細的舌象區域特征，并采用內成像通道關系建模方法對所有舌象通道上的多區域關系進行建模，結合空間注意機制，實現基于舌象的疾病位置識別。實驗表明，對疾病位置識別的準確率可以達到75.23% 。Balasubramaniyan等人[18]利用全景舌體圖像提取多種特征，包括顏色、紋理、形狀、齒紋和皮毛等，提出糖尿病診斷方法，特征提取階段使用了ResNet50架構，而分類階段基于自動編碼器學習機制的深度徑向基函數神經網絡算法。實驗結果顯示，在準確度、精度和靈敏度等評估指標上分別達到98.40%.98.90%.99.10% 。Jiang等人[19]觀察1778名參與者舌象特征，結合定量舌體圖像特征、基本信息和血清學指標（如肝脂肪變性指數和脂肪肝指數）等，使用多種神經網絡算法，如邏輯回歸、梯度提升決策樹和自適應提升算法，進行非酒精性脂肪性肝病的診斷，最終采用Logistic回歸診斷模型獲得最佳的融合效果，取得了 81.70% 的準確度。Zhang等人[20針對基于舌底脈絡進行糖尿病檢測的問題，引入顏色描述符，并通過引人Hilbert-Schmidt獨立準則和歐幾里德距離，提出多特征學習方法，提高其算法在跨模態特征表示方面的能力，取得了 93.38% 的準確度。

現有舌象識別方法和舌象辨證方法主要針對舌面或舌底分別進行分析，缺乏對舌面和舌底圖像特征的綜合分析，缺少對具體舌象特征的利用，包括顏色、形狀和紋理。針對以上問題，本文利用多視圖學習，構建密集連接和雙分支網絡編碼舌面和舌底關鍵特征，并設計教師-學生網絡融合自動提取特征和舌色、舌體形狀和紋理特征，提高模型輔助辨證能力。

2方法

2.1 總體框架

SI-MTF模型整體流程如圖1所示，包括三個部分：基于MaskR-CNN和NanoDet的舌體分割、基于多路徑密集連接神經網絡的舌象特征提取和基于教師學生網絡的特征融合。a）在舌體分割過程中，分別通過MaskR-CNN和NanoDet對舌面和舌底進行分割，提取出舌質、舌苔和舌底脈絡區域。b采用分層卷積神經網絡進行舌面和舌底的特征提取，同一路徑內的層之間以及不同路徑的層之間進行特征傳遞。每個視圖的特征經過潛在特征提取模塊，針對性地提取舌面和舌底的顏色、紋理和形狀等特征，然后，利用softmax函數計算每個視圖分支的概率，并計算視圖分類損失。c）通過合并的兩個視圖計算教師軟標簽，并將學生軟標簽和教師軟標簽融入一致性和互補性信息，計算視圖蒸餾損失，提高特征提取的準確度。

所提模型基于Python語言實現，使用的核心庫以及版本包括：Torch（版本2.3.1），基于其 nn 模塊構建卷積和全連接層等，為NanoDet提供支持;Torchvision（版本0.18.1），通過其模型庫構建MaskR-CNN；skimage（版本0.25.O），opencv-python（版本4.10.0.84），利用這兩個庫實現Gabor濾波器、LBP算子和HSV顏色空間。

2.2基于MaskR-CNN和NanoDet的舌體分割

為屏蔽舌體圖像中背景區域對于特征提取的影響，使用MaskR-CNN對于舌體圖像中舌面的舌苔和舌體進行分割，如圖2所示。具體來說，對于輸入的舌體圖像，輸入到預訓練好的神經網絡中，獲得對應的特征圖；通過錨框對特征圖中的每個位置設定預定數量的感興趣區域（regionofinterest，RoI），獲得多個候選RoI;將這些候選的RoI送入區域提議網絡（regionproposalnetwork，RPN）進行二分類（前景或背景）和邊界框回歸，過濾掉一部分候選的RoI;對剩余的RoI進行對齊操作，對這些RoI進行目標分類、邊界框回歸和掩碼生成（在每個RoI內進行全卷積網絡操作，生成像素級別的掩碼）。最終將舌面分割為舌體區域和舌苔區域。

對于舌底區域的提取，因為是針對舌底的脈絡整體進行特征提取，采用NanoDet算法進行區域提取，在減少參數量的同時保證提取區域的準確率。具體舌底的提取流程如圖3所示。對于輸入的舌底圖像，通過特征提取網絡降低圖像分辨率，提高特征維度，將不同維度舌像特征輸入特征金字塔網絡，提取舌底高維特征和低維特征，最后將提取的多尺度特征通過邊框回歸和分類兩個分支輸出圖像的舌底區域。

2.3基于多路徑密集連接神經網絡的舌象特征提取

在進行舌象特征提取時，設計多層卷積隱藏特征提取網絡，將原始舌面圖像與分割后的舌底圖像分別輸入特征提取網絡，不同分支負責提取不同潛在特征，通過密集連接實現信息共享，特征經過融合層整合，輸出舌象的特征表示。網絡結構中，每個卷積塊的輸入是來自兩條路徑的所有先前層輸出的串聯，也就是密集連接不僅發生在同一路徑內的層之間，而且還發生在不同路徑的層之間。兩條路徑的特征計算表達式為

其中： _;I 表示網絡中的舌象特征圖； ξ_l 表示網絡的第 l 層； H 為連接操作；通過最后一層網絡分別得到舌面潛在特征 I_L¹ 和舌底潛在特征 I_L²，L 表示網絡的層數。

將舌面 I₁₁ 和 I₁₂ 轉為HSV，計算出 通道總平均值作為顏色特征 F_1c ;使用局部二值模式（local binary pattern，LBP）算法提取出舌體區域 I₁₁ 的形狀特征 F_1b ，使用Gabor濾波器提取舌苔區域 I₁₂ 的紋理特征 F_1t 。

對于舌底區域 I₂^' ，將圖像轉為HSV，計算出 H，S，V 通道平均值作為顏色特征 F_2c ，使用LBP和Gabor濾波器分別用于提取紋理特征 F_2b 和形狀特征 F_2t 。

最后，分別將舌面和舌底特征多層卷積隱藏特征提取網絡提取出的潛在特征組合，得到最終的舌面特征 f₁（I₁） 和舌底特征 f₂（I₂^'） 。

2.4基于教師-學生網絡的特征融合

在教師-學生網絡中，教師網絡生成軟標簽，學生網絡提取特征并計算學生軟標簽，教師軟標簽和學生軟標簽用于提供一致性和差異性信息，用于引導學生網絡更好地提取特征，提高準確度。具體來說，每個視圖數據都經過全連接分類網絡得到證型分類標簽，然后計算多視圖的分類損失，損失函數如式（5）所示。

其中： L_CE¹?L_CE² 分別表示舌面視圖和舌底視圖的分類損失 Ω_：pi¹ 表示舌面特征標簽中推斷為證型類別 i 的概率； p_i² 表示舌底特征標簽中推斷為證型類別 i 的概率； y_i 表示真實的證型類別標簽； N 表示證型類型的數量。綜合兩個視圖的分數得到總的分類損失 L_CE^views 。

通過教師-學生網絡融合舌面特征與舌底特征等關鍵特征，蒸餾非關鍵特征。其中教師標簽通過對各視圖進行平局池化獲得，公式如式（6所示。

接下來，分別計算學生軟標簽 P_s，v 和教師軟標簽 P_T ，其中

向量 P_s，v 與 P_T 中每個值的計算公式為

其中： p_s，vⁱ 表示視圖 V 屬于證型類別 χ_i 的概率標簽； p_rⁱ 表示融合標簽中屬于證型類別 i 的概率標簽 σ_;fV（σ_IVⁱ） 表示視圖 V 屬于證型類別 i 的特征標簽 σ;f_t（σIⁱ） 表示教師標簽 f_t（I） 中屬于證型類別 i 的特征標簽；S表示softmax操作； τ 為比例參數。

最后計算每個視圖得分與總得分之間的蒸餾損失，公式如式（9）所示，其中 L_KD¹?L_KD² 分別表示舌面視圖和舌底視圖的蒸餾損失。

最后，算法的整體損失 L_total 如式（10）所示。 ρ，θ 表示不同損失對應的權重參數，使用隨機梯度下降來更新整個神經網絡的參數，最后將訓練好的模型用于證型辨識。

L_total=ρL_KD^views+θL_CE^views

3 實驗與分析

3.1數據集

本文舌象數據由合作單位采集，記錄患者在臨床診斷過程中的舌體圖像和對應患者的相關信息。遵循數據納人標準：a）符合中醫舌診要求并開展診斷流程的患者;b）具有明確證型的患者;c）簽署知情同意書。執行數據排除標準：a）不符合上述納入標準者；b）舌體圖像采集不完整、不清晰的患者。2021年12月＼～2022年1月共收集整理臨床病例1452例，平均年齡28.52歲。其中去除質量不高的圖像，包括舌象不完整、舌體模糊、亮度不足和遮擋嚴重的照片。最終采集3348張圖像，分別為1674組，每組包括舌面和舌底兩張圖像，并請中醫專家標注舌體圖像對應的中醫證型。使用開源軟件Labelme（https：//github.com/wkentaro/labelme）對每張圖像的舌象區域進行人工標注。舌象區域的標注效果如圖4所示，舌象具體區域的標注結果形式為：[86.0，133.0，120.0，123.0]，其中（86.0，133.0），（120.0，123.0）分別為舌象區域左上角和右下角點的像素坐標。本文將輸入模型的圖像尺寸統一縮放為 224×224 ，并且通過隨機剪裁和隨機翻轉操作增加了數據多樣性。

3.2 實驗環境和評價指標

實驗使用Python語言，計算機配置為Intel③Core TM_i7 113700CPU，GPU為NVIDIAGTX4060，內存大小為 16GB 。實驗隨機將舌象-證型數據集的 70% 劃為訓練集， 20% 劃分為驗證集，其余剩余數據作為測試集。根據輸入舌體圖像獲得對應證型的輸出，模型優化策略為Adam梯度下降。本實驗通過準確率（ACC）評價指標評估模型的性能，其公式如式（11）所示。

其中： n_correct 為被正確分類的樣本數量； n_total 為總樣本個數。

3.3 對比實驗

選取實驗過程中的學習率、比例參數、特征提取網絡層數、蒸餾損失權重參數、分類損失權重參數的最優參數，將本文模型與已有的分類模型進行對比以驗證模型的性能，選擇ResNeXt5^[21] 、DenseNet[22]、 SK_-Net^[23] 、Swin Transformer[24]ResMLP^[25] 、Vision Permutator[26]作為對比模型，在舌象-證型數據集上進行訓練，選擇驗證集測試各個模型的辨識準確率。對比模型涵蓋了目前圖像識別領域的三類模型，包括卷積神經網絡、基于注意力的Transformer類模型和基于線性投影層的MLP類模型。

a）ResNeXt5：重復利用一組具有相同拓撲結構的轉換操作塊來構建多分支網絡，在寬度和深度不增加的情況下，通過增加轉換操作的數量來提高分類精度。

b）DenseNet：提出密集連接結構，將模型中的每一層建立直接連接進行跨層特征傳遞，緩解梯度消失問題，增強特征傳遞和復用。

c）SK-Net：針對傳統卷積神經網絡中固定卷積核大小導致感受野大小固定的問題，設計動態選擇機制，進行不同大小感受野的卷積，得到多尺度特征，并動態地進行特征的融合。

d）SwinTransformer：將移動窗口機制引人到Transformer類模型中，緩解Transformer類模型在圖像識別領域計算復雜度高和局部窗口間無關聯的問題。

e）ResMLP：提出基于多層感知機結構的圖像識別網絡，每一層中分別進行跨分片和跨通道的交互，在沒有使用注意力和卷積操作的情況下，實現準確度和復雜度的平衡。

f）VisionPermutator：提出基于多層感知機的圖像識別網絡，在每一層結構中對圖像沿著長、寬和通道維度分別進行線性投影來進行特征編碼，保留更多空間信息。

對比模型與SI-MTF的實驗結果如表1所示。

從表1結果可以發現，SI-MTF在舌象-證型數據集上取得最優結果。其中SwinTransformer、ResMLP和VisionPermutator未能取得更好的結果，可能是舌象噪聲部分對能捕獲更多全局信息的Transformer類模型和MLP類模型造成了干擾。雖然對比算法輸入是人工剪裁后的舌象區域，但仍然存在部分噪聲，如圖4所示，還有邊緣的皮膚、嘴唇和口腔區域。其中VisionPermutator受影響最大，可能是因為其結構中分別對圖像從長和寬維度進行特征編碼，導致受到更多舌象無關的區域干擾。

另一方面，對比算法中最優模型SK-Net通過結合多尺度特征信息，捕捉不同層次的舌象特征，準確率（ACC）達到72.64% ，但是該算法沒有針對舌象的多視角（舌面和舌底）數據進行處理的能力。而SI-MTF采用基于教師-學生網絡的特征融合方法，利用教師網絡生成軟標簽，學生網絡提取特征并計算學生軟標簽，然后通過蒸餾損失引導學生網絡更準確地提取舌面和舌底的特征，準確率（ACC）相比SK-Net有了4.11百分點的提高。

3.4參數討論

對模型參數進行討論，包含學習率 lr_? 比例參數 τ 、特征提取網絡層數 d 、蒸餾損失權重參數 ρ 、分類損失權重參數 θ 實驗選取其余參數最佳值保持不變，對單個參數進行實驗，用舌象-證型數據集中測試集的準確率（ACC）作為模型性能評估。參數實驗如圖5＼～7和表2所示。

首先對學習率 lr 進行討論，如圖5所示。模型在學習率為0.05時，在舌象-證型測試數據集上取得最優76. 75% 的準確率。

然后對教師和學生軟標簽的比例系數 τ 進行討論，如圖6所示。在比例系數為0.5的時候，模型對于證型的辨識取得最優結果，當比例系數高于或低于0.5時，辨識準確率都呈現下降趨勢。

接著對多路徑特征提取網絡模塊中特征提取層的層數 d 進行討論，如圖7所示，特征提取層在6層時，能夠取得實驗的最優結果。當特征提取層較少時，導致模型提取舌象特征信息較少，模型表征能力不足；當特征提取層數增加時，導致模型訓練參數量增加，存在過擬合的風險。因此特征提取層為6層時，取得折中效果。

最后對蒸餾損失和分類損失的權重參數比例進行討論，結果如表2所示。從表2中可以看出， ρ，θ 兩個參數在比例為2：1 時，模型辨識準確率取得最優結果，可以看出在舌象辨識的過程中，舌面信息對于證型的辨識起到主要作用。

3.5消融實驗

為了驗證模型中多路徑密集連接神經網絡、教師-學生網絡的有效性，對SI-MTF進行消融實驗。分別討論使用不同的特征提取模塊，以及是否使用教師-學生網絡對模型分類效果的影響，結果如表4、5所示。

采用兩種方案驗證所提出的雙路徑密集連接對于舌象特征提取的作用，如圖8和9所示。一種是將舌面和舌底特征通過提前特征融合的方式送人單路徑特征提取網絡（圖8），另一種為分別將舌面和舌底特征圖各自送人一條單路徑特征提取網絡后再進行融合的雙路徑特征提取模式（圖9）。從表4可以看出，雙路徑特征提取網絡對于舌象證型的辨識準確率取得了最優結果，相對于單路徑特征提取方法提高了7.51百分點。

為驗證后處理模塊中所提出的教師學生網絡對于模型辨識準確率的影響，采用均值相加的方式直接融合舌面和舌底特征，結果如表5所示，可以看出采用教師-學生網絡的特征融合方式能夠取得最優結果。

3.6 噪聲干擾實驗

為驗證模型對于常見噪聲的抵抗能力，本文通過對原始測試集中不同比例的樣本添加高斯噪聲和泊松噪聲進行對比實驗。其中高斯噪聲和泊松噪聲分別是指圖片噪點的概率密度函數服從高斯分布（即正態分布）和泊松分布的噪聲[27]。添加噪聲后的圖像如圖10所示。

使用最佳模型在噪聲數據集上的實驗結果如表6所示。使用的模型為最佳參數設置下，在訓練數據集上得到的最佳模型，無噪聲、高斯噪聲、泊松噪聲和嚴重高斯噪聲分別是原始測試集、添加高斯噪聲測試集（均值為0，方差為0.01）添加泊松噪聲測試集、添加高斯噪聲測試集（均值為0，方差為2）。實驗結果表明，SI-MTF模型對噪聲具有一定的魯棒性，雖然在添加噪聲后模型準確度出現下降，但在噪聲更加明顯的情況下，模型準確度下降并不顯著。

3.7 案例分析

如表7所示，在基于舌象特征方面，對于舌體顏色特征、形狀特征、紋理特征比較明顯的案例（案例1、2），所提算法由于分別對舌質、舌苔和舌底區域進行特征提取，能夠準確地提取舌體特征，以正確識別證型結果；對于案例3、4，雖然舌體圖像有一定的陰影遮擋，但是識別算法通過密集連接神經網絡提取出其中舌體區域的隱藏特征，正確識別出證型，因此算法具有一定的魯棒性，但是所提算法準確度受到采集圖像質量影響。對于案例5和6，由于圖像清晰度較差，所以通過顏色等特征不能準確識別其對應的證型；對于案例7和8，由于在拍攝過程中環境光線較差，對識別顏色方面存在一定干擾，造成識別偏差現象。

因此后續模型會進一步考慮模糊或者陰影遮罩情況下，添加圖像增強的預處理模塊對于舌象特征進行加強，減少非舌象特征對于結果的影響。此外，可以通過將患者的各種體征信息進行特征化，并融入到基于舌象特征的證型辨識過程中，利用多模態學習的方式，提高證型辨識的準確性。

4結束語

中醫舌象辨識研究是中醫舌診的重要組成部分，本文針對目前存在的證型辨識方法未充分考慮舌面和舌底特征對于證型診斷的作用，提出基于多視圖舌象特征融合的中醫證型辨識模型。分別對舌面和舌體采用舌體分割和舌象檢測的方法提取圖像中的關鍵舌象區域，采用多路徑密集連接神經網絡提取舌面和舌底特征，最后通過教師-學生網絡融合舌面與舌底特征，根據特征信息輸出證型標簽。為了驗證所提模型性能，在舌象-證型數據集上進行一系列實驗，包括參數討論、對比實驗、消融實驗、噪聲干擾實驗和案例分析。實驗結果表明，提出模型在證型辨識上具有較高的有效性，在舌象-證型數據集上達到 76.75% 的準確率。

人工智能技術在醫學數據處理中得到了廣泛應用，在各類數據，包括醫學圖像、電子病歷和生理信號的處理、分類和分割上取得了成果。但是人工智能技術目前在醫學領域上也存在一些不足和限制，如依賴于高質量標注訓練樣本，其需要大量的人力和時間進行準備；模型可解釋性不好，部分人工智能模型目前屬于“黑盒子”，只能給出相應的結果，而沒有充分的理由支撐，使其分類結果的可靠性不佳；模型魯棒性不佳，應用到復雜多變的臨床環境上，模型容易受各類噪聲的干擾，從而給出錯誤的判斷。在未來的工作中，針對上述不足，筆者將設計智能模型提高模型性能，進一步推進中醫客觀化。

參考文獻：

[1]李燦東，吳承玉．中醫診斷學［M].3版．北京：中國中醫藥出 版社，2O12.（LiCandong，Wu Chengyu.Diagnostics of traditional Chinese medicine[M].3rd ed.Beijing：ChinaPress of Traditional ChineseMedicine，2012.）

[2]謝寧，張國霞.中醫學基礎［M].4版．北京：中國中醫藥出版 社，2016.（XieNing，ZhangGuoxia.Fundamentals of Chinese medicine[M].4th ed.Beijing：China Press of Traditional Chinese Medicine，2016.）

[3]張晶．基于光譜法的中醫舌診客觀化［D]．天津：天津大學， ZUIU.（ ZHang JIng. UvJecucauon uI tongue uIagnosis Im uauiuonal Chinese medicine based on spectroscopy[D]. Tianjin：Tianjin University，2010.）

[4］陳雪姣，王玉臣，王德才，等．中醫舌診客觀化研究的發展概況 [J]．江西中醫藥，2012，43（1）：72-75.（Chen Xuejiao，Wang Yuchen，Wang Decai，et al.Development of objectification research ontongue diagnosis in traditional Chinese medicine[J]. Jiangxi Journalof Traditional ChineseMedicine，2012，43（1）：72-75.）

[5]樊威，李瀟瀟，丁江濤，等．人工智能在中醫舌診中的應用探討 [J]．光明中醫，2019，34（1）：37-40.（FanWei，LiXiaoxiao， Ding Jiangtao，et al.Discussion on the application of artificial intelligence in tongue diagnosis of traditional Chinese medicine[J].Guangming Journal of Chinese Medicine，2019，34（1）：37-40.）

[6]．陳家煒．基于深度學習的舌像和語音智能中醫輔助診斷研究 [D]．廣州：華南理工大學，2O23.（ChenJiawei.Research on Chinese medicine aided diagnosis based on intelligent tongue image and speech based on deep learning［D].Guangzhou：South China University of Technology， 2023.）

[7]莫國鳳，王燁，常娜娜，等.基于深度學習ConvNeXt模型的冠心 病痰濕證舌診信息分類辨識［J]．中國醫藥導報，2024，21 （16）：21-23，45.（Mo Guofeng，Wang Ye，Chang Nana，et al. Classification and identification of tongue diagnosis information of phlegmdampness syndrome of coronary heart disease based on deep learning ConvNeXt model[J].China Medical Herald，2024，21 （16）：21-23，45.）

[8］董易杭，王建勛，王晶，等．基于深度學習的陽虛質與陰虛質舌 象分類研究［J]．中華中醫藥學刊，2024，42（7）：27-30，261- 262.（Dong Yihang，Wang Jianxun，Wang Jing，et al. Study of tongue image classfication for Yang deficiency and Yin deficiency constitutions based on deep learning[J]. Chinese Archives of Traditional Chinese Medicine，2024，42（7）：27-30，261-262.）

[9]陸俊紅，徐藝峰，王憶勤，等．基于計算機圖像技術的中醫舌形 客觀化研究概述［J]．世界科學技術-中醫藥現代化，2022，24 （11）：4568-4573.（Lu Junhong，Xu Yifeng，Wang Yiqin，et al. Review of the objectification of TCM tongue shape based on computer image technology[J]. Modernization of Traditional Chinese Medicine and Materia Medica-World Science and Technology， 2022，24（11） ： 4568-4573.）

［10］張林子，周武，張洪來．自動舌診技術的研究進展［J]．中國中 醫基礎醫學雜志，2023，29（5）：871-876.（ZhangLinzi，Zhou Wu，Zhang Honglai. Research progress of automatic tongue diagnosis technology[J].Journal of Basic Chinese Medicine，2023，29 （5）： 871-876.）

［11］陳恩納，李圣燁，胡毓親，等．中醫舌診圖像采集與色彩信息分 析研究進展［J]．中華中醫藥雜志，2024，39（7）：3586-3589. （ChenEnna，Li Shengye，Hu Yuqin，etal.Research progressin imageacquisition and color information analysis of tongue diagnosis in traditional Chinese medicine [J].China Journal of Traditional Chinese Medicine and Pharmacy，2024，39（7）：3586-3589.）

[12]Tang Yonghui，Sun Yue，ChiangJY，et al.Research on multipleinstance learning for tongue coating classification [J]. IEEE Access，2021，9：66361-66370.

[13]杜表彗中醫壬質特征的機.哭學習模型研究「D]成都，由子科技 大學，2020.（Du Chunhui. Study on machine learning model of tongue quality characteristics in traditional Chinese medicine[D]. Chengdu： UniversityofElectronic ScienceandTechnologyof China，2020.）

[14]Hu Yulong， Qiu Dehui， Wan Xiaohua，et al.A tongue feature extraction method based on a sublingual vein segmentation [C]// Proc of IEEE International Conference on Bioinformatics and Biomedicine. Piscataway，NJ：IEEE Press，2023：1138-1143.

[15]Lin Senlin，Song Xuekun，Xu Ziheng，et al.Moment invariants with data augmentation for tongue image segmentation [C]// Proc of IEEE International Conference on Bioinformatics and Biomedicine.Piscataway，NJ：IEEE press，2021：988-993.

[16]Wu Jiaze，Li Zijian， Cai Yiheng，et al. A novel tongue coating segmentation method based on improved TransUNet[J]. Sensors， 2024，24（14）： 4455.

[17]Hu Yang，Wen Guihua，Luo Mingnan，et al.Fully-channel regional attention network for disease-location recognition with tongue images [J].Artificial Intelligence in Medicine，2021，118：102110.

[18]Balasubramaniyan S，JeyakumarV，NachimuthuD S.Panoramic tongue imaging and deep convolutional machine learning model for diabetes diagnosis in humans [J]. Scientific Reports，2022，12：186.

[19]Jiang Tao，Guo Xiaojing，Tu Liping，etal.Application of computer tongue image analysis technology in the diagnosis of NAFLD[J]. Computers in Biology and Medicine，2021，135：104622.

[20]ZhangNannan，Jiang Zhixing，Li Jinxing，et al．Multiple color representationand fusion fordiabetes mellitus diagnosis based on back tongue images[J].Computers in Biology and Medicine，2023， 155：106652.

[21]Xie Saining，Girshick R， Dollar P，et al.Aggregated residual transformations for deep neural networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017： 5987-5995.

[22]Huang Gao，Liu Zhuang，Van Der Maaten L，et al.Densely connected convolutional networks[C]//Proc of IEEE Conference on Computer Vision and Patern Recognition.Piscataway，NJ：IEEE Press， 2017：2261-2269.

[23]Li Xiang， Wang Wenhai， Hu Xiaolin，et al. Selective kernel networks [C]//Proc of IEEE/CVF Conference on Computer Vision and PatternRecognition.Piscataway，NJ： IEEE Press，2019：510-519.

[24]Liu Ze，Lin Yutong，Cao Yue，et al.Swin Transformer：hierarchical vision transformer using shifted windows [C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ：IEEE Press，2021：9992-10002.

[25]Touvron H，BojanowskiP，Caron M，et al.ResMLP：feedforward networks for image classification with data-efficient training[J]. IEEE Trans on Pattemn Analysis and Machine Intelligence， 2023，45（4）： 5314-5321.

[26]Hou Qibin，Jiang Zihang，Yuan Li，etal.Vision Permutator：a permutableMLP-like architecture forvisual recognition[J].IEEE Trans on Patterm Analysis and Machine Intelligence，2023，45 （1）：1328-1334.

[27］胡學龍．數字圖像處理［M]．4版．北京：電子工業出版社， 2020.（Hu Xuelong.Digital image processing[M]. 4th ed.Beijing：Publishing House of Electronics Industry，2020.）