人工智能背景下的中醫舌診客觀化研究概述

江智泉， 周作建， 鮑劍洋， 戰麗彬， 商洪濤

摘? 要： 為了促進中醫舌診的標準化和客觀化，推動中醫舌診客觀化研究，探究以深度學習為代表的人工智能技術在舌診客觀化領域的應用現狀和研究水平，文章以舌像的采集-預處理-圖像識別-客觀診斷為主線，對舌像辯證自動化的新方法進行了歸納和總結。通過方法綜述，為智能化舌診和中醫現代化研究提供方法參考和研究思路，促進人工智能技術在中醫舌診領域的深度發展。

關鍵詞： 舌診客觀化; 人工智能; 圖像識別; 深度學習

中圖分類號：TP311.5? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-01-04

Overview of the objective study of tongue diagnosis in Chinese Medicine

in the context of artificial intelligence

Jiang Zhiquan1， Zhou Zuojian1， Bao Jianyang1， Zhan Libin2， Shang Hongtao3

（1. College of Artificial Intelligence and Information Technology， Nanjing University of Traditional Chinese Medicine， Nanjing， Jiangsu 210046， China; 2. College of Traditional Chinese Medicine， Nanjing University of Traditional Chinese Medicine; 3. Affiliated hospital of Nanjing University of Chinese medicine）

Abstract： In order to promote the standardization and objectification of tongue diagnosis of Traditional Chinese Medicine， promote the research on the objectification of tongue diagnosis of Traditional Chinese Medicine， and explore the application status and research level of artificial intelligence technology represented by deep learning in the field of tongue diagnosis objectification. In this paper， the new methods of dialectic automatization of tongue image are summarized， which are based on the main line of tongue image acquisition， pretreatment， image recognition and objective diagnosis. Through the review， the method reference and research ideas for the research of intelligent tongue diagnosis and modernization of Traditional Chinese Medicine are provided， which promotes the in-depth development of artificial intelligence technology in the field of tongue diagnosis of Traditional Chinese Medicine.

Key words： objectification of tongue diagnosis; artificial intelligence; image recognition; deep learning

0 引言

中醫舌診是中醫診斷的重要環節之一，其通過觀察舌體的顏色和形態變化來感知患者疾病，具有診斷過程實施方便，診斷價值高的獨特優勢。但由于醫師主觀經驗和診療客觀條件的影響，診察結果可能出現誤差。為了充分發揮其診斷優勢，降低診斷誤差，中醫舌診的臨床診斷需要更高的信息化智能化來提供定性定量的數據支撐。近些年來，以深度學習等為代表的AI技術被廣泛用于舌診客觀化的研究中，實現了快速、高效、精準的舌像智能分析，大大提高了客觀化舌像診斷的準確率。本文以采集-預處理-圖像識別-客觀診斷為主線進行分類綜述。

1 舌像采集方法研究

標準化的舌像采集是進行舌像分析的重要前提。為了滿足后期舌像特征提取和分類的需要，標準的舌像圖片不僅應該包含完整的舌體可用信息，也應該具有清晰度高，色彩保真效果好，成像質量優等特性。目前，舌像標準化采集的研究主要聚焦于光源和采集設備的選擇上。

許家佗[1]對舌像采集條件做了一些實驗觀測，比較了自然光源和人工光源以及不同CCD相機設備對舌體成像效果的影響，認為自然光源由于其光譜連續，光照均勻，簡潔實用等特性，是臨床可行的最適合光源，但由于受制于自然條件，自然光的色溫和照度變化較大，為采集帶來了不確定因素。而人工光源具有穩定和不受制于環境的巨大優勢，但也存在光譜不連續、光照不均和設備繁雜等問題，臨床實用性較差。因此，對于光源如何選擇，有大量學者做了相關工作。石強[2]通過比較標準光源D50和自然光源下舌像診斷結果的相似度，認為D50光源穩定性強，接近自然光，可以作為舌像采集標準照明光源。在采集設備的研究上，多家單位成功研制了多種型號的舌像儀，上海中醫藥大學王億勤團隊研制的ZBOX-1型舌脈象數字化分析儀[3]，北京工業大學蔡軼珩團隊[4]設計了以計算機為核心的標準舌像分析儀，采用人工光源，通過圖形技術和聚類算法，實現了舌像采集、圖像處理、舌色分析與定量化的標準流程，具有一定的臨床效果。考慮到常見的舌像采集儀體積普遍偏大，邸丹[5]設計了一種手持式舌像儀，具有體積小，便攜性高的優點，滿足部分舌像采集需要。丁明全[6]在舌像采集系統中采用了自動對焦技術，通過自動對焦的相關算法，解決了一些由采集環境、人為因素和拍攝角度等帶來的影響舌像拍攝質量的問題。現存的舌像采集方式大多依賴于成本高、不易攜帶的舌像采集儀，這不利于在基于互聯網服務的多場景終端上發揮作用。因此，研究針對各種智能終端的舌像采集方法和辨證標準，也是未來智能化舌診的發展方向之一。

2 舌像預處理方法研究

2.1 圖像處理

由于光照條件不充分、采集設備難以精確捕捉舌像細節等原因，使得顯示器難以有效還原真實舌像信息。因此，我們需要將采集到的舌像圖片作進一步的數字圖像處理，包括圖像校正和圖像降噪等。

趙忠旭[7]利用三層BP神經網絡，通過自適應調整，設計了CRT網絡模型和校正環節網絡模型，可以有效的實現三刺激值匹配的彩色校正。許家佗[8]提出一種自然光條件下基于色差校正的方法，應用L*a*b*均勻色空間對舌色進行色差校正，將校正后的舌色色度進行統計學分析，具有統計學意義，此方法具有良好的校正效果。

對于成像設備帶來的圖片噪聲，我們可以采用圖像濾波算法來進行降噪處理。圖像濾波算法通過對區域像素的數學運算，計算出目標像素點的合適有效輸出，以此來降低噪聲對舌像細節的干擾。均值濾波和高斯濾波等算法是降噪處理中較為常見和高效的方法。作為最典型的濾波算法，均值濾波的處理方法是取K*K窗口中像素值的平均值作為像素輸出，從而有效調整噪聲點像素值，抑制噪聲，但這種方法可能會丟失圖像的細節，帶來邊界模糊等問題。中值濾波算法可以在達到噪聲處理的同時減少圖像邊緣細節的丟失。此外，高斯濾波算法在抑制服從正態分布的噪聲的任務中具有一定的優勢。

2.2 舌像分割

為了后期能有良好的特征識別和分類，我們需要對舌體圖像進行分割處理。舌體圖像分割目的是從獲取的舌圖像中去除臉部、嘴唇等干擾環境，分割出可用于分析的有效舌部位顏色細節，充分保留患者的舌體信息，排除無關背景對舌體進一步分類識別的干擾。舌體圖像分割過程如圖1所示。

當前研究中實現對舌體的有效分割的方法主要有基于閾值的分割方法，基于能量泛函的分割方法等。隨著機器學習的發展，也產生了聚類，字典學習、深度學習等高效方法。

閾值分割是圖像分割方法中最為常見的手段之一。李丹霞[9]通過結合局部閾值和全局閾值的優點，提出自適應閾值的算法，將圖像分割為多個子塊，迭代計算每個子塊的最佳閾值和局部最佳閾值，構成閾值矩陣從而進行分割。分割結果與僅使用全局閾值分割或僅使用局部閾值分割相比具有明顯優勢，特別是對非均勻光照圖像分割效果尤佳。但單純使用閾值分割仍存在許多適應場景問題，相關學者結合色彩模型，形態學等方法，對閾值分割方法進行了結合和優化。姜朔[10]將形態學自適應修正的方法與Otsu閾值法進行結合，通過獲取原始舌像的G、B、V通道信息，運用Otsu閾值法對舌像進行二值化處理并結合先驗知識進行聚類，采用形態學舌體當量直徑自適應選取結構元素的大小的方法，實現分割范圍的自適應修正，能較好地實現分割效果，但存在效率不高的問題。

基于能量泛函的舌像切割方法也是主流方法之一，以活動輪廓模型（ACM Active Contour Model）為代表。該方法通過人工參數控制和內外力作用，最小化特定定義的能量函數閉合曲線，實現對目標區域的有效分割。但傳統的Snake方法對圖像噪聲敏感，且無法逼近極凹的輪廓內部，能量曲線容易得到局部極值解，容易喪失邊界信息。因此，劉晨星[11]提出一種改進Snake算法的模型，該模型引入Perona-Malik方法強化輪廓界限，通過梯度矢量流模型（Gradient VectorFlow，GVF）優化圖像外力場，進而提取舌像輪廓，有效地解決了傳統Snake算法對不規則舌體輪廓的逼近效果欠缺的問題，提高了切割效果。史苗靜[12]、高清河[13]等人也對Snake模型提出了改良方案并取得不錯的分割效果。

機器學習技術這兩年來也被運用到了圖像分割領域，基于語義的深度學習圖像分割技術成為了圖像分割新的解決方案。通過對舌體圖像進行語義分類處理，差異化圖像中不同的區域，再通過全卷積神經網絡（FCN）進行端到端的訓練，在卷積和池化過程中匯聚和增強語義信息，實現語義分割[14]。但是，有監督學習的方法極大受限于訓練數據的數量和質量，且像素級圖像標注成本極大，有待進一步優化和發展。也有學者[15～16]使用K-means聚類算法，聚類圖像顏色分量，實現對圖像的分割。通過聚類后對同一個簇的所有像素點進行標記，重構圖像，實現分割，具有較強的適應性。此外，李亞峰[17]提出一種基于多字典學習的分割方法，使用隸屬度函數的正則約束來保持分割區域邊界的幾何結構，對不同的紋理具有較強的判別能力。當前，機器學習相關的圖像分割算法仍在發展和優化中，有待進一步運用到舌像分割領域，以提高舌像分割的準確率。

3 舌像識別分析方法研究

舌像的定性和定量特征分析是舌診客觀化的重要過程。當前，舌像識別分類主要圍繞舌質、舌苔和舌下三個點展開，以中醫舌診診斷過程為參考，聚焦于舌質的神、色、形、態，舌苔的苔質和苔色，舌下的形色等方面特征。傳統的舌像識別工作需要人工標記特征，這對分類結果的準確性會有一定的影響。隨著機器學習在圖像識別領域的廣泛應用，以神經網絡為代表的深度學習技術為舌像特征分類識別提供了智能化的解決方案，提高了識別的準確度和泛化能力。

3.1 舌質與舌苔顏色識別

舌色可以反映出人的身體健康狀態，是中醫辨證論治的重要標準之一，因此對舌色和苔色進行分類和識別具有重要的實際意義。舌質的顏色一般分為淡紅、淡白、紅絳和青紫四種，而舌苔的顏色一般分為白苔、黃苔和灰黑苔三種。

肖慶新[18]提出一種基于輕型卷積神經網絡架構的舌苔顏色分類方法，將原始數據進行人工標注并進行數據擴充，解決數據樣本量小且不平衡的問題，設計了輕型卷積神經網絡，將舌像特征提取和分類統一處理，該分類方法取得了94.85%的分類準確率，具有較好的分類性能。針對深度學習帶來的訓練成本高長等問題，楊晶東[19]引入遷移學習技術，建立基于全連接神經網絡模型的小樣本舌像分類方法，實現了ImageNet數據集訓練的遷移，使用提取的強特征微調全連接神經網絡進行小樣本舌象分類，有效地解決了舌像分類中存在的小樣本問題。目前，大多數卷積神經網絡結構適用于單標記的分類任務，通過構建多個網絡模型，對舌色，形態等分類任務多單獨進行，忽視了其中舌體不同特征可能存在的關聯性。湯一平[20]以標簽之間的相關性為核心，設計了基于卷積神經網絡的多任務聯合學習模型，通過訓練多個Softmax分類器對標簽進行并行預測，實現了舌像多個特征的自動提取和相關分析。該方法具有一定的優勢，但仍需大量數據進行優化。

3.2 舌質舌苔形態識別分析

對于舌質的形態研究主要聚焦于點刺、瘀點、裂紋和齒痕等。點刺表現為舌體表面有紅刺群凸出，瘀點表現為舌體表面出現深色瘀點。中醫舌診中舌像的點刺所在的部位預示熱邪所在臟腑，點刺的疏密程度代表熱邪的嚴重程度;瘀點所在的部位預示淤阻所在經絡。對于點刺瘀點，王昇[21]使用斑點檢測算法simpleBlobDetector提取斑點和瘀點并生成特征向量，通過支持向量機（SVM）和K-means聚類算法進行點刺瘀點舌像識別和提取，準確率高，提取效果好。對于齒痕舌和裂紋舌，劉夢[22]基于FasterR-CNN算法和遷移學習算法，構建深度學習模型，有效完成了對中醫齒痕舌和裂紋舌舌像的局部特征的綜合識別，且在小樣本訓練數據中具有良好表現。

4 舌像的客觀診斷研究

中醫診斷的客觀化是中醫發展的必經之路，越來越多的學者致力于不同疾病不同證型的四診客觀化研究，取得了一定的客觀化成果。王憶勤[23]通過對1000例冠心病患者舌像信息的跟蹤分析和研究，建立起心氣虛組患者與舌體形狀多胖厚且有齒痕的聯系，經過治療，舌苔齒痕指數下降;心陰虛組治療后舌色R值下降，轉為淡紅，且裂紋指數下降。馬春玲[24]采集50例血糖調節受損和60例早期糖尿病患者進行研究，發現糖尿病患者舌像呈現舌色暗淡;舌體胖大，多齒印，苔色白等特征。通過大X量實驗結果和科研數據，建立中醫證型和舌像特征的對應關系，可以有效促進中醫證型自動化識別的相關研究。

5 結論

舌診是中醫的重要診斷手段之一，實現中醫舌診的客觀化也是中醫舌診的發展方向。近幾年，機器學習算法廣泛運用于圖像分割、舌像分類和特征識別的過程中，具有較好的識別效果和泛化能力，極大推動了中醫舌像診斷的客觀化進程。但是，當前的舌診客觀化進程仍面臨著缺乏標準數據集的問題。大多數客觀化研究缺乏平衡性好的大樣本數據，不利于算法的訓練和優化。此外，缺乏對大量舌像數據的分類存儲、高效利用和全面分析，未能有效地建立起舌像信息和中醫證型的對應關系，與臨床實踐脫節。因此，需要繼續深化多學科融合，推動建立舌像標準庫和舌像多角度信息的標準化模型。在未來，借助人工智能技術帶來的強大算力，引領中醫走向與信息技術的深度融合，實現中醫“望聞問切”的數據化分析處理從而帶動中醫診斷的全面信息化和客觀化。

參考文獻（References）：

[1] 許家佗，張志楓，費兆馥，等.舌象數字圖像采集條件的實驗觀測[J].中國中醫基礎醫學雜志，2007（1）：23-27

[2] 石強，湯偉昌，李福鳳，等.舌象信息客觀化研究中光源選擇初探[J].上海中醫藥大學學報，2004（2）：39-41

[3] 王憶勤，湯偉昌，李福鳳，等.ZBOX-Ⅰ型舌脈象數字化分析儀的研制與臨床應用[J].上海中醫藥大學學報，2008（6）：26-28

[4] 蔡軼珩，劉長江，沈蘭蓀.新型舌象分析儀的設計方案[J].測控技術，2005（5）：34-36，47

[5] 邸丹，周敏，周會林，等.手持式舌象儀的研制[J].上海中醫藥雜志，2016，50（2）：12-14

[6] 丁明全.自動對焦技術在舌像采集系統中的應用研究[D].廣東工業大學，2011

[7] 趙忠旭，沈蘭蓀，衛保國，等.基于人工神經網絡的彩色校正方法研究[J].中國圖象圖形學報，2000.9：77-81

[8] 許家佗，張志楓，嚴竹娟，等.自然光條件下基于色差校正方法的舌象顏色分析[J].中西醫結合學報，2009，7（5）：422-427

[9] 李丹霞，韋玉科.基于自適應閾值的舌像分割方法[J].計算機技術與發展，2011，21（9）：63-65

[10]姜朔，胡潔，夏春明，等.基于Otsu閾值法與形態學自適應修正的舌像分割方法[J].高技術通訊，2017，27（2）：150-155

[11] 劉晨星，張海英，楊浩.基于Perona-Malik方法的GVFSnake模型在舌像分割中的應用[J].微型機與應用，2017，36（15）：94-96，102

[12] Shi Miao-Jing，Li Guo-Zheng，Li Fu-Feng，Xu Chao.Computerized tongue image segmentation via the double geo-vector flow[J]. Pubmed，2014，9（1）

[13] 高清河，剛晶，王和禹，等.基于GVF Snake模型的舌像分割研究[J].科技視界，2018，6：131-132

[14]姚霆，張煒，劉金根.基于深度學習的圖像分割技術[J].人工智能，2019（2）：66-75

[15] Zhexue Huang. Extensions to the k-Means Algorithm forClustering Large Data Sets with Categorical Values[J]. Kluwer Academic Publishers，1998，2（3）

[16] 劉峰，王博亮，黃曉陽.聚類分析在舌苔舌質分離中的運用[J].漳州師范學院學報（自然科學版），2007（3）：30-34

[17] 李亞峰.一種基于多字典學習的圖像分割模糊方法[J].電子學報，2018，46（7）：1700-1709

[18] 肖慶新，張菁，張輝，等.基于輕型卷積神經網絡的舌苔顏色分類方法[J].測控技術，2019，38（3）：26-31

[19] 楊晶東，張朋.基于遷移學習的全連接神經網絡舌象分類方法[J].第二軍醫大學學報，2018，39（8）：897-902

[20] 湯一平，王麗冉，何霞，等.基于多任務卷積神經網絡的舌象分類研究[J].計算機科學，2018，45（12）：255-261

[21] 王昇，劉開華，王麗婷.舌診圖像點刺和瘀點的識別與提取[J].計算機工程與科學，2017，39（6）：1126-1132

[22] 劉夢，王曦廷，周璐，等.基于深度學習與遷移學習的中醫舌象提取識別研究[J].中醫雜志，2019，60（10）：835-840

[23] 王憶勤，郭睿，許朝霞，等.中醫四診客觀化研究在冠心病診斷中的應用[J].中醫雜志，2016，57（3）：199-203

[24] 馬春玲，朱章志，阮永隊.2型糖尿病中醫始發病機的臨床研究[J].新中醫，2011，43（6）：28-31