基于舌象特征的中醫體質自動辨別系統研究

黃恩銘，譚敏敏，袁曉琳

（1. 南京中醫藥大學教務處，南京 210023；2. 南京農業大學信息中心，南京 210095；3. 南京中醫藥大學中醫學院·中西醫結合學院，南京 210023）

0 引言

中醫舌診是幾千年來中國醫生治療實踐和經驗積累中形成的相對完整的診治方法和理論，一般是通過辨識舌象的相關特征來了解人體的生理、病理變化，進行健康狀態和疾病診斷的一種方法［1］。傳統的舌診方法有一定的局限性，容易受到主觀因素影響，如醫生的個人能力、知識水平、臨床經驗、主觀意識以及診斷環境等都可能對診斷結果造成一定的偏差。隨著時代的發展和科技的進步，特別是大數據與人工智能的廣泛應用，中醫舌診客觀化研究正在逐步開展。中醫舌象特征提取與自動識別的研究早在2002年左右就開始出現，但由于技術限制，都是在傳統的圖像處理與識別的基礎上做舌象信息提取，準確率比較低。直到2018 年才開始出現試圖采用卷積神經網絡識別舌象信息的相關研究，到目前為止，智能舌診方面的研究還比較缺乏。目前有梁玉梅［2］做了基于面象特征的中醫體質自動辨別系統，涂帥［3］利用改進的FCN 分割模型與拉東變換提取舌象裂紋特征構建基于舌像特征的中醫體質檢測系統，張瑩瑩［4］利用知識圖譜構建舌像自動診療系統，等等。中醫舌診與人工智能深度融合，實現自動辨別，進一步提高舌診的客觀性、有效性，是中醫舌診現代化研究的主流方向。

1 舌象與中醫體質的辨證關系

體質是由先天遺傳或后天獲得所形成的一種機體狀態存在形式，是人類在形體狀態與動態表現中固有的一種穩定性特征。國醫大師王琦［5］在《中醫體質學》中繼承了古代及現代體質分型方法的臨床應用性原則，分析古代文獻共109 個體質特征描述和現代文獻共408 個體質特征描述，結合臨床實踐，總結出了人體一般共有9 種體質，分別為平和質、氣虛質、陰虛質、陽虛質、痰濕質、濕熱質、淤血質、氣郁質、特稟質。這9種體質最大程度地揭示了人類疾病的未來發展方向以及陰陽虛實的規律，并對中醫“治未病”和臨床診治方案提供重要指導作用。

匡調元［6］認為舌象具有一定的生物全息性，舌屬于一種全息元，它與全身其他全息元當具有對應的相似性，如舌中線由舌尖到舌根依次主心、肺、脾、胃、腎，兩側主肝膽。構成舌象的生命物質與構成該個體體質的生命物質是一致的，所以根據舌象可以辨明體質類型。通?？筛鶕梭w舌象的外在表征判斷體質的類型，即人體舌象特征與人體體質有著一定的對應關系，這是在數千年的臨床實踐和經驗積累中形成的相對完整的中醫診療理論。中醫學認為，舌通過經絡循環，直接或間接地與五臟六腑相通，又與人的四肢百骸相連。臟腑的病變也必然影響精氣的變化而反映在舌象上。中醫舌診是判斷人體體質的一個重要途徑，是中醫學獨特的最有價值的診斷方法之一，清代醫家劉恒瑞在《察舌辨證新法》中系統總結了看舌八法：“一看苔色，二看舌質，三看舌尖，四看舌心，五看潤燥，六看舌邊，七看舌根，八看變換?！?/p>

2 舌象分割與舌象特征提取

舌診是傳統中醫診斷的必察內容，主要是觀察舌體的大小、厚薄、有無齒痕、顏色如何、有無裂紋等，概況起來舌象的特征主要有幾何特征、紋理特征和顏色特征三種。在傳統的舌診過程中，主要采取肉眼觀察舌體形狀、紋理和色澤的方法獲取舌象特征，但由于醫生個人的知識儲備、臨床經驗、技術水平、診斷環境等不同，往往形成差異的主觀舌象特征描述，比如顏色深淺的偏差、厚薄與大小標準的不統一等。目前，在中醫舌象自動化辨別研究中，也是通過計算機圖像處理技術，對采集的清晰的舌體圖片進行裁剪去噪處理、分割，提取舌象的形狀、紋理和顏色三個特征，經過一系列的處理、量化、對比，根據中醫名家舌診知識庫和中醫體質診斷規則，最終得出相應的體質類型，過程如圖1所示。這個過程中，舌象分割和舌象特征的提取與分析最為關鍵。在早期的圖像分割研究中，研究者多采用的是基于數字圖像處理的閾值分割、邊緣檢測等方法，精準度不高。目前，基于深度學習技術已成為舌象分割的主要手段，通過各種神經網絡模型來提取舌象的幾何視覺特征和紋理視覺特征可以極大提高分割的精準度。

圖1 舌象處理與特征提取過程

2.1 舌象分割

機器自動舌診與醫生或專家的人工舌診不同，對采集的舌象照片要求高，通常人們采集舌象照片時無可避免會將非舌體部分拍攝到照片中，如牙齒、嘴唇、臉部、頭發、衣服或其他雜亂的背景等，這些與舌象無關的信息都會嚴重影響舌診的準確性。因此，實現舌診機器自動辨別的重要的前提是對舌象照片進行預處理，檢測出舌體并精準將其從照片中分割出來，排除其他無關因素干擾，使舌象特征提取與分析結果更加精確。圖像分割方法有多種，傳統的圖像處理技術難以實現舌體的精確分割，目前被廣泛運用的是基于深度學習的神經網絡分割方法，如VGG、FCN、U?Net、Mask?RCNN 網絡等，在圖像提取特征的應用中VGG 模型是首選算法，應用最廣。VGG 可以分為6 種子模型，分別是A、A?LRN、B、C、D、E，我們常看到的基本是D、E 這兩種模型，D、E 模型網絡共有16 層，所以也叫VGG?16 模型。舌象圖片輸入VGG?16模型過程如圖2所示。

圖2 舌象照片在VGG?16網絡中的處理過程

本研究采用李淵彤等［7］提出的一種基于區域關聯損失的舌體分割方法，依據區域像素之間的關聯性來設計單像素損失函數，既考慮到了局部區域像素之間的關聯關系，又能將其應用于已有的單像素邊緣概率分布的輸出模型，該方法有效提高了舌象分割的準確度。其損失函數有效利用了像素標簽語義的監督信息，可以更好地指導分割模型進行有效的訓練。

2.2 舌象特征提取與分類

在中醫舌診中，舌象信息主要包括舌色、舌形、苔質、苔色、舌頭脈絡顏色和紋路等視覺特征，從計算機角度看，可以概括為舌體的顏色特征、形態（幾何）特征和紋理特征，舌象特征提取與分析主要是從這三個方面進行。舌象特征提取的過程如圖3所示，先將采集的圖像裁剪到符合要求的一定大小，初步去除多余部分，然后對舌體進行分割，只保留舌體部分，最后通過舌象識別得到舌象的三類特征。需識別的顏色特征包括舌色和苔色，舌色主要有淡白、淡紅、紅、絳、青紫、暗紅、絳紫、淡紫、瘀斑，苔色主要有白、灰、黃、淡黃、深黃、焦黃、黑。需識別的形狀特征有老、嫩、胖大、瘦薄、裂紋、點刺、齒痕、腫脹。需識別的紋理特征包括苔質的厚、薄、膩、少苔、垢膩、黏膩、剝落和津液的潤、燥、滑。根據王琦［5］及中醫舌診相關文獻歸納整理出9種中醫體質對應的舌體顏色、形狀和紋理特征，如表1所示。

表2 9種中醫體質對應的H、R、G通道的數值范圍

圖3 舌象處理與特征提取過程

在傳統的舌診中，對舌體顏色的觀察是最重要、最關鍵的一步，大量的臨床診斷實踐證明，舌苔、舌質的顏色與一些疾病有著一定的對應病理關系，正常健康人體的舌體顏色與舌苔顏色是一致的，一般緊貼在舌體表面，表現為淡紅色，而患有某些疾病的人的舌體顏色可能表現為淡黃色、灰褐色、白色和黑色等。通常用數碼相機采集得到的舌象圖片是RGB 彩色空間的，數碼相機對采集的環境很敏感，因此我們對RGB 顏色空間R、G、B 三通道的范圍進行優化處理，根據通道平均值和通道間方差得出新的上下限，并借助麥克斯韋三角坐標對三個通道進行歸一化處理［8］，得到R、G、B 顏色特征范圍，最后映射到HSI 空間，得到每種體質對應的HSI空間H通道數值范圍。

傳統的醫生舌診除了觀察舌體的顏色，還會觀察舌體的形狀，如大小、長度、寬窄、厚薄和邊緣情況等，概括來說舌體幾何特征提取主要是判斷舌體的齒痕、胖瘦、腫脹、老嫩等。舌象的紋理特征有裂紋、有無點刺、瘀斑、腐膩以及舌苔的厚薄情況，齒痕一般發生在舌體中下部，處于兩側邊緣和下端部位，有明顯的凹痕，因此檢測齒痕可以結合圖像邊緣檢測和凸包特征檢測快速識別。

3 基于舌象特征的中醫體質自動辨別系統的實現

基于舌象特征的中醫體質辨別平臺的物理結構主要有客戶端和服務器端，客戶端采用便于用戶使用的微信小程序，無需用戶安裝額外的APP，只需有手機微信便可以通過微信小程序隨時隨地采集舌象照片，上傳服務器，生成中醫體質報告。服務器端采用Ubuntu16.4 操作系統、Apache 服務器、MySQL 數據庫。開發工具包括微信開發者工具、Anaconda3、Spyder、TensorFlow?GPU、Cuda、CUDNN、TensorBoard、LabelImg等。系統整體架構如圖4所示。

圖4 系統整體架構

用戶通過微信小程序拍攝并上傳舌體照片，系統做初步處理，如果照片存在大面積無關畫面，系統會做相應裁剪，如果照片質量差、不清晰、抖動模糊、徑切向變形、拍攝環境過暗或者曝光過度等，系統會提示用戶重新拍攝上傳照片。當圖片能正常上傳，則根據模型算法進行舌象分割并給出識別的中醫體質類型，根據體質類型提示用戶完成對應的問卷，生成相應的體質報告，并提供一些適宜的中醫養生建議和方法。

4 結語

基于神經網絡的圖像識別技術在醫學領域應用越來越廣泛和深入，相關的面診、舌診自動化研究也越來越多。本研究通過提取舌象的關鍵特征信息，自動判別其所屬的中醫體質類型，生成體質報告，并結合中醫體質知識庫給出比較恰當的中醫養生知識。是一種方便、快速了解自身體質特點，并獲取相應中醫養生手段的好方式。

傳統中醫診斷有望聞問切四種基本手段，舌診只是望診中的一種，中醫望診除了觀察患者的舌部特征外，還會綜合考察患者的精神狀態、面色、體溫、體味等多種外在特征，再結合詢問、講述、交談、切脈等多種手段，結合既往病史、當下感受、生活環境等多個方面來綜合加以判斷，形成診斷意見，所以舌診雖然是很有效的診斷手段，但這只是對于有經驗的中醫師而言的，而且一定要結合其他病征綜合研判。因此，只靠患者自己和一些信息數據就做出診斷結論，并把這個權力直接交給患者，不得不說有一定風險。因此通過舌診特征的自動辨別中醫體質類型，只給了用戶初步了解自身體質的便捷途徑，并不能代替傳統的病理診斷。