基于深度學習的智能中醫(yī)輔助診療系統(tǒng)

陳璐 趙宇涵 李偉峰 李鑫 王淑祎

摘? 要： 研究開發(fā)了基于深度學習的智能中醫(yī)輔助診療系統(tǒng)。通過人工智能技術將名老中醫(yī)的診療思想、辨證邏輯和處方經(jīng)驗結合，設計“三級證型優(yōu)先級”算法，創(chuàng)新了傳統(tǒng)的中醫(yī)問診模式。例如采用深度學習CenterNet和EfficientNetV2神經(jīng)網(wǎng)絡模型，有效抽取出患者舌體圖像與病例的舌色、苔色等特征信息進行智能舌診，實現(xiàn)中醫(yī)診斷的客觀化、智能化，幫助普通醫(yī)師提升診療能力。

關鍵詞： 中醫(yī)辨治； 深度學習； 證型優(yōu)先級； 智能舌診

中圖分類號：TP3? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-72-04

Abstract： In this paper， we develop an intelligent TCM auxiliary diagnosis and treatment system based on deep learning. Through artificial intelligence technology， it combines the diagnosis and treatment thinking， syndrome differentiation logic and prescription experience of well-known old TCM practitioners to design a "three-level syndrome priority" algorithm， which innovates the TCM consultation mode. The deep learning CenterNet and EfficientNetV2 neural network models are used to effectively extract the patient's tongue image and the case's tongue color， coating color and other characteristic information for intelligent tongue diagnosis， so as to realize the objectification and intelligence of TCM diagnosis and help general physicians improve diagnosis and treatment capabilities.

Key words： TCM differentiation and treatment; deep learning; priority of syndrome types; intelligent tongue diagnosis

0 引言

中醫(yī)藥在辯證診療方面的作用值得挖掘。目前已有的“中醫(yī)輔助診療系統(tǒng)”主要存在以下的問題[1]：

⑴ 缺乏創(chuàng)新性：僅針對少量疾病開發(fā)一些基于傳統(tǒng)理論、功能有限的小系統(tǒng)，沒有運用人工智能新理論、新方法和新技術，所以很難擁有較大應用價值。

⑵ 實用性較差：研究多以中醫(yī)診斷專家系統(tǒng)為主，對于半結構化和非結構化診療知識無法很好的表示，沒有很好實現(xiàn)中醫(yī)專家知識的自動獲取和學習，存在知識獲取瓶頸。未充分體現(xiàn)系統(tǒng)的“學習”能力和“適應”能力，無法適用于千變萬化的臨床醫(yī)療。

⑶ 相似軟件產品較少：目前已經(jīng)有多款在線診斷APP上線，但絕大部分均采用即時通訊的方式通過醫(yī)生和患者的溝通交流來實現(xiàn)診斷，未能實現(xiàn)用戶自助辨證診療[2]。

針對以上問題，我們將傳統(tǒng)中醫(yī)的問診、舌診經(jīng)驗方法與深度學習計算機技術相結合，研發(fā)一款智能中醫(yī)輔助診療系統(tǒng)，創(chuàng)建線上自助辨證診療新模式，為用戶提供近百種常見疾病的辨證及中醫(yī)藥推薦服務，做到真正的便民惠民。

1 系統(tǒng)設計

1.1 系統(tǒng)總體架構設計

基于深度學習的智能中醫(yī)輔助診療系統(tǒng)，為緩解中醫(yī)資源緊張、方便用戶自主辯證、購藥而研發(fā)設計。整個系統(tǒng)包括以中醫(yī)智能辯證為核心的C端（客戶端）微信小程序以及為醫(yī)生等管理人員設計的醫(yī)療信息管理平臺。系統(tǒng)總體架構如圖1所示。

萬義中醫(yī)小程序依托龐大的中醫(yī)資料庫，整合中醫(yī)院近五年的常見病例、近百種常見病的診療方案，研究中醫(yī)辯證診斷流程，整理、分析、存儲大量中醫(yī)數(shù)據(jù)，應用人工智能算法，構建跨平臺、通用性的中醫(yī)辯證系統(tǒng)。小程序模擬中醫(yī)的問診、舌診兩種方式對病癥進行診斷。通過給出不同科室常見病癥的癥狀問卷，模擬中醫(yī)問診過程，根據(jù)用戶填寫的問卷對應癥狀，運用“三級證型優(yōu)先匹配”算法進行證型匹配；用戶可選擇繼續(xù)進行智能舌診，拍攝上傳舌像，后端接口應用深度學習算法對舌色、苔色、裂紋等舌象特征進行辨識，結合問診舌診結果得出最優(yōu)診斷。根據(jù)病癥診斷結果，給出對應的推薦藥物、中醫(yī)外治療法、食療方法及病項忌口，小程序實現(xiàn)了三百種病癥的診斷方案，給出了近千種藥物推薦和外治療法方案，為用戶自助診療提供可靠依據(jù)。

醫(yī)療信息管理系統(tǒng)是為方便專家、醫(yī)生等管理員來對病癥、藥物等數(shù)據(jù)信息進行后臺管理和維護設計。指定權限的用戶（比如中醫(yī)專家）可以使用特定的賬號登錄系統(tǒng)查看、更新問卷、病癥、藥物、藥物成分等信息，實現(xiàn)醫(yī)療信息維護。

為了保證整個系統(tǒng)運行穩(wěn)定，小程序和醫(yī)療信息管理系統(tǒng)都是運行在聯(lián)通沃云服務器上，采用Koa+Node/Go+Nginx+MongoDB的框架結構自建服務，構成一個完整的C/S架構系統(tǒng)。

1.2 中醫(yī)智能辯證系統(tǒng)

中醫(yī)智能辯證系統(tǒng)（ISRS）是整個診療系統(tǒng)的核心，其技術棧涉及粒子群優(yōu)化（PSO）、深度學習（CenterNet、EfficientNetV2）、信息量化與合參匹配等。ISRS包括智能問診系統(tǒng)（IDS）、智能舌診系統(tǒng)（TDS）和智能推薦系統(tǒng)（RS）三個子系統(tǒng)。

問診是中醫(yī)臨床診斷中最重要的一個診斷方式。在這里我們首創(chuàng)性地提出了“證型優(yōu)先級”概念，使得系統(tǒng)可以根據(jù)用戶的癥狀來反向推測出其病癥。同時，在系統(tǒng)中設計并部署了“三級證型優(yōu)先體系”進行病癥診斷，之后引入了粒子群優(yōu)化算法（PSO）來改善整個系統(tǒng)的時間開銷。

舌診是中醫(yī)診斷的另一個不可缺少的診斷方式。我們將時下火熱且發(fā)展迅速的深度學習算法用于智能舌診。首先，采集大量舌像數(shù)據(jù)，應用CenterNet目標檢測模型和Opencv的圖像處理技術進行舌像區(qū)域裁剪，然后使用高效的EfficientNetV2目標分類模型進行多種舌像特征的提取和分類，得到舌像辨識的診斷結果。問診和舌診結果進行合參后送入智能推薦系統(tǒng)（RS）給出不同的治療方案。ISRS的功能及工作流程如圖2所示。

2 問診子系統(tǒng)（IDS）

2.1 “三級證型優(yōu)先級”匹配

在問診過程中，用戶填寫一個病癥的問卷，不同的問題會對應不同重要程度的癥狀，對于每一個病癥都有其典型的癥狀表現(xiàn)和非典型癥狀，為了更準確地判斷用戶病癥，我們根據(jù)每個病癥對應癥狀的優(yōu)先級，提出“三級證型優(yōu)先級”匹配算法。每個證型都設置對應的惟一的“第一優(yōu)先級癥狀”和“第二優(yōu)先級癥狀”，以及多個“三級優(yōu)先級癥狀”[3]。證型關系圖如圖3所示。

用戶填寫完問卷后，系統(tǒng)會根據(jù)每個問卷題目的選擇結果得出對應病癥的一優(yōu)癥狀集合A、二優(yōu)癥狀集合B和三優(yōu)癥狀集合C。

系統(tǒng)獲取用戶的問卷后，首先獲取到用戶選擇的所有癥狀的集合，再對癥狀集合進行遍歷，分別獲取到癥狀集合中第一優(yōu)先級癥狀所對應的證型集合A、第二優(yōu)先級癥狀所對應的證型集合B、第三優(yōu)先級癥狀所對應的證型的集合C。

⑴ 如果集合A中只有一個元素，則此元素（證型）即為結果；

⑵ 如果集合A中存在著多個元素，則令A′= A，如果A = ?，則令A′= U（U為全部證型的集合）；再令K = A′∩ B。

① 如果K中只有一個元素，則此元素（證型）即為結果；

② 如果集合K中有多個證型，則令K′= K；如果K=?，此時定有B=?，則令K′=A′；

再令V = K′∩ C；

如果V中只有一個元素，則此元素（證型）即為結果;

如果V有兩個及以上的元素（K′不為?），則K′中第一個元素（證型，此順序為計算機中的存儲順序）即為結果。

三級證型的主要集合關系如圖4所示（所有集合均非空時）。

2.2 粒子群優(yōu)化（PSO）

考慮到隨著系統(tǒng)訪問量不斷增多，后臺數(shù)據(jù)量會不斷增加，為了防止數(shù)據(jù)量暴增時系統(tǒng)的時間開銷過大，所以使用了粒子群算法對診斷過程做了優(yōu)化。

項目中的粒子群算法應用：因為目前數(shù)據(jù)量較小，所以選取了20個粒子迭代20次。

評估函數(shù)：在用戶填寫完問卷之后，系統(tǒng)會根據(jù)用戶填寫的問卷，對該疾病下粒子所覆蓋的證型進行評估。

具體評估過程為：首先向評估函數(shù)中傳入一個參數(shù)，即證型對象，然后初始化評估值為0，如果問卷中出現(xiàn)了該證型對象的一優(yōu)癥狀，則評估值自增1000，如果出現(xiàn)了二優(yōu)癥狀則評估值自增500，如果出現(xiàn)了三優(yōu)癥狀則評估值自增1。最終將評估值返回。

終止條件：如果達到了最大迭代次數(shù)（20）或者有證型的評估值達到1500（即≥1500）則迭代終止。

在達到最大迭代次數(shù)終止時：診斷結果為評估值最高的證型。

在有證型評估值達到1500終止時：診斷結果為該評估值達到1500的證型。

3 舌診子系統(tǒng)

3.1 舌診背景與算法概述

舌診是中醫(yī)通過觀察舌體、舌質、舌苔、舌下絡脈等舌象特征來判斷人體健康狀況的一種方法，是中醫(yī)臨床診斷過程中的主要依據(jù)之一[4]。舌的變化能快速敏感地反映出人體機能的變化，但是，傳統(tǒng)的舌診非常依賴于中醫(yī)醫(yī)師的知識水平和診斷技能，具有很強的主觀依賴性。另外，舌診醫(yī)師只是通過純粹的文字敘述來記錄病癥，導致珍貴的診斷經(jīng)驗和舌象資料難以得到精確的記錄和保存，這極大影響了中醫(yī)醫(yī)師們之間的學術交流，也在一定程度上阻礙了中醫(yī)理論的傳承和發(fā)展。隨著現(xiàn)代科學技術的飛速發(fā)展，可以將現(xiàn)代計算機技術與傳統(tǒng)中醫(yī)理論相結合，實現(xiàn)計算機輔助舌診。計算機輔助舌診通過采集數(shù)字化的舌體部位圖像，經(jīng)過計算機深度學習及圖像處理技術，將舌體分割出來，使用算法模型識別舌象特征并提供描述特征的客觀指標，同時建立中醫(yī)舌診理論數(shù)據(jù)庫對舌象進行綜合判讀，給出病理特征的描述及診斷[5]。計算機輔助舌診是排除了環(huán)境、人為干擾等條件差異的標準化舌象觀察及診斷分析，減少了傳統(tǒng)舌診的主觀性，同時又提高了舌診的臨床應用價值，使其更加科學化、客觀化、具體化。舌診整體流程如圖5所示。

3.2 舌像采集與分割

計算機輔助舌診的首要步驟是采集舌象。中醫(yī)舌像數(shù)據(jù)集數(shù)據(jù)量較少，獲取難度高，目前基本沒有公開的舌像數(shù)據(jù)集，需要實地采集，一般需要在密閉、光照穩(wěn)定且固定的采集環(huán)境下，利用手機、數(shù)碼相機等設備拍攝舌部圖像。部分臨床采集數(shù)據(jù)如圖6所示。

在開放環(huán)境下拍攝舌部圖像易受光源色溫、光線強弱、拍攝角度等不確定性因素的影響，導致圖像中舌體區(qū)域的顏色失真、面積過小等問題，因此，首先需要對采集的原始圖片數(shù)據(jù)進行人工篩選，剔除模糊及各種不符合要求的數(shù)據(jù)，最終保留2000張圖片作為舌診數(shù)據(jù)集。由于采集的舌圖像通常包含牙齒、嘴唇、臉部等冗余背景，對后期計算機提取特征、自動分析影響極大。因此，計算機輔助舌診的第一步即關鍵的一步，就是去除干擾背景，將可分析的舌像分割出來[6]。

舌像分割過程分為兩步，首先，把采集的原始圖片的舌像區(qū)域進行標注，獲得xml文件，作為真實值（ground truth）標簽文件，通過目標檢測網(wǎng)絡訓練調優(yōu)，獲得高準確率的檢測模型，對所有的原始圖片完成舌像區(qū)域定位；然后，使用圖像處理科學庫Opencv，完成舌像區(qū)域的裁剪并保存，生成舌像數(shù)據(jù)集用于后續(xù)的舌像特征識別。

通過調研并綜合比較多種現(xiàn)有的深度學習目標檢測模型，最終使用CenterNet作為舌像區(qū)域定位網(wǎng)絡模型。CenterNet是一個單階段的關鍵點檢測模型，以目標的中心點作為關鍵點進行預測，用熱力圖預測目標種類并回歸得到目標的寬高信息[7]。相比于其他大多數(shù)基于anchor的單階段檢測模型，基于關鍵點的檢測能夠避免大量冗余檢測框的生成，減少參數(shù)量，降低計算成本，提高檢測速度。由于我們只對原始圖片檢測舌像一種目標，且一張圖片只有一個舌像目標，因此，CenterNet網(wǎng)絡模型可以在提升檢測速度同時擁有較高的檢測準確率。舌像分割過程如圖7所示。

3.3 舌像特征識別

通過深度學習卷積神經(jīng)網(wǎng)絡實現(xiàn)舌像特征分類任務，需要大量的數(shù)據(jù)進行訓練，如果訓練集的數(shù)據(jù)過少，容易導致過擬合。為了避免舌像數(shù)據(jù)集圖片數(shù)量較少、不同類數(shù)據(jù)不平衡導致模型過擬合問題，因此，我們使用翻轉、旋轉、縮放等數(shù)據(jù)增強技術，將圖片數(shù)量增加到8000張，以擴充數(shù)據(jù)集，提高模型預測精度。舌像數(shù)據(jù)增強如圖8所示。

進行舌像特征識別時，使用EfficientNetV2的目標分類模型來提取舌體圖像的特征信息并進行分類辨識[8]。EfficientNetV2是2021年最新發(fā)布的深度學習分類模型，該模型可以同時關注訓練速度和參數(shù)數(shù)量，并且具有較高的預測準確率[9]。EfficientNetV2除了使用MBConv模塊外，還在網(wǎng)絡淺層使用Fused-MBConv模塊；在進行膨脹卷積操作時，使用較小的膨脹率（expansion ratio），來減少內存訪問開銷；普通卷積操作使用3×3大小的卷積核，減少參數(shù)量，提高模型訓練和推理速度。MBConv和Fused-MBConv的結構如圖9所示。

在訓練EfficientNetV2網(wǎng)絡前，將數(shù)據(jù)增強后的八千張圖片進行劃分，80%用于模型訓練，20%用于驗證分類效果。在訓練時，我們使用適應性矩估計（Adam）作為優(yōu)化器，來代替原有的隨機梯度下降（SGD）算法，Adam 通過計算梯度的一階矩估計和二階矩估計而為不同的參數(shù)設計獨立的自適應性學習率，使模型更快收斂。模型訓練時，設置batch size為32，學習率為0.001。

使用EfficientNetV2網(wǎng)絡模型，分別對舌色、苔色、苔質、裂紋、齒痕、舌形六大特征進行分類辨識。通過對模型進行訓練和調優(yōu)，最終，舌色特征辨識準確度可達98.4%，苔色97.5%，苔質92.5%，裂紋95.1%，齒痕94.7%，舌形92.3%。同時，我們將EfficientNetV2網(wǎng)絡模型與VGG16模型在舌像分類任務上進行對比，EfficientNetV2的特征分類準確率遠遠高于VGG16。舌色特征的對比結果如圖10所示，六大舌象特征的可視化預測結果如圖11所示。

4 總結

系統(tǒng)以中醫(yī)智能辯證為核心，模擬中醫(yī)臨床診斷中的問診、舌診方法，實現(xiàn)病癥的自主診斷，給用戶就醫(yī)帶來極大便利，同時緩解了醫(yī)院的就診壓力[10]。系統(tǒng)創(chuàng)新性地提出“三級證型優(yōu)先級”匹配算法，使疾病辯證過程更加客觀化、科學化，將傳統(tǒng)的中醫(yī)診療方法與深度學習目標檢測和目標識別技術相結合，使系統(tǒng)具備了“學習”能力和“適應”能力，并為人工智能在中醫(yī)藥領域的應用和研究提供一種可行的方法。該系統(tǒng)探索研究中醫(yī)診療新模式，將人工智能技術應用于中醫(yī)藥行業(yè)，推動中醫(yī)智能化、信息化發(fā)展，給用戶帶來便利的同時，弘揚中醫(yī)藥文化，真正將智慧醫(yī)療產品落地應用。

參考文獻（References）：

[1] 張德政，哈爽，劉欣，等.中醫(yī)藥領域人工智能的研究與發(fā)展[J].情報工程，2018（1）：81-83

[2] 蔡 靚，蔡欣玲，沈佳瑩，等.基于手機 APP 的中醫(yī)移動健康管理平臺探索[J].中國中醫(yī)藥圖書情報雜志，2016，40（3）：20-22

[3] 張萬義，張千，石趙雁，等.基于中醫(yī)辨證的智能中成藥推薦系統(tǒng)[J].智慧健康，2020，6（31）：5-9

[4] 侯軍.基于深度學習的中醫(yī)舌象診斷研究[D].工學碩士，北京：北京理工大學，2018

[5] 劉夢，王曦廷，周璐，等.基于深度學習與遷移學習的中醫(yī)舌象提取識別研究[J].中醫(yī)雜志，2019，60（10）：835-840

[6] 鐘振.基于深度學習的中醫(yī)舌像分割與識別實驗研究[D].醫(yī)學碩士，福建：福建中醫(yī)藥大學，2021

[7] 許延雷，梁繼然，董國軍，等.基于改進CenterNet的航拍圖像目標檢測算法[J].激光與光電子學進展，2021，58（20）：192-201

[8] 謝佳澄.深度學習在中醫(yī)舌象分類中的應用與實踐[D].工程碩士，吉林：吉林大學，2019

[9] Tan M X， Le Q V. EfficientNetV2： smaller modelsand faster training[EB/OL].（2021-06-23）[2021-08-13].https：//arxiv.org/abs/2104.00298

[10] 張千，方麗華，張萬義，等.智能自助中醫(yī)辨證與中成藥推薦系統(tǒng)設計與實現(xiàn)[J].智慧健康，2018，4（34）：7-10

*基金項目：中央高校基本科研業(yè)務專項基金-面向糖尿病大數(shù)據(jù)的自動化機器學習（18CX02019A）； 全國高校大學生創(chuàng)新創(chuàng)業(yè)訓練項目-智能自助中醫(yī)藥推薦系統(tǒng)（S202010425015）； 全國高校大學生創(chuàng)新創(chuàng)業(yè)訓練項目-基于深度學習的中醫(yī)智能輔助診療系統(tǒng)（S202109104500）

作者簡介：陳璐（1999-），女，山東德州人，碩士，主要研究方向：計算機視覺、智慧醫(yī)療。