卷積神經網絡在中醫舌診中的應用綜述

黃詩茜 王峰 王曉灑 周全 趙昕

摘要：隨著AlphaGo在2017年的中國烏鎮圍棋峰會上戰勝了世界圍棋冠軍柯潔之后，AlphaGo名聲大噪，深度學習再次掀起了學習和研究的熱潮。而卷積神經網絡作為深度學習中重要的分支，在計算機視覺中有著廣泛且深刻的應用，其中包括圖像分割和圖像識別。中醫中藥是我國幾千年流傳下來的傳統醫療手段，作為中華文化的傳統瑰寶，其在人們的日常保健和疾病治療中發揮著不可磨滅的作用。而舌診作為一種非侵入式的診察手段，在中醫臨床診療中有重要地位。醫生可以通過觀看舌象來了解病人體內病例變化，但是，診斷結果受醫生主觀經驗和光照環境影響較大。因此，借助計算機方法來輔助診斷顯得十分必要。

關鍵詞：卷積神經網絡;深度學習;中醫舌診

中圖分類號：TP3? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）26-0020-03

中醫的診斷方法有四種分別為望診、聞診、問診和切診，又稱為“望聞問切”法。其中望舌是中醫診斷疾病方法的特色之一，屬于望診。舌診主要是通過觀看舌質和舌苔的顏色、形狀來做出病理判斷。眾所周知，人體五臟六腑通過經脈直接或間接與舌有聯系，中國古代有“脈有假脈，舌無假舌”的論述。因此，研究舌診在臨床醫學上有重要意義。

“中醫藥現代化”是國家長期科技發展中提出的研究課題。2019年10月25日習近平對中醫藥工作做出了重要指示指出：中國藥學包含著中華民族幾千年的健康養生理念及其實踐經驗，要加快推進中醫藥現代化、產業化。推動中醫藥走向世界，使中國傳統的醫學醫藥被更多人熟悉了解和接受。因此，將人工智能技術與中醫藥結合應用，有利于推動中醫藥的高質量發展，有利于加快中醫藥在世界范圍內廣泛應用的進程。

1 卷積神經網絡發展歷程

1.1 卷積神經網絡的基本原理

1.1.1 卷積層的操作

CNN最重要的構建塊是卷積層。卷積層采取的是局部連接、參數共享的辦法，這樣可以解決參數過度的問題。

假設圖片為單通道時，卷積核相當于一個濾波器，卷積核表示卷積神經元，里面的數值表示的是卷積神經元的權重參數，它的值是需要通過反向傳播算法計算訓練而得到。卷積核在輸入圖像上從左到右，從上到下滑動計算，對應卷積核的值與輸入圖像的值相乘再相加。而且，輸出特征圖的大小等于輸入圖像的大小減去卷積核大小再加一。假設圖片為三通道時，卷積的計算過程也類似，只不過它是分別進行三個通道的卷積計算，然后再將對應點的值相加而得到。

1.1.2 池化層的操作

池化操作和卷積操作類似，池化層的目的是通過對輸入圖像進行二次采樣以減少計算負載、內存利用率和參數數量（從而降低過擬合的風險）。減小輸入圖像的大小同樣可以使神經網絡容忍一定的圖像位移。池化神經元沒有權重，也就是池化核里面沒有值。池化神經元所做的事情就是使用聚合函數（比如max或者mean）聚合輸入。

最大值池化操作（max聚合）的計算過程：在池化層中，池化核一般設置與步長一致，池化核在輸入圖像上從左到右，從上到下滑動，然后取最大值，就是最大值池化操作。在池化操作的過程中，一般不會采取補零操作，因此會丟棄部分值。

平均值池化操作（mean聚合）與最大值池化操作相同，只是池化核在輸入圖像中從左到右、從上到下滑動的過程中，不是取最大值，而是取核對應位置的平均值。

1.2 幾種經典的卷積神經網絡結構

卷積神經網絡得到發展的一個重要里程碑是Yann LeCun等人發表于1998年的論文。該論文提出了廣泛用于手寫數據識別（MNIST）數據集的經典LeNet-5[[1]]架構。它的架構主要包括一個輸入層，三個卷積層，兩個平均池化層和一個全連接層以及一個輸出層，其中卷積層和池化層交錯排列。這個模型為后面的神經網絡架構奠定了基礎。但是，在這之后的十年間里，神經網絡的研究發展趨于停滯，原因是當時的研究人員發現對于多層的神經網絡來說使用反向傳播算法的訓練需要龐大的計算量，而在當時的技術水平下很難實現[[2]];而且當時基于SVM的淺層機器學習算法有驚人的表現，SVM功能強大并且全面使得它在那段時間成為最受歡迎的模型之一。因此，對卷積神經網絡的研究擱置了很長的一段時間。

直到在2012年的ILSVRC競賽中，Alex Krizhevsky等人提出的一種AlexNet架構以大比分贏得了比賽，卷積神經網絡才再次出現在人們的視野中。它和LeNet-5架構很相似，只是比它更深。它直接將卷積層堆疊到其他層之上，而不是在每個卷積層之上堆疊池化層。并且采用了當時新提出的“dropout”的正則化方法。

之后卷積神經網絡的發展都是圍繞著ILSVRC競賽而發展。并且神經網絡的結構越來越深。在2013年由Matthem Zeiler 和Rob Fergus提出的ZF Net架構贏得了當年ILSVRC的挑戰賽。它本質上是AlexNet，只是調整了一些超參數（特征圖的數量、內核大小、步幅）而已。Google研究部的Christian Szegedy等人開發了GoogLeNet[[3]]架構，將Top-5錯誤率降到了7%而贏得了2014年的ILSVRC挑戰賽。它引入了一種稱為初始化模塊的子網，該模塊使得GoogleNet比前面提及的架構更加有效地使用參數。然后就是由Kaiming He等人開發并獲得2015年ILSVRC競賽冠軍的殘差網絡，又稱為ResNet[[4]]架構。它使用了一個由152層組成得非常深的CNN，使得Top-5錯誤率降到3.6%。之所以能取得如此傲人的成果是因為使用了跳過連接（也稱為快捷連接），也就是輸入到一個層中的信號也被添加到位于堆棧上方的層的輸出端，這使得它能夠訓練如此深的網絡。而后要提及的就是GoogleNet架構的一個變體Xception[[5]]架構，這是Francois Chollet于2016年提出的，Xception網絡架構的核心是深度可分離卷積。深度可分離卷積結構提出了空間模式和跨通道模式是可以單獨分別輸入的。2017年7月26日，ILSVRC競賽官網正式宣布，IamgeNet大規模挑戰賽于2017年正式結束。這標志著在計算機視覺乃至整個人工智能發展史上建立了一個階段性里程碑，這個時代暫時落下了帷幕，此后的發展將專注于目前尚未解決的問題。而在最后一屆ILSVRC競賽的冠軍模型是SENet。

2 卷積神經網絡在中醫舌診中的應用

2.1 卷積神經網絡應用于舌型標定和分割

2.1.1 基于全卷積神經網絡的舌型分割

全卷積網絡（FCN）由卷積神經網絡（CNN）進化得來，全卷積神經網絡的結構可以用（卷積層+（可選）池化層）*N+反卷積層*K來表示，它與卷積神經網絡不同的點在于它包含有反卷積層。卷積層和池化層的操作會使得輸出的尺寸不斷變小，而反卷積層就可以逆向，使得輸出的尺寸變大，這樣就可以使得開始的輸入和輸出的尺寸相等。這可以很好地應用在圖像分割上面。在王麗冉[[6]]等人發表的《面向舌體分割的兩個階段卷積神經網絡設計》一文中正是使用了全卷積神經網絡來分割舌體，主要分為兩個階段：一個是粗分割一個是精分割。在粗分割階段采用了普通的卷積神經網絡構架，即由卷積層和全連接層構成的框架，從舌象圖片的相似背景中提取出舌體的區域，這個過程也就是對舌體進行標定，這樣減少了舌體周邊組織對舌體分割造成的影響。在精分割階段采用了卷積層和反卷積層構成的全卷積神經網絡的框架，粗分割階段得到的結果作為這一階段的輸入，使得舌體可以精準地分割出來。

2.1.2 基于卷積專家網絡的舌型標定和分割

卷積專家網絡（CEN）是Amir Zadeh[[7]]等人于2017年發表的論文中提及的一種新穎的局部檢測器。該文中提到傳統的面部標記點檢測模型是局部約束模型（CLM），但是這種模型受到表情、光照、面部毛發和化妝等因素的影響而表現不及基于級聯回歸的方法。作者認為，CLM存在局限的原因是它使用的局部檢測器對于復雜變化的局部標記特征點無法建模。因此他們提出了卷積專家網絡作為新穎的局部檢測器，從而提出了基于卷積專家網絡的局部約束模型（CE-CLM），這種模型恰好可以彌補CLM的不足。這個模型結合卷積專家網絡和三維點云分布模型實現精準定位進而提高圖像分割的精度。其中卷積專家網絡與普通卷積神經網絡不同點在于，其在普通卷積層的基礎上疊加了一個專家層（ME層），專家層可以混合學習一個集合來捕獲感興趣區域的變化，因而對標定點的變化具有魯棒性。可以考慮將這個算法的模型應用于舌象的標定和分割，可以實現對舌頭各部分進行定位和分割，然后提取舌頭各部分的特征進行診斷，使得診斷結果更加全面可靠。同時可以實現自動分割，大大減少人為標定分割的成本，為后續的研究提供充足的舌象數據集。

2.2 卷積神經網絡應用于舌象分類和預測

舌是人體健康的晴雨表。舌頭由舌質和舌苔組成。舌質是舌的肌肉經脈組織而舌苔是舌面上附著的苔狀物。在中醫舌診中，主要看舌質和舌苔的顏色形狀和形態。由于個體的差異性，根據舌象的不同劃分為不同的體質一直存有爭議。大部分情況下，可以將舌象簡單地分類為正常、寒癥和熱癥。而現在，在中醫診療中普遍認可王琦教授針對舌象而劃分的九種體質。這九種體質分別為：平和質、氣虛質、陽虛質、陰虛質、痰濕質、濕熱質、津虧質、氣滯質、血瘀質。

如今深度學習的框架不斷發展，目前主流的深度學習框架有 TensorFlow，pytorch，Caffe，Keras等，這些框架為深度學習模型的搭建提供了接口，而且里面集成了許多經典的卷積神經網絡架構。因此可以在這些深度學習的框架中使用卷積神經網絡的模型對舌象進行分類。目前，已經有科研人員直接使用深度層卷積神經網絡對舌象圖片進行模型的訓練和分類。但是直接訓練深層的卷積神經網絡模型需要大量的訓練集，而且訓練集還需要帶有醫生診斷的標簽，而收集和標定大量數據集的過程是很難實現的。

所以，從頭開始訓練一個非常龐大的深層神經網絡是不明智的，大多時候應該試著去找一個能處理相似問題的已有的神經網絡，然后重用它的低層網絡，這叫作遷移學習。遷移學習可以協助人類解決小樣本分類問題，使用在海量數據集上訓練好的模型對小樣本進行特征提取，再用特征微調全連接神經網絡降低利用深度網絡解決問題的難度系數[[8]]。不少研究者對舌象的分類都是基于遷移學習來實現的[8-9]。通過重用經典的卷積神經網絡結構的低層連接權重，然后應用數據增強的手段讓圖片對旋轉、平移和放縮具有一定的魯棒性。再將自己的頂層添加到模型中就可以實現遷移學習了。

3 總結

本文首先對卷積神經網絡的原理和它的幾種經典架構進行了闡述，然后分別介紹了卷積神經網絡在舌象分割和舌象分類兩個方面的應用。其中穿插講解了其他一些方法的優缺點。中醫藥學是中國幾千年文化所積淀下來的龐大理論體系，而舌診僅僅作為其中的一部分。卷積神經網絡可以應用在中醫上面的遠遠不止舌診這一個方面，甚至還可以將其應用在脈診、面診、目診和手診上面。中醫藥文化博大精深，不是簡簡單單通過訓練一個模型就能完全將病人的病癥診斷出來的。而且個體存在差異，更多地需要醫生經驗的判斷。因此這只能作為輔助診斷的技術。倘若未來想要實現中醫診療的完全自動化、智能化，做這些還遠遠不夠，還需要考慮方方面面的因素，來提高診斷的可靠性。

參考文獻：

[1] LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[2] 俞頌華.卷積神經網絡的發展與應用綜述[J].信息通信，2019，32（2）：39-43.

[3] Szegedy C， Liu W， Jia Y， et al. Going deeper with convolutions[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2015：1-9.

[4] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.27-30 June 2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[5] Chollet F.Xception：deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.21-26 July 2017，Honolulu，HI，USA.IEEE，2017：1800-1807.

[6] 王麗冉，湯一平，陳朋，等.面向舌體分割的兩階段卷積神經網絡設計[J].中國圖象圖形學報，2018，23（10）：1571-1581.

[7] Zadeh A，Lim Y C，Baltru?aitis T，et al.Convolutional experts constrained local model for 3D facial landmark detection[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.22-29 Oct.2017，Venice，Italy.IEEE，2017：2519-2528.

[8] 楊晶東，張朋.基于遷移學習的全連接神經網絡舌象分類方法[J].第二軍醫大學學報，2018，39（8）：897-902.

[9] 胡繼禮，闞紅星.基于卷積神經網絡的舌象分類[J].安慶師范大學學報（自然科學版），2018，24（4）：44-49.

【通聯編輯：代影】