一種基于深度學習的移動端膽石病智能診斷系統*

王 碩 李丕寶

（1.中國石油大學（華東）計算機科學與技術學院 青島 266580）（2.山東省立第三醫院急救中心 濟南 250000）

1 引言

深度學習已經在諸多領域得到了廣泛應用，比如語義分割、計算機視覺，自然語言處理等，特別是在智慧醫療［1］上的創新性進展。目前的市場上，已經不少的醫療圖像識別［3～4］產品，如浙江大學第一附屬醫院的甲狀腺結節良惡性輔助診斷系統。此類產品已經達到了工業化應用的標準，但也存在一定的局限性。例如在實際應用中，患者只能夠在醫院進行診療，不可能隨時攜帶大型的醫療圖像識別設備；同時調查到，目前市場上還未發現與醫院合作自主研發的膽石病相關的智能診斷系統。

本文研發了一種基于深度學習的膽石病智能診斷系統，可部署于離線移動端。高性能計算芯片技術［5］的發展具有了多核并行計算能力，可以實現在苛刻環境下的實時圖片處理；以及近幾年輕量化卷積神經網絡［6～9］和移動端神經網絡模型加速框架［10～11］的快速發展，使得輕量化神經網絡部署在移動端設備上成為了可能。實驗表明，該系統在醫院采集的膽石病醫療圖像驗證集上進行膽石病識別驗證達到了94.8%的準確率；在運行速度方面，可將進行一次完整的膽石病識別流程控制在2s以內，能夠滿足工業化應用的需求。

2 系統框架

一次完整的膽石病CT醫療圖像識別具體工作流程圖如圖1所示，主要包括以下過程：1）獲取用戶的基本身份信息和原始的膽石病CT醫療圖像；2）判斷數據庫是否存有該患者用戶的診斷記錄；3）用直方圖均衡化方法對圖像進行預處理，增加圖像的對比度；4）對預處理之后的圖像進行感興趣區域進行標記；5）將圖像輸入到輕量化卷積神經網絡當中進行識別；6）膽石病CT醫療圖像的識別結果；7）生成一份電子版的醫療報告；8）將該用戶的診斷結果與電子醫療包括存入到數據庫。

圖1 膽石病識別工作流程

3 算法介紹

膽石病CT圖像識別是膽石病智能診斷系統的關鍵部分，通常分為膽石病圖像預處理、膽石病ROI標記和膽石病的結石識別三個部分。

3.1 膽石病圖像預處理

作為膽石病智能診斷系統的首要步驟，膽石病圖像的結果直接決定了接下來的步驟能否順利進行。本系統考慮到膽石病圖像智能識別的精度和速度，在這一環節采用了直方圖均衡化算法。

直方圖均衡化算法［12］步驟如下。

1）給出原始圖像的所有灰度級Sk（k=0，1，…，L-1）。

2）統計原始圖像各灰度級的像素數nk。

3）根據原圖像，計算灰度直方圖：

式中，n為總像素數，nk為灰度級Sk的像素數。

4）計算原始圖像的累積直方圖：

（0≤Sk≤1，k=0，1，…，L-1）

5）取整計算：

6）確定映射關系：

Sk→Uk

7）統計新直方圖各灰度級Uk的像素數目nk。

8）計算新的直方圖：

在圖2中清晰地觀察到膽結石呈現出白色，與膽囊有明顯的顏色差異，以及各種人體組織和器官，如腎臟、膽囊、脊柱等。在圖3中是經過直方圖均衡化算法處理的膽石病CT醫療圖像。

圖2 膽石病患者的CT醫療圖像

圖3 對比度增強之后的圖像

3.2 膽石病ROI標記

膽石病感興趣區域（Region of Interest，ROI）的標記指的是對于經過預處理的圖像，選取部分感興趣的區域，并對其進行標記，作為輸入信息輸入到神經網絡當中，只需要對ROI進行處理。經過這樣的處理之后，圖像大量的無膽石病病灶區域就會被過濾掉，包含有膽石病病灶的標記區域在像素數量上要小于只經過處理之后的膽石病圖像。

在前期的輕量化卷積神經網絡訓練過程中，經過大量的人為手工操作對膽石病圖像進行病灶位置的標記，最終確定ROI標記區域由上到下、由左到右四個坐標值為A（90，148）、B（90，276）、C（230，148）、D（230，276）。

3.3 膽石病的結石識別

膽石病的病灶識別是膽石病智能診斷系統的最關鍵部分，膽石病識別結果的準確率與病灶特征提取的好壞有著直接的影響。基于局部二值模式算法［13］、向梯度直方圖算法［14］等，都是機器學習領域中一些傳統的特征提取方法。隨著深度學習在近幾年的迅猛發展，在世界的重大比賽中受到了各界的關注。在2012年Krizhevsky［15］使用經典的卷積神經網絡在Imagenet圖像分類大賽上斬獲冠軍，自此之后神經網絡提取特征的方式就得到了學術界的廣泛關注。本系統采用了改進的輕量化的深度卷積神經網絡進行膽石病圖像的特征提取。

4 輕量化卷積神經網絡

卷積神經網絡作為深度學習領域中的經典之作，在圖像分類、語義分割、目標檢測等領域已經得到了廣泛應用。人們通過傳統的不斷疊加網絡層數來提高CNN的性能。卷積神經網絡從十層發展到上百層，甚至更有上千層的神經網絡，比如ResNet和DenseNet。神經網絡處理能力與泛化性得到了提高，但隨之而來的就是模型的存儲問題以及速度問題。

近幾年來，輕量化卷積神經網絡和移動端神經網絡加速框架快速發展，通過創造出新的神經網絡計算方式來減少網絡參數，使得輕量化卷積神經網絡更好地在移動終端設備上部署。本文使用的輕量化模型是MobileNetsV2。

4.1 深度可分離卷積

深度可分離卷積是許多高效神經網絡體系結構的關鍵組成部分，我們將它應用到輕量化卷積神經網絡當中以此來提高網絡運行的效率。深度可分離卷積由兩部分組成Depthwise convolution和Pointwise convolution。Depthwise convolution通過對每個輸入通道應用一個卷積核來執行輕量化卷積，得到新的輸出特征圖。Pointwise convolution實際上是一個1×1的卷積，它將Depthwise convolution輸出的特征圖進行線性計算組合得到新的特征圖。

4.2 逆殘差

線性瓶頸塊看起來類似于殘差塊，其中每個塊包含一個輸入，經過線性瓶頸的處理，最后是展開輸出處理的結果。

如圖4（a）的傳統的殘差塊，先用1×1卷積將輸入的特征圖的維度降低，然后進行3×3的卷積操作，最后再用1×1的卷積將維度變大。圖4（b）即為本文提出的結構，先用1×1卷積將輸入的特征圖維度變大，然后用3×3深度可分離卷積（depthwise convolution）方式做卷積運算，最后使用1×1的卷積運算將其維度縮小。注意，此時的1×1卷積運算后，使用的是線性激活函數，而不是ReLU激活函數，可保留更多特征信息。

圖4 殘差（a）與逆殘差（b）

4.3 MobileNetsV2

我們使用的輕量化卷積神經網絡的基本構建塊是一個深度可分離殘差卷積。此塊的詳細結構如表1所示。模型體系結構包含32個卷積核的完全卷積層。由于ReLU6在計算精度較低的情況下具有較強的魯棒性，所以我們采用ReLU6作為非線性。在輕量化卷積神經網絡中的所有卷積核，我們采用核大小為3×3，以此來提高整個神經網絡框架的計算效率與性能。

表1 MobileNetsV2結構

5 數據實驗

膽石癥的類型和形式多樣，部分膽石癥的病變也十分相似，這極大地阻礙了膽石癥的正確診斷和治療。為了測試本系統的膽石病智能識別系統的準確性，本文選用了合作醫院——山東省立第三醫院的膽石病醫療圖像數據。山東省立第三醫院是一家公立醫院，平均每年約有1萬人次的肝膽就醫病例，有著大量豐富的膽石病醫療圖像數據。在具體的實驗過程中，選取了100例膽石病患者的膽石病醫療CT圖像數據，作為系統的驗證數據集，一共有673張膽石病醫療CT圖像。

6 實驗結果

我們的系統可以檢測CT圖像中膽結石的存在，確定并標記其位置和大小，并可以辨別不同類型的膽結石，如顆粒狀結石和泥沙狀結石以及一些重要的器官，如圖5所示。我們評估并比較了MobileNetV2和MobileNetV1作為用于對象檢測的特征提取器的性能，同時表2中給出了YOLOv2，原始SSD以及SSDLite的正確率比較。

圖5 診斷結果

表2 不同網絡之間的性能比較

膽石病智能診斷系統的實驗主要驗證系統的膽石病病灶診斷準確率和測試系統的適用性，包括模型運行時間與能耗。在安卓虛擬機測試的同時，我們將系統部署在小米7、HTC One M8等安卓手機上，來測試該系統在實際應用中的準確率和用戶體驗。

在具體的實驗過程中，重新采集了45例共216張膽石病患者的醫療CT圖像，包括一人不同形狀大小以及密度的膽結石病灶等圖像。然后將其拷貝到手機內存中，更改接口為調用手機相冊，進行膽石病驗證，具體實驗結果如表3所示。

表3 在不同安卓系統手機上的實驗結果

實驗結果相較于系統安裝在工作臺上的準確率較低，經分析是因為工作臺上的系統運行環境與安卓系統手機上的系統運行環境有較大的差別。當系統運行在工作臺時，有充足的內存資源以及高效的GPU等硬件設備，使得其識別準確率更高一些。最終實驗結果表明，膽石病智能診斷系統在實際應用中，能夠高準確率、高速地完成膽石病病灶識別工作，可輔助醫師提高臨床診斷效率。

7 結語

本文研發的膽石病智能診斷系統在數據特征提取環節采用了規模小、速度快、準確率高的輕量化卷積神經網絡，可以使整體系統準確率和運行效率得到提高。在國內外的整個醫學研究領域，還未曾出現過與膽石病相關的智能診斷系統。整個系統可以離線部署在搭載安卓系統的移動終端設備上，并且可在本地完成醫療圖像識別任務，體積小，可以在需要便攜、移動的環境下能夠很好地完成膽石病智能診斷的應用需求，緩解膽石病臨床醫學領域的疑難問題。