基于深度學習的脂肪肝超聲圖像分類方法研究

趙海宇，王詩文，何 晴

（桂林電子科技大學計算機與信息安全學院，廣西 桂林 541004）

脂肪肝，于1962 年最先發現在某些患者的肝臟組織學病變，與酒精性肝病無法進行區別，其均由顯著的脂肪性沉積，因此稱其為脂肪肝，直到1980 年被定義為非酒精性脂肪肝炎，其用來指由各種原因引起的肝細胞內脂肪蓄積過多，脂肪含量超過肝重量的5%，或在組織學上超過肝實質30%的一種肝臟情況。

在當前，脂肪肝的篩查主要是通過B 型超聲進行成像，再由醫生進行通過肉眼以及自身經驗進行判斷，容易增加醫生的檢查負擔。

本文將針對脂肪肝超聲圖像，設計預處理算法增強圖像特征，改進現有深度學習的方法，使其能對脂肪肝超聲圖像進行更準確的分類評估，能夠輔助醫生做出判斷。

1 脂肪肝B 超圖像分類研究現狀

隨著技術的突破，越來越多的人研究使用計算機來輔助脂肪肝B 超圖像分類的診斷。

Cao[1]等人利用分形維數和紋理邊緣共生矩陣的方法，從超聲圖像中提取特征，在使用線性分類算法將脂肪肝圖像分為正常和病變。

Achyara[2]等人提出通過曲線變換在超聲圖像上區分不同的策略，利用CT 系數的熵特性，通過局部敏感判別分析來選取有效的特征。

Zamanian[3]等人使用卷積神經網絡(CNN)從原始肝臟圖像進行特征提取，然后使用支持向量機(SVM)對網絡所提取的特征進行分類。

Han[4]等人使用超聲RF 數據進行學習，通過醫生選取ROI 區域進行訓練，從而實現分類效果。

2 圖像預處理過程

超聲成像過程中會產生散斑噪聲、模糊和陰影等嚴重影響超聲圖像的質量和分辨率，使得超聲圖像退化，不利于對超聲圖像進行特征提取。因此，對超聲圖像進行預處理工作十分有必要。

肝臟超聲圖像上脂肪肝特征主要如下：輕度脂肪肝表現為近場回聲增強，遠場回聲衰減不明顯；中度脂肪肝表現為前場回聲增強，后場回聲衰減，管狀結構模糊；重度脂肪肝表現為近場回聲顯著增強，遠場回聲明顯衰減，管狀結構無法辨認。通過增加超聲圖像的強回聲與弱回聲的對比度，能夠增強脂肪肝超聲圖像的特征，有助于對脂肪肝程度進行分類診斷。

直方圖均衡化是一種增強圖像對比度的方法，其主要思想是將一副圖像的直方圖分布變成近似均勻分布，從而增強圖像的對比度。但是由于直方圖均衡化是全局均衡化，針對于脂肪肝超聲圖像的局部區域過暗時，會使得背景噪聲增強以及增強過度。因此采用對比度受限制自適應均衡化直方圖均衡化。

針對于脂肪肝超聲圖像，將其分割成多個大小相等的區域，并根據各個區域的像素特征計算每一區域的灰度級的平均值，表示為：

公式（1）中，Nm為水平方向的像素數目。Nn為垂直方向的像素數目，L 為子塊的灰度級數。

確定剪切系數C，調整剪切系數到最佳值，再確定剪切閾值Clim，表示為：

根據上述公式確定計算的剪切閾值，對各個區域的像素消息進行剪切，把剪切下來的像素數目重新分配到對應直方圖的灰度級中，表示為：

公式（3）中，Sclip為被剪切的像素數量。

對像素點進行重新分配，如果灰度級的像素數大于剪切閾值Clim，或者大于平均分配像素數Na而且小于剪切閾值Clim，則令該灰度級像素數等于Clim。否則，則將灰度級像素數加上Na來作為該灰度級像素數。剩余沒有分配的像素數均勻分配到小于Clim的灰度級，循環分配直到將像素數分配完畢。

對各個區域的直方圖進行區域內的均值化。然而，僅對各區域進行單獨處理存在著問題，由于區域劃分過于明顯，這就導致原本像素點之間柔和過度的部分區分度變大，最終產生塊效應。

為了消除塊效應和提高計算速度，將每個區域中心的灰度值作為參考點，對圖像中像素點進行線性插值，將相鄰的四個參考點對應區域的映射來決定像素點的值。在完成超聲圖像預處理后，圖像的特征得到增強。

3 改進神經網絡分類方法

3.1 Inception-Resnet-v2網絡

Inception[5]是Google 的研究人員在2014 年提出的網絡結構，其通過使用1×1 卷積降低通道數，再進行不同尺度特征提取得到多個特征后，將特征進行融合輸出。Inception 網絡結構可以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能。Inception-ResNet-v2 網絡是在Inception-v4 網絡結構中引入了ResNet 的殘差結構，利用Resnet 網絡結構恒等映射的特點，提高了網絡的精度。Inception-Resnet-v2 網絡通過對上一層的輸入使用多個不同尺度的卷積核進行特征提取，在增加網絡的寬度同時，能夠增加網絡對尺度的適應性。Inception-Resnet-v2 網絡中Input 為輸入層，Stem 模塊用于并行提取特征信息，Inception-Resnet-A、Inception-Resnet-B 和Inception-Resnet-C 模塊用于特征提取，對應的Reduction-A、Reduction-B 和Reduction-C 模塊用于更改網絡的寬度和高度，AveragePooling 為平均池化層用于提高計算效率，Dropout 為隨機失活層用于保持神經網絡的穩定性，Softmax 表示用Softmax 分類器分類。

3.2 注意力機制

注意力機制來源于在視覺上的研究。在進行信息處理時，人們會選擇性地關注所有信息中的一部分，并且忽略其他可見的信息。在神經網絡中，注意力機制使得神經網絡更注重于感興趣區域，抑制不相關背景區域。超聲圖像噪聲較多，所以更需要網絡提取有效的特征，強調關鍵的信息，從而整體分類的精度。本文將在Inception-Resnet-v2 網絡中加入SENet(Squeezeand-Excitation Networks)[6]注意力機制模塊。SENet 的核心是通過網絡根據訓練誤差去學習特征權重，使得有效的特征圖權重增大，抑制無效或效果小的特征圖的方式訓練模型達到更好的結果。

SENet 模塊對輸入高寬為h、w，通道數為c1 的超聲圖像進行空間維度的特征壓縮，獲得全局感受野。然后通過參數w 為每個通道重新生成權重，再通過兩個全連接層對輸入維度進行降維再升維，將每通道的權重加權到原輸入特征圖上，得到輸出。

3.3 改進策略

由于網絡的深層具有深的語義信息，因此將SEnet模塊融入Inception-Resnet-v2 網絡的Inception-Resnet-B 結構和Inception-Resnet-C 結構的兩側含有卷積的分支中，得到SE-Inception-Resnet-B 結構和SE-Inception-Resnet-C 結構。

為了避免隨著網絡深度加深造成特征信息丟失，對Inception-ResNet-v2 網絡的Inception-Resnet-A、SEInception-Resnet-B 和SE-Inception-Resnet-C 模塊先經過平均池化，再進行特征融合。改進后的網絡結構如圖1 所示。

圖1 改進后的網絡結構圖

4 實驗測試分析

4.1 實驗數據集和平臺

實驗所使用數據來源于公開數據集，共有550 張大小為360×575 的肝臟超聲圖像，其中肝臟正常為170 張，輕度脂肪肝50 張，中度脂肪肝110 張，重度脂肪肝220 張。

本文算法使用的計算平臺系統為Ubuntu20.04，深度學習框架為Pytorch1.8。硬件環境為6 核12 線程CPU，32GB 內存，顯存24GB 的GPU。

4.2 評估方法

本文研究脂肪肝超聲圖像分類問題，使用準確率(ACC)、靈敏度(SE)、特異度(SP)作為評價指標，對算法進行評估。相應公式如下：

式中，TP 為真正例；FP 為假正例；FN 為假反例；TN 為真反例。在相同平臺下，將本算法與其他算法進行對比，結果表1 所示。

表1 算法評估對比

從表1 可以得出，本文算法相較于其他算法提高了準確率、敏感度和特異度，能夠將脂肪肝超聲圖像進行較準確地分類。

5 結論

在診斷脂肪肝的計算機分類算法中，超聲圖像是常用的圖像類型。本文提出一種基于深度學習的分類方法，先將脂肪肝超聲圖像進行預處理，使超聲圖像能夠降低噪聲、增強特征。針對于預處理后的圖像，改進Inception-ResNet-v2 模型，引入SENet 注意力機制模塊與原模塊構建成新的模塊，并將各模塊的輸出進行特征融合，經過分類器得到分類的脂肪肝類型。本文算法相較于其他算法，能夠有效地提升分類能力。