基于卷積神經網絡的翼狀胬肉病灶分割研究

朱紹軍，方新聞，鄭 博，吳茂念，楊衛華

0引言

翼狀胬肉是眼科常見病和多發病[1-2]，是瞼裂部球結膜及結膜下組織發生變性、肥厚、增生，向角膜內發展[3-4]，胬肉呈三角形、白紅色[5]。如果放任病情發展，翼狀胬肉組織將侵犯至瞳孔區甚至全部角膜，對視力造成巨大傷害，嚴重的甚至會造成失明[6-8]。通常情況下，如果在觀察期就引起足夠重視，病情可得到及時控制[9-11]。全球翼狀胬肉患病率約為12%，我國40歲以上人群翼狀胬肉患病率約為13.4%，患病人數近1.09億[12-13]，且患病人數還在增加，然而現有的眼科醫生數量無法滿足日益增加的疾病診斷需求[14]。在人工智能領域，很多研究已經通過深度學習技術實現疾病的分類診斷并達到約95%的準確率[15-20]。在翼狀胬肉的智能分類基礎上，本研究擬通過人工智能卷積神經網絡實現翼狀胬肉病變區域的精準分割，期望可以提供病灶的范圍信息，輔助眼科醫生開展診療科普并為疾病的治療提供參考信息[21]，研究結果匯報如下。

1資料和方法

1.1資料本研究中翼狀胬肉圖像數據由南京醫科大學附屬眼科醫院提供，以保證數據庫的專業性和多樣性為指導，以醫學標準篩選翼狀胬肉眼表圖像517張，其中330、37、150張分別作為訓練、驗證和測試。該數據庫中的所有圖像均在相同環境下用同等級設備拍攝，眼前節照相格式統一，無黑邊，無需進行圖片裁剪等預處理，樣本示例見圖1。

表1 實驗結果 %

圖1 不同的數據樣本 A：只需觀察的樣本；B：需要手術的樣本；C：不同角度下的樣本；D：不同光線下的樣本。

1.2方法

1.2.1標注數據樣本為了能夠利用人工智能算法自動分割翼狀胬肉圖像，需要將現有的翼狀胬肉圖像進行手工標注，準確標注出翼狀胬肉組織的外部輪廓，然后才可以用標注好的數據集對算法訓練、驗證、測試。標注過程：(1)由眼科主任醫師對1名標注負責人進行關于翼狀胬肉的專業培訓，經測試合格以后正式開始標注；(2)每一張圖片由標注負責人進行手工標注，標注好以后提交審核；(3)另聘請眼科主任醫師為審核負責人，負責審核標注結果是否準確，若不準確則返回給標注負責人重新標注。標注樣本見圖2。

圖2 標注數據樣本 A：待分割圖片；B：分割結果。

1.2.2構建模型本研究針對翼狀胬肉分割中所存在的問題在PSPNet模型[22]的基礎上將階段上采樣理念與金字塔池化模塊結合構建了Phase-fusion PSPNet網絡結構，見圖3。輸入該模型的圖像首先通過Resnet50[23]主干特征提取網絡進行特征提取，得到30×30×512的特征圖，該特征圖在金字塔池化模塊下以1×1、2×2、3×3、6×6四個尺寸進行池化，雖然感受野不斷增大，但是造成了邊緣位置信息的丟失，故在原本金字塔模塊的上采樣操作下加入了分階段上采樣模塊，該模塊將1×1×512的特征圖先通過雙線性插值上采樣到2×2×512，然后將2個特征圖做按元素相加，重復上述操作直到上采樣到30×30×512的特征圖(b)大小，上采樣結束后得到的特征圖將繼續堆疊到(e)中，最后再通過卷積得到預測圖。該模型使用Python程序設計語言在Pytorch框架基礎上實現，訓練和測試在Linux操作系統進行，采用英偉達Tesla V100 GPU加速卡。使用VOC2012-AUG[24]數據集的預訓練權重和隨機梯度下降優化器進行傳播學習，在不使用數據增強的情況下以0.00001的學習率迭代80輪。

圖3 Phase-fusion PSPNet網絡結構。

1.2.3評價方法和指標采用MobileNet V2為主干特征提取網絡的PSPNet、Resnet50為主干特征提取網絡的PSPNet、U-Net[25]、Deeplab V3+[26]、Dense DeepLab V2[27]5個網絡作為Phase-fusion PSPNet的比較網絡，比較測試集翼狀胬肉病灶智能分割和專家標注的結果。翼狀胬肉病灶分割對比實驗采取單類交并比(intersection over union，IOU)、平均交并比(mean intersection over union，MIOU)、單類像素精確度(average precision，PA)、平均像素精確度(mean average precision，MPA)4個評價指標衡量翼狀胬肉病灶分割模型的性能。

IOU和MIOU的計算公式：

(1)

(2)

其中pi表示分割后的區域，gi表示真實區域，k表示類別數(不包括背景類)。IOU是通過真實值和預測值的交集比上它們的并集；MIOU是通過計算每個類別的交并比(包括背景類)并求所有類的平均。

PA和MPA的計算公式：

(3)

(4)

其中pii表示預測正確的像素數量，pij表示真實類別為i被識別為j類的像素數量。PA是標記正確的像素占總像素的比例；MPA是計算梅格雷被正確分類像素數的比例，之后求所有類的平均。

2結果

本研究中6個網絡翼狀胬肉病灶分割的結果見表1，結果表明，Phase-fusion PSPNet是上述模型中效果最好的，且改進后的Phase-fusion PSPNet比起同樣使用Resnet50的PSPNet在MIOU和IOU上分別提升了0.84%、1.3%，在MPA和PA上也有小幅度提升，其中在翼狀胬肉單類上的IOU上提升較大，說明該模型對翼狀胬肉的分割效果明顯提升。Phase-fusion PSPNet的分割效果見圖4。

圖4 Phase-fusion PSPNet分割效果 A1～H1：專家標注結果；A2～H2：智能分割結果。

3討論

在翼狀胬肉的智能分類基礎上，本研究構建的Phase-fusion PSPNet網絡結構進一步實現翼狀胬肉病灶的精準分割，且可以提供翼狀胬肉病灶的范圍信息，輔助眼科醫生開展診療時的疾病科普和手術規劃，為疾病的治療提供參考信息。本研究所采用的翼狀胬肉病灶分割對比模型均是語義分割領域中較為經典的模型，其中PSPNet提出了金字塔池化結構，U-Net采用了Encoder-Decoder網絡結構，Deeplab則提出了改進的空洞空間卷積池化金字塔結構(ASPP)。通過對各個模型的分割結果觀察可以看出其他模型的不足之處，PSPNet(MobileNet V2)和U-Net的主干特征提取網絡提取到的特征圖語義信息不夠強，Deeplab V3+中淺層與高層的特征信息融合度不夠。Dense DeepLab V2引入了前饋密集層，將4個前饋層添加到網絡底層，對DeepLab V2進行改進。Choudhury等[26]研究采用的數據庫包含328張翼狀胬肉眼表照相，并以3∶1的比例劃分訓練數據和測試數據，以0.001的學習速率迭代200輪，Phase-fusion PSPNet相較于Dense DeepLab V2的訓練結果，MIOU提升了2.5%，其他指標由于該論文里沒有公布，所以無法比較。Dense DeepLab V2雖然使用了ASPP層融合不同級別的語義信息，但是當該模型中的空洞卷積已經擴張到圖像外時，此時并沒有獲取語義信息，所以融合信息操作的作用有限，導致分割效果低于本研究的Phase-fusion PSPNet。

本研究為找出適合翼狀胬肉分割的圖像語義分割模型，選取圖像語義分割技術不同發展階段中的代表模型作為對比模型，同時選取不同的特征提取網絡以保證實驗的全面性。由翼狀胬肉病灶分割實驗結果得出在5個對照模型中，Resnet50為主干特征提取網絡的PSPNet效果最好，該模型既擁有深層卷積網絡可以提取出足夠的翼狀胬肉病灶特征，同時加入金字塔池化模塊通過不同尺寸的池化塊保存不同層次的語義信息。Phase-fusion PSPNet在PSPNet的模型架構基礎上，在金字塔池化模塊上添加了階段上采樣模塊，以此深度融合不同層次的語義特征圖，保留更多目標區域信息。此外，本研究提出的Phase-fusion PSPNet與2020年提出的Dense DeepLab V2相比，MIOU提升了2.5%。Dense DeepLab V2中的前饋密集層雖然盡可能地保留了目標區域信息，但同時也摻入了一些噪聲信息，影響了最終分割結果。Phase-fusion PSPNet中的階段上采樣模塊添加在特征提取網絡之后，通過深度卷積模塊已經提取出主要特征信息并過濾大部分的噪聲信息。

翼狀胬肉的主要難點在于邊緣難以準確分割，既需要深度卷積神經網絡進行特征提取，同時也需要與淺層信息相結合。本研究的改進特點主要是將大尺度跨越的上采樣分階段進行并與淺層特征圖信息進行融合，加強了翼狀胬肉的邊緣信息，提升了病灶分割的性能。該模型效果雖然是上述所有模型中最好的，但是觀察分割結果后可以了解到翼狀胬肉的邊緣檢測效果依然需要提高，將來可以考慮利用Vision Transformer[28-30]的獨特結構加強圖像內各部分的聯系，從而提升分割效果。本研究也存在不足之處，Phase-fusion PSPNet雖然相較于其他模型有一定的提升，但該模型分割翼狀胬肉時對其邊緣的處理并沒有達到十分精確，同時翼狀胬肉單類IOU稍低，需要進一步深化研究并優化分割模型。后續研究擬做如下改進：(1)加大模型訓練樣本數量；(2)采集的眼前節圖像也需要進一步規范并制定標準；(3)提升模型對于翼狀胬肉邊界的感知程度。

綜上，本研究旨在通過深度學習方法實現對翼狀胬肉的精準分割，為醫生和患者提供病灶區域輔助定位。在該領域不斷深入研究后，結合翼狀胬肉分類和分割的方法有望為翼狀胬肉提供一種新型診斷工具，同時提出手術與否的治療建議，患者可根據治療建議及時獲得下一步處理建議，合理利用醫療資源。