基于遷移學習和數據增強策略構建真菌性角膜炎鐮刀菌屬鑒定的智能診斷系統

黃光怡，唐寧寧，陳 琦，藍倩倩，蔣 莉，洪祎祎，呂 健，李 敏，曾思明，徐 帆

0引言

真菌性角膜炎是常見的致盲性眼病之一，在我國其病原菌主要為鐮刀菌屬(73.3%)和曲霉菌屬(12.1%)[1]，疾病的早期診斷和早期治療至關重要[2-4]。角膜活體共聚焦顯微鏡(invivoconfocal microscopy, IVCM)檢查對真菌性角膜炎診斷的陽性率較高[5-6]。隨著深度學習(deep learning)的發展，白內障、糖尿病視網膜病變等眼病[7-9]的診斷模型問世。本課題組前期通過深度學習結合IVCM圖像，構建真菌性角膜炎的智能診斷模型[10-11]。但是不同種屬的菌絲往往具有相似的形態學特征，IVCM檢查難以區分真菌種屬[12]，其鑒定方法主要為傳統培養。鐮刀菌屬是最常見的真菌性角膜炎致病菌，臨床預后較差[13]，故早期診斷非常重要。本研究結合遷移學習(transfer learning)和數據增強(data augmentation)，采用IVCM圖像建模對真菌性角膜炎病原菌鐮刀菌屬進行智能鑒定，為疾病的早期診斷和治療提供依據。

1對象和方法

1.1對象本研究回顧性收集了2017-03/2020-01期間在廣西壯族自治區人民醫院因角膜病行IVCM檢查(海德堡HRT III/RCM)的患者76例，收集患者的IVCM圖像，共9380張。納入標準：患眼角膜刮片組織經病原學培養確認為真菌感染。排除標準：(1)檢查圖像模糊、變形等圖像質量欠佳的患者。(2)合并其他可能對真菌性角膜炎造成影響的其他眼部疾病，如甲狀腺相關性眼病、并發細菌性角膜炎、病毒性角膜炎、角膜營養不良等。本研究遵守《赫爾辛基宣言》，經醫院倫理委員會審核批準(No.KS-SY-2020-1)。

1.2方法

1.2.1圖像篩選和分類由廣西壯族自治區人民醫院3名經驗豐富的眼科醫師對收集的圖像進行篩選，篩選出圖像中包含真菌菌絲的圖像，當3名眼科醫師篩選結果一致時，則認為該圖像中包含真菌菌絲；當3名眼科醫師篩選結果不一致時，由另一名資歷超過15a的眼科主任醫師對圖像進行審核，最終確定圖像是否包含真菌菌絲，通過上述步驟最終篩選出包含真菌菌絲的圖像共2157張。將篩選出的圖像，根據該患者角膜刮片真菌培養的結果進行分類，分為鐮刀菌屬、黃曲霉菌、煙曲霉菌、刺盤孢、棘盤孢、毛色二孢菌6類(圖1)。

圖1 不同真菌菌屬的IVCM圖像(×800)，可見大量真菌菌絲(箭頭) A：鐮刀菌屬；B、C：其他菌屬真菌菌絲。

1.2.2圖像預處理將圖像統一處理成正方形圖像，像素大小為384×384。本研究選取標注為鐮刀菌屬的IVCM圖像共1089張設置為正樣本數據集，選取標注為黃曲霉菌、煙曲霉菌、刺盤孢、棘盤孢、毛色二孢菌的IVCM圖像共1068張設置為負樣本數據集。將正樣本和負樣本的數據集分別按比例隨機劃分，并組成訓練集(train set)1380張、驗證集(validation set)345張和測試集(test set)432張。其中訓練集用于對模型進行訓練，驗證集用于在訓練過程中調節模型參數，測試集則用來最終評估模型的預測性能。

1.2.3數據增強為了訓練得到一個性能良好的深度學習模型，訓練的數據集至關重要，需要大量、豐富、代表性好的數據才能得到識別能力強和泛化能力好的模型。在國內外的研究中發現[14-16]，數據增強策略可以在數據樣本有限的情況下，改進模型的性能和泛化能力。本研究對訓練集進行數據增強處理，數據增強方法包括垂直翻轉、水平翻轉、垂直水平翻轉(圖2)，使訓練集數據增加為原來的4倍(表1)。

表1 經過數據增強后各個數據集的數據量大小 張

圖2 經典數據增強策略處理后的IVCM圖像(×800)，可見大量真菌菌絲(箭頭) A：原始圖像；A1：垂直翻轉；A2：水平翻轉；A3:垂直水平翻轉處理的圖像；B：原始圖像；B1：垂直翻轉；B2：水平翻轉；B3:垂直水平翻轉處理的圖像。

1.2.4遷移學習構建模型我們使用遷移學習策略搭建神經網絡模型，通過比較之前的有關研究[11]，我們選擇了性能較好的Inception-ResNet V2模型的網絡，保留了在ImageNet數據集上預先訓練的前部網絡和連接參數，該網絡的前部被用作數據集的固定特征提取器，最后的全連接層被移除，然后我們添加了由3個全連接層組成的自適應層在網絡的最后，其中自適應層的輸入是Inception-ResNet V2前部網絡的輸出向量，輸出是第3個全連接層的輸出，其激活函數為SoftMax，構成了完整的訓練模型。

1.2.5超參數設置本研究超參數設置如下，在進行訓練任務時，數據分批量進行訓練，訓練批大小(batch size)設置為4，表示一次輸入用于模型訓練的數據量為4；輪(Epoch)設置為20，這是根據訓練過程中訓練集損失率和驗證集損失率的變化確定的。損失函數選擇交叉熵損失函數；優化器采用自適應學習率優化算法(RMSprop)，由于學習率是非常難以確定的超參數，因此我們初始學習率采用默認值0.001，并在后期通過自適應機制在多次訓練中不斷調整學習率，以確定最終合適的學習率。其它初始參數權重則采用在Inception-ResNet V2網絡模型在ImageNet數據集上訓練的所獲得的權重值，并通過反向傳播方法對網絡的權重進行微調。

1.2.6評價指標通過計算模型的特異度(specificity)，靈敏度(sensitivity)，準確率(accuracy)，以及繪制受試者工作特征曲線(receiver operating characteristic curve，ROC)，并計算曲線下面積(area under ROC curve，AUC)對模型的預測性能進行評估。其計算公式為

ROC是反映靈敏度和特異度連續變量的綜合指標，以靈敏度為縱坐標、(1-特異度)為橫坐標繪制成曲線，AUC表示其曲線下面積，一般取值范圍為0～1.0，越接近1.0，表示模型的診斷性能越好。

1.2.7試驗環境本研究的訓練過程是在NVIDIA Tesla T4 Tensor Core GPU上進行的，訓練一輪(1個Epoch)平均時間約292s，處理每張圖片的平均時間約0.21s。所有模型均使用Keras、Tensorflow2.3實現，程序是用Python編程語言(Python 3.7，Python Software Foundation)編寫。

統計學分析：采用SPSS 25.0統計學軟件進行數據分析，通過計算模型的特異度、靈敏度、準確率和繪制ROC曲線來反映模型的診斷性能，計算ROC曲線下面積、并與臨界水平0.5進行比較，P<0.05表示差異具有統計學意義。

2結果

本研究納入鐮刀菌屬的IVCM圖像共1089張和黃曲霉菌、煙曲霉菌、白色念珠菌、刺盤孢和毛色二孢菌的IVCM圖像共1068張構成原始數據集。結合遷移學習的方法利用Inception-ResNet V2網絡模型構建智能診斷系統，該系統的測試結果為真陽性樣本154張，假陽性樣本62張，真陰性樣本156張，假陰性樣本60張(表2)，經計算顯示該系統的特異度為71.6%，靈敏度為72.0%，準確率為71.8%，AUC為0.785(95%CI：0.742～0.828，P<0.0001)，見圖3。

表2 原始數據集模型的預測結果 張

本研究通過數據增強策略對原始數據集進行擴展，使訓練集數量增加為原來的4倍，構建增強數據集，并使用相同的方法構建智能診系統，該系統的測試結果為真陽性樣本178張，假陽性樣本51張，真陰性樣本167張，假陰性樣本36張(表3)，經計算顯示該系統的特異度為76.6%，靈敏度為83.1%，準確率為79.9%，AUC為0.876(95%CI：0.843～0.909，P<0.0001)，見圖3。我們發現通過數據增強策略，該智能診斷系統的診斷效能均較前提高，說明該智能診斷系統對鐮刀菌屬感染的真菌性角膜炎具有良好的診斷效能，可用于真菌性角膜炎病原菌鐮刀菌屬的智能診斷。

表3 增強數據集模型的預測結果 張

圖3 原始數據集和增強數據集訓練模型的ROC曲線。

3討論

角膜疾病仍然是全世界單眼失明的主要原因，其中感染性角膜炎是引起角膜混濁的主要原因[17]，真菌性角膜炎是我國感染性角膜炎致盲的首位疾病[1]，其處理的關鍵因素是及時的診斷和正確的治療[2,18]。我們在之前的研究中利用IVCM圖像構建了一個基于深度學習的智能診斷系統，其對感染性角膜炎中真菌菌絲檢測的準確率達到96.2%，實現了對真菌性角膜炎的智能識別和早期診斷[10]。真菌性角膜炎的治療主要為抗真菌藥物，目前抗真菌的藥物種類較多，研究發現不同抗真菌藥物的最低抑菌濃度因真菌菌株而異[19]，因此我們在進行抗真菌藥物治療之前，對致病真菌進行菌株鑒定十分必要。但目前真菌的種屬鑒定仍依賴于傳統微生物培養，耗時久，無法為疾病的早期治療提供依據。

在本研究中我們采用IVCM圖像，利用深度學習的方法構建智能診斷模型，通過ROC曲線計算模型對鐮刀菌屬檢測的AUC為0.876，說明該智能診斷模型對鐮刀菌屬的分類效果很好，實現了對真菌性角膜炎病原菌鐮刀菌屬的智能診斷，為真菌性角膜炎的早期治療用藥提供重要依據。本研究中構建的智能診斷模型的特異度為76.6%，在既往的研究中通過深度學習方法的構建診斷系統對炎癥細胞檢測的特異度為99.31%[11]，對活化樹突狀細胞檢測的特異度為95.17%[11]，對真菌菌絲檢測的特異度為98.34%[10]。我們認為本研究中的智能診斷模型特異度不高的原因可能是因為分辨的任務難度較大，既往研究中的炎癥細胞在影像上呈小而明亮的高反射圓點，其特征清晰穩定，易于辨別，而本研究中鐮刀菌屬和其他真菌菌屬的形態學特征相似，在IVCM圖像中難以區分，訓練任務的難度較大。這也提示我們在臨床工作中仍需要結合患者病史、體征等信息進行綜合分析，避免誤診。

隨著計算機技術的發展和醫療行為中產生的大量數據，深度學習技術在智慧醫療領域的應用日漸成熟，卷積神經網絡(convolutional neural network)是典型的深度學習網絡模型之一[20]。相比傳統的機器學習方法，卷積神經網絡可以通過分層自動提取有效特征。在傳統機器學習的方法中，比如支持向量機(SVM)[21]等算法，需要對圖像進行分類和在圖像上標注出病變的區域，而卷積神經網絡可以自動提取有效特征的特點，為研究人員節省大量的時間和精力[20]。然而要獲得一個準確率高且泛化能力強的卷積神經網絡分類模型，依賴于在訓練過程中大量圖像數據不斷的迭代和參數的調整[22]。

但是實際的情況是，我們在臨床工作中獲得的圖像數據往往是有限的，而且進行大批量的圖像標注和篩選，需要耗費大量的人力、物力和時間。因此如何利用少量有標簽的樣本進行訓練，建立一個性能可靠的模型對目標任務進行分類和預測是待解決的關鍵問題。遷移學習的提出正好可以解決這一問題[23]，遷移學習指將在其他領域中學習獲得的知識，遷移到不同但是相關的目標領域中，解決新問題的一種新的機器學習方法，目前在計算機視覺[24]、藥物發現[25]等領域的應用取得良好的效果。這種遷移得以實現的基礎是兩個領域需要具有相同的要素，在Zhou等[26]研究中，他們成功地用基于VGG-16的遷移學習模型實現了甲狀腺結節超聲診斷的應用，獲得了較高的準確率。在一項關于青光眼性視神經病變的智能識別的研究[27]中發現使用遷移學習的網絡模型具有更好的初始性能，可以在更短的時間內達到收斂，并且相比原始模型而言，遷移學習模型的預測性能表現能更好。但是需要注意的是，并不是所有的遷移都能獲得理想的效果，當兩個領域共同的因素越少時，遷移的難度越大，甚至可能出現相反的遷移效應[25,28-29]。

數據集對模型的效能有重要的作用[22]，為了充分發揮數據集的作用，以及最大化利用現有的數據集，數據增強是目前應用廣泛的一種技術[30]，但目前并沒有研究驗證過在IVCM圖像上是否適用。有研究顯示數據增強能夠提升深度學習模型的準確性，并減少過擬合[31-32]。在高友文等[33]的研究中，他們通過圖像剪裁、鏡像變換等數據增強手段，應用AlexNet網絡模型對公開數據集進行識別，發現模型的準確率較前提升。在本研究中，我們結合研究的任務和圖像的特征，盡可能保留了IVCM圖像中菌絲的形態特征，采用了垂直翻轉、水平翻轉、垂直水平翻轉的方式對圖像進行處理，使用增強數據集訓練的模型AUC從0.785提升到0.876，與之前的研究結果相似，本研究發現數據增強能夠提升模型的準確性和泛化能力。此外，有學者提出數據增強的方法并不適用于所有深度學習模型的訓練，不恰當的增強方法反而可能會訓練出性能欠佳的模型[34]，因此，我們選擇數據增強手段的時候需要結合本身數據集的情況靈活運用。

我們采用遷移學習聯合數據增強的方法構建出智能診斷模型，實現了對真菌性角膜炎的病原菌鐮刀菌屬的識別，為眼科醫師的臨床診療工作提供重要依據。相比傳統的形態學、生物學和病理學檢查方法，IVCM檢查可以直接多層次立體地觀察角膜結構的細胞圖像，省去傳統組織切片、固定和染色等步驟，為無創性檢查，更利于檢查的廣泛開展，本研究中結合深度學習構建的神經網絡模型實現了對IVCM圖像病原菌進行智能診斷，可以即時的提供真菌性角膜炎患者的致病真菌的鑒定結果，相比傳統的角膜刮片鏡檢、角膜刮片培養等檢查更快速、方便和經濟，對真菌性角膜炎的臨床治療具有重要的意義，也為病原菌的鑒定提供了新方向和新思路。

此外，本研究也具有一定的局限性，表現在如下方面：(1)本課題組僅在真菌性角膜炎的IVCM圖像上研究了這個問題，可以在更多的應用場景進行驗證。(2)樣本的收集工作均在同一家醫院完成，未來應進一步進行多中心的研究和驗證，另外本研究樣本量有限，未來研究將進一步擴大樣本量，增加數據異質性，從而訓練泛化性更強的模型。(3)本研究實現了對真菌性角膜炎病原菌鐮刀菌屬的識別，相比傳統真菌培養，雖然耗時短，但是無法進一步進行藥敏試驗，為抗真菌藥物的選擇提供準確科學的依據，因此，真菌培養試驗對感染性角膜炎的診治仍然具有重要作用。(4)在進一步的研究中，我們將結合多模態診療模式，以期可以進一步改進模型的性能和泛化能力。

本研究結果顯示結合遷移學習和數據增強策略構建的智能診斷模型，可以提高模型的效能，具有較高的準確性，實現了對真菌性角膜炎病原菌鐮刀菌屬的智能診斷，有助于更早地判斷致病真菌的菌屬，可以快速及時地為醫生提供診斷依據，對真菌性角膜炎的早期治療具有重要意義。