基于多視圖醫學圖像處理的COVlD-19診斷算法及應用研究

喬國泰，李景赫，范文研，向宇戈，李康，申煒豪，魏麗娟

（西南科技大學國防科技學院，四川綿陽，621010）

1 研究背景及意義

盡管目前改進的CNN在以往醫學圖像處理中耗時、大量的冗余計算、難以選擇合適的像素塊大小、選擇相似像素塊進行網絡訓練時造成干擾等問題上有較大改進，但由于COVID-19屬于突發性公共衛生事件，對于COVID-19病灶區域的檢測，數據樣本明顯不如自然圖像樣本豐富，高質量的像素級標注數據更加稀少，并且醫學影像與自然圖像截然不同，所以基于自然圖像的算法無法直接在肺炎圖像上使用。加之COVID-19和非COVID-19肺炎具有很多重疊的特征，因此當前大多數算法準確率欠佳。而根據COVID-19醫學影像上的特點以及和非COVID-19肺炎之間的異同，我們設計出的這套基于多視圖醫學圖像處理COVID-19診斷算法，能夠在擁有少量樣本的情況下，有效從CT影像中檢測出肺炎并且區分出COVID-19和非COVID-19肺炎，且對于提高診斷準確率、減輕醫務人員工作量、提升檢測效率以及減小主觀誤診率等方面具有十分重要的意義，符合當前社會發展利益。

2 研究內容和擬解決的關鍵問題

2.1 研究內容

在醫學圖像分析和處理中，圖像分割變得更加復雜和關鍵，醫學圖像分割就是將醫學圖像中的特定器官組織分割出來，通過研究并提取相關的特征。由于醫學圖像中不同結構之間的高度相似性和邊界處的模糊性，目前為止還沒有一種通用的分割方法能夠對人體的器官進行分割。深度學習能夠有效的解決上述問題，大多數深度學習模型對于像素的類別識別有一個較高的準確率，對于像素之間的聯系欠缺考慮，最終直接導致分割效果不佳。因此本項目的研究內容如下：

2.1.1 研究基于多視圖的半監督特征選擇和聚類基本原理

現有的特征選擇方法大多用于處理傳統的單視圖數據。多視圖數據給傳統的特征選擇算法帶來了挑戰，應用傳統的特征選擇方法處理多視圖數據有兩個簡單的策略是：（a）將多視圖數據組合成單視圖數據，再利用單視圖特征選擇方法處理；（b）對多視圖數據的每個視圖獨立地執行傳統的單視圖特征選擇。組合策略明顯忽略了不同特征空間之間的差異，而分離策略卻認為各視圖之間相互獨立。然而，不同視圖之間是有內在關聯的，因為它們描述相同的一組對象。本文研究的多視圖特征選擇方法通過探索不同視圖之間的關系的同時對所有視圖進行特征選擇。

2.1.2 研究深度學習在醫學圖像分割中的應用

U-Net是FCN的變體，廣泛應用于生物醫學影像領域，尤其是語義分割。U-Net是一種典型的編碼結構。編碼器主要負責特征提取。它不僅可以使用U-Net等多組卷池，還可以將各種常見的特征提取網絡放置在這些位置。解碼器用于將編碼器獲得的特征恢復到原始分辨率。U-Net網的網絡結構是對稱的，主要包括下采樣、上采樣和跳轉連接。U-Net避免了在高階特征圖上直接進行監督學習和損失計算，通過結合和融合不同尺度的低階和高階特征生成最終特征圖，提高了模型的結果精度。

2.2 擬解決的關鍵問題

2.2.1 如何在有限容量樣本情況下獲取多視圖數據特征

由于涉及到病人的隱私信息，故當前COVID-19的CT數據集信息較為單一且樣本較少。此外由于COVID-19與普通肺炎有諸多相似之處，且樣本標記是一個十分依賴專業能力且較為耗時的工作，因此其中有標記的樣本較少，這對模型訓練帶來了不小的挑戰。

2.2.2 如何剖析、利用多視圖數據

高維多視圖數據中可能包含有許多不相關的冗余信息，以及噪聲、離群值等。因此需要選擇一個合適方法探索視圖之間的關系以及最大化的利用各視圖樣本的特征信息。

2.2.3 如何有效設計多視圖數據識別COVlD-19和非COVlD-19肺炎的神經網絡模型

圖1 處理多視圖數據的策略

當前COVID-19的公開數據集較少，像素級標注數據更加稀少。COVID-19和非COVID-19肺炎也具有較多重疊的特征。因此需要通過合適的方法設計一種能夠有效利用多視圖數據使得即能識別COVID-19也能和非COVID-19肺炎區分開的算法。

3 特色與主要創新點

3.1 特色

3.1.1 采用特征選擇方法處理多視圖數據

應用傳統的特征選擇方法處理多視圖數據有兩種簡單的策略,其一是將多視圖數據組合成單視圖數據，再利用單視圖特征選擇方法處理；二是對多視圖數據的每個視圖獨立地執行傳統的單視圖特征選擇。雖然組合策略顯然忽略了不同特征間的差異，但分離策略認為每個視圖彼此獨立。一般來說，多個視圖可以相互補充。本文研究的多視圖特征選擇方法通過探索不同視圖之間的關系的同時對所有視圖進行特征選擇。

3.1.2 構建基于CNN的深度學習模型

CNN是基于人工神經網絡的一種改進。CNN的訓練包括前向傳播和反向傳播算法，其中反向傳播尤為重要。前向傳播就是數字圖像以矩陣的形式輸入網絡，經卷積層計算提取有效特征，并利用激活函數做非線性處理以增強網絡的學習能力，當產生的特征圖較大或參數量較多時可適當采用池化層進行下采樣，最后通過全連接層進行映射輸出預測的結果。反向傳播算法是通過鏈式求導法則進行權重的更新。一個經典的卷積神經網絡，包含有卷積層，池化層和全連接層。通過研究卷積神經網絡的基本結構，可更好的用于構建醫學分割領域的網絡模型。

圖2 CNN卷積神經網絡

3.2 主要創新點

3.2.1 針對醫學圖像分割問題，采用深度學習中的U-Net網絡

U-Net網絡的每個卷積層得到的特征圖都會拼接到對應的上采樣層，從而讓網絡能夠有效的利用淺層特征和深層特征。U-Net避免了直接在高級特征圖進行監督學習和損失計算，而是在將低級和高級特征在不同尺度下拼接融合產生最終的特征圖，提高模型的結果精確度。

3.2.2 針對分割標注的二維CT圖像數量的有限性，創建COVlD-19分割網絡

分割標注的二維CT圖像數量非常有限，而手動分割肺部感染區域是一項困難且費時的工作。為解決此問題，本文使用半監督學習策略來改進分割網絡，利用大量未標記的CT圖像來有效地擴充訓練數據。在訓練之前，統一將所有輸入圖像的大小縮放至統一大小，然后使用多尺度訓練策略來訓練分割網絡，從而提高了模型的泛化性能。

3.2.3 針對多視圖數據的獲取，提出多視圖數據特征選擇策略

多視圖特征選擇通過探索不同視圖之間的關系同時在多個視圖數據上學習，且可以在異構的特征空間中選擇特征。在多視圖的半監督學習中，一方面數據有多個視圖,另一方面數據集由標簽和未標簽數據集組成。多視圖半監督學習要考慮如何利用多個視圖蘊含的信息和標簽數據以及未標簽數據蘊含的信息，然而，數據集中大部分數據的標簽難以獲取，所以本項目利用偽標簽來探索不同視圖之間的關系。

4 擬采取的研究方法、技術路線或研究方案

4.1 技術路線

本文圍繞研究內容和目標以多視圖學習為基礎，挖掘COVID-19數據中的一致性信息和特異性信息，利用深度學習網絡完成COVID-19感染區域的分割以及診斷。具體的研究路線和研究方法如下。

圖3 研究路線

4.2 研究方案

針對此問題，我們制定了以下研究方案：

圖4 研究方案

4.2.1 制作多視圖數據集

根據現有COVID-19數據集，從圖像尺度、紋理、邊緣、局部二值模式、尺度不變特征轉換、方向梯度直方圖等方向制作COVID-19的多視圖數據集。

4.2.2 研究多視圖數據特征選擇策略

多視圖特征選擇可以在異構的特征空間中選擇特征，而單視圖特征選擇只能從同構的特征空間中選取特征。在多視圖的半監督學習中，一方面數據有多個視圖，即x={x(1),…x(k)},另一方面數據集由標簽(XL,YL)={(x1,y1),,…,(xl,yl)}和未標簽數據集XU={xl+1,…,xl+u}組成。假設數據集(X,YL),其中n為樣本數，xdi∈R是由k個視圖組成的d維特征空間，其中第v視圖X(v)有dv個特征是標簽數據集XL的類別信息，c為類別數。多視圖半監督學習應考慮如何利用多個視圖蘊含的信息和標簽數據以及未標簽數據蘊含的信息。

現有的多視圖學習大多假設所有的視圖共享標簽信息，然而，數據集X中大部分數據的標簽難以獲取，所以本設計利用偽標簽來探索不同視圖之間的關系，這里假設偽標簽為Z=[z1,z2,...,zn]T∈Rn×c，若xi屬于第j類，則Z(i,j)=1；否則Z(i,j)=0。因此Z滿足條件：Z(i,:)∈{0,1}n,Z(i,:)0=1,?i,1,1≤i≤n。另外，已標簽數據XL對應的偽標簽Z(1:l,:)應盡量與已知的標簽信息YL一致；而且同一類別中的樣本點因相似，則對每一個視圖數據的限制條件可被描述為如下優化問題。