左 琳
(南開大學 附屬第一中心醫院, 天津 300192)
隨著工業技術的快速發展,由此導致的空氣污染問題也日益嚴重,因肺部病變導致的呼吸道疾病的發病率和致死率也呈現出逐年增加的趨勢[6-7].然而,由于醫療資源分布的不均勻,導致在肺部疾病的診斷過程中有大量的疑難病癥無法得到準確診斷[8].因此發展智能化、精確化的計算機輔助診斷技術,對于解決醫療資源分布不均問題、減少醫生的診斷負擔、提升診斷準確率和效率是十分必要的[9].
目前,針對肺部疾病診斷的計算機輔助診斷技術主要包括:傳統的機器學習方法和基于深度學習的方法[10-11].其中,傳統機器學習方法使用區域生長、閾值法和統計分析等方法分割出肺部區域,然后使用基于機器學習或基于規則的方法對分割出的區域進行統計分類并得到診斷結果.Deng等[11]提出了一種基于模糊閾值的CT圖像分割算法,算法首先分割出肺部區域,然后使用加權支持向量機將分割出的區域分為結節區和非結節區.Tobias等[12]提出了一種基于主動輪廓模型的肺部區域分割算法,并提取出分割區域的三維解剖特征和二維隨機特征對分割區域進行分類.這類方法通常需要人工參與設計特征的提取過程,而基于深度學習的方法直接使用深度神經網絡提取輸入圖像的特征,不僅簡化了特征提取過程,而且將肺部疾病診斷作為一個端到端圖像分類的過程,具有更高的性能.Wang等[13]提出了一種基于三維卷積神經內網絡的肺部結節檢測方法,首先使用局部幾何濾波器生成候選區域,然后使用三維卷積對候選區域進行分類.Zebin等[14]將反卷積操作引入到Faster R-CNN網絡中,實現肺部疾病區域的檢測.Imran等[15]基于U-Net的編解碼結構和三維雙路徑網絡實現肺部CT疾病的診斷,該方法將分割出的候選疾病區域分為良性和惡性兩類.
雖然現有的方法均能獲得較高的識別精度,但其忽略了肺部器官間的相對位置對診斷結果的影響[16].本文提出了一種基于位置信息的肺部疾病分類網絡,該方法將位置信息應用于肺部疾病診斷中,實現位置導向的特征提取和疾病分類.在大規模數據上的仿真測試實驗結果表明,所提出的方法能提取出更多有效特征,從而提升肺部疾病的診斷精度.
在傳統的圖像分類網絡中,使用池化層增加網絡的感受野,然而池化層的存在使得圖像中像素點原始的位置被掩蓋,這一信息的缺失對于場景更為復雜的自然圖像分類并不會造成較大的影響.而醫學圖像的場景更為單一,器官和組織間的相對位置關系對于圖像的分類具有重要意義,這一信息的缺失會直接影響圖像的分類精度.因此本文將位置信息引入醫學圖像的分類問題中,提出了一種基于位置信息的肺部疾病診斷網絡.
在自然語言處理任務中,通常使用余弦和正弦編碼的方式對句子中的位置順序進行編碼,該方法在處理位置信息相對固定的圖像時具有較優的精度,然而對于醫學圖像而言,人體組織間的差異以及拍攝時患者的不同姿勢均會導致拍攝到的圖像中器官間的位置發生變化.為了解決這一問題,本文中提出了一種相對距離編碼的方式實現肺部器官的位置編碼.該方法首先分割出肺部區域和心臟區域,然后根據分割結果計算出器官間的相對距離,最終將生成的相對距離作為肺部疾病分類網絡的條件輸入,實現肺部疾病的診斷.
為了實現器官和組織間的相對距離編碼,本文首先使用U-net網絡提取出輸入肺部CT圖像的肺部與心臟區域,實現器官的預分割.不同于傳統的全卷積網絡,U-net網絡能有效利用高層語義特征的空間信息實現不同尺度的特征融合,從而減少細節信息的丟失.使用卷積層提取圖像的特征,利用下采樣層縮小圖像尺寸,再通過上采樣層恢復到原始分辨率.網絡包括一個編碼部分和一個對稱的解碼部分,其中,編碼網絡的設計類似于傳統的分類網絡,使用一系列卷積操作和降采樣操作提取出圖像的語義信息;而解碼網絡與編碼網絡對稱,使用卷積操作和上采樣操作逐漸恢復出原始的空間信息.該設計網絡的輸出和輸入具有相同的分辨率,實現了點到點的像素預測,同時,該網絡可以兼顧圖像的空間與語義信息.
為了訓練該網絡,本文提出的損失目標函數為
2.1 兩組患者術后2年臨床治療效果比較 觀察組治療總有效率顯著高于對照組,差異有統計學意義(χ2=5.996,P=0.014)。見表1。
(1)
式中:pi與gi分別為像素i的預測概率和真實類別;N為圖像的總像素數;ε=0.000 1為平滑參數.但由于醫學圖像標注樣本數量有限,故對數據標注較為困難,這使得網絡使用隨機初始化的參數時無法提取出有效的語義信息,因此本文使用ImageNet數據集上預訓練的ResNet50網絡代替原始的編碼網絡,而解碼網絡則使用隨機初始化的參數.
上述分割網絡只能得到比較粗糙的分割結果,無法保證分割區域的完整性.為了實現更精確的相對位置編碼,本文對上述分割結果進一步處理以減少預測誤差.具體處理步驟為:
1) 定義處理輸入,M為網絡分割結果,q=0.5為分割閾值.E為最大保留區域數量,對于肺部區域E取2,對于心臟區域E取1.
3) 使用連通域分析法得到圖像中獨立前景區域,然后統計每個區域的像素數量,并根據數量的排名將前n個區域作為目標區域的預分割結果.
4) 使用二值填充算法對提取出的預分割結果進行填充,并得到最終的分割結果.
經過上述步驟處理之后,可以明顯減少孔洞區域,實現異常目標的過濾,使分割出的結果更符合預期目標.
為了解決傳統位置編碼方法無法充分利用位置信息,且提取容易受噪聲影響的問題,本文提出了一種相對距離編碼的方法.其中,相對距離計算表達式為
dr(i,j)=min{(x-i)2+(y-j)2,0≤x (2) 為了提取出相對距離信息,本文使用距離變換的方式實現相對距離編碼.對于一張給定的二值圖像I∈RW×H,假定圖像的邊界即二值圖中標記為1的像素點集合為B,則距離圖與原圖有相同的寬和高,本文通過迭代計算的方式得到距離圖,然后,使用模板匹配的方法對模板位(xp,yp)所在的像素值進行更新,即 H(t)(xp,yp)=min{H(t-1)(xp+k,yp+l)+ D(k,l)} (3) 式中:H(t)(xp,yp)為距離圖在第t次迭代時位于坐標(xp,yp)處的值;D(k,l)為模板中(k,l)點相對于匹配點的距離,本文使用歐式距離計算匹配點間的距離. 為了提升肺部疾病的診斷精度,本文提出了一種基于注意力網絡的肺部疾病分類網絡.該網絡使用SeNet網絡作為主干網絡,使用兩層網絡提取相對位置編碼的特征,并使用該特征指導后續主干網絡的特征提取和肺部疾病分類.基于注意力網絡的肺部疾病診斷網絡結構如圖1所示,圖1主要由Conv+ReLU+BN模塊構成,提取圖像特征.該網絡使用注意力網絡和一個全連接層,將輸入的肺部圖像劃分為對應的類別. 圖1 疾病診斷網絡Fig.1 Disease diagnosis network 為了實現距離特征的引導,本文設計了距離導向模塊,具體結構如圖2所示.該模塊以殘差連接的方式實現圖像特征和相對距離特征的融合,即 H(x)=[1+F(x)]T(x) (4) 式中:F(x)為圖像特征;T(x)為相對距離提取的特征;H(x)為融合后的特征.該特征融合模塊可以實現距離導向的特征提取,且這種特征融合方式不會對后續的特征提取產生較大的影響,對于位置相關的疾病診斷具有較為重要的意義,本文疾病分類網絡使用交叉熵損失作為目標函數. 圖2 距離導向特征提取模塊Fig.2 Distance-oriented feature extraction module 為了驗證所提出算法的有效性,本文在ChestX-ray14數據集上進行了仿真測試與分析.該數據集包括肺不張、心臟肥大、胸膜積液、肺浸潤、腫塊、結節、肺炎、氣胸、肺實質、肺水腫、肺氣腫、纖維化、胸膜增厚和肺痛14種常見肺部疾病,共112 120張圖片.實驗數據首先縮放到224×224大小,然后進行歸一化操作以提升模型的泛化性能,同時文中使用隨機偏移、旋轉和縮放進行數據增強.訓練時,使用初始學習率為0.001的Adam優化器對網絡進行優化.文中U-net網絡包含6個下采樣結構和6個對稱的上采樣結構,疾病診斷網絡包含4個特征提取結構和一個如圖2所示的距離導向特征提取結構. 為了驗證算法的有效性,本文將基于U-net的肺部區域分割與其他兩種文獻算法進行精確度對比,結果如表1所示,其中精確度使用通用的交并比計算得到.相比于文獻[10]和[11]的結果,基于U-net的肺部區域分割方法具有更高的精度.同時,圖3給出了對分割結果精確化處理前后的結果對比,從圖3中可以看出,處理后的圖像可以明顯減少孔洞區域,實現異常目標的過濾,使分割出的結果更符合預期目標. 表1 肺部區域分割結果精確度對比Tab.1 Accuracy comparison of results of lung region segmentation 圖4為本文使用相對距離編碼時得到的內部相對距離和外部相對距離的結果.從圖4中可以看出,使用內部相對距離編碼能夠更加關注肺部組織內部的元素,使用外部相對距離編碼會消除胸腔內組織密度變化所導致的影響. 由于不同特征嵌入方法也會對網絡分類結果產生影響,文中對距離導向的特征提取模塊進行對比研究.表2為使用不同方法得到的分類結果,表2中分類精度由正確分類的數量除以總測試樣本數量得到.使用通道級特征串接和元素級特征相乘的方式只能得到次優結果,而使用本文方法能夠得到更優結果,相比傳統方法,其精度至少可以提升0.022. 將本文算法與文獻[13]、[14]進行不同類型疾病的分類精確度對比,結果如表3所示.本文算法對14種疾病的分類精度結果優于其他算法,表明本文算法能夠有效提升肺部疾病診斷的精度. 圖3 算法精確化處理前后對比圖Fig.3 Comparison of algorithms before and after post-processing 圖4 內部相對距離和外部相對距離結果Fig.4 Results of internal and external relative distances 表2 不同特征融合方法的結果Tab.2 Results of different feature fusion methods 表3 14種疾病分類精度Tab.3 Classification accuracy of 14 diseases 本文提出了一種基于位置信息的肺部疾病診斷網絡來解決位置有關的肺部疾病分類和診斷問題.將位置編碼嵌入到語義分割網絡中實現肺部組織的分割,提升了分割的精度,結合位置信息可以提取出針對特定位置的肺部疾病分類特征,并提升所提取特征的有效性.對14種常見肺部疾病的分類實驗結果表明,通過位置嵌入的方法能夠指導網絡提取出更加有效的數據特征,實現位置相關的特征增強和抑制,從而有效提高肺部疾病的診斷精度.
1.4 基于注意力網絡的肺部疾病分類


2 仿真分析與實驗結果





3 結 論