基于并行卷積神經網絡的X線圖像成像部位識別

【作　者】郭磊，賀宏偉，王玉軍，王昌元，楊秀云，劉露

泰山醫學院，泰安市，271016

0　引言

醫學圖像中成像部位的識別是醫學圖像處理的關鍵技術，是實現臨床應用中醫學圖像自動化處理的基礎。當前研究[1-3]通過構建數字重建圖像，將成像部位的射野圖像與其進行自動配準，是放療定位及誤差分析的常見方法。區別于圖像配準方法，相關研究[4]提出通過提取圖像特征，執行支持向量機算法進行成像部位和擺位方式識別的方法。該方法實現了X線圖像成像信息的自動檢測，但其準確率受到預先設定的圖像特征和支持向量機分類性能的限制，實驗過程對需識別的成像部位進行了限制。圖像特征人工選取在當前醫學圖像處理中有著廣泛應用[5-6]，然而提取的圖像特征往往由于維度過低或者缺乏代表性，影響醫學圖像處理結果的準確率。如何保證提取圖像特征的多維度和代表性，是當前醫學圖像處理研究的重要方面。

深度學習作為當今人工智能研究的熱點領域，在計算機視覺、語音識別、自然語言翻譯等方面表現出好于傳統方法的性能。它利用深度神經網絡對輸入數據進行前向傳播，通過多隱層拓撲結構進行逐層反饋訓練[7]。卷積神經網絡作為一種深度神經網絡，其特定網絡結構，如卷積核、池化層、反向傳播訓練算法的使用等，使其具備很強的特征自動提取和分類識別能力。卷積神經網絡已被廣泛應用于圖像識別[8-10]和語義分割[11-13]，使得圖像分類識別和語義分割的準確率顯著提高。鑒于卷積神經網絡優異的特征學習和分類能力，將卷積神經網絡應用于醫學圖像中成像部位識別過程，提高對圖像多維特征的表達能力，保證圖像特征的自動提取和分類識別的準確性，為自動圖像引導放療設備的研發提供方法和工具。

該文首先結合卷積神經網絡當前研究提出并行卷積神經網絡結構；其次將并行卷積神經網絡應用于X線圖像成像部位識別；再次結合放療定位中X線圖像數據進行并行卷積神經網絡識別的實驗分析；最后總結當前工作并探討下一步研究思路。

1　并行卷積神經網絡

1.1　卷積神經網絡概述

卷積神經網絡是一類特殊的深層前向神經網絡模型，其結構一般包括輸入層、卷積層、池化層、全連接層（或全卷積層）及輸出層[14]。其中，輸入層通常是矩陣輸入，例如一幅數字圖像；卷積層是將上一層網絡輸出作為輸入，按照可學習的卷積核執行卷積操作，通過特定激活函數獲得輸出特征圖；池化層是按照采樣策略，對上一層網絡輸入的采樣輸出；全連接層則將所有通道的二維圖像特征圖拼成一個一維特征向量作為輸入；輸出層是結合全連接層特征向量進行前向傳播的判定結果。卷積神經網絡的另一關鍵理論基礎是反向傳播算法，即完成網絡權重隨機初始化后，按照梯度下降方法沿判定結果誤差減小的方向調整網絡權重的過程。

圖像分類識別應用中，AlexNet[8]，VGG[9]和GoogLeNet[10]通過增加網絡層數，達到更為優異的分類識別性能；文獻[15]通過增加全連接層的層次深度和多卷積層并行連接的方式，獲得較為全面的圖像美感特征描述，實現較好的圖像美感分類效果；文獻[16]采用網絡中特定隱層跨連至全連接的方式，可以獲得不低于傳統卷積網絡的性別分類結果。文獻[17]采用信息熵描述低層級特征圖，采用區域平均的方法描述高層級特征圖，結合二者構建具有較強表達能力的深度層次特征。

1.2　并行卷積神經網絡實現

醫學圖像是對人體特定部位成像細節的展現，其圖像特征可以通過卷積神經網絡學習和提取。考慮到醫學圖像中局部特征的多樣性，本文設計兩種尺寸的卷積核（圖1），用于學習和提取不同尺寸的圖像特征，然后基于兩種尺寸的卷積核分別實現兩類卷積神經網絡，進而通過并行連接方式組織并行卷積神經網絡。

圖1 并行卷積神經網絡結構Fig.1 Structure of parallel convolutional neural networks

圖1是用于X線圖像中成像部位識別的并行卷積神經網絡結構，包括18個層級，分別是輸入層、若干卷積層、池化層、全連接層和輸出層，圖1中下方標注層級序號，上方標注對應層的通道數。輸入層接收256h256像素的3通道X線成像部位圖像。網絡對輸入信息逐層并行處理，其中上行網絡從L1至L15迭代執行卷積核尺寸為2h2的卷積和步數為2的2h2下采樣，在L16實現包含1 024個神經元的列向量全連接輸出；下行網絡從L1至L16的信息處理方式，除采用尺寸4h4的卷積核執行卷積外，與上行網絡相同。網絡在L16、L17及L18合并上行網絡和下行網絡并實現層間全連接，其中L16輸出2h1 024維，L17輸出2h512維，L18采用softmax分類器輸出成像部位類別概率分布。

通過采用不同尺寸的卷積核，并行卷積神經網絡實現不同尺寸的圖像特征的學習和提取；同時通過設置一定數目的卷積核，既可保證圖像特征具有更多維度，又能降低網絡訓練的計算量。

2　基于并行卷積神經網絡的成像部位識別

成像部位識別是根據醫學圖像特征，采用特定方法實現成像部位分類的過程。為保證圖像特征提取的多維度和代表性，提高成像部位的識別準確率，將并行卷積神經網絡應用于成像部位識別。識別過程分為數據準備和模型實現兩個階段。

2.1　數據準備

采用X線成像部位圖像數據作為并行卷積神經網絡訓練和測試的數據集。訓練集用來進行網絡訓練，測試集用來測試經過訓練網絡的性能。按照拍攝部位和擺位方式不同將成像部位圖像分為57類，單類圖像設置訓練樣本和測試樣本。成像部位圖像類別明細，如表1所示。

2.2　模型實現

對于給定的訓練數據集，并行卷積神經網絡采用反向傳播算法更新所有連接權值和偏置，具體執行過程如算法1所示。

算法1并行卷積神經網絡訓練

初始條件：網絡結構參數

輸入數據：訓練集S

1：隨機初始化所有的權值和偏置；

2：for all 訓練樣本s ∈ 訓練集S do{

計算樣本s的實際輸出；

for all 網絡層l ∈ 并行卷積神經網絡PCNN反向逐層 do{

for all 通道c ∈ 網絡層級l所有通道 do{

計算網絡層l中通道c的反向傳遞誤差；

計算網絡層l中通道c的所有權值和偏置的偏導數；

新網絡層l中通道c的所有的權值和偏置；

}

}

}

輸出數據：網絡的權值和偏置。

算法執行前，應確定網絡采用的神經元激活函數和更新權值和偏置的學習率，選擇具體訓練策略，如訓練批次、Dropout技術等。通過訓練和測試的迭代，并行卷積神經網絡識別準確率不斷提升。待識別準確率達到較高水平，即可結束訓練。

3　實驗分析

前期工作已積累大量放療定位的X線圖像。實驗數據準備階段將X線圖像尺寸調整為256h256h3，按照成像部位分成57類；每類圖像分成訓練集和測試集，分別設置訓練樣本300個，測試樣本60個。為增加訓練和測試數據量，對全部樣本沿圖像縱軸做180o反轉。從各類圖像的訓練集中選取圖像特征清晰明顯的樣本200個，進行圖像局部平移或偏轉操作。最終形成包括57類成像部位，每類包含800個樣本的訓練集和120個樣本的測試集。

實驗平臺搭建階段選用三臺16核心的虛擬機各自部署深度學習框架caffe，并分別實現圖1中上行網絡、下行網絡和并行網絡。網絡參數設置中，選取限制線性單元ReLU作為神經元激活函數，全連接采用Dropout技術并設置其比例為0.5，訓練過程學習率取固定值10-5。對訓練批次及訓練樣本輸入網絡順序進行限定：每一批次均包含有全部成像部位類別的樣本且只有一個；每一類別訓練樣本按照清晰度由高到低依次編入一個批次。因此，整個訓練過程共執行800批次，每個批次各有57個訓練樣本。

實驗過程中，執行一個批次訓練任務用時1～2 min，隨著訓練批次執行，三類不同結構的神經網絡損失率均逐步減小。為進一步定量分析神經網絡的識別能力，設定神經網絡每執行100批次訓練任務，即對測試集所有樣本進行驗證識別，識別準確率為正確識別的樣本數占測試集樣本總數的比例。隨著訓練批次執行，三類結構的神經網絡對測試集的識別準確率變化如表2所示。

表2　識別準確率變化情況/%Tab.2 Variations of the recognition accuracy

分析實驗數據可知，隨著訓練批次執行，三類結構的神經網絡識別準確率逐步上升，相同批次訓練的并行卷積神經網絡性能要優于單一的卷積神經網絡。相比基于支持向量機的成像部位識別[4]，該方法在保證較為全面拍攝部位和擺位方式的同時，取得較高的識別準確率。由此可見，并行卷積神經網絡由于使用了兩種尺寸的卷積核，能夠學習和提取到更多有代表性的圖像特征，結合這些圖像特征的識別結果具有更高的準確率。

4　總結展望

醫學圖像中成像部位的識別技術是醫學圖像自動化處理的基礎。卷積神經網絡在圖像處理方面具有相較傳統方法的顯著性能優勢。該文提出一種并行卷積神經網絡結構并將其應用到X線圖像中成像部位的識別。實驗分析表明，并行卷積神經網絡能夠提取更多維度和有代表性的圖像特征，較好實現醫學圖像中成像部位識別。下一步工作中，將繼續改進訓練方法和積累訓練樣本，優化卷積神經網絡結構，進一步提高網絡性能和識別準確率。

[1]Ma B J, Larreyruiz J, Verdúmonedero R, et al. DRR and portal image registration for automatic patient positioning in radiotherapy treatment[J]. J Digit Imaging, 2011, 24(6): 999-1009.

[2]陳誠, 黃劭敏, 鄧小武, 等. 兆伏級放療射野圖像與模擬圖像自動配準算法研究[J]. 中華放射腫瘤學雜志, 2010, 19(3): 256-260.

[3]鄭亞琴, 田心. 一種射野圖像和參考圖像的自動配準方法[J]. 中國醫學物理學雜志, 2009, 26(6): 1481-1484.

[4]Chang X, Mazur T, Li H H, et al. A method to recognize anatomical site and image acquisition view in X-ray images[J]. J Digit Imaging, 2017, 27(6):1-10.

[5] Vallières M, Freeman C R, Skamene S R, et al. A radiomics model from joint FDG-PET and MRI texture features for the prediction of lung metastases[J]. Phys Med Biol, 2015, 60(14): 5471-5496.

[6]陸雪松，涂圣賢，張素. 一種面向醫學圖像非剛性配準的多維特征度量方法[J]. 自動化學報, 2016, 42 (9): 1413-1420.

[7]Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[8]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]. Inter Conf Neural Inform Proc Syst, 2012, 25(2): 1097-1105.

[9]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Comput Sci, 2014, 14(9): 1556-1569.

[10] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]. IEEE Conf CVPR, 2015, 10(63): 1-9.

[11] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]. IEEE Conf CVPR, 2015, 79(10): 3431-3440.

[12] Chen L, Papandreou G, Kokkinos I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]. Comput Sci, 2014, 12(4): 357-361.

[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[J]. LNCS, 2015, 93(51): 234-241.

[14] Bouvrie J. Notes on convolutional neural networks[J]. Neural Nets,2006, 18(5): 162-169.

[15] 王偉凝, 王勵, 趙明權, 等. 基于并行深度卷積神經網絡的圖像美感分類[J]. 自動化學報, 2016, 42(6): 904-914.

[16] 張婷, 李玉鑑, 胡海鶴, 等. 基于跨連卷積神經網絡的性別分類模型[J]. 自動化學報, 2016, 42(6): 858- 865.

[17] 李欽, 游雄, 李科, 等. 圖像深度層次特征提取算法[J]. 模式識別與人工智能, 2017, 30(2): 127-136.