基于卷積神經網絡的超聲圖像左心室分割方法

朱鍇 付忠良 陳曉清

摘 要：超聲圖像左心室的分割在臨床上對醫生的作用巨大。由于超聲圖像含有大量噪聲，輪廓特征不明顯，目前的卷積神經網絡（CNN）方法對左心室分割容易得到不必要的區域，并且分割目標不完整。為了解決上述問題，在全卷積神經網絡（FCNFCN的縮寫對嗎？不是FCNN嗎？請明確。）基礎上加入了關鍵點定位和求取圖像凸包方法對分割結果進行優化。首先采用FCN獲取初步的分割結果;然后為了去除分割結果中的錯誤區域，提出一種CNN定位左心室三個關鍵點的位置，通過關鍵點篩選掉分割結果中不必要的區域;最后為保證剩余區域能夠組合成一個完整的心室，利用求取圖像凸包算法將所有有效區域進行合并。實驗結果表明，在超聲圖像左心室分割效果上，所提方法能夠在普通FCN的基礎上獲得很大的提升，在交并比評價標準下，該方法獲取的左心室結果能夠比傳統CNN方法提升近15%。

Abstract：Ultrasound image segmentation of left ventricle is very important for doctors in clinical practice. As the ultrasound images contain a lot of noise and the contour features are not obvious， current Convolutional Neural Network （CNN） method is easy to obtain unnecessary regions in left ventricular segmentation， and the segmentation regions are incomplete. In order to solve these problems， keypoint location and image convex hull method were used to optimize segmentation results based on Fully Convolutional neural Network （FCN）. Firstly， FCN was used to obtain preliminary segmentation results. Then， in order to remove erroneous regions in segmentation results， a CNN was proposed to locate three keypoints of left ventricle， by which erroneous regions were filtered out. Finally， in order to ensure that the remained area were able to be a complete ventricle， image convex hull algorithm was used to merge all the effective areas together. The experimental results show that the proposed method can greatly improve left ventricular segmentation results of ultrasound images based on FCN. Under the evaluation standard， the accuracy of results obtained by this method can be increased by nearly 15% compared with traditional CNN method.

Key words： ultrasound image; segmentation; keypoint location; Convolutional Neural Network （CNN）; convex hull

0 引言

心臟超聲圖像是臨床醫學上評估患者心臟狀況的主要手段之一，其中左心室的大小是判斷心臟是否正常的重要生理參數。一般來說醫生通過在超聲圖像上手動描繪左心室輪廓來計算左心室容積大小，由于手動描繪輪廓很繁瑣，在術中十分不便，因此設計一種全自動的分割算法能給醫生帶來極大的便利，但目前由于超聲圖像存在如下幾個分割難點：一是相對于其他醫學圖像，超聲圖像中存在巨大的斑點噪聲，為圖像分割帶來了很大的干擾;二是每位患者的生理結構雖然大體類似，但是個體差異帶來的生理結構不規則變化為分割增加了挑戰。

圖像分割技術在醫學圖像中應用很廣泛，通過對關鍵區域的分割提取，能夠獲取病人重要生理結構的形狀、大小等信息。傳統醫學圖像分割方案通常先對圖像進行預處理，后采用算法對目標區域分割。傳統醫學圖像分割方法通常分為利用單幅圖像本身特征進行的分割方法和采用帶標注數據集訓練的方法。通常兩種方法均需要手工提取圖像局部特征來對像素進行聚類或分類。在前一類方法中，有學者采用基于更為快速的基于區域的卷積神經網絡（Faster Region-based Convolutional Neural Network， Faster RCNN）結合均值漂移算法的方法對超聲圖像左心室進行提取[1]，也有學者采用規范化切割結合K均值算法對乳房病變區域進行定位[2]，還有學者采用局部高斯分布擬合能量模型對超聲圖像進行定位[3]。此類算法雖然簡單，不需要依賴其他圖像便可完成，但由于算法僅僅從單一圖像提取特征進行分割，圖像魯棒性較差，對圖像質量要求較高。后一類方法中，Jiang等[4]采用Haar特征結合AdaBoost方法對乳房超聲圖像進行分割;Ngo等[5]采用水平集方法對心臟核磁共振圖像左心室進行分割;也有學者利用關鍵點采用基于活動輪廓模型的方法對目標區域進行定位[6-7]。此類方法較為依賴手工特征的選取，并且基于輪廓的方法需要有較好的初始位置選取。

近年來，由于深度學習具有不需要手動設計特征等優勢，該方法在圖像分類上的成功也帶動了將其在圖像分割的運用。2014年Long等[8]首次將深度卷積神經網絡（Convolutional Neural Network， CNN）運用于圖像分割上，提出了一種全卷積的神經網絡（Fully Convolutional neural Network， FCN），該方法對圖像中每個像素進行類別預測實現像素級別的語義分割，并取得了很好的效果，后有大量學者對FCN進行改進，并在自然圖像上得到了有效的驗證[9-10]。隨著深度學習在自然圖像上的成功，有研究者改進FCN提出了U-Net補充U-Net全稱。回復無全稱對生物醫學圖像進行分割，盡可能地保留了圖像的細節[11]，也有學者將FCN結合條件隨機場對大腦電子計算機斷層掃描圖像進行分割，能夠有效地對FCN粗糙的分割進行補充[12]：Li等[13]提出了一種基于動態CNN的方案對左心室輪廓進行分割;詹曙等[14]采用反卷積神經網絡分割核磁共振圖像，大幅減小了分割時間;Jafari等[15]使用U-Net結合長短期記憶網絡對超聲心動圖左心室進行分割。但上述深度學習算法在運用于心室分割中有如下問題：不同于其他醫學圖像，超聲圖像很多左心室邊界模糊，單純采用卷積神經網絡獲取的結果很可能包含很多部分，而不是單一的左心室腔體，目前的區域篩選辦法主要是采用普通的閾值將較小的區域篩選掉，并沒有有效的篩選方法能選取想要進行合并的區域。

為解決上述問題，本文提出了一種基于FCN的超聲圖像左心室分割方案，算法結合關鍵點定位對多余的區域進行篩選，并對余下區域采用圖像求凸包算法進行合并，最終得到左心室腔體。實驗表明，本文算法能夠有效地對超聲圖像左心室進行提取，與傳統的FCN算法相比，在評價標準上獲得更高的精度。

1 基于FCN的圖像分割算法

基于FCN的圖像分割算法是Long等[8]提出的，算法去除了普通CNN的全連接層，改用全卷積的網絡結構對圖像每個像素進行分類，達到了像素級別的分割效果。算法大體框架如圖1，網絡結構將是根據VGG16[16]改進的，首先將VGG（Visual Geometry Group）請補充VGG的英文全稱的全連接層改為卷積核大小為1×1的卷積層，將全連接層改為了圖中conv6和conv7。圖像首先經過若干卷積層和池化層進行降采樣，其中卷積層后采用線性整流函數（Rectified Linear Unit， ReLU）為激活函數，池化層采用最大池化，后采用反卷積操作將圖像特征圖映射回原圖大小，并對每個像素類別進行預測，算法采用softmax損失函數。

本文采用全卷積網絡模型實現經食道超聲四腔心切面左心室的初步分割，本文選取上采樣8倍的FCN對左心室分割，將圖像大小縮放為3×256×256作為輸入。

2 利用關鍵點輔助FCN的左心室提取

2.1 左心室關鍵點定位

由于采用FCN網絡得到的分割結果對于某些心室超聲圖像會包含多個區域結果，為對這些區域是否為心室區域進行篩選，本文提出了利用關鍵點定位對區域篩選的方法。在左心室結構中，包含心尖、二尖瓣左右根部三個重要關鍵點的位置，為對這三個關鍵點的位置作粗略估計，本文提出利用卷積神經網絡回歸的方法對關鍵點的位置進行定位。

如圖2所示，本文采用包含8個卷積層和2個全連接層的網絡進行關鍵點定位，輸入圖像大小為256像素×256像素，經過一系列卷積層和池化層的采樣之后，利用2個全連接層輸出3個關鍵點坐標。由于本文定位關鍵點的位置是輔助圖像分割的，并不需要十分精確的關鍵位置也能夠達到輔助分割的效果。采用的損失函數為歐氏損失函數，如式（1）：

其中：E代表損失，N為樣本數目，為預測值，y為實際值。

2.2 分割區域篩選及合并

由于超聲圖像輪廓不清晰，實驗數據量有限，在實驗過程中利用FCN算法得到的結果可能包含的不是同一個區域，而是圖像中很多區域。為對這些區域進行篩選和合并，本文采用關鍵點定位對區域進行篩選，后采用圖像求凸算法對區域進行合并。圖3展示了區域篩選的實例，假設圖3（a）為FCN分割得到的結果，圖3（b）為左心室標簽和3個關鍵的位置，希望保留圖（a）的區域2和區域3，去除掉區域1，傳統的區域篩選算法僅僅通過區域大小設置閾值而刪除;但若FCN選取結果某些區域較大而且是錯誤的，閾值去除區域辦法就將得到一些錯誤的區域，并且在合并這些非連通區域時將得到更為糟糕的結果，為此本文提出的關鍵點定位算法能夠有效解決這種問題，如圖（b）所示，本文將定位的三個關鍵點所構成的三角區域視為篩選區域，篩選時將和三角區域無交集的區域去除，這樣一來既能篩選掉不需要的大部分區域，還能保留離分割區域更為接近的區域。即使關鍵點定位無法達到精準的情況下，大部分無關區域也能夠被剔除。

對于篩選過的區域，本文根據求凸算法[17]將剩下相關區域進行合并，得到最終分割結果。如圖4所示2個區域合并的流程如下：

1）尋找待合并區域所有邊界點，并確定所有關鍵點縱坐標最小的P。

2）計算其余各點和P構成直線與x軸正向的幅角，并將所有點按幅角大小α排序，α相同的離P近的排在前，即各點相對P按逆時針方向排序，則P后第一個點Ri+1位于凸包上，并將P、Ri+1入棧，按排序將Ri+1后Ri+2入棧，Ri+2為棧頂元素。

3）計算當前棧頂元素Ri+2和排序在棧頂元素的后一元素Ri+3構成射線與Ri+2前的棧內元素構成射線位置關系，若為順時針旋轉，則Ri+2出棧。

4）將Ri+3壓棧并視為棧頂元素，重復3）的操作到所有邊界點完成，棧內元素即為最后圖像邊界點。

3 實驗及分析

3.1 實驗數據

實驗數據采集自四川省某醫院麻醉科，共獲取四腔心切面圖像533張，其中248張圖像用于訓練集制作，285張圖像用于測試集制作。所有圖像處理為256像素×256像素此句不通順，請作相應調整。。訓練集制作過程中除了將左心室輪廓制作標簽，還將左心室心尖及兩個二尖瓣跟三個關鍵點位置標注出。如圖5展示了訓練集及標簽樣例。

3.2 評價標準

本文主要采用了像素精度（Pixel Accuracy， PA）和像素交并比（Mean Intersection over Union， MIoU）對分割準確度進行度量，像素精度表達如式（2）所示：

其中：PT代表預測正確的像素數目，PS代表總像素數目。

像素交并比精度如式（3）所示：

其中：PT代表預測正確的像素數目，PTF將正確標記預測為背景的像素數目，PFT代表將背景預測為心室的像素數目。

由于預測類別只有一類，本文在評價標準中并未將背景加入計算，因為背景面積較大，評價效果若將背景加入不能體現分割效果。

此外，由于左心室計算規則和預測區域面積有關，本文還加入了預測區域和真實區域像素數目誤差對比，如式（4）所示：

其中PP代表預測左心室像素數目。

3.3 實驗及結果

實驗于Ubantu系統上進行，代碼采用基于Caffe框架實現。在第一步訓練FCN網絡過程中，本文選用VGG16在自然圖像分類結果的模型初始化網絡參數，然后對網絡參數進行訓練微調，學習率固定為10-14，訓練輪次105，網絡采用帶動量的優化方法。在訓練關鍵點網絡中，由于網絡參數數目較小，本文直接對網絡進行訓練，學習率為10-3，迭代輪次104。

本文分別對比了僅僅采用FCN的分割結果，利用關鍵點輔助去除無關區域的結果，以及最后合并區域后的結果。圖6展示了基于FCN的幾種不同算法帶來的實驗結果的樣例。圖中分別展示了原始圖像、標注圖像、僅僅采用FCN的分割結果、利用FCN和凸化的結果和本文采用FCN結合關鍵點篩選區域最后合并的結果。從圖6中可以看出，僅僅采用FCN對目標區域分割容易造成區域分散，不是同一個區域，并且有的結果容易包含無關區域，而從樣例1采用閾值篩選區域合并的結果和本文用關鍵點篩選區域帶來的結果看，僅僅用閾值篩選掉小的無關區域不能保證篩選掉所有無關區域。本文算法帶來的結果從視覺上更為接近真實標注的結果。

表1展示了不同算法在評價標準下的結果。從表中看出，只采用FCN得到的結果遠低于本文采用關鍵點篩選區域和凸化帶來的效果，而采用關鍵點篩選區域也比不采用關鍵點篩選區域帶來的效果要好。在只采用FCN時計算區域面積帶來的誤差也十分巨大，而采用了凸化及篩選之后大幅度減小了區域面積誤差。本文還對采用U-Net算法得到的結果進行對比，在只采用U-Net的情況下，檢測精度比僅僅采用FCN網絡精度高，但由于U-Net獲取圖像較為完整，利用關鍵點檢測和凸化算法篩選合并區域后效果并不如改進FCN精度高。

表2展示了基于FCN網絡的前提下采用本文關鍵點算法篩選區域和直接采用真實關鍵點標簽來篩選區域帶來的結果。從表中可以看出預測關鍵點位置和真實關鍵點位置篩選區域效果相差不大。

此外，還采用了對數據進行旋轉、對比度變換的數據增廣方式進行訓練，測試集圖像也采用擴充后的圖像進行實驗。由于FCN在分割過程中得到的結果僅僅是初步結果，因此，如表3所示，可以看到采用擴充后數據訓練結果略微好于未采用數據擴充帶來的結果。

表4展示了基于FCN網絡下程序的運行時間，實驗采用機器內存大小為16GB，CPU為Intel Core i5-6600，顯卡為GTX Titan X。表中顯示了處理每張圖像所需平均耗時。從表4中看出，本文算法幾乎不需要額外花費過多時間就能大幅度提高圖像分割精度。

4 結語

本文提出一種超聲圖像左心室輪廓提取方案，該方法通過心室關鍵點定位去除掉FCN網絡分割結果帶來的冗余區域，后再通過圖像凸化合并剩余區域的方法獲取左心室。實驗中證明，結合圖像凸化算法能夠將分割結果大幅度優化到更為接近真實結果;此外，關鍵點的定位篩選區域也能夠將部分FCN錯分的區域去除，免去了手動設置閾值無法保證每幅圖像都能正確篩選的問題。本文提出的方案能夠有效克服全卷積神經網絡在超聲圖像上分割單一目標時的不足。

參考文獻 （References）

[1] 朱鍇，付忠良，陶攀，等.基于自適應均值漂移的超聲心動圖左心室分割方法[J].生物醫學工程學雜志，2018，35（2）：273-279.（ZHU K， FU Z， TAO P， et al. Left ventricle segmentation in echocardiography based on adaptive mean shift[J]. Journal of Biomedical Engineering， 2018， 35（2）： 273-279.）

[2] SADEK I， ELAWADY M， STEFANOVSKI V. Automated breast lesion segmentation in ultrasound images[J]. ArXiv Preprint， 2016， 2016： 1609.08364.

[3] 朱永杰，邱天爽.基于改進LGDF模型的超聲圖像自動分割方法[J].大連理工大學學報，2016，56（1）：28-34.（ZHU Y J， QIU T S. Automated segmentation method for ultrasound image based on improved LGDF model[J]. Journal of Dalian University of Technology， 2016， 56（1）：28-34.）

[4] JIANG P， PENG J， ZHANG G， et al. Learning-based automatic breast tumor detection and segmentation in ultrasound images[C]// Proceedings of the 2012 IEEE International Symposium on Biomedical Imaging. Piscataway， NJ： IEEE， 2012：1587-1590.

[5] NGO T A， LU Z， CARNEIRO G. Combining deep learning and level set for the automated segmentation of the left ventricle of the heart from cardiac cine magnetic resonance[J]. Medical Image Analysis， 2017， 35： 159-171.

[6] 紀祥虎，高思聰，黃志標，等. 基于Centripetal Catmull-Rom曲線的經食道超聲心動圖左心室分割方法[J]. 四川大學學報（工程科學版），2016，48（5）：84-90.（JI X H， GAO S C， HUANG Z B， et al. Left ventricle segmentation in transesophageal echocardiography based on Centripetal Catmull-Rom curve[J]. Journal of Sichuan University （Engineering Science Edition）， 2016， 48（5）： 84-90.）

[7] VARGAS-QUINTERO L， ESCALANTE-RAMREZ B， CAMARGO M L， et al. Left ventricle segmentation in fetal echocardiography using a multi-texture active appearance model based on the steered Hermite transform[J]. Computer Methods and Programs in Biomedicine， 2016， 137： 231-245.

[8] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）： 640-651.

[9] ZHENG S， JAYASUMANA S， ROMERA-PAREDES B， et al. Conditional random fields as recurrent neural networks[C]// ICCV15： Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015：1529-1537.

[10] HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[C]// ICCV 2017： Proceedings of the 2017 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2017： 2961-2969.

[11] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation[C]// MICCAI 2015： Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Berlin： Springer， 2015： 234-241.

[12] GAO M， XU Z， LU L， et al. Segmentation label propagation using deep convolutional neural networks and dense conditional random field[C]// Proceedings of the 2016 IEEE International Symposium on Biomedical Imaging. Piscataway， NJ： IEEE， 2016： 1265-1268.

[13] LI Y， YI G， WANG Y， et al. Segmentation of fetal left ventricle in echocardiographic sequences based on dynamic convolutional neural networks[J]. IEEE Transactions on Biomedical Engineering， 2017， 64（8）： 1886-1895.

[14] 詹曙，梁植程，謝棟棟.前列腺磁共振圖像分割的反卷積神經網絡方法[J].中國圖象圖形學報，2017，22（4）：516-522.（ZHAN S， LIANG Z C， XIE D D. Deconvolutional neural network for prostate MRI segmentation[J]. Journal of Image and Graphics， 2017， 22（4）： 516-522.）

[15] JAFARI M H， GIRGIS H， LIAO Z， et al. A unified framework integrating recurrent fully-convolutional networks and optical flow for segmentation of the left ventricle in echocardiography data[C]// Proceedings of the 2018 International Workshop on Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Berlin： Springer， 2018： 29-37.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. ArXiv Preprint， 2014， 2014： 1409.1556.

[17] GRAHAM R L. An efficient algorithm for determining the convex hull of a finite planar set[J]. Information Processing Letters， 1978， 7（1）： 53-55.