結合FPN改進R-FCN的肺結節檢測算法

李 莉 喬 璐 張浩洋

(東北林業大學軟件工程系 黑龍江 哈爾濱 150000)

0 引 言

據世界衛生組織下屬國際癌癥研究機構(IARC)發布的癌癥數據顯示，肺癌是當今世界發病率及死亡率最高的一種惡性腫瘤疾病，2018年全球新增癌癥病例1 810萬，死亡人數超過半數高達960萬。肺癌的早期無明顯癥狀，故一經發現多為晚期，為有效防止該種現象的發生，肺癌的早期發現與治療顯得刻不容緩[1]。肺結節是肺癌的早期表現形式，電子計算機斷層掃描CT(Computed Tomography)是檢測肺結節的一種主要方式[2]。肺結節在CT影像序列中大多呈現為直徑在3～30 mm的類球形白色病灶，具有形狀、分布位置不確定的特點。此外單個患者進行一次CT掃描可產生高達上百幅影像，影像科醫生所需診斷的數據過于龐大，使得診斷難度不斷提升。為解決上述問題，肺癌計算機輔助診斷系統CAD[3-4]作為影像科醫生的“第三只眼睛”應運而生，在去除大量無關數據的同時為其診斷提供“第二意見”，可有效提高醫生的診斷效率及準確率。CAD系統進行肺結節檢測主要分為2個步驟[5]：① 在保證高敏感度的前提下獲得候選結節區域。② 去除假陽性結節。但目前在一定程度該系統仍存在敏感度低假陽率高的問題，如何解決上述問題仍需進一步研究。

傳統的肺結節檢測方法主要通過人工設計特征的方式并使用分類器(如支持向量機SVM)達到檢測的目的。但由于肺結節的形狀、位置具有高度可變性，給特征的選擇與提取帶來麻煩，導致檢測結果并不理想。隨著深度學習技術的快速發展，發現其在圖像識別領域具有強大的特征提取能力，在醫學圖像診斷中發揮著不可替代的作用[6]。針對肺結節的檢測，SETIO等[7]提出使用多視角卷積神經網絡進行假陽性去除，分別從不同方向提取二維切片進行檢測，將檢測結果進行融合以獲取最終病灶，但對于特征提取的傳播復用效率未進行考慮。劉一鳴等[8]通過訓練二維卷積神經網絡并不斷地進行參數調整以獲得檢測結果最優的模型，但是不斷的參數調整會導致模型訓練緩慢甚至丟失某些重要特征。朱輝等[9]將U-net網絡進行改進獲得多尺度特征用于肺結節檢測，但在訓練中會忽略一些底層特征的語義，使得對于小目標的檢測效果無法保證。上述方法均利用了神經網絡來實現對肺結節的檢測，相較于傳統算法其準確率與檢測性能有所提升，在一定程度上提升了肺結節的檢出率，但都存在一定程度的漏診和誤診。

為解決上述問題，現提出結合FPN改進R-FCN的肺結節檢測算法。以R-FCN網絡為基本模型，針對肺結節檢測中存在的問題對其加以改進，升級網絡結構，融入FPN，引入focal loss損失函數，使得原網絡的特征傳播能力得到加強。在利用高層語義信息的同時也能充分考慮低層信息，減少信息丟失，加強尺度較小病灶的檢測效果，提升病灶的檢測效率，降低誤診率。

1 改進的R-FCN模型

神經網絡一直被視為快速、精準的框架，在醫學圖像識別領域有著巨大潛力。本文使用R-FCN[10]為基礎網絡進行肺結節檢測，該網絡主要是由區域推薦網絡(RPN)和檢測模塊構成的目標檢測網絡。現將該網絡用于肺結節檢測中，針對肺結節的形態、大小、位置等特征對傳統R-FCN網絡進行以下優化：1)引入DenseNet替換ResNet網絡用于特征提取，加強特征的傳播復用能力。2)引入FPN[11]結構將特征圖的淺層特征與深層特征相融合，使得淺層特征擁有深層特征般的語義能力以保證小病灶區域的檢測。3)使用focal loss損失函數用于優化網絡的訓練緩解樣本的不均衡性。優化后的網絡結構如圖1所示。

圖1 改進網絡結構圖

1.1 DenseNet

傳統R-FCN網絡中使用ResNet結構進行特征提取，通過建立前層與后層之間的“短路連接”加強訓練過程中的反向傳播，從而解決深層網絡帶來的負面影響，加快網絡的訓練速度。本文將該網絡升級為密集連接卷積網絡—DenseNet[12]用于特征提取。相比于ResNet,這種結構提出了一種更為激進的密集連接機制，能更有效地實現特征的重用，在計算量和參數更少的情形下展現更優的性能，提升網絡效率。圖2(a)展示了ResNet網絡的連接機制，為有效對比，圖2(b)展示了DenseNet網絡的密集連接機制。

(a) ResNet網絡連接機制

(b) DenseNet網絡連接機制圖2 網絡連接機制對比圖

可以看出，雖然兩種網絡都采取了跨層連接的方式，但實現方法卻有著本質差別。ResNet僅是通過元素級的相加使每一層與前面的某層相連，而DenseNet為使網絡層之間能獲得最大信息，保證前饋的特性，摒棄了以往神經網絡在特征傳遞給某一層之前將其相加的思想，采用拼接的方式把每一層與之前所有層的輸入進行拼接，將輸出的特征圖傳遞給之后的所有層，達到充分利用各層特征的同時提升網絡的訓練效率。即第K層會有K個輸入，輸入的是之前的所有層的特征圖。這種方式有效提升了特征的傳播復用能力，使得網絡無須學習冗余的信息。假設一幅圖像X0在網絡中傳播，ResNet網絡第L層的輸出如式(1)所示，DenseNet網絡第L層的輸出如式(2)所示。

XL=HL(XL-1)+XL-1

(1)

XL=HL([X0，X1，…，XL-1])

(2)

式中：HL()代表一個非線性轉換函數。式(2)中L層將之前所有層的特征圖[X0,X1,…,XL-1]合并作為輸入。通過利用Bottleneck Layer、Translation Layer，以及較小的Growth Rate使得該網絡變窄，在減少參數數量降低計算量的同時也降低了過擬合。DenseNet結構的每一層都可以直接利用損失函數的梯度以及最開始的輸入信息，類似于是一種隱形的深度監督(Implicit Deep Supervision)，這種方式使網絡的訓練變得更加容易。

1.2 特征金字塔結構

在肺結節檢測中，單幅CT影像序列往往存在著各種大小不一、形態各異的病灶區域，如何以較高的敏感度充分獲取多尺度感興趣區域以降低漏診率顯得至關重要。多尺度目標檢測是計算機視覺領域中的一個重要問題，圖3為實現多尺度目標檢測的演變過程。其中，圖3(a)為傳統檢測方案中依靠手動設計特征階段時的解決方案，這種方式需要在每個尺度上計算特征，導致速度非常緩慢。隨著卷積神經網絡的快速發展，出現圖3(b)所示方式，該種方式僅適用于單尺度特征，但由于網絡深度帶來的負面影響，使得語義信息差距極大。為解決多尺度特征問題，圖3(c)階段對大小不同的特征圖分別預測并進行綜合判定，初始SSD方法就是采用這種方式。然而其對于處理低層語義特征效果較弱，無法精準進行小目標的定位。為解決上述方法帶來的問題，圖3(d)所示的特征金字塔FPN應運而生，將低語義、高分辨率信息與高語義、低分辨率信息相結合，從而獲取充分的信息。

(a) (b)

(c) (d)圖3 金字塔結構

在傳統R-FCN算法中單利用圖像高層的卷積特征圖而忽略了圖像低層特征。在目標檢測中，雖然網絡的高層特征語義信息十分豐富，但經過層層pooling等操作后，會丟失很多細節信息，這些信息往往會對圖像中小目標的檢測產生影響，從而使得小目標的定位十分粗糙。為解決特征丟失引起的小目標檢測困難的問題，將特征金字塔FPN結構融入至R-FPN中，FPN主要包含兩個過程：① 自下而上的過程；② 自上而下的過程和橫向連接。通過運用該方式可將高層充分的語義信息映射回分辨率大、細節信息充分的低層特征，將高層與低層特征相結合使得所有尺度下的特征都有豐富的語義信息從而來提升小目標的檢測精度。

1.3 RPN網絡改進

RPN是R-FCN中的重要組成部分，用于獲取圖像中的感興趣區域。RPN網絡將獲取到的最后一層特征通過大小為3×3的滑動窗口進行卷積操作，得到256通道的卷積層，隨后分別經過兩個1×1的卷積用于實現分類與回歸，稱之為網絡頭部。其中圖像的背景與前景、邊界框的回歸是基于一組稱作錨的參考框加以定義，為覆蓋不同尺寸的目標，錨有一組預先定義的比例及尺寸。原始RPN以特征圖中的每個點為中心生成三種比例，三種尺度共9種大小不同的錨點。其結構示意圖如圖4所示。

圖4 原始RPN網絡結構示意圖

在肺結節檢測中，RPN網絡主要用于以高敏感度搜索CT影像中的疑似結節區域。為解決肺結節檢測中存在的準確率低、小病灶定位粗糙的問題，現使用特征金字塔FPN結構替換單一尺度的特征圖融入至RPN網絡中。由于網絡頭部需在金字塔每個層級的每個位置滑動，每個層級都對應于原始圖像的不同尺度信息，現將原始RPN網絡中的尺度信息分離，使得每個層級僅使用單一尺度的錨點。現根據肺結節較為固定的形態特征，重設RPN中的錨點數量及比例。將{82，162，322，482，642}這五種尺度的錨分別對應于{P2，P3，P4，P5，P6}這五個特征層上，并將長寬比例設為1 ∶1。所以在金字塔中每個層級中的點均對應五個錨點。錨的大小設置如圖5所示。即將單個RPN網絡擴展至五個RPN網絡，主網絡到RPN時由單通道擴展至五通道。其中尺度較大的錨用于檢測大結節區域，尺度較小的錨用于檢測小結節區域。最后，ProposalLayer會將輸出結果合并。

圖5 錨點設置

模型訓練過程中將根據重疊交并比(Intersection over Union，IOU)進行后續邊界框的回歸，IOU定義如下：

(3)

IOU的取值介于[0,1]間，代表邊界框A與B的重疊程度，數值越大，重疊程度越高。本文將IOU大于0.7的定義為病灶區域，小于0.3的作為非病灶區域。

1.4 focal loss損失函數

在肺結節檢測模型的訓練過程中會存在正樣本與負樣本比率嚴重失衡的問題，即數據集中各個類別的樣本數量極不均衡，從而使得分類模型產生嚴重的偏向性，導致模型無法學習少例樣本的特征最終產生預測失誤的結果。為解決上述問題，本文引入Lin等[13]提出的focal loss作為改進網絡的損失函數來解決訓練樣本的非均衡性。focal loss的定義如下：

(4)

(5)

FL(pt)=-α(1-pt)γlog(pt)

(6)

式中：α和γ是參數，表明其對分類樣本的敏感度，α用于調節正負樣本不均衡，γ用于減少易分類樣本中的損耗；p為樣本的預測概率；y為樣本標簽。

2 實 驗

2.1 實驗數據

本文使用美國國家癌癥研究所收集的肺部圖像數據庫(Lung Image Database Consortium，LIDC-IDRI)[14]。該數據庫由7個學術中心和8個醫學影像公司合作建立，為研究肺結節提供了一個權威且公開的標準。其中包括1 010個不同患者的1 018套病例，每個病人的CT影像切片都經4位影像科醫生進行標注診斷。由于CT影像來自于不同的設備，導致切片厚度也各不相同，所以首先需對數據進行采樣至1 mm×1 mm×1 mm，從而保證數據的一致性。

由于CT掃描圖像是包含所有肺部組織的，若直接使用會存在一些與檢測無關的干擾，故需要做一些預處理。首先根據放射劑量對胸腔內的組織進行過濾，保留HU值范圍在[-500,400]初步去除胸腔等與肺結節檢測無關的組織。肺結節檢測時輸入為經閾值法等步驟進行預處理后的患者CT影像序列。

2.2 肺結節檢測模型

肺結節檢測的目標是實現在單幅CT影像找出全部病灶區域，并對各處病灶實現精準分類以及病灶位置框的精確回歸。現采用優化后的R-FCN模型進行肺結節檢測實驗，把預處理后的CT影像送至網絡，使用DenseNet網絡對肺部CT影像序列進行訓練，提升特征的復用能力。為了使RPN網絡更好地適應FPN達到多尺度輸出的目的，將RPN的數量予以增加，使得主網絡在到達RPN部分時由單通道擴展至五通道，在訓練過程中不斷優化網絡的參數和結構。實驗顯示將FPN中每個層級中每個點均對應大小為{82，162，322，482，642}、比例為1的五種尺度的錨點分別對應于{P2，P3，P4，P5，P6}五個特征層時效果最好，不僅可以達到多尺度檢測的目的還可以提高小目標檢測的敏感度。算法采用focal loss損失函數進行網絡訓練從而解決訓練過程中樣本不均衡的問題，根據文獻[13]將α設為2、γ設為0.25時具有最佳的效果。實驗證明，focal loss能夠提高識別精度并緩解樣本的不均衡性。圖6展示了訓練過程中所提算法準確率隨迭代次數的變化情況。

圖6 準確率變化情況

為說明改進網絡對不同尺度肺結節病灶區域的敏感程度，根據結節大小將其分為三個層次，分別為直徑在5 mm以下的小尺度微小結節，直徑介于5～10 mm的中等尺度結節，以及直徑大于10 mm的大尺度結節。現隨機抽取LIDC數據集中的部分數據，使用改進網絡對其進行檢測。圖7展示了融入FPN后模型對不同尺度病灶區域的識別概率樣例。

圖7 病灶及預測概率

可以看出，改進網絡對形狀復雜多樣的結節展現了良好的鑒別能力。當病灶區域直徑較大時，網絡預測效果較高。但針對小尺度的結節，改進算法也能夠獲得正確的預測結果。現對肺結節檢測的實驗效果進行評估，隨機選取單幅影像進行測試，改進網絡的檢測效果圖樣例如圖8所示。

圖8 檢測效果圖

為驗證改進算法的有效性，采取FROC(free-response receiver operating characteristic)準則，通過計算CPM(competition performance metric)衡量算法性能。CPM是指平均每組CT圖像中假陽個數(FPs per scan)為不同值時的平均檢出率。現進行以下三個實驗證實改進算法的有效性：1) 使用未改進的R-FCN結構對肺結節進行檢測記為Model_1。2) 引入DenseNet對網絡性能的影響記為Model_2。3) 引入FPN并使用focal loss對網絡進行訓練記為Model_3。現隨機選取該數據庫下病人的CT影像資料進行實驗并采用FROC準則通過計算CPM來評價算法對結節的檢測性能。表1對比顯示了三種網絡結構與本文所提算法在LIDC數據集上對肺結節檢測的性能差異。

表1 不同模型的肺結節識別性能對比

通過觀察表1中肺結節的檢出率與平均每組CT圖像中的假陽個數之間的關系，可以看出所提算法在改進過程中網絡的識別性能在不斷優化。將ResNet升級為DenseNet使網絡的識別性能得到有效提升，使用focal loss替代傳統的交叉熵代價函數使網絡具有更好的效果。最后引入FPN結構可以進一步去除假陽，提升網絡的識別性能。實驗結果證實所提算法在肺結節檢測方面的識別性能明顯優于原始方法。

現將所提算法與文獻[15]使用的Faster-RCNN模型、文獻[7]使用的多視角卷積神經網絡模型以及文獻[16]使用的多視角深度信念網絡，通過表2對比顯示本文所提模型與其他檢測模型在不同FPs/scan下的性能差異。

表2 各模型在不同FPs per scan下的敏感度

通過觀察表1中肺結節的檢出率與平均每組CT圖像中的假陽個數之間的關系，可以看出所提算法CPM值高于其他算法達到0.876，在平均假陽數量在2、4、8時可達到91%以上的敏感度，網絡整體的識別性能有了較大提升。圖9對比展示了各模型的FROC曲線。

圖9 FROC曲線

通過對比FROC曲線可以看出針對肺結節檢測問題改進算法的識別性能在不斷提升，具有較高的敏感度。雖然在平均假陽數量為8時敏感度略低于文獻[16]，但其整體敏感度明顯優于其他算法。綜合考慮，改進算法對于肺結節的檢測是一種極為有效的方式，可以為影像科醫生的診斷提供有效的第二意見，符合臨床使用要求。

3 結 語

針對以往肺結節檢測算法中存在的檢出率低及小結節定位粗糙的問題，提出結合FPN改進R-FCN的肺結節檢測算法。在病灶區域檢測上，對R-FCN網絡加以改進，引入DenseNet以加強特征的傳播復用，提升網絡效率。將FPN網絡融入到R-FCN中，并調整相關結構及參數，融合不同層級特征圖的語義信息，以提升尺度較小結節的檢測精度并降低漏檢率。此外，算法還使用focal loss用于緩解訓練過程中正負樣本不均衡的問題。使用該算法在LIDC數據集上進行檢測獲得了較好的結果，實驗結果表明，所提算法有效提升了檢測精度，降低小目標的漏檢率。然而本文未充分考慮肺結節的空間立體性，在今后的過程中，可考慮將其擴展至三維神經網絡，在解決小目標定位問題的同時利用其空間信息進一步提升檢測精度。