融合位置尺度信息的胸部X光肺結節檢測

焦慶磊,陳宇彤,朱 明

1(中國科學技術大學 自動化系, 合肥 230027)2(南京醫科大學 附屬口腔醫院, 南京 210000)

1 概 述

早期肺癌往往表現為肺結節的形式.肺結節作為肺部常見的病灶,可能是良性病變、轉移瘤或者就是肺癌.肺癌確診后5年存活率僅為15%,但如果在早期尚未擴散時被檢測出來,這個比率能上升到49%[1].因此在日常體檢中能夠準確檢測出肺結節,是治療肺癌的關鍵所在.

準確地在日常檢查中發現這些病灶,對醫生來說也是很大的挑戰,尤其在學生或者職工體檢時,往往人數眾多,醫生的工作量很大,很難保證沒有遺漏.肺結節檢測的計算機輔助診斷(Computer Aided Diagnosis, CAD)系統能夠從醫學影像中找到疑似結節,給醫生提供參考,一定程度上減輕他們的工作負擔.

X光和CT是兩種常見的醫學影像,X光的肺結節檢測對于醫生來說難度較大,漏檢率較高,漏檢大多因為肋骨鎖骨遮擋以及心臟等器官的重疊,導致X光片中的肺結節特征不明顯,因此良好的X光片的肺結節檢測系統能夠提高肺結節的檢出率.隨著現代醫學技術的發展,Computed Tomography(CT)逐漸成為肺癌檢測的主要方法,CT不同于X光,為橫斷面圖像,能夠提供3維信息,對于小結節和一些隱蔽位置的結節具有更高的檢出率.但是CT成本較高,放射劑量也較大,而且在一些欠發達的基層醫院沒有相關設備,X光片仍然在體檢中占據著重要地位.

本文針對X光肺結節檢測任務的特點,對CNN中的目標檢測網絡進行改進,得到了一個端到端的目標檢測模型,相較于前人的研究,本文主要有以下貢獻:

1)不同于當前X光主流的3步檢測算法,本文使用目標檢測網絡來實現,包含較多的共享特征層,比提取候選區域然后再進行細分的方法有著更少的計算時間.

2)將肺結節檢測結果的位置坐標信息,輸入目標區域分類的子網絡中,能夠對結節位置進行一定約束,減少假陽性樣本結果,表現超出了基礎網絡.

3)對于肺結節檢測的回歸框定義不嚴格的特點,使用對小誤差更加不敏感的坐標回歸的損失函數,最終在較低假陽性結果比例的情況下,取得了JSRT上的最佳結果.

專家共識推薦:建議視情況采用不同的切除方式，除TaG1/LG(低級別)腫瘤外，所有標本中都要求有逼尿肌組織。

CT中的肺結節都會存在于肺部可視范圍內,不會有器官重疊的影響,所以在針對CT的研究中,肺部分割[9]是有必要的.然而不同于CT影像,如圖1所示,由于隔膜等組織結構的重疊,導致有些結節不在分割得到的區域內,因此如果只檢測分割出的肺部區域將會使一部分結節無法被檢測到.

2 相關工作

2.1 X光肺結節檢測

肺結節檢測一直以來都是計算機輔助診斷技術的研究熱點,但是大多數研究都是針對CT影像[2],前文也提到,CT影像相對而言容易得到比較令人滿意的結果,X光片的肺結節檢測任務相比CT有著更大的難度.但是胸部X線憑借著費用低廉,更低放射劑量的優勢,在職工和學生體檢中仍占有較高的比重,因此針對X光的肺結節研究依然有著重要意義.

目前的肺結節檢測的CAD系統模型基本上都是圖像處理算法和機器學習算法相結合,大多分為3個步驟[3, 4]:分割肺部可視區域;產生候選肺結節結果;減少假陽性結果.Wang C等[3]在肺部分割之前使用基于主成分分析(PCA)的方法降低肋骨遮擋對肺結節檢測的影響,并使用擴展拉普拉斯高斯算子[5]提取候選區域;最后將人工特征和深度網絡特征融合對候選區域進行分類.Li X等[4]提出的肺結節檢測模型也用了基于PCA的方法在X光片中剔除肋骨[6],在最后的分類階段,他們通過多特征融合并用支持向量機(SVM)來做最終的分類.采用這種流程的模型,每一個過程的性能都非常依賴于上一個步驟的結果,而且每一步都會一定程度上有幾率降低模型敏感度.除此之外,這類方法相當于把候選區域單獨取出,然后使用分類模型進行判斷,會丟失一部分上下文信息,在鎖骨手臂等部位容易出現假陽性結果,這也是采用這種流程的模型大都要做肺部區域分割的原因.

針對肋骨與肺結節重合的問題,除了前文中提到的無監督學習方法,Yang W[7]等人使用卷積神經網絡CamsNet取得了更好的效果,有效降低了肋骨重合對檢測結果的影響.

針對肺部區域分割問題,Dai W等[8]采用生成對抗網絡的思想,用一個分割網絡和一個判別網絡對肺部區域和心臟區域進行分割,在有限的訓練數據上取得了較好的效果.

圖1 結節與肺實質分割區域Fig.1 Nodules and pulmonary segmented areas

本文第2部分闡述了相關研究工作.第3部分詳細闡述本文提出的肺結節檢測算法.第4部分為實驗部分,首先將本文的方法與基本的目標檢測網絡進行對比,然后選出3個在JSRT上取得優異表現的研究成果與本文方法進行對比,然后進行討論.第5部分總結全文并確定未來工作內容.

我們使用FROC曲線評價肺結節檢測算法的有效性,曲線的橫坐標是平均每張X光圖像的假陽性結節數量(Mean False Positives),縱坐標為敏感度(Sensitivity),肺結節檢測任務的目標是獲得較高的敏感度,同時假陽性樣本率也要保證較低,較多的假陽性樣本會對醫生產生誤導,FROC曲線下的面積越大,說明模型性能越好.平均假陽性數和敏感度定義分別如公式(5)(6)所示:

2.2 目標檢測網絡

基于深度學習的目標檢測算法目前分為兩大類,分別為以Faster RCNN[12]為代表的兩階段檢測器和Yolo[13]為代表的單階段檢測器.特征金字塔[14]結構提升了目標檢測網絡對小目標檢測的性能,RetinaNet[15]通過Focal loss損失函數將單階段檢測器的準確率提升到了兩階段檢測器的水平,同時保持了單階段檢測器的計算速度,由于其同樣具有特征金字塔結構,使得對于小目標檢測同樣有著較優表現.

首爾君悅酒店為中國游客開通了通往明洞、梨泰院地區的免費班車。王子酒店在首爾站及機場大巴停車站提供免費接送的服務。首爾希爾頓酒店為中國游客開通了通往弘益大學的免費班車。

X光片的肺結節檢測也屬于對微小目標的檢測,因此本文基于RetinaNet實現肺結節檢測功能.因為肺結節只會存在肺部區域,而不會在手臂或者肩膀或者腹部,而且肺結節在胸部的每個位置并不是等概率出現的,因此針對這個特點,本文在分類子網絡中融合矩形框的坐標和尺度信息輔助分類.實驗結果表明融合結節位置和尺度相關信息對于肺結節檢測有促進作用,性能超過了原網絡.本文方法在公開數據集JSRT上平均每張圖像4.5個假陽性結果時敏感度為92%,2個假陽性結果時敏感度為88%,在保證較低的假陽性率的情況下,獲得了較高的敏感度,超出了前人的研究成果.

3 檢測算法

3.1 圖像預處理及算法流程

肺結節檢測算法的輸入圖像是12位深的X光圖像,因此在訓練前不宜直接將其轉化成JPEG格式的8位圖片,那樣會丟失數據的精度.

(1)

我們直接將原圖用矩陣的形式讀入,由于X光片的亮度集中在一個范圍,為了增強圖像對比度,對其按公式(1)的方式進行直方圖均衡化,不但能夠降低亮度變化的影響,而且將數據標準化到[0,1]范圍內.其中L=4096,表示像素值范圍,ni表示像素值為i的像素數量,n為像素總數,Ik就是像素值為k的像素經過均衡化后的結果.然后把圖像矩陣變為3通道,存入磁盤中,供訓練使用.

圖2 算法流程圖Fig.2 Algorithm flow chart

檢測時,將DICOM格式的X光圖像以矩陣的形式輸入,經過數據預處理后,輸入檢測網絡,輸出為肺結節的預測結果,結果由外接矩形框(Bounding box,Bbox)和得分組成,同時對得分要事先設置一個閾值,當矩形框的得分大于閾值時輸出,肺結節檢測的流程如圖2所示.

3.2 卷積神經網絡

肺結節在胸片中呈現的是一個孤立的橢圓形高亮區域,因此具有較為明顯的局部特征,但因為周圍干擾以及尺寸和形態不一導致難以檢測.卷積神經網絡由于卷積核權重共享,而且每層都有多個卷積核提取圖像特征,所以對于肺結節這種具有一定的共性特征的目標,經過訓練能夠使結節區域產生響應.檢測任務在CNN的特征層上進行,由于CNN感受野的作用,使得輸出層的一個像素對應著原圖的較大一塊區域,因此包含了上下文信息.肺結節檢測雖然也是一個目標檢測任務,但是有一定的區別,一般的檢測目標本身具有一定的內部特征,例如人有軀干四肢等部位,而肺結節在X光影像中表現為孤立的近似為圓形的像素高亮區域,判斷是否是肺結節依靠的是中心區域與周邊區域的像素灰度對比,而且通過形狀和周圍紋理來區分出是否是肺結節,上下文信息尤為重要.CNN能夠同時滿足局部特征提取和保證上下文信息兩個要求,因此CNN模型能夠解決此問題.

由于肺結節相對于整幅圖像來說尺寸較小,Faster RCNN[12]僅在卷積網絡的最后一層上進行候選區域提取然后再分類,這種深層特征更加抽象,傾向于語義級的描述,因此會忽略一些微小結節.基于特征金字塔網絡[14]的檢測模型比較適用于小目標檢測, 它將深層卷積層的特征圖進行上采樣,同時融合淺層卷積層特征,形成特征金字塔.金字塔頂端的特征圖有著更大的感受野,更抽象的語義表示,底端的特征圖有著更豐富的紋理等形態信息,能夠表示更多細節.因此小目標在金字塔底部的特征圖上進行預測,大的目標在金字塔頂部的特征圖上預測,這樣檢測網絡能夠覆蓋更大的尺度范圍.因此在肺結節檢測任務中,基于特征金字塔的網絡能夠對微小目標有著更敏感的響應.

針對同步交流發電機旋轉整流器故障[11-12]，擬考慮開路故障模式，即分為3大類：正常工作模式、單管開路故障模式和雙管開路故障模式，具體見表1。

圖3 卷積神經網絡特征金字塔結構Fig.3 Feature pyramid structure of CNN

3.3 分類和Bbox回歸子網絡

目標檢測網絡中候選區域分類結果和矩形框回歸都是獨立進行預測的,雖然yolo系列[13, 17]的目標檢測網絡在輸出層同時得到分類結果和位置信息,但是這兩者之間并沒有體現出因果關系.而肺結節檢測和普通的目標檢測任務有些區別,肺結節只會出現在一定的區域內,也就是說結節在圖像中每個位置出現的概率是不相同的,而且結節的大小也會在一定的范圍內,所以在分類子網絡中加入位置和尺度信息能夠對預測結果進行一定的限制,從而減少在不可能出現結節的位置如手臂或者肩膀上出現的假陽性結果.

傳統外貿企業要想做好跨境電子商務，一方面需要國家的政策支持；另一方面需要企業自身的努力，方能在國際市場中取得成功。綜述學者們的建議，主要有復合型跨境電商人才的培養、跨境物流的完善、跨境平臺的選擇、支付方式的選擇、信用安全體系的完善等。

檢測網絡的結構如圖4所示,此網絡與特征金字塔的每一層對應,我們在判斷當前區域是否為肺結節的時,加入矩形框的信息,其中一維的卷積操作都使用size=1,stride=1的卷積核.我們采用Faster RCNN[12]中的使用錨點(anchor)在原始圖像上生成初步的候選區域,anchor的面積從162至2562像素大小,分別對應p3至p7的特征金字塔層.由于肺結節幾乎都是圓形區域,因此設定anchor的長寬比為[0.8,1,1.25],為了使得尺度更加緊湊,每一個長寬比都有[20,21/5,22/5,23/5,24/5]不同的尺度,以較高的anchor密度,盡可能地覆蓋所有的肺結節區域,每一個檢測網絡的anchor的數量為W*H*15,其中W,H分別為輸入的特征圖的寬和高.特征金字塔總共有5層,對應5個檢測子網絡,網絡的輸出為每個anchor對應的坐標大小以及得分.

坐標回歸網絡在訓練時需要進行歸一化,因為結節有大小之分,而且尺寸相差也比較懸殊,不能統一按照坐標差來衡量誤差.因此,采用如下方法對檢測網絡的坐標輸出進行變換:

珠江黃金水道的跨越式發展，首先得益于頂層設計的日臻完善。珠江航務管理局（以下簡稱“珠航局”）緊緊抓住部黨組提出建設“第二條黃金水道”的歷史機遇，圍繞《若干意見》《規劃綱要》以及《行動計劃》三大頂層設計文件狠抓督辦。截至目前，《行動計劃》明確的62項重點任務中59項已正式啟動，規劃中的美好愿景正慢慢照進現實。

圖4 檢測網絡結構Fig.4 Detection network structure

(2)

在科學技術部、住房和城鄉建設部有關司局，中國BIM標委會、中國城市科學研究會BIM專委會的大力支持下，聯盟開展機構和制度建設、標準研制、課題研究、行業交流、宣傳推廣等工作，創新運行機制，取得較好成效。

3.4 損失函數

訓練檢測網絡的時候,所有的anchor中,有目標的僅占極小一部分,類別極度不平衡,因此采用focal loss損失函數:

鑒于RetinaNet在coco數據集和Pascal VOC數據集上的優秀表現以及其基于特征金字塔的特點,我們采用其作為本文基礎網絡結構,如圖3所示,Conv1-Conv5分別為Resnet[16]的5個卷積層輸出的特征圖,p5由Conv5經過1*1的卷積得到,卷積核數目為256,p4由p5上采樣并與Conv4經過1*1卷積后相加得到,p3與p4操作相同.而p6由p5經過3*3,步長為2的卷積核卷積所得,檢測任務在特征金字塔每一層的特征圖上進行.

其中(X1,Y1)為原圖中矩形框的左上角坐標，(X2，Y2)為矩形框的右下角坐標，Wa和Ha為anchor的寬和高，數據集中的標簽在網絡訓練時也同樣按照公式(2)轉化。

(3)

從表1中可以看出,在敏感度相同時,本文的方法能夠帶來更低的假陽性率.我們將候選區域得分的閾值設置為0.1,我們選擇其中的一例樣本,標注如圖6所示.

我陡然意識到內心不安的另一個理由，我把跟葉靄玲的約會忘記了。她曾跟我說過，情人節去大華電影院看通宵電影，可是此時我卻在這兒。雖然我清楚地知道今天是情人節，可是我裝出一副忘記了的樣子，所以我沒有帶來任何禮物，我說，你想要什么？

(4)

如前文所述,肺結節的矩形框并不是嚴格意義上的外接矩形,能夠將肺結節區域包含進去,并且大小并沒有差太多的都可以認為是正確的檢測.在給anchor打標簽的時候,我們也沒有像普通的目標檢測任務那樣嚴格,因此坐標損失函數定義如公式(4).使用4階SmoothL1損失函數可以使得損失值在矩形框坐標接近標簽的時候更加平滑,使得整個網絡更加專注于對anchor的分類結果.

酒店實行收支兩條線，會計核算模塊與現金收入模塊存在著相互核對的作用，而成本控制對商品采購業務也起著監督作用。各業務流程中的各個崗位職責明確、資格要求清楚，對各個崗位日常工作范圍作了十分詳細的規定，使各崗位的工作制度化，不會因人員變動而影響，也有利于分清責任，便于對各個崗位工作進行考核和監督。

4 實 驗

4.1 實驗數據集

我們采用兩個不同的數據集來驗證算法的有效性.數據集A來自安徽省中醫院的病例數據,數據集含有2954張帶有肺結節的來自不同患者的胸部正面X光圖片,尺寸在2048至3000之間,灰度深度為12位,每一個病例樣本與由4位放射科專家標注的JPEG格式相同尺寸的標注圖對應,每個病例樣本中都至少有一個肺結節.

數據集B是公開的胸部正面X光數據集JSRT,此數據集是由CT影像診斷出的肺結節在X光圖片中進行標注,包含257張X光圖片,其中154張是帶有結節的樣本,而且每張圖片僅有一個肺結節,尺寸都是2048*2048像素,灰度深度同樣為12位.

4.2 評價指標

候選區域提取很難保證所有的結節區域都能夠作為候選區域,Li C等[10]為了提高結節檢測的敏感度,使用了較為傳統的方法:多尺度滑動窗口,不僅保證了在這一步盡可能不丟失任何結節,同時多尺度也保證上下文信息.然后使用集成學習的方法,將候選區域變換成3種尺寸,輸入3個不同的CNN模型,最后將3個模型的結果進行投票得到最終結果.這種集成學習的方法能夠提升算法的效果.因此在公開數據集JSRT[11]上,取得了最高的敏感度94%.但是多尺寸滑動窗口的方法有些暴力,其中有過多的冗余計算.而且為了提高性能使用了3個CNN模型,導致計算量異常大.

(5)

(6)

但在訓練的時候我們使用目標檢測中常用的評估指標mAP(Mean Average Precision)來判斷模型的性能,能夠更加簡單有效地評估實驗結果.

4.3 數據擴充

兩個數據集加起來只有3000多例樣本,對于深度學習來說樣本量并不充足,因此我們在原有樣本的基礎上進行了數據擴充.

在原圖上,我們對圖片進行了隨機的水平鏡像、小角度旋轉,以及縮放等操作.除此之外,對于樣本標簽,我們也對其采用了0.1比例的隨機平移和縮放,保證結節在bbox內部,而且尺度上又沒有相差很大.這兩種方式相結合,解決了數據樣本不足的問題,同時也能夠提高模型的泛化能力.

4.4 實驗結果及分析

首先驗證本文提出方法的有效性.我們以原始的RetinaNet作為比較對象,在數據集A上對比這兩個模型的性能.兩個網絡模型的卷積層都使用ResNet152[16],圖像預處理和數據擴充都與前文所述一致,而且兩個網絡所用的anchor參數與本文第3.3節一致.

訓練時我們令公式(3)中的α=0.5，γ=2，公式(4)中的σ=4，使用Adam優化器，初始學習率=1e-4，batch size=2。每當mAP 4輪訓練都不再提升時，將學習率衰減0.1，經過50個訓練周期，取其中最優的模型。

我們隨機從數據集A中抽取了148張有結節的樣本作為測試集,其余2806個樣本圖片作為訓練集,分別訓練上述2個模型.最終得到兩個模型的FROC曲線如圖5所示.

圖5中LSFNet(Location and Scale Information Fusion Network)是本文提出的融合位置尺度信息的卷積神經網絡.我們從結果中可以看出,本文針對肺結節檢測任務,提出的算法是有效的,優于RetinaNet,從曲線中我們選取敏感度為0.9和0.95的兩個點進行具體比較,如表1所示.

其中,y是當前anchor的標簽,p為神經網絡的預測值,這個損失函數相當于對每個樣本依據預測結果加了一個自適應權重,對于與目標相差較大的,損失權重較大,也就是說這個損失函數,能夠讓模型更加重視一些困難樣本.

圖5 數據集A上FROC曲線比較Fig.5 FROC courve compar i son on data set A

表1 RetinaNet與本文方法性能對比
Table 1 Performance comparison between
RetinaNet and our method

模型mAPFP per imageSens=0.9Sens=0.95RetinaNet0.79031.793.77LSFNet0.81991.623.28

圖7為兩個模型在同一分數閾值下的檢測結果對比.我們的方法能夠巧妙地避開肩膀上的假陽性樣本,模型更加具有“大局觀”,兼顧上下文信息,降低了假陽性樣本數量.

2017年采集保山市昌寧縣植煙區域土壤樣品共230個，其中珠街彝族鄉72個、柯街鎮18個、耈街彝族苗族鄉40個、翁堵鄉14個、雞飛鄉21個、溫泉鄉7個、卡斯鎮18個、更戛鄉24個、大田壩鄉16個。

圖6 訓練樣本標注Fig.6 Training label

我們隨機將數據集B中帶有結節的154例樣本劃分為15份,進行交叉驗證.使用數據集A上的訓練模型進行參數初始化,然后將初始學習率設置為1e-5,學習率衰減機制同上,本文方法在數據集B上的FROC曲線如圖8所示.

那段時間，日子是灰色的。錢海燕覺得自己的整個世界都坍塌了。婚后這一年，周啟明將她寵得像個孩子，現在他倒下了，她只能扛起所有的事。

2.2.4 健康宣教 ①告訴患者和家屬保持個人衛生，在治療期間禁止性生活，不互穿內衣褲，不使用公共浴盆、浴巾。每天做好座便器的消毒，防止疾病傳播和預防。②貴重物品交與家屬管理，不隨意打開約束器具、安全房門。③當患者有無理要求時，不要輕易答應，如出去買報紙、買彩票、要5元錢等，都會導致患者逃離病區不能按時接受治療，而使療程中斷。

課題二：設計一臺兩級軸流式渦輪，設計點給定參數：進口流量53.69 kg/s，進口總壓：1.72×106 Pa,進口總溫：1 330 K，渦輪出口靜壓：4.54×105 Pa，出口總壓5.11×105 Pa，滯止效率0.865，轉速1.26×104 r/min，燃氣絕熱指數：1.33，燃氣氣體常數287.3。

圖7 檢測結果對比Fig.7 Comparison of detection results

下面我們在公開數據集JSRT上將本文方法與先前的研究進行對比,詳細數據指標如表2所示.

到達陣地后，夏國忠指揮士兵們抓緊時間搶修工事。他讓戰士們利用地勢地形，構筑起一條環山掩體，每隔幾米挖一個防空洞，以防鬼子飛機大炮的轟炸。

圖8 模型在JSRT上的FROC曲線Fig.8 FROC curve of model on JSRT

在前文中提到,通過肺實質分割來減少假陽性樣本數量的方法對于器官重疊區域的結節無效,在JSRT中有154個有結節的病例,其中有14個結節在器官重疊位置,因此他們在最后檢測的時候剔除了這14個樣本,本文的方法就沒有這個限制.

表2 方法性能對比
Table 2 Performance comparison of methods

方法敏感度mFP 數據集JSRTWang C[3]0.691.2140 of 154Li X[4]0.782.0140 of 1540.904.0140 of 154Li C[10]0.842.0All 0.944.6AllLSFNet(本文方法)0.820.91540.872.01540.914.01540.882.0All0.924.5All

Li C[10]的方法雖然在JSRT上敏感度最高可以達到0.94,但是本文的方法在較低假陽性樣本率時的敏感度更高,據醫生反饋,當每張X光片假陽性結果數目超過3個時,在實際應用中會給醫生帶來更多的困擾.而且他們基于滑動窗口生成候選區域,使用3個卷積神經網絡來進行投票,計算量很大,相比之下我們的算法前面的卷積層在計算每個候選區域時是共享的,能夠節省大量的時間.經我們實測,本文的方法在配置英偉達GTX-1080Ti的計算機上平均一張X光片的檢測時長僅為0.17秒,時間優勢非常明顯.

從兩個實驗中能夠看出,模型在數據集A上的效果要優于數據集B,這是因為數據集A由4位影像科專家手工標注的,而數據集B是經過CT診斷后,重新對應到X光圖片中,由此看來,基于X光的肺結節檢測,只適用于疾病的初篩,在日常體檢中發現疑似問題,然后還是要經過CT進一步確認,畢竟在準確方面CT有著更大的優勢.

5 總結與展望

本文針對X光肺結節檢測任務的特點,基于目標檢測網絡RetinaNet進行了改進,在判斷時融合了結節檢測的位置和尺度信息,不需要事先對輸入圖片進行肺實質分割,既簡化了算法流程,又起到了降低假陽性結果比例的效果.實驗證明,融合的特征對于檢測結果有幫助,而且本文方法在保證較高敏感度的同時,極大地降低了假陽性結果的比例,而且在器官重疊區域也能保證檢測效果.本文算法與那些先取候選區域,再用CNN分類的方法相比,具有更好的時間復雜度.我們的方法在較低假陽性結果比例的情況下,在JSRT上獲得了比之前研究更高的敏感度.

經過我們對未檢出樣本的復核,發現肋骨陰影會對檢測結果產生負面影響.我們接下來將會重點研究肋骨剔除的算法,將其加入現有方法中,實現一個效果更優的X光肺結節檢測系統.