利用腸道圖像輪廓背景先驗的顯著性息肉檢測

莊新鳳，李 勝，何東蔚，何熊熊，朱錦輝

1(浙江工業大學 信息工程學院，杭州 310023) 2(浙江大學 醫學院附屬第二醫院 消化外科，杭州 310023) E-mail：shengli@zjut.edu.cn

1 引 言

結直腸癌(CRC)是最常見的惡性腫瘤之一，近年來我國CRC發病率總體也呈現上升趨勢，在消化系統惡性腫瘤中居第2位[1].CRC的早期形態是結腸息肉，與CRC的發生密切相關，根據結直腸息肉數目的多少分為單發性息肉和多發性息肉兩種，凡2枚及以上息肉稱多發性息肉.常見單發息肉較多，但多發息肉好發于老年患者，而且從病理類型看，癌變潛能最高的絨毛狀腺瘤也更多地集中于多發息肉[2]，所以單發性息肉和多發性息肉的及時檢測對預防結腸癌都十分重要.內窺鏡是目前用于采集腸道息肉圖像的主要手段，由于息肉的形態和大小多樣，發現息肉的主要因素取決于醫生的經驗技能，通過人工的方式進行息肉的檢測常常會加重醫生負擔，在醫生疲憊的情況下更容易造成漏診.因此，計算機輔助檢測對于緩解臨床醫師的壓力和提高檢測準確率具有重要意義.

近年來，圖像顯著性檢測成為計算機視覺領域的研究熱點[3-5]，特別是在目標識別相關問題上有著廣泛的應用[6-8].顯著性檢測主要是通過計算機模擬人類的視覺機制來定位圖像中最引人注意的目標區域.醫生進行息肉檢測的過程，也可以看成一個在內窺鏡圖片中尋找息肉區域的過程.另外，顯著性檢測的結果會得到不同像素的顯著值，值越大的像素塊越有可能是顯著性區域，反之為背景區域.因此，針對息肉的顯著性檢測算法能夠量化圖像中各個區域的重要性和參考意義，從而判斷不同區域存在息肉的可能性.

圖像顯著性檢測方法通常可以分為基于數據驅動的自底向上模式的和基于任務驅動的自頂向下模式兩類.自底向上的算法主要利用圖像的底層特征，計算不同區域之間的對比度，最后得到差異性高的區域.自頂向下的算法針對不同的任務采集大量的數據集，通過機器學習的方法得到不同區域的顯著值.后者需要大量的人工標注的圖片作為訓練集，由于受到患者隱私保護和設備參數的影響，難以獲取大量的高質量的息肉圖片.因此本文主要研究自底向上的方法.

Itti等[9]首次提出自底向上的顯著性檢測模型來模擬生物視覺.Cheng等[10]提出基于LAB 顏色空間的全局對比度來度量像素的顯著值.Goferman等[11]提出了上下文感知的顯著性方法.上述方法都是通過計算特征的相似度來得到不同區域的對比度，最終生成圖像的顯著模型.此類方法對于目標與背景差別明顯的圖像具有良好的效果，但對于背景和前景相似度較高的圖像單純的利用傳統特征提取方法在圖像中檢測息肉的效果并不理想，為了提高準確率則需要復雜的檢測算法提取高層次特征，會因此增加算法復雜度.因此，許多研究將先驗知識引入到顯著性檢測當中，充分利用背景先驗知識可有效提高準確率并且降低復雜度.

自然圖像的獲取存在人的主觀能動性，會將感興趣的目標放在視野中央，現有的基于先驗知識的算法通常假設圖像的邊界區域為背景，目標區域靠近圖像中心，并以此作為前提來計算顯著值.如Wei等[12]通過單一超像素塊與邊緣超像素塊的最小測地距離計算該超像素塊的顯著性.顧廣華等[13]提出了合融前景和背景種子點擴散的顯著性檢測算法，根據邊緣概率確定背景種子.Yang 等[14]提出基于圖的流形排序(Manifold Ranking，MR)的顯著性算法，選取邊界超像素作為背景種子點，然后通過圖模型和流形排序算法計算出其他超像素相對于背景的排序值，進而得到顯著值.對于無線膠囊內窺鏡(WCE)圖像而言，息肉圖片大體可以分為3個區域：腸道中心暗區、腸壁褶皺區域和息肉區域，腸道中心暗區和腸壁褶皺是背景，息肉區域則是需要檢測的顯著目標.由于WCE采集不受人的主觀控制，息肉的位置往往具有很大的隨機性，可能位于圖片中心也可能位于邊緣，kvasir息肉數據集中的圖片中，目標息肉位于邊緣的概率為51%左右，上述基于邊緣的背景先驗方法雖然在自然圖像的目標檢測上取得了良好的效果，但處理WCE息肉圖片時四周邊緣的背景先驗知識不再有效.

基于目標先驗的算法通常使用一個峰值位于中心的各向同性的對稱高斯函數來對目標區域進行加強，同時減少其他區域的背景噪聲.Zhaojian等[15]通過Harris角點檢測計算大體位置，再利用基于中心的高斯先驗模型來增強目標區域.Yu等[16]使用KNN和K正則圖模型計算顯著值后，運用中心先驗突出目標區域.基于中心的目標先驗算法能夠有效地抑制背景噪聲，但是針對目標區域偏離中心和含有多個目標的圖像，此類算法往往會錯誤的將目標當成背景進行抑制，這些因素使得現有的目標中心先驗和四周背景先驗的顯著性檢測算法難以適用于腸道息肉圖片.

針對上述問題，本文提出適用于胃腸鏡圖像的基于輪廓先驗的顯著性息肉檢測方法.本文主要貢獻概括如下：

1)提出了一種基于暗區的腸道中心和基于邊緣檢測的腸道輪廓提取方法，并以此為背景先驗來計算圖像的顯著性.不同于現有的基于圖像四周邊緣像素為背景的固定方式，本文方式更適用于腸道結構，并且更具靈活性.

2)提出一種改進的中心先驗模型：基于前景的連通區域中心高斯先驗模型.不同于現有的基于圖片中心的單一高斯模型，本文的方法根據前景連通區域個數的區域面積，構建相應的高斯函數來檢測一個或多個息肉，此方法有效提升了息肉偏離中心以及存在多個息肉的圖像的檢測性能，增加了檢測的準確性.

2 顯著性檢測

本文主要分為兩部分工作，第1部分，利用輪廓背景先驗知識提取背景種子，通過流行排序得到基于背景的顯著圖;第2部分，在第1部分的基礎上選取精確的前景種子，利用流行排序以及前景中心高斯先驗分別得到基于前景的顯著圖和高斯顯著圖，融合以上2幅顯著圖得到最終顯著圖.圖1所示為本文方法框架.

圖1 本文顯著性息肉檢測方法框架Fig.1 Framework of the proposed saliency polyp detection method

2.1 基于腸道中心及輪廓背景先驗的流行排序顯著性檢測

2.1.1 獲取背景種子

內窺鏡在工作過程中配有獨立光源，由于腸道整體呈管狀立體結構，腸道中心區域相對內窺鏡攝像頭有一定的縱深，這使得腸道中心區域感光較少，呈現相對偏暗的情況.因此，本文提出一種基于暗區的腸道中心位置測定方法.

圖2 超像素分割及腸道中心暗區Fig.2 SLIC and the central dark area of the intestine

文獻[17]指出了canny算法對輪廓檢測的有效性，所以本文首先采用canny算法提取初步的輪廓信息，篩選出腸壁褶皺輪廓區域作為背景.圖3(a)為原圖，如圖3(b)所示canny輪廓檢測得到的整體輪廓圖存在大量的噪聲信息，比如：光斑、氣泡等.這對判斷某條邊緣是否屬于腸道褶皺輪廓造成嚴重干擾.考慮到噪聲邊緣、腸道褶皺輪廓和息肉輪廓具有以下特點：

1)褶皺輪廓和息肉輪廓具有較長的連續性，而噪聲輪廓的長度普遍較短.

2)褶皺輪廓以腸道中心為中心成凸狀，息肉則成凹狀.

因此，采用以下策略篩選可靠的腸道輪廓：

根據輪廓長度去除噪聲的影響.設定小于Tlen長度的輪廓視為噪聲輪廓.去除噪聲輪廓后的輪廓如圖3(c)所示.

圖3 腸壁褶皺輪廓背景種子選取過程Fig.3 Contour background seed selection process of the of intestinal wall fold

然后，根據凹凸性區分腸壁輪廓和息肉輪廓，篩選出需要的腸道褶皺輪廓.在剩余Ne條輪廓上，取輪廓的兩個端點形成一條線段，并連接這條輪廓的中點與腸道中心點，判斷這兩條線段是否有交點，如果不存在交點說明該條輪廓成凹狀，為息肉輪廓，息肉輪廓所在超像素區域為Fe.若有交點則為腸壁褶皺輪廓，腸壁輪廓所在超像素區域為Be.最終保留下來的Me條腸壁輪廓如圖3(d)所示.圖3(e)中為Me條輪廓所在的超像素區域Be={Be(1)，Be(2)，…，Be(Me)}，Be(i)為第i條腸壁輪廓所在超像素區域，Me≤Ne.

2.1.2 構建流行排序算法

將每塊超像素作為一個節點來構建圖模型G=(V，E).V={vi|1≤i≤N}表示為圖中所有超像素節點的集合，E={eij|1≤i，j≤N}表示兩節點間邊的集合.邊的權重由關聯矩陣W=[wij]決定，wij由式(1)計算得到.

(1)

其中，ci和cj表示在LAB顏色空間中結點vi和vj所在的超像素塊的平均顏色值;參數δ用于調節邊權重.

文獻[14]采用的圖模型中，將4個邊界節點相連以減少背景間的測地距離，增加背景內部的相似度.本文采用檢測到的腸道中心暗區及輪廓超像素作為背景節點進行連接構圖.

流行排序函數可以用于計算種子節點之間的關聯度：

(2)

其中，參數μ控制平滑約束(第1項)和擬合約束(第2項)之間的比重，fi表示單一節點的排序值.

式(2)可以進一步表示為：

f*=(D-αW)-1y

(3)

其中，α=1/(1+μ)，y表示種子向量，f*表示排序向量.

以腸道中心區域Bc中的超像素作為背景種子點，得到種子向量yc=[yc(1)，yc(2)，…，yc(N1)]T，

(4)

(5)

類似地，分別利用輪廓背景Be(i)構成種子向量ye(i)計算得到對應的顯著值Se(i).最后將上述顯著值通過乘法進行融合，得到基于背景的流行排序顯著圖：

(6)

2.2 基于前景的多聯通區域中心高斯先驗模型

2.2.1 選取前景種子

根據第2.1.2節中得到的基于背景顯著圖，選取顯著值大于均值的前景超像素區域Fs.

接下來，本文采用連接性的思想對2.1.1節中得到的前景區域Fe進行擴展.利用平均測地距離來衡量單一超像素p與多個超像素塊組成的區域Area之間的相似度Sim(p，Area).

(7)

qiArea

(8)

其中，nArea表示區域Area所含超像素的個數，dgeo(p，q)如式(9)所示：

(9)

dapp(pi，pi+1)表示相鄰兩個超像素在LAB空間的歐氏距離，dgeo(p，q)表示超像素p和q之間的測地距離.

通過式(10)擴展息肉輪廓所在超像素區域.

(10)

為了保證前景種子的準確性，利用式(11)對提取到的前景區域進行優化，得到圖4(b)的前景區域為Fg.

圖4 優化后的前景種子及對應顯著圖Fig.4 Optimized foreground seeds and corresponding saliency map

(11)

2.2.2 基于前景的流行排序算法

利用2.2節所示流行排序算法，前景Fg的超像素為種子節點，種子向量為yfg=[yfg(1)，yfg(2)，…，yfg(N2)]T.

(12)

(13)

2.2.3 前景連通中心高斯模型

1)對前景計算連通區域個數，每個連通區域計算其質心，并以此為中心建立對應的高斯模型.

(14)

其中，x0(k)、y0(k)表示第k個連通區域的中心坐標，δx、δy表示水平和垂直方向的方差.

2)添加高斯模型權重.由于不同的連通區域的參考意義并不相同，顯著性目標區域往往具有較大面積，而噪聲區域，比如：光斑等，往往是獨立的小單元，因此對不同連通區域的高斯模型增加基于面積的權重，面積越大，表示該連通區域的重要性越大，越有可能是息肉區域.

(15)

其中，AreS(k)表示第k塊連通區域的面積.由于連通區域的面積跟該區域所包含的超像素塊的數目呈正向關系，為了增加算法的執行效率，將公式(15)中的面積參數AreSce(k)替換為超像素塊的數目NS(k).

(16)

3)將不同區域的高斯顯著圖相加，得到基于多連通區域的高斯顯著圖，如圖4(d)所示.

(17)

其中，NC表示前景中聯通區域的個數.

最后，將高斯顯著圖與式(12)中的基于前景的顯著圖相加，得到圖4(e)最終的圖像顯著圖.

S=Sbg+Sfg+Swg

(18)

3 實驗數據與結果分析

3.1 實驗設置

本研究實驗設備為20GBRAM的Xeon E3-1226，操作系統Win10，采用Matlab R2019a進行仿真實驗.

3.2 實驗數據

由于WCE圖像四角為黑色區域，且不含有用信息，為了避免此部分對實驗的干擾，如圖5所示去除圖像不含有用信息的黑色盲區，提取內窺鏡圖像中方形的核心區域進行實驗.

圖5 提取核心區域Fig.5 Extract the core area

為了驗證實驗的有效性，本文一部分采用200張包含10張多息肉圖像的公開數據集kvasir數據集的腸道息肉圖像，另一部分為300張合作醫院獲取的包含40張多息肉圖像的數據集.每張圖像均由專業醫生進行人工標定生成真值圖GT.最終的實驗數據集包括500張腸道息肉圖和500張對應的GT圖.每張圖像大小為256×256像素.

3.3 對比算法與評價指標

本文選取了當前主流的以及和本文方法相關的共10種顯著性算法進行比較，包括：IT[9]，FT[18]，GS[19]，MR[14]，MMR[16]，wCtr[20]，BECC[21]，WBU[22]，和GLGO[23].

本文從客觀性能和主觀兩個方面來評價算法效果.

主觀性能評價方面，采用生成的顯著圖與GT真值圖進行直觀對比.如圖6中1-3行所示，與其他方法相比，本文方法可以很好的檢測到息肉區域，雖然其他方法，特別是GS、wtr方法也能較好的檢測到目標區域，但本文方法得到的目標息肉區域更精確，顯著圖更干凈.如第3行所示，WBU方法有時只能檢測到部分目標區域;而如第2行所示，當息肉幾乎完全位于邊緣區域時，BECC和MMR會出現檢測區域與目標區域完全相反的情況，這可能就是以四邊界為背景先驗知識帶來的影響.從圖6中4-5行可以明顯看出，本文算法準確性遠遠高于其他算法，可以更精準的檢測到偏離中心的小息肉，并擁有檢測多息肉的能力.

圖6 10種算法的直觀比較Fig.6 Intuitive comparison of 10 algorithms

客觀性能評價方面，采用準確率-召回率曲線(Precision-Recall curve，PR曲線)、準確率-召回率-F-measure柱狀圖和平均絕對誤差(Mean Absolute Error，MAE)3種評價指標對實驗結果進行定量對比.

1)P-R曲線是重要的評價顯著性檢測算法性能的指標.首先將顯著圖的顯著值量化到[0，255]區間，并將其作為閾值.然后在不同閾值下對顯著圖進行二值分割，再將得到的二值圖與真值圖GT進行對比，計算不同閾值的準確率Precision和召回率Recall，統計所有顯著圖的平均準確率，即可繪制出P-R曲線.Precision和Recall計算公式為：

(19)

(20)

2)F-measure是另一個常用的性能評價指標，用于綜合衡量準確率(Precision)和召回率(Recall).

(21)

β2用于平衡Precision和Recall的影響程度，β2通常設置為0.3，以便突出準確率的影響.F-measure值越大表明算法效果越好.其中，W，H 分別表示圖像的寬和長.

從圖7PR曲線以及圖8PRF柱狀圖可以看出，本文算法準確率(Precision)明顯高于其他算法，wCtr方法的準確率僅次于本文算法，它也是優化了圖像4個邊界的背景種子，減小了位于邊界的目標前景誤判為背景的影響，也再次說明了準確先驗知識對于提高檢測準確率的重要性.WBU的準確率、查全率和F-measures都相對較好，說明高層次的特征的確對息肉檢測有很好的幫助.本文查全率(Recall)雖然低于BECC算法，但高于其他9種方法.BRCC和MMR算法具有很高的查全率，但不能很好的抑制背景區域、精確顯著區域，使準確率偏低.本文算法可以在保證較高準確率的情況下，也能夠比較完整的檢測到目標息肉區域.

圖7 P-R曲線圖Fig.7 P-R curves

圖8 PRF柱狀圖Fig.8 Precision，Recall and F-measures values

3)上述2種評價指標(準確率、查全率和 F-measure)只考慮了目標區域的匹配程度，而忽略了背景區域，MAE指標則能夠更加全面的度量結果的誤差，是對(準確率、查全率和 F-measure)必要的補充.

從表1可以看出，與其他算法相比，本文算法的有較低的平均絕對誤差(MAE).說明本文算法檢測道的顯著圖與人工標注的GT圖相似度高，誤差低，對臨床醫生來說更具有參考價值.

表1 10種算法的MAE值對比Table 1 Comparison of MAE values of 10 algorithms

4 結 語

本文主要工作主要是將計算機視覺中的顯著性目標檢測的思想運用于生物醫學圖像中，并根據病理圖像的形態特征提出了針對性的改進算法，提高了檢測的準確度.與傳統的顯著性檢測方法相比，本文加入的先驗知識更適合胃腸鏡圖像，并且通過多連通區域的高斯中心先驗模型，可以擁有更高的檢測多息肉的能力.實驗結果表明，本文的方法相比主流的顯著性檢測算法PR曲線以及F-measure柱狀評價指標上具有明顯提升，并且有更低的MAE值，保證了計算機輔助診斷的準確性，對臨床診斷有一定的參考價值.鑒于有些腸道圖片存在暗區不明顯以及輪廓被噪聲(光斑、氣泡)干擾較為嚴重的情況，尋找更具普遍意義及魯棒性的腸道中心定位以及輪廓檢測方法將是接下來的研究工作.