結合目標局部和全局特征的CV遙感圖像分割模型

李曉慧，汪西莉

結合目標局部和全局特征的CV遙感圖像分割模型

李曉慧1，汪西莉2

(1. 青海民族大學計算機學院，青海 西寧 810007； 2. 陜西師范大學計算機科學學院，陜西 西安 710119)

隨著遙感衛星技術的發展，高分辨率遙感影像不斷涌現。從含有較多信息、背景復雜的遙感影像中自動提取目標成為一個亟待解決的難題。傳統的圖像分割方法主要依賴圖像光譜、紋理等底層特征，容易受到圖像中遮擋和陰影等的干擾。為此，針對特定的目標類型，提出結合目標局部和全局特征的CV (Chan Vest)遙感圖像目標分割模型，首先，采用深度學習生成模型——卷積受限玻爾茲曼機建模表征目標全局形狀特征，以及重建目標形狀；其次，利用Canny算子提取目標邊緣信息，經過符號距離變換得到綜合了局部邊緣和全局形狀信息的約束項；最終，以CV模型為圖像目標分割模型，增加新的約束項得到結合目標局部和全局特征的CV遙感圖像分割模型。在遙感小數據集Levir-oil drum、Levir-ship和Levir-airplane上的實驗結果表明：該模型不僅可以克服CV模型對噪聲敏感的缺點，且在訓練數據有限、目標尺寸較小、遮擋及背景復雜的情況下依然能完整、精確地分割出目標。

圖像分割；形狀先驗；卷積受限玻爾茲曼機；深度學習；Chan Vest模型

隨著遙感技術的發展，高分辨率的遙感影像不斷涌現，從影像中自動提取目標引起了眾多學者的廣泛研究。與普通光學圖像相比，遙感圖像的場景、目標分布等都更為復雜，針對遙感影像復雜背景下的小目標分割[1-2]更為困難。在采用分割提取目標的方法中，基于水平集的CV (Chan Vest)[3]圖像分割方法最大的優勢在其處理拓撲變化的能力。但面對復雜的遙感圖像時，僅依靠圖像顏色、紋理等底層信息，當圖像中存在目標部分被遮擋、目標與背景雜糅等情況時，往往得不到正確的分割結果。因此，在基于水平集的CV模型中引入與目標相關的形狀先驗信息，有利于輔助模型分割出完整的目標。但如何準確且靈活地表示目標形狀是困難的。形狀建模的方法主要分為3種：①基于映射的統計形狀建模方法[4-6]，即通過映射得到形狀的特征向量表達形狀特征空間，如主成分分析和核主成分分析。然而對于復雜的形狀，此類方法不能靈活地表達。②基于標記點統計特征的形狀建模方法[7-9]，即通過標記目標輪廓中的關鍵點，對其統計建模來表達全局形狀特征。這些標記點都是手工標記的，通過統計的方法建模形狀，建模過程較為復雜且不適合復雜形狀。③基于深度學習的形狀建模方法[10-12]，用深度生成式模型從大量的目標形狀樣本中學習其結構并建模表示形狀，模型不僅可以自動提取訓練集的目標形狀特征，而且可以靈活地表示形狀及生成形狀。

考慮到在采用深度學習模型獲取目標形狀的過程中，圖像歸一化的操作可能造成目標形狀細節特征的丟失，本文在重建的目標形狀基礎上，采用Canny[13]算子從原圖中提取目標邊緣信息，結合局部邊緣和全局形狀構造目標形狀約束項，提出了一種結合目標局部和全局特征的CV圖像分割模型，即采用深度學習的卷積受限玻爾茲曼機模型(convolutional restricted Boltzmann machine，CRBM)[14]來提取目標全局形狀特征，并結合Canny算子提取的原圖像的邊緣信息，經過符號距離變換得到含有邊緣約束的目標形狀，以此為先驗信息引入到CV模型中指導曲線演化，得到正確的分割結果。模型在訓練數據有限、背景復雜、形態各異、尺度變化較大且成像面積小于2 000像素的遙感影像目標提取中取得了理想的分割結果。

1 CV模型

CV模型是由Chan和Vest提出的圖像分割模型。該模型將圖像分割表達為能量函數最小化問題，用表示待分割的灰度圖像，(,)的值表示中任意像素點(,)的灰度值。演化曲線將劃分成2個部分，1和2分別表示演化曲線內部和外部的灰度信息的均值。()和()的值分別表示演化曲線的長度以及演化曲線內部的區域面積。1，2，，是各項的系數，則CV模型的能量泛函為

其中，前2項使得演化曲線不斷向目標輪廓標靠近，合稱為保真項；第3項用于約束演化曲線，確保獲得的曲線足夠短，稱為長度約束項；第4項用于約束演化曲線，避免曲線振蕩，稱為面積項。只有當保真項的值為零，即演化曲線在目標邊界上時能量函數才能達到最小，實現對圖的分割。

將式(1)中演化曲線表示為水平集函數(,)，令(,)表示圖像中任意點(,)與演化曲線的最小歐式距離值。且設定當(,)在圖像的內部時水平集函數(,)>0，當(,)恰好在目標邊界上時，(,)=0 (即是初始化水平集)，否則水平集函數(,)<0，則式(1)改寫為

其中，海氏(Heaviside)函數，()和狄拉克(Dirac)函數()分別為

根據變分原理，使用歐拉-拉格朗日(Euler- Lagrange)方法推導出水平集函數的演化方程為

其中，為演化曲線的曲率，通過迭代水平集函數的演化方程使得CV模型的能量函數值最小，得到分割結果。

2 深度生成形狀模型

2.1 卷積受限玻爾茲曼機

為了在CV分割模型中引入有效的目標形狀先驗知識，本文采用2層的卷積受限波爾茲曼機深度學習模型來建模和獲取目標的全局形狀特征。該模型是在RBM的基礎上，引入卷積神經網絡(convolutional neural network，CNN)[15]中“卷積權值共享”思想衍生的生成模型。如圖1所示，CRBM模型是包含一個輸入層和一個隱層的2層模型，由于CRBM模型中卷積操作增加了局部感受野和權值共享的特點，且CRBM的輸入是二維的，使得模型能夠較好地獲取輸入數據的二維空間結構信息和圖像的局部信息。

圖1 CRBM模型結構圖

故此，該模型的聯合概率分布為

2.2 卷積受限玻爾茲曼機模型訓練

模型結構確定后，利用訓練樣本訓練模型，其目的是確定模型的參數。本文訓練CRBM模型時以二值圖像作為輸入，0表示背景，1表示目標，即模型中所有的節點狀態均為二值變量。

CRBM模型采用對比散度算法(contrast divergence，CD)[16]訓練模型，以訓練集中的樣本作為模型的初始狀態，并將訓練集中的樣本記為={0,1,···,x}，模型初始值記為0，用訓練樣本初始化模型可視層單元的狀態，即令0=0。首先根據式(8)確定隱層單元的狀態，即由(|)求得；其次根據式(7)重構輸入層單元的狀態，即由(|)求得。不斷重復上述步驟次，得到0對應的重構結果v。使用梯度下降法更新CRBM模型參數，故此，基于CD算法的參數的梯度更新公式為

其中，=1，該算法的偽代碼如下：

輸入：訓練樣本={0,1,···,x}卷積核的個數，卷積核的大小N×N。輸入層大小N，隱層中特征圖的大小N。

輸出：權重矩陣w，輸入層的偏置，隱層的偏置b。

初始化：令輸入層的單元狀態0=0，w，和b的初始值隨機初始化。

更新參數：

2.3 卷積受限玻爾茲曼機模型生成形狀

在確定模型參數之后，采用多步吉布斯采樣的[17]方法從模型中生成形狀。其核心思想是通過模擬的聯合概率分布直接推導出條件分布，多次反復直到采樣得到的樣本與模型所定義的概率分布的樣本非常接近。CRBM模型的采樣過程如圖2所示，為了生成近似服從CRBM模型所定義的樣本，本文實驗采用二值圖像初始化模型輸入層的單元狀態，并執行Gibbs采樣得到輸入層單元的狀態(即生成樣本)。由于CRBM的輸入是二維的，使得模型能夠更好地獲取輸入樣本的二維空間結構信息和圖像的局部信息，從而使得模型的生成形狀更加接近真實的形狀數據。

圖2 CRBM模型采樣過程圖

3 結合目標局部和全局特征的CV遙感圖像分割模型(CLG-CV)

3.1 邊緣信息

邊緣信息作為圖像最基本特征之一，是圖像分割依賴的重要特征。Canny算子用一階導數的極大值表示邊緣，可以很好地描述圖像目標的外部形狀和空間結構的輪廓特性。圖3中的3行分別表示Levir數據集[18]中Levir-oil drum001，Levir-ship001和Levir-airplane001提取邊緣信息的距離變換示例，圖3(a)為原始圖像，圖3(b)為原始圖像邊緣提取結果圖，將圖3(b)距離變換得到圖3(c)，其表示邊緣形狀的距離函數圖，即令邊緣像素點的值為1，其他像素取其與最近邊緣像素點之間的歐式距離min(,)。由此邊緣距離函數可定義為

圖3 距離變換示例圖

3.2 形狀約束項

為了融合深度學習模型中的生成形狀和圖像邊緣信息，本文將深度學習模型中的生成形狀(圖4(a))用距離函數表示模型生成形狀的結果(圖4(b))，使得形狀邊界處像素點的值為1，其他像素取其與最近邊界點之間的歐式距離mindist (,)<1。由此生成形狀距離函數定義為

圖4 距離變換示例圖((a) 生成形狀；(b) 生成形狀距離函數；(c) 結合邊緣和深度學習的目標形狀；(d) 結合邊緣和深度學習的目標形狀的符號距離函數；(e) Ground-truth)

將生成形狀距離函數與邊緣距離函數作點乘運算，即將圖4(b)以及圖3(c)中對應位置像素的歐式距離值做乘運算，將運算結果作為輸出圖像相應位置像素的歐式距離值，最終得到結合邊緣和深度學習的目標形狀(圖4(c))。該方法不僅有效地去除了由Canny算子提取的邊緣信息中虛假目標邊界，而且也改善了深度學習生成模型-CRBM生成形狀時，目標邊緣細節丟失的情況。并將結合邊緣和深度學習的目標形狀表示為符號函數(特殊的水平集函數)[19](圖4(d))，即設定邊界上像素點的值為0，其他像素取與最近邊界上像素點之間的最小歐式距離。為方便描述，用符號距離函數表示結合邊緣和深度學習的目標形狀，用水平集距離函數表示演化曲線，通過定義得到新的形狀約束項為

3.3 CLG-CV模型

本文提出的CLG-CV模型在傳統的CV模型的能量函數中做了以下改進：首先舍棄了面積項對演化曲線的約束；其次融合邊緣和卷積受限玻爾茲曼機的目標形狀信息，定義新的形狀約束項E，對演化曲線加以約束；最后結合CV模型的能量項E和形狀約束能量項E得到新的能量泛函。故CLG-CV模型的能量函數為

其中，為形狀先驗項系數。通過對式(11)對應的歐拉-拉格朗日方程進行求解，可得到演化方程

最后通過迭代水平集函數的演化方程使得CV模型的能量函數值達到最小，曲線停止演化，得到最終的分割結果。

3.4 分割算法步驟

本文主要針對少于2 000像素的小目標遙感圖像來提取目標，其分割任務更具有挑戰性。所提模型通過施加包含全局和局部的目標特征的約束，使分割得到的目標在完整性和邊緣細節保留方面都體現得更好，在復雜背景下也能得到正確的分割結果。分割算法步驟如下：

步驟1.粗分割，給定待分割灰度圖像，建立CV模型對應的能量函數E()，將其最小化，得到粗分割結果*；

步驟2.訓練CRBM模型，把一批已歸一化至32×32大小的ground truth圖作為訓練集，送入到CRBM模型中訓練；

步驟3. 生成形狀，將*歸一化至32×32大小，并將其作為模型的輸入，經過采樣得到重建結果，將擴大至待分割圖像大小，由式(11)計算生成形狀距離函數；

步驟4.邊緣提取，用Canny算子提取原圖像的邊緣信息，并進行距離變換，由式(10)計算邊緣距離函數；

步驟5. 定義形狀約束項，將步驟3中得到的與步驟4中得到的做點乘運算得到融合邊緣信息和深度學習的目標形狀，并將其表示成符號距離函數，由式(12)得到形狀約束項E；

步驟6. CLG-CV圖像分割，結合形狀約束項E和能量項E，由式(13)得到新的能量函數，求解對應歐拉-拉格朗日方程，使能量函數達到最小值，得到最終的分割結果。

4 數據集、實驗參數配置、對比方法和評價指標

4.1 數據集

Levir數據集來源于Google Earth，包含RGB圖像、標記圖像(含有檢測框的圖像) 2類圖像，每幅彩色圖像的尺寸均為800×600，空間分辨率0.2 m。該數據集中的目標為油桶、飛機、艦船3類，目標面積小于2 000像素。從標記圖像中隨機選擇500張圖像作為實驗對象。

采用3階段方法制作新的小目標遙感數據集。第1階段，將所有標記圖像按照標記信息裁剪圖像，得到僅含一個特定類別的圖像2 485幅。其中油桶651幅，船艦492幅，飛機1 342幅。第2階段，將第1階段中所有圖像，按類別制作為Levir-oil drum、Levir-ship和Levir-airplane 3個數據集。第3階段，從Levir-oil drum數據集中選取600幅圖像作為訓練集，51幅圖像作為測試集。從Levir-ship數據集中選取400幅圖像作為訓練集，92幅圖像作為測試集。從Levir-airplane數據集中選取1 000幅圖像作為訓練集，342幅飛機圖像作為測試集。數據集中的部分圖像如圖5所示。

表1列出了Levir-oil drum，Levir-ship和Levir- airplane 3個數據集中的目標尺寸分析，表明該數據集在圖像分割方面具有較大的挑戰。

表1 Levir數據集圖像中目標尺寸分析表

4.2 實驗參數配置

電腦配置為Intel(R)Xeon(R) CPU E5-2690，2.6 GHz，256 GB RAM，實驗環境為Windows10系統下安裝的Matlab R2016a。CV模型分割實驗中，使用數據集中的灰度圖像。設定初始演化曲線是通過位于圖像中心的矩形表示，步長D=0.1，1與2取值均為1，迭代次數為100。在Canny算子提取邊緣實驗中，直接調用Matlab中的Canny函數，不需單獨為不同的數據集設置參數。

參考文獻[20]并結合實際設置模型參數。針對Levir數據集中的油桶類，CRBM的參數設置如下：卷積核的大小為3×3，卷積核個數為20，學習率為0.01，迭代次數為1 500。針對Levir數據集中的船艦類，CRBM的參數設置如下：卷積核的大小為4×4，卷積核個數為20，學習率為0.01，迭代次數為2 000。針對Levir數據集中的飛機類，CRBM的參數設置如下：卷積核的大小為3×3，卷積核個數為20，學習率為0.005，迭代次數為3 000。

4.3 對比方法

為了驗證本文CLG-CV模型的分割性能，分別與CV分割模型和CG-CV分割模型進行實驗對比。

3種分割模型，其中CV模型的分割原理最簡單，該方法通過統計中心區域與局部鄰域灰度特性對比度值，尋找遙感影像中的目標區域信息，然后在通過空間關系剔除疑似的噪聲點，使得演化曲線向著目標輪廓不斷逼近，最終得到正確的分割結果。優點是對灰度均勻的圖像能自動提取出完整的目標，缺點是針對復雜的遙感影像中目標背景區與目標區雜糅在一起的情況，很難取得較好的分割結果。

CG-CV分割模型，是以傳統CV模型為基礎的衍生模型，首先，采用深度學習生成模型–卷積受限玻爾茲曼機建模表征目標全局形狀特征，以及重建目標形狀。其次，利用重建目標形狀，做符號距離變換，得到結合目標全局形狀信息的約束項。最終，以CV模型為圖像目標分割模型，增加新的約束項得到結合目標全局特征的CG-CV遙感圖像分割模型。該模型是在傳統的CV模型的能量函數中做了以下改進：首先舍棄了面積項對演化曲線的約束。其次通過卷積受限波爾茲曼機生成形狀，并定義新的形狀約束項E。最后結合CV模型的能量項E和形狀約束能量項E得到新的能量泛函。由此新的CG-CV模型的能量函數為

該模型優點是克服了傳統CV分割模型對噪聲敏感的缺點，即在采用深度學習模型CRBM獲取目標形狀的過程中，圖像歸一化的操作造成目標形狀細節特征的丟失。

4.4 評價指標

本文采用全局精度(global accuracy，Global acc)和交并比(intersection over union，IOU) 2種評價標準來定量評價分割結果的正確性和完整性，其分別定義為

其中，為目標正確分類的像素數目；為背景正確分類的像素數目；為目標分為背景的像素數目；為背景分為目標的像素數目。

5 實驗結果及分析

5.1 Levir數據集生成形狀實驗

分別使用Levir-oil drum，Levir-ship和Levir- airplane數據集來訓練CRBM模型。通過度量生成的形狀圖像與原始形狀圖像之間的歐式距離差異，來定量地分析CRBM模型對不同形狀的建模效果差異，該值越小表明模型生成的形狀越接近真實的形狀。CRBM模型在不同數據集上的訓練時間以及平均歐氏距離度量值見表2。通過對比3個數據集在CRBM的訓練時間可以發現，Levir-ship數據集的訓練時間最短，主要是由于其訓練樣本的數量最少。針對不同的數據集在CRBM模型上的生成形狀不論是訓練集還是測試集的平均歐氏距離都較小，這是由于CRBM中的卷積操作能夠很好地提取輸入樣本的的局部信息，從而使得生成形狀的結果更接近真實的形狀。

表2 模型訓練時間及生成形狀結果的平均歐氏距離度量

圖6分別展示了Levir-oil drum，Levir-ship和Levir-airplane數據集的測試集中的5幅圖像生成形狀結果(圖6(I)a1，圖6(II)a2，圖6(III)a3)。模型生成形狀的時間都在0.25 s左右。由圖6(I)b1，圖6(II)b2，圖6(III) b3可見，在生成形狀的效果方面，油桶的生成形狀結果最好，重構出來的形狀能很好地保留目標油桶的形狀特征，符合真實形狀。從Levir-ship數據集中的生成形狀結果可以看出，對于包含多個目標艦船的圖像，CRBM模型依然能夠很好地建模形狀。這是CRBM模型中的“卷積操作”使得模型能夠很好地提取輸入樣本的全局特征，靈活地表示形狀及生成形狀。從Levir-airplane數據集中的生成形狀結果可以看到，由于目標飛機的形態結構較為復雜，使得CRBM生成的飛機形狀與真實的飛機形狀仍有較大的差異，如圖6(III)b3-3，6(III)b3-5的所示，生成的飛機形狀丟失較多機翼和發動機的細節特征。

圖6 不同數據集的生成形狀結果((a1)~(a3)輸入圖像；(b1~(b3))CRBM生成形狀結果)

5.2 Levir數據集分割實驗

圖7(I)~7(III)分別展示了Levir-oil drum，Levir-ship和Levir-airplane等3個數據集的訓練集和測試集中的5幅圖像分割結果圖。圖8(I)~圖8(III)分別對應圖7(I)~圖7(III)中不同模型在上述3個數據集的訓練集和測試集中的5幅圖像分割結果評價。其中Global acc和IOU分別衡量了分割的完整性和正確性，其值越高越好。由圖7(I)可見Levir-oil drum數據集中，存在原始圖像是目標油桶被周圍目標背景陰影遮擋的情況(圖7(I)a1-4、圖7(I)a1-5)、原始圖像是目標油桶圖像較復雜的情況(圖7(I)a1-3、圖7(I)a2-6、圖7(I)a2-7)、以及原始圖像的尺寸小于32×32的情況(圖7(I)a1-1、圖7(I)a1-2、7(I)a2-10)。Levir-ship數據集中目標船艦個數不同、形態各異，且目標艦船周圍都存在一定的背景影響。例如圖7(II)a1-1、圖7(II)a1-3、圖7(II)a1-5、圖7(II)a2-8是原始圖像中目標艦船與背景海面相近且原始圖像尺寸均小于32×32的情況。圖7(II)a1-4是原始圖像中目標艦船的個數為2個的情況。第圖7(II)a2-6、圖7(II)a2-7、圖7(II)a2-10是原始圖像中目標船艦較小的情況。相較于傳統的CV模型，由于CG-CV模型和CLG-CV模型引入先驗知識指導分割，使得CG-CV模型和CLG-CV模型能有效地克服目標與背景雜糅、目標遮擋等噪聲干擾的影響，提升了模型的分割精度。并且所提模型CLG-CV在每一幅圖上的度量指標能夠達到最高，分割的結果更符合實際，效果更好。這是由于在CLG-CV模型中將邊緣信息引入模型的形狀約束項中，加強了目標形狀的邊緣細節特征，能更好地約束演化曲線向目標輪廓不斷逼近，得到正確的分割結果。

在Levir-airplane數據集中，由于原始圖像目標飛機的形態較油桶及艦船更為復雜，且原始圖像中飛機周圍都存在背景環境的影響。如圖7(III)a1-1是目標飛機被云層遮擋的情況。可以看出無論是訓練集還是測試集，雖然CLG-CV模型在每副圖像的性能評價值最高。這是由于在模型中將邊緣信息引入模型的形狀約束項中，加強了目標形狀的邊緣細節特征，能更好地約束演化曲線向目標輪廓不斷逼近，得到正確的分割結果。但與標記圖相比仍有一定的差距，丟失了大量尾翼和飛機發動機的細節信息。這是由于建模目標形狀以及生成目標時，模型的輸入尺寸為32×32，在圖像縮放的過程中丟失了細節信息。從而使得分割效果較差。

為了驗證所提模型的分割性能，表3給出了CV，CG-CV以及CLG-CV模型在Levir數據集的測試上的分割性能評價結果。相較于CV模型，CLG-CV模型在Levir-oil drum，Levir-ship和Levir-airplane 3個數據集上的平均Global acc值分別提高至98.654%，97.936%以及96.628%。在Levir-oil drum，Levir-ship和Levir-airplane 3個數據集的測試集上的平均IOU值分別提高至95.328%，94.140%以及92.425%。

5.3 其他圖像分割實驗

為了驗證所提模型CLG-CV的推廣性，從網上選取與訓練集中圖像在背景、位置、數目、上均有差異的256×256大小的圖像，送入模型進行測試(圖9)。

表3 不同模型在Levir測試集上的分割結果評價

圖9 其他圖像上的分割結果圖

6 結 論

為解決遙感影像復雜背景下，遠距離成像的小目標分割問題，提出結合目標局部和全局特征的CV遙感圖像分割(CLG-CV)。在小目標遙感數據上的實驗結果表明，相較于只結合卷積受限玻爾茲曼機CG-CV模型，CLG-CV模型的分割效果最佳。這是由于CLG-CV在采用生成式模型獲取目標形狀信息的同時，將原圖像的邊緣信息引入模型的形狀約束項中，通過“點乘”的方式減少了邊緣信息中虛假目標邊界，彌補了深度學習生成模型的形狀時，丟失的目標邊緣細節特征。通過圖像分割實驗結果表明，與傳統CV模型和CG-CV模型分割方法相比，本文模型在小目標以及其他尺寸較大的遙感影像分割應用中也依然能取得較好的分割結果。

[1] 王好賢, 董衡, 周志權. 紅外單幀圖像弱小目標檢測技術綜述[J]. 激光與光電子學進展, 2019, 56(8): 080001. WANG H X, DONG H, ZHOU Z Q. Review on dim small target detection technologies in infrared single frame images[J]. Laster & Optoelectronics Progress, 2019, 56(8): 080001 (in Chinese).

[2] 姚紅革, 王誠, 喻鈞, 等. 復雜衛星圖像中的小目標船舶識別[J]. 遙感學報, 2020, 24(2): 116-125.YAO H G, WANG C, YU J.Recognition of small-target ships in complex satellite images[J]. Journal of Remote Sensing, 2020, 24(2): 116-125 (in Chinese).

[3] CHAN T F, SANDBERG B Y, VESE L A.Active contours without edges for vector-valued images[J].Journal of Visual Communication and Image Representation,2000,11(2):130-141.

[4] SCH?LKOPFB,SMOLA A, MüLLER K-R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1996, 10(5): 1299-1319.

[5] 楊建功, 汪西莉, 李虎. 融合Kernel PCA 形狀先驗信息的變分圖像分割模型[J]. 中國圖象圖形學報, 2015, 20(8): 1035-1041. YANG J G, WANG X L, LI H. Variational image segmentation incorporating Kernel PCA-based shape priors[J]. Journal of Image and Graphics, 2015, 20(8): 1035-1041 (in Chinese).

[6] 田杰, 韓冬, 胡秋霞, 等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農業機械學報, 2014, 45(7): 267-271. TIAN J, HAN D, HU Q X, et al. Segmentation of w heat rust lesion image using PCA and Gussian mix model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 267-271 (in Chinese).

[7] AMBERG B, VETTER T. Optimal landmark detection using shape models and branch and bound[C]//2011 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2011: 455-462.

[8] 王雷, 王升, 汪叢, 等. 基于析取正態水平集的彩色圖像分割[J]. 傳感器與微系統, 2020, 39(6): 127-130. WANG L, WANG S, WANG C, et al. Color image segmentation based on disjunctive normal level set[J]. Transducer and Microsystem Technologies, 2020, 39(6): 127-130 (in Chinese).

[9] 雷曉亮, 于曉升, 遲劍寧, 等. 基于稀疏形狀先驗的腦腫瘤圖像分割[J]. 中國圖象圖形學報, 2019, 24(12): 2222-2232. LEI X L, YU X S, CHI J N, et al. Brain tumor segmentation based on prior sparse shapes[J]. Journal of Image and Graphics, 2019, 24(12): 2222-2232 (in Chinese).

[10] 張娟, 汪西莉, 楊建功. 基于深度學習的形狀建模方法[J]. 計算機學報, 2018, 41(1): 132-144. ZHANG J, WANG X L, YANG J G. Shape modeling method based on deep learning[J]. Chinese Journal of Computers, 2018, 41(1): 132-144 (in Chinese).

[11] DOU F Z, DIAO W H, SUN X, et al. Aircraft reconstruction in high-resolution SAR images using deep shape prior[J]. International of Geo-Information, 2017, 12(6): 214-232.

[12] YUKA K, MATVEY S, TSUHAN C. In the shadows, shape priors shine: using occlusion to improve multi-region segmentation[C]//2016 IEEE Computer Society Conference on computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 392-401.

[13] CANNT J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine, 1986, 8(6): 679-698.

[14] NOROUZI M, RANJBAR M, MORI G.Stacks of convolutional restricted boltzmann machines for shift-invariant feature learning[C]//2009 IEEEComputer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2009:2735-2742.

[15] FUKUSHIMA K, MIYAKE S, ITO T. Neocognitron: a self-organizing neural network model for a mechanism of visual pattern recognition[J].IEEE Transactions on Systems Man and Cybernetics,1970,13(5):826-834.

[16] HINTON G E. Training products of experts by minimizing contrastive divergence[J]. Neural computation, 2002, 14(8): 1771-1800.

[17] WALSH B. Markov chain monte carlo and gibbs sampling[J]. Notes, 2004, 91(8): 497-537.

[18] Zou Z, Shi Z. Random access memories: a new paradigm for target detection in high resolution aerial remote sensing images[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1100-1111.

[19] CHAN T F, SANDBERG B Y, VESE L A. Active contours without edges for vector-valued images[J]. Journal of Visual Communication and Image Representation, 2000, 11(2): 130-141.

[20] 李曉慧, 汪西莉. 結合卷積受限玻爾茲曼機的CV分割模型[J]. 激光與光電子學進展, 2020, 57(4): 041018. LI X H, WANG X L. CV image segmentation model combinig convolutional restricted Boltzman machine[J]. Laster & Optoelectronics Progress, 2020, 57(4): 041018 (in Chinese).

CV image segmentation model combining with local and global features of the target

LI Xiao-hui1, WANGXi-li2

(1. School of Computer Science, Qinghai Nationalities University, Xining Qinghai 810007, China; 2. School of Computer Science, Shaanxi Normal University, Xi’an Shaanxi 710119, China)

With the development of the remote sensing satellite technology, high-resolution remote sensing images are on an increasing trend. The automatic target extraction from remote sensing images containing other information and complex background urgently needs to be realized. The traditional image segmentation method mainly depended on such underlying features as image spectrum and texture, and in image segmentation tasks, was likely to be impacted by the interference of shadow and occlusion in the image, complicating the segmentation and leading to unsatisfactory results. For this reason, according to the specific target type, a CV (Chan Vest) image segmentation model combined with local and global features of the target was proposed. Firstly, the deep learning generation model-CRBM (convolution restricted Boltzmann machine) was employed to represent the global shape features of the target and to reconstruct the shape of the target. Secondly, the edge information of the target was extracted by Canny operator, and a new shape constraint term integrating the local edge and global shape information was obtained by symbolic distance transformation. Finally, the CV model served as the image target segmentation model, and new constraints were added to gain the CV remote sensing image segmentation model integrating the local and global features of the target. The experimental results on the remote sensing dataset Levir-oil drum, Levir-ship and Levir-airplane show that the proposed model can not only overcome the noise sensitivity of the CV model, but also segment the target completely and accurately in the case of limited training data, small target size, occlusion and complex background.

image segmentation; shape prior; convolutional restricted Boltzmann machine; deep learning; Chan Vest model

TP 391

10.11996/JG.j.2095-302X.2020060905

A

2095-302X(2020)06-0905-12

2020-07-15；

2020-08-12

15 July，2020；

12 August，2020

國家自然科學基金項目(41471280，61701290，61701289)

National Natural Science Foundation of China (41471280, 61701290, 61701289)

李曉慧(1992-)，女，青海西寧人，教師，碩士。主要研究方向為機器學習、圖像處理。E-mail：lixiaohuihxl@163.com

LI Xiao-hui (1992-), female, master student. Her main research interests cover machine learning and image processing. E-mail：lixiaohuihxl@163.com

汪西莉(1969-)，女，陜西西安人，教授，博士。主要研究方向為智能信息處理、模式識別、圖像處理。E-mail：wangxili@snnu.edu.cn

WANG Xi-li (1969-), female, professor, Ph.D. Her main research interests cover intelligent information processing, machine learning and image processing. E-mail：wangxili@snnu.edu.cn