













摘" 要: 在地震勘探工區內自動分割建筑物目標對野外物理點布設和避障等工作具有重要意義。針對已有建筑物分割算法存在目標邊界分割不完整和小目標分割不準確的問題,提出基于改進Unet的地震勘探工區建筑物分割方法。該方法在原始Unet網絡結構基礎上,首先增加特征批標準化網絡層,避免網絡訓練過程中的梯度消失問題;然后增加多尺度卷積特征融合技術,增強網絡特征表達能力;最后使用Diceloss損失函數優化網絡參數。實驗結果表明,相比于原始Unet,分割IoU提高了約7%,目標邊界分割更加完整準確,對小目標也有較好的分割效果,同時對背景環境變化具有更強的適應性。
關鍵詞: 地震勘探工區; 建筑物分割; Unet; 多尺度卷積特征融合; 批標準化; Diceloss
中圖分類號: TN911?34" " " " " " " " " " " " "文獻標識碼: A" " " " " " " " " " " " " 文章編號: 1004?373X(2025)03?0135?06
Improved Unet based building segmentation in seismic exploration area
WANG Yaru, WANG Yun, JIANG Yongyong
(SINOPEC Geophysical Research Institute Co., Ltd., Nanjing 211103, China)
Abstract: The automatic segmentation of buildings (the objects) in seismic exploration area is of great significance for field physical point layout and obstacle avoidance. In view of the incomplete object boundary segmentation and inaccurate small object segmentation in the existing building segmentation algorithms, an improved Unet based building segmentation algorithm in seismic exploration area is proposed. On the basis of the original network structure of Unet, the feature batch normalization network layer is added to avoid gradient disappearance in the process of network training, and then the technique of multi?scale convolution feature fusion is added to enhance the network′ ability of feature expression. Finally, the Diceloss function is used to optimize the network parameters. The experimental results show that, in comparison with those of the original Unet, the segmentation IoU of the proposed method is improved by about 7%, its object boundary segmentation is more complete and accurate, and its effect for small object segmentation is better. In addition, it has stronger adaptability to the changes of environment.
Keywords: seismic exploration area; building segmentation; Unet; multi?scale convolution feature fusion; batch normalization; Diceloss
0" 引" 言
三維地震勘探對地震資料采集精度要求較高,以建筑物為代表的障礙物分布復雜,直接影響地震資料采集結果的好壞,因此在施工前需要進行觀測系統變觀設計。觀測系統變觀設計需要準確標出工區衛星圖像內建筑物等障礙物目標邊界信息,精確圈定所有可以布設激發點和接收點位置,從而對炮點位置、檢波點位置、測線重新分布,盡量減少由于建筑物等障礙物造成的勘探地震資料采集的空白[1]。傳統的手工標注障礙物的方式不僅人工成本高而且效率低下,無法滿足大范圍的施工需求。因此,開展勘探工區建筑物自動識別方法研究具有重要意義[2?3]。
近年來,基于深度學習的遙感圖像建筑物分割技術在圖像分割領域取得了一定應用[4?5]。如文獻[6]提出的改進的FCN多光譜圖像建筑物識別,使用FCN網絡提取圖像不同角度和尺度的特征,然后將特征歸一化進行上采樣操作。該方法提取不同尺度和不同角度的目標特征,增強了網絡魯棒性,提高了識別精度。但是,此方法需進行較多的預處理工作,且計算量較大,特征融合復雜。
基于卷積神經網絡的圖像分割算法包括FCN[7]和Unet[8]等。相對于FCN,Unet可以融合網絡淺層和深層的圖像特征,目標分割結果更加準確,分割精度更高。因此,本文選擇Unet作為地震勘探工區建筑物分割的基礎網絡框架。地震勘探工區場景變化較大,且對建筑物分割精度要求較高,如果直接將原始的Unet網絡應用于勘探工區中的建筑物分割中,可能存在以下三個問題。
1) 勘探工區場景中建筑物目標尺寸差距較大,無法準確分割出目標邊界且對小目標分割效果不佳。
2) 由于建筑物目標在圖像中較背景區域可能所占比例較小,從而造成樣本數據像素點類別失衡問題,使得網絡陷入損失函數的局部最優。
3) 網絡模型在訓練過程中可能會產生梯度消失問題,導致網絡模型收斂速度慢。
因此,本文提出一種改進的Unet網絡算法,算法以Unet為基礎網絡,引入多尺度卷積特征融合、網絡層特征批標準化[9]和Diceloss損失函數[10],提取目標多種尺度卷積特征,剔除了光照和遮擋等環境因素的影響,解決了網絡訓練過程中的樣本失衡和梯度消失問題,進一步提高了建筑物分割精度。
1" 建筑物分割方法
本文提出的改進Unet的地震勘探工區建筑物分割方法流程圖如圖1所示,流程主要包含網絡模型的訓練階段和測試階段。訓練階段:首先對訓練集和驗證集圖像數據進行圖像增強等預處理工作;然后將訓練集和驗證集對應的預處理后的原始圖像和標簽圖像輸入到改進的Unet網絡結構中進行網絡模型的訓練;最后參照優化策略調節網絡模型超參數最小化損失函數,保留損失最小的網絡模型。測試階段:首先對測試集圖像進行裁剪等預處理操作;然后加載訓練好的最優網絡模型進行圖像測試;最后將測試的結果圖像進行拼接后處理,使得拼接后的圖像對應于原始圖像的測試結果,并進行評價指標計算,完成網絡模型評價。
1.1" Unet簡介
Unet是文獻[11]提出的用于醫學圖像分割的網絡結構。Unet是一種U型網絡結構,包含編碼、解碼過程。編碼過程Unet進行了4次下采樣操作,輸出特征圖的寬和高是原始圖像尺寸的[116]。解碼部分相應地進行4次上采樣操作,將編碼部分提取的圖像高級語義特征進行解碼,最終輸出特征圖的寬和高與原始圖像大小一致。
深層網絡層輸出的特征圖包含抽象語義特征且擁有更大的感受野,淺層網絡層輸出的特征圖包含紋理位置等細節特征。因此,Unet網絡結構加入了skip?connection,將包含圖像細節的高層特征和上下文信息的低層特征進行拼接融合,最終實現更加精確的目標分割結果。
1.2" 改進的Unet
為了使Unet網絡模型能夠更好地應用于地震勘探工區遙感圖像的建筑物目標分割,本文提出一種改進的Unet網絡模型,網絡結構如圖2所示。
在編碼階段,將訓練數據同時輸入到下采樣模塊和多尺度卷積特征融合模塊,網絡在下采樣的同時進行多尺度卷積特征融合操作。
在解碼階段,每次上采樣后,將對稱的編碼結果、該層的上采樣結果和多尺度卷積特征融合結果進行Concatenation操作,然后將輸出結果進行下一個上采樣操作。改進后的Unet可以提取目標多種卷積尺度的特征,使得網絡可以提取更多局部細節信息和全局信息。
1.2.1" 多尺度卷積特征融合
原始Unet網絡常用于醫學圖像的目標分割任務且能取得較好的目標分割結果,醫學圖像通常背景簡單且特征復雜度低。與醫學圖像不同,本文采用的是遙感圖像數據集,遙感圖像數據背景復雜多變且包含不同尺寸的建筑物目標,目標特征較為復雜。原始Unet網絡采用固定的卷積尺寸,無法有效分割衛星圖像中的建筑物目標,分割邊界不準確。
因此,為了提取圖像不同尺寸特征,本文在原始Unet網絡結構基礎上增加類似inception模塊結構多尺度卷積特征融合結構,即在編碼階段選擇1×1、3×3和5×5三種卷積核尺寸組合進行卷積操作,選取4個下采樣分支并行操作,然后將并行結果進行Concatenation操作,將下采樣提取的特征和多尺度卷積特征融合結果以及上采樣結果進行特征融合,這種方式擴張了網絡寬度,使得網絡提取目標的不同尺寸特征,從而增強了網絡的特征提取能力。
多尺度卷積特征融合結構如圖3所示。
引入多尺度卷積特征融合技術后使得網絡可以提取目標不同尺度的特征信息,包含更多目標邊界細節特征和全局信息,能夠剔除遮擋光照等因素對分割結果的影響,增強網絡的抗干擾能力,進一步提高了建筑物分割精度。
1.2.2" Diceloss損失函數
Unet在網絡模型訓練階段,由于建筑物目標相對于背景目標在圖像中所占比例較小,產生樣本數據類別不均衡問題,使網絡容易陷入損失函數的局部最小值,無法達到全局最優。解決樣本數據類別失衡的常用方法是對訓練數據進行剪裁,剪裁之后的每張圖像都包含一定比例的各類目標,使得數據集中每個類別比例保持相對平衡的狀態,但是這種方式大大增加了數據處理工作且并沒有從根本上解決問題。
為了解決在網絡訓練過程中數據集類別失衡問題,本文引入Diceloss函數作為建筑物分割時的網絡損失函數,Diceloss目標是最大化預測類別和真實類別之間的重疊部分。Diceloss函數在不需要過多人工處理和不降低網絡實時性能的前提下解決數據樣本類別失衡問題。
Diceloss計算公式[12]如式(1)所示:
[LDice=1-k=1K2ωkn=1Npkngknn=1Npkn+n=1Ngkn] (1)
式中:[K]表示圖像中總類別數,需要分類建筑物像素點和非建筑物像素點兩類目標,取值為2;[N]表示像素點的總數;[pkn]和[gkn]都是概率值,取值范圍為[0,1],前者為softmax層輸出,后者為像素點[n]預測屬于種類[k]的標簽值。
從式(1)可以看出,Diceloss函數把每個類別的所有像素作為一個整體來計算損失,計算結果相當于預測結果和標簽區域的交并比值。引入Diceloss作為損失函數進行誤差反向傳播,將分割效果評估指標作為網絡損失監督網絡訓練,解決了數據集類別不均衡問題,加快了網絡訓練收斂速度,進一步提高了網絡分割精度。
1.2.3" 批標準化
在網絡模型訓練過程中,網絡層的輸入分布會發生偏移、變動,且隨著網絡層加深這種現象就會越明顯。在網絡反向傳播過程中,當整體分布接近于激活函數的飽和區域時,會產生梯度消失問題,導致網絡模型收斂速度慢。因此,本文在每個卷積塊之后都引入批標準化(Batch Normalization, BN)層來解決此問題。
本文在進行下采樣前,將特征圖進行批標準化,重新調整了特征數據分布,本質是將卷積層的輸出歸一化到均值為0、方差為1的標準正態分布。標準化后的數據分布于激活函數較為敏感的區域,使得梯度變大,保證了梯度的有效性,加快網絡模型的收斂。同時,BN層對隱藏層加入了一定的噪音,使得網絡有正則化的作用,防止網絡產生過擬合現象。
BN層具體計算方式[13]如式(2)所示:
[μB←1mi=1mxiσ2B←1mi=1m(xi-μB)2xi←xi-μBσ2B+εyi←γxi+β=BNγ, β(xi)] (2)
式中:[m]是數據批量大小;[μB]是均值;[σ2B]是方差;[ε]是平滑因子;[xi]是歸一化后的數據;[yi]是轉換重構后的結果。
輸入:批次[B={x1,x2,…,xm}]中的值
需要學習的參數:[γ]、[β]
輸出:[{yi=BNγ, β(xi)}]
2" 實驗及結果分析
本文實驗采用基于Keras深度學習框架并結合Python編程語言進行相關代碼的編寫和網絡模型參數的訓練(后端為TensorFlow 1.12.0)。實驗設備配置:64位Ubuntu 18.04 LTS,GPU:NVIDIA Tesla K80×3,CUDA 9.0,CUDNN 7.6.1,顯存12 GB。
2.1" 數據集
本文實驗數據使用開源公共數據集Inria[12]。Inria遙感圖像數據集來自法國國家信息與自動化研究所,是一個用于城市建筑物檢測的遙感圖像數據集,圖像數據示例如圖4所示。實驗數據集包含各種背景環境下的建筑物目標,旨在提高網絡模型的泛化能力。
2.2" 實驗結果和分析
為了評估本文提出方法在該數據集上建筑物分割的有效性,實驗使用像素精度(Acc)和交并比[13](IoU)兩種指標進行模型評價,公式如式(3)、式(4)所示:
[Acc=i=0kPiii=0kj=0kPij] (3)
[IoU=1k+1i=0kPiij=0kPij+j=0kPji-Pii]" (4)
式中:[k]+1代表像素點類別(包含一個背景類別);[Pij]代表類別為[i]的像素點被模型預測為類別[j]的像素點總數;[Pji]代表類別為[j]的像素點被模型預測為類別[i]的像素點總數;[Pii]表示類別為[i]的像素點被模型預測為類別[i]的像素點總數。
本文在實驗數據上驗證了提出的建筑物分割方法的有效性,為了加快訓練進程,實驗采用三塊GPU并行計算。網絡訓練50個epoch,使用Adam優化器使得網絡模型訓練更加穩定。
實驗主要分為以下三個部分。
1) 不同建筑物分割方法的效果
為了驗證本文提出方法的有效性,利用實驗數據集對原始Unet網絡和改進后的Unet網絡模型進行訓練和測試,兩種算法的在測試集上的分割結果如表1所示。
從表1可以看出,改進后的Unet網絡的Acc提高了2.17%,IoU提高了7.55%,達到了75.69%。可以看出,改進后的Unet網絡分割結果明顯優于原始Unet網絡。圖5為測試圖像,對比兩種算法的測試結果,為了更加清晰對比分割效果,隨機挑選左下角圖像進行局部放大。圖6是對應原始圖像的標簽圖像,其中白色區域代表建筑物目標區域,黑色區域為非建筑物目標區域。測試結果如圖7、圖8所示。圖7是原始Unet的建筑物分割結果,圖8是改進Unet的建筑物分割結果。對比標簽圖像,原始Unet測試結果中有較多的錯誤目標且目標邊界不準確。對比原始Unet測試結果,改進Unet的分割建筑物目標更加完整,邊界更加準確,分割結果更接近標簽圖像。
2) 采用不同策略訓練網絡的分割效果
為了進一步說明本文提出的多尺度卷積特征融合、特征批標準化和Diceloss損失函數改進方法的有效性,本節實驗使用數據對提出不同改進方法的網絡模型進行訓練和測試,模型測試結果如表2所示。
從表2可以看出不同改進策略對原始Unet網絡分割效果的影響。策略1和策略2對比,Acc提高了0.85%,IoU提高了3.2%。改進策略2與策略3對比,Acc提高了0.67%,IoU提高了2.42%。改進策略4與策略2對比,Acc提高了0.34%,IoU提高了1.29%。實驗證明,本文提出的三種改進方法均能提高模型的建筑物目標分割精度。
3) 不同環境下建筑物分割效果
我國幅員遼闊,不同地區之間地質環境差異較大,需要在不同場景下進行地震勘探采集。選擇兩種典型的不同場景下的圖像進行模型測試,一種是建筑物較為分散的郊區,另一種是建筑物密集的城區,如圖9a)所示。對本文提出的改進Unet網絡結構進行模型測試,其中圖9b)是對應原始圖像的標簽圖像,模型測試結果如圖9c)所示,圖9d)是分割效果圖與原圖的疊加效果。
由圖9可以看出,測試結果非常接近標簽圖像,分割的建筑物目標較為完整,邊界較為清晰,分割的小目標也較為準確。實驗結果證明,本文提出的算法適用于不同背景條件下的建筑物分割目標,對不同場景下的勘探工區具有通用性,為觀測系統變觀設計提供了基礎保障。
3" 結" 語
本文針對地震勘探工區建筑物提取問題提出一種改進Unet的地震勘探工區建筑物自動分割方法,來提取工區遙感圖像中的建筑物目標,為后續觀測系統變觀設計等工作提供基礎。相對于原始Unet網絡結構,改進后的Unet的網絡結構增加了多尺度卷積特征融合技術、特征批標準化和Diceloss損失函數。實驗結果證明,本文提出的改進方法對建筑物分割精度有顯著提高,分割目標更加準確,邊界更加清晰完整,且對小目標有較好的分割效果,并對不同場景下的建筑物目標均有較好的分割結果,魯棒性更強。
注:本文通訊作者為王雅如。
參考文獻
[1] 吳蔚,門哲,馬蘭,等.基于深度學習的高清影像地物矢量化技術及應用[J].物探裝備,2023,33(6):366?369.
[2] 潘曉兵,李隱,金守峰.自然保護區大型障礙物變觀三維觀測系統設計及應用:以隆盛老瀛山自然保護區為例[J].內蒙古石油化工,2022,48(3):35?37.
[3] 杜妍開,龔麗霞,李強,等.基于最優分割的高分辨率遙感影像震害建筑物識別技術[J].地震學報,2020,42(6):760?768.
[4] 鄧博文,徐勝軍,孟月波,等.一種交叉區域注意力的高分辨率遙感建筑物提取算法[J].小型微型計算機系統,2024,45(1):207?215.
[5] 孫顯,孟瑜,刁文輝,等.智能遙感:AI賦能遙感技術[J].中國圖象圖形學報,2022,27(6):1799?1822.
[6] 張永梅,付昊天,孫海燕,等.一種基于改進FCN的多光譜圖像建筑物識別方法[J].計算機工程,2019,45(1):239?245.
[7] ZHANG M, HUANG C L. A spectral element method to compute Earth′s free core nutation [J]. Research in astronomy and astrophysics, 2023, 23(9): 173?181.
[8] WANG Z T, SHI F, YANG X H, et al. (DarkAI) Mapping the large?scale density field of dark matter using artificial intelligence [J]. Science China (Physics, mechanics amp; astronomy), 2023, 67(1): 147?163.
[9] MAGGIORI E, TARABALKA Y, CHARPIAT G, et al. Can semantic labeling methods generalize to any city? the inria aerial image labeling benchmark [C]// IGARSS IEEE International Geoscience amp; Remote Sensing Symposium. New York: IEEE, 2017: 3226?3229.
[10] 王宏樂,葉全洲,王興林,等.基于YOLOv7的無人機影像稻穗計數方法研究[J].廣東農業科學,2023,50(7):74?82.
[11] RONNEBERGER O, FISCHER P, BROX T. U?Net: Convolutional networks for biomedical image segmentation [C]// International Conference on Medical Image Computing and Computer?Assisted Intervention. Heidelberg, Germany: Springer, 2015: 234?241.
[12] WANG L, WANG C, SUN Z, et al. An improved dice loss for pneumothorax segmentation by mining the information of negative areas [J]. IEEE access, 2020, 8: 167939?167949.
[13] QIN L K, GONG Y F, TANG T Q, et al. Training deep nets with progressive batch normalization on multi?GPUs [J]. International journal of parallel programming, 2019, 47(3): 373?387.