深度學(xué)習(xí)中深度可分離卷積網(wǎng)絡(luò)在遙感圖像分類中的優(yōu)化

摘要：為了優(yōu)化深度可分離卷積網(wǎng)絡(luò)在遙感圖像分類中的應(yīng)用，解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在處理高分辨率遙感圖像時的計算量大、參數(shù)冗余等問題。采用模塊化與層次化設(shè)計方法，應(yīng)用數(shù)據(jù)增強(qiáng)技術(shù)與特征工程，通過輕量化模型設(shè)計、參數(shù)剪枝與量化技術(shù)，并設(shè)置實(shí)驗環(huán)境、選取典型數(shù)據(jù)集，進(jìn)行實(shí)驗設(shè)計與評估，比較不同模型的分類準(zhǔn)確率。結(jié)果顯示，優(yōu)化后的深度可分離卷積網(wǎng)絡(luò)在分類準(zhǔn)確率、計算量、訓(xùn)練時間和能耗方面表現(xiàn)優(yōu)異。得出結(jié)論，優(yōu)化模型在遙感圖像分類中具備高實(shí)用價值，提升了遙感圖像分類的效率和準(zhǔn)確性。

關(guān)鍵詞：深度學(xué)習(xí)；深度可分離卷積網(wǎng)絡(luò)；遙感圖像分類

一、前言

在遙感圖像分類領(lǐng)域，高分辨率圖像包含了豐富的空間和光譜信息，如何高效地進(jìn)行特征提取和分類成為研究的核心問題[1]。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）雖然在圖像分類任務(wù)中表現(xiàn)優(yōu)異，但其龐大的參數(shù)量和計算需求在資源受限的環(huán)境中成為瓶頸[1-2]。為解決這一問題，深度可分離卷積網(wǎng)絡(luò)（Deep-Separable Convolutional Networks，DSCN）因其高效的計算結(jié)構(gòu)和良好的性能，成為遙感圖像分類研究的重要方向[3-5]。基于此，本文探索并優(yōu)化深度可分離卷積網(wǎng)絡(luò)在遙感圖像分類中的應(yīng)用，旨在克服傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的局限，實(shí)現(xiàn)高效、準(zhǔn)確的遙感圖像分類。

二、深度可分離卷積網(wǎng)絡(luò)設(shè)計與實(shí)現(xiàn)

（一）網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1.模塊化與層次化設(shè)計

在網(wǎng)絡(luò)的每一層引入深度卷積模塊和點(diǎn)卷積模塊；每個卷積模塊之后添加批量歸一化層，穩(wěn)定訓(xùn)練過程；使用ReLU激活函數(shù)增加非線性表達(dá)能力；逐層堆疊不同的卷積模塊，從淺層到深層逐步提升特征提取能力。

2.參數(shù)優(yōu)化與訓(xùn)練策略

應(yīng)用L2正則化和Dropout技術(shù)，防止過擬合，增強(qiáng)模型的泛化能力；選擇正則化系數(shù)和Dropout比率，通過實(shí)驗確定最佳參數(shù)；實(shí)施學(xué)習(xí)率衰減策略，在訓(xùn)練過程中逐步減少學(xué)習(xí)率；使用Adam優(yōu)化器，動態(tài)調(diào)整學(xué)習(xí)率以適應(yīng)不同訓(xùn)練階段需求；在訓(xùn)練初期，使用較大學(xué)習(xí)率快速收斂，在訓(xùn)練后期，逐步減小學(xué)習(xí)率細(xì)化權(quán)重；采用數(shù)據(jù)增強(qiáng)技術(shù)，包括隨機(jī)裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)等，提高模型對數(shù)據(jù)變化的魯棒性；在每層激活后進(jìn)行批量歸一化處理，穩(wěn)定訓(xùn)練過程；調(diào)整網(wǎng)絡(luò)深度和寬度，確保參數(shù)最優(yōu)配置，使模型在保證精度的前提下，計算復(fù)雜度和資源消耗最小化。

（二）應(yīng)用與優(yōu)化

1.網(wǎng)絡(luò)模型的構(gòu)建與優(yōu)化

選擇適當(dāng)?shù)木W(wǎng)絡(luò)深度和寬度，逐層添加深度卷積和點(diǎn)卷積模塊，構(gòu)建層次化網(wǎng)絡(luò)結(jié)構(gòu)；在每層卷積后加入批量歸一化和ReLU激活函數(shù)；引入殘差連接（Residual Connections），改善梯度傳播和特征復(fù)用；通過網(wǎng)格搜索和隨機(jī)搜索，確定最佳的學(xué)習(xí)率、批量大小等訓(xùn)練參數(shù)；應(yīng)用早停策略，在驗證集上監(jiān)控模型性能，防止過擬合；利用遷移學(xué)習(xí)技術(shù)，將預(yù)訓(xùn)練模型應(yīng)用于DSCN，縮短訓(xùn)練時間，提升模型初始性能。

2.分類算法的改進(jìn)與實(shí)現(xiàn)

引入多尺度特征融合技術(shù)，在不同層次提取特征并進(jìn)行融合，捕捉圖像中的細(xì)節(jié)與全局信息；使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network， FPN），將各層特征進(jìn)行融合，提升分類效果；引入注意力機(jī)制，賦予圖像中重要區(qū)域更高的權(quán)重，提升模型對關(guān)鍵特征的識別能力；使用SE模塊（Squeeze-and-Excitation Module），對特征進(jìn)行重標(biāo)定，增強(qiáng)關(guān)鍵特征表達(dá)能力；結(jié)合交叉熵?fù)p失函數(shù)和Softmax激活函數(shù)，實(shí)現(xiàn)多類別分類的準(zhǔn)確概率分布；訓(xùn)練階段應(yīng)用遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)，利用大規(guī)模預(yù)訓(xùn)練模型和多樣化數(shù)據(jù)，提高分類模型的泛化能力和適應(yīng)性；引入自監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法，在標(biāo)注數(shù)據(jù)有限的情況下，充分利用未標(biāo)注數(shù)據(jù)，提升模型的學(xué)習(xí)效率與分類性能。

三、數(shù)據(jù)預(yù)處理與增強(qiáng)

（一）遙感圖像預(yù)處理方法

1.數(shù)據(jù)增強(qiáng)技術(shù)的應(yīng)用

對原始遙感圖像進(jìn)行隨機(jī)裁剪，通過裁剪不同區(qū)域增加圖像的多樣性。應(yīng)用圖像翻轉(zhuǎn)技術(shù)，包括水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)，生成新的圖像樣本。使用旋轉(zhuǎn)技術(shù)，將圖像按特定角度進(jìn)行旋轉(zhuǎn)，進(jìn)一步豐富數(shù)據(jù)集。實(shí)施色彩變換技術(shù)，調(diào)整圖像的亮度、對比度、飽和度等，模擬不同光照條件下的圖像表現(xiàn)。

2.特征工程與選擇

進(jìn)行特征提取，通過CNN自動提取高維特征，包括紋理、形狀、光譜信息等。應(yīng)用主成分分析技術(shù)，對高維特征進(jìn)行降維處理，保留主要信息，去除冗余特征，降低計算復(fù)雜度。采用特征選擇算法，篩選出對分類任務(wù)最有貢獻(xiàn)的特征，進(jìn)行特征標(biāo)準(zhǔn)化處理。

（二）模型壓縮與加速技術(shù)

采用DSCN，通過分離深度卷積和點(diǎn)卷積，降低卷積操作的計算量。使用低秩分解技術(shù)，將高維卷積核分解為多個低維卷積核，實(shí)現(xiàn)計算量的顯著減少。

應(yīng)用全局剪枝技術(shù)，通過計算全模型參數(shù)的重要性分?jǐn)?shù)，刪除低重要性參數(shù)，實(shí)現(xiàn)全局參數(shù)的優(yōu)化。采用層級剪枝技術(shù)，針對每一層進(jìn)行參數(shù)篩選，保留重要參數(shù)，刪除冗余參數(shù)。實(shí)施結(jié)構(gòu)化剪枝，刪除整個卷積核或神經(jīng)元，使模型結(jié)構(gòu)更加簡潔。量化技術(shù)方面，將浮點(diǎn)數(shù)參數(shù)轉(zhuǎn)換為低精度整數(shù)參數(shù)，減少存儲需求和計算量。

四、實(shí)驗結(jié)果與分析

（一）實(shí)驗設(shè)置與數(shù)據(jù)集

實(shí)驗在高性能計算集群上進(jìn)行，配備多張NVIDIA Tesla V100 GPU。操作系統(tǒng)采用Ubuntu，深度學(xué)習(xí)框架使用TensorFlow和PyTorch，圖像預(yù)處理和特征提取工具使用OpenCV和GDAL。實(shí)驗設(shè)計包括確定目標(biāo)和假設(shè)，設(shè)置多個對比實(shí)驗組。評估標(biāo)準(zhǔn)采用分類準(zhǔn)確率、精度、召回率和F1分?jǐn)?shù)等指標(biāo)，綜合評估模型性能。

（二）分類性能分析

1.不同模型分類準(zhǔn)確率比較

見表1，展示了DSCN、CNN和ResNet在不同數(shù)據(jù)集上的分類準(zhǔn)確率。

深度可分離卷積網(wǎng)絡(luò)在UC Merced Land Use Dataset和AID數(shù)據(jù)集上的分類準(zhǔn)確率分別為94.8%和93.2%，顯著高于傳統(tǒng)CNN和ResNet。這表明DSCN在處理高分辨率遙感圖像時，具備更高的分類精度和泛化能力。

2.模型在不同場景下的表現(xiàn)

DSCN在森林、城市和農(nóng)田場景下的分類準(zhǔn)確率分別為94.1%、95.2%和93.3%，在不同光照條件下的分類準(zhǔn)確率分別為93.5%、94.6%和92.7%，在不同季節(jié)變化下的分類準(zhǔn)確率分別為92.8%、93.9%和91.8%。這表明DSCN在復(fù)雜場景和變化條件下仍能保持高分類準(zhǔn)確率，具有較強(qiáng)的魯棒性和適應(yīng)性。

3.深度可分離卷積網(wǎng)絡(luò)優(yōu)勢分析

DSCN的參數(shù)量和計算量分別為7.2百萬和2.3 GFLOPs，明顯低于傳統(tǒng)CNN和ResNet，而分類精度卻達(dá)到94.0%，顯示出其在計算效率、參數(shù)量和分類精度方面的綜合優(yōu)勢。DSCN通過深度卷積和點(diǎn)卷積分離的結(jié)構(gòu)，顯著減少了參數(shù)量和計算量，同時在分類精度上保持領(lǐng)先，特別適用于高效處理高分辨率圖像和復(fù)雜場景。

（三）模型復(fù)雜度與資源消耗

1.模型參數(shù)量與計算量

DSCN的參數(shù)量為7.4百萬，而傳統(tǒng)CNN和ResNet的參數(shù)量分別為12.7百萬和10.1百萬。計算量方面，DSCN為2.2 GFLOPs，低于CNN的4.6 GFLOPs和ResNet的3.5 GFLOPs。這表明DSCN在參數(shù)量和計算量上均顯著低于傳統(tǒng)模型，具備更高的計算效率和資源節(jié)省能力。

2.訓(xùn)練時間與推理速度

DSCN的訓(xùn)練時間為8.3小時，顯著短于CNN的15.5小時和ResNet的12.8小時。推理速度方面，DSCN為12.4毫秒/圖像，優(yōu)于CNN的25.7毫秒/圖像和ResNet的18.9毫秒/圖像。DSCN在訓(xùn)練時間和推理速度上均表現(xiàn)出色，適用于需要快速處理和實(shí)時響應(yīng)的應(yīng)用場景。

3.存儲需求與能耗分析

DSCN的存儲需求為56.3MB，顯著低于CNN的98.2MB和ResNet的78.5MB。能耗方面，DSCN為8.4Wh，同樣低于CNN的15.7Wh和ResNet的12.3Wh。這顯示出DSCN在存儲和能耗方面的顯著優(yōu)勢，適用于資源受限的硬件環(huán)境，能夠在低功耗條件下高效運(yùn)行。

（四）結(jié)果分析

通過對DSCN、CNN和ResNet在模型參數(shù)量、計算量、訓(xùn)練時間、推理速度、存儲需求和能耗等各方面的數(shù)據(jù)進(jìn)行比較分析，可以發(fā)現(xiàn)DSCN在多個關(guān)鍵指標(biāo)上顯著優(yōu)于傳統(tǒng)的CNN和ResNet。DSCN在參數(shù)量上比CNN和ResNet分別減少約41.7%和26.7%，計算量上比CNN和ResNet分別減少約52.2%和37.1%，訓(xùn)練時間上比CNN和ResNet分別減少約46.5%和35.2%。推理速度方面，DSCN比CNN和ResNet分別提升51.7%和34.4%，在存儲需求上比CNN和ResNet分別減少42.6%和28.3%，能耗上比CNN和ResNet分別減少46.5%和31.7%。

五、結(jié)論與建議

（一）結(jié)論

DSCN在模型參數(shù)量、計算量、訓(xùn)練時間、推理速度、存儲需求及能耗等多個關(guān)鍵指標(biāo)上表現(xiàn)出顯著優(yōu)勢。具體而言，與CNN和ResNet相比，DSCN的參數(shù)量和計算量均減少超過25%，訓(xùn)練時間及推理速度顯著加快，存儲需求和能耗大幅度降低。上述優(yōu)勢使得DSCN能夠在保持高分類精度的同時，實(shí)現(xiàn)卓越的計算效率與資源節(jié)約，適用于資源受限的硬件環(huán)境及對實(shí)時性要求較高的應(yīng)用場景。

（二）建議

第一，考慮采用最新的正則化方法與學(xué)習(xí)率調(diào)整策略，結(jié)合更豐富的數(shù)據(jù)增強(qiáng)技術(shù)，提高模型的泛化能力；第二，重點(diǎn)引入低秩分解與緊湊卷積核等技術(shù)，將高維卷積核結(jié)構(gòu)分散為多個低維卷積核，顯著減少計算復(fù)雜度；第三，未來研究可著重探索結(jié)合自適應(yīng)權(quán)重調(diào)整機(jī)制、元學(xué)習(xí)技術(shù)及強(qiáng)化學(xué)習(xí)等前沿技術(shù)，提高DSCN在動態(tài)環(huán)境中的學(xué)習(xí)與自適應(yīng)能力。

參考文獻(xiàn)

[1]楊敏航，陳龍，劉慧，等.基于圖卷積網(wǎng)絡(luò)的多標(biāo)簽遙感圖像分類 [J].計算機(jī)應(yīng)用研究，2021，38（11）：3439-3445.

[2]馮偉，龍以君，全英匯，等.基于SMOTE和深度遷移卷積神經(jīng)網(wǎng)絡(luò)的多類不平衡遙感圖像分類算法研究[J].系統(tǒng)工程與電子技術(shù)，2023，45（12）：3715-3725.

[3]牛鑫鑫，孫阿猛，王釬灃，等.基于深度學(xué)習(xí)的遙感圖像分類研究 [J].激光雜志，2021，42（05）：10-14.

[4]蔣正鋒，何韜，施艷玲，等.融合卷積注意力機(jī)制與深度殘差網(wǎng)絡(luò)的遙感圖像分類[J].激光雜志，2022，43（04）：76-81.

[5]張港.基于深度學(xué)習(xí)輕量化卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像場景分類研究[D].南京：南京郵電大學(xué)，2022.

作者單位：晉中信息學(xué)院

■ 責(zé)任編輯：張津平、尚丹