面向光伏電站識別的深度實例分割方法

周樹芳，張小詠，陳正超，盧凱旋

(1. 北京信息科技大學高動態導航技術北京市重點實驗室，北京 100101; 2. 中國科學院空天信息創新研究院，北京 100094)

0 引言

太陽能等清潔能源，對于發展綠色經濟十分必要. 我國地域廣闊，大部分地區太陽輻射照度較大，可以直接利用的太陽能資源非常豐富. 因此，準確獲得光伏電站的位置、空間分布和面積信息，對優化能源結構、合理開采不可再生能源具有重要意義. 遙感通過非接觸、遠距離、大范圍的測量，為客觀公正地獲取光伏電站的產能情況提供新的途徑.

作為一種實現人工智能的強大技術，深度學習已經在手寫數字識別、維數約簡、語音識別、機器翻譯、情感識別等領域取得應用和發展[1]. 特別是在圖像檢測方面，深度學習可有效解決目標圖像場景復雜、種類繁多(包括光照、遮擋、目標形態等)諸多干擾因素，應用較為廣泛. 對于復雜多變的遙感影像，深度學習技術相比傳統的基于物理模型特征提取技術在精度和速度上都有較大優勢. 將基于深度學習的實例分割算法應用于新疆地區的大面積光伏電站提取，可以顯著提升國家能源部門對光伏電站位置、空間分布以及產能研判能力.

隨著深度學習在自然圖像上的廣泛應用，近幾年遙感學者將用于RGB三波段真彩色自然圖像的實例分割算法引入遙感圖像領域，并在原網絡的基礎上做了不同的改進. Lu等[2]設計一個基于卷積神經網絡(CNN)的實例分割模型，可有效提取細粒度實例，同時采用基于特征的方法獲得更準確的局部特征匹配，對建筑物實現更準確的定位效果, 但該網絡對于目標深度特征的提取依賴于手工特征，導致網絡對于目標的深度特征提取不夠，影響模型對于目標邊界的精細化提取. Feng等[3]提出一種稱為SLCMASK-Net的新網絡，通過引入局部連續的上下文模塊(SLC)逐步學習多尺度信息，避免不同實例之間的混淆，有效分離了不同的船舶. Su等[4]提出一種基于級聯Mask R-CNN 的遙感影像實例分割新方法，該方法利用高分辨率特征金字塔網絡，對高分辨率多級特征圖進行充分利用，并維護高分辨率特征圖，以提升遙感圖像的實例分割效果. 張昆侖等[5]提出一個兩分支結構的實例分割網絡，目標分支采用級聯結構，通過逐步增加閾值篩選目標框； 語義分割分支通過計算目標實例特征圖和分割特征圖的點積，提升了網絡對于尾礦庫的識別能力. 上述學者已經在實例分割網絡上做了很多工作，由于遙感圖像具有拍攝范圍大，背景信息復雜、光照陰影差異大等特點，其提出的網絡對于大范圍內遙感影像邊界信息的理解不足，導致檢測精度有待進一步優化.

基于遙感圖像復雜特征衍生出來的光伏電站特征更加復雜，具體表現為如下兩個方面. 1) 光伏電站的邊界不規則，目標輪廓并非方正的矩形構造，其建設要根據當地的地形因地制宜，最終在遙感影像上呈現的特征是雜亂無章的. 2) 根據當地的實際需求光伏電站的建設規模不一，導致目標的尺度范圍大，故在樣本的制作和網絡的構造過程中需要對光伏電站的尺度信息進行綜合考慮，對光伏電站的特征進行擬合以提升網絡對于目標輪廓的精細化提取. 在對光伏電站進行提取時，傳統的實例分割網絡Mask RCNN分別學習目標矩形框的位置和類別信息，目標Mask像素位置信息. 其中，網絡學習得到的目標特征分類置信度由目標矩形框的質量決定，對于遙感圖像上光伏電站這類外形呈面狀，尺度大小不一，空間幾何特征(比如，方形、長條形、不規則多邊形)存在較大不同的，目標特征的質量非常關鍵，多數情況下目標框的質量并不能代表目標Mask像素的質量，從而影像光伏電站的精細化提取.

基于以上考慮，在傳統實例分割網絡基礎上設計了一種融合逐像素置信度的兩分支(目標檢測分支與分割分支)深度實例分割網絡. 該深度實例分割網絡通過4個損失結構(邊界框回歸損失、邊界框置信度損失、Mask像素交叉熵損失、Mask置信度損失)和2個分支結構完成，在縱向上保證了網絡每一層的語義信息，在橫向上保證了目標檢測分支和分割分支的信息共享，使得網絡每個階段都能得到更高質量的預測結果，最終實現了新疆地區的光伏電站精細提取.

1 研究區域和數據

1.1 研究區域

選取新疆作為光伏電站的提取區域. 新疆是中國陸地面積最大的省級行政區且光照充足，是大型光伏電站建設選址的理想區域. 但該地區產業結構層次低，經濟的增長過度依賴傳統能源，長期高投入、高產出、高污染的粗放型增長已經嚴重阻礙了新疆生態文明建設與經濟的可持續發展. 近年來，新疆地區已經建設了眾多光伏電站，為實現傳統能源戰略向新能源戰略的轉變提供了條件.

1.2 數據預處理

1.2.1數據源及預處理

采用國產高分一號(簡稱GF-1)衛星數據為數據源，數據源采集條件是2臺2 m全色/8 m多光譜相機且天氣晴朗. 使用像素工廠軟件對2016—2020年的GF-1衛星影像進行預處理. 首先，對全色影像和多光譜影像做自適應分段線性拉伸，改善原始影像的清晰度和對比度. 然后，通過空中三角測量優化有理多項式函數模型(rational polynomial coefficients model, RPC模型)[6]參數，提高高分影像的定位精度. 利用優化后的有理多項式函數模型參數進行正射校正，在有地面控制點或者參考影像條件下，經正射校正的影像絕對精度可優于4個像素. 最后，使用全色融合方法融合全色影像和多光譜影像，生成分辨率為2 m的RGB遙感影像. 經過預處理后的GF-1遙感影像尺寸太大，無法直接輸入網絡進行訓練. 所以在制作樣本之前，需要對遙感影像進行切割處理，切片像素大小為2 560 px × 2 560 px.

1.2.2樣本和測試數據

采用爬蟲和人工解譯方法，共獲取全國467個光伏電站的點位，其中新疆63個，部分樣本如圖1所示. 通過LabelMe標注非新疆地區的404個樣本，將其作為訓練數據.

圖1 形狀多變的光伏電站Fig.1 Photovoltaic power plants with variable shapes

樣本制作應考慮如下3種因素的影響：

1) 尺度劃分. 光伏電站是對太陽能直接利用，其占地面積大，最大的占地面積可達到3.8 km2. 要保證光伏電站的特征(電站輪廓、紋理，變電室、檢修通道等)提取無損失，選取空間分辨率為2 m的GF-1號衛星影像作為樣本的數據源，綜合考慮影像分辨率、尺度大小、設備處理能力，將GF1號衛星影像裁剪成像素大小為2 560 px × 2 560 px的切片，裁剪中心點定為光伏電站的坐標.

2) 區域選擇. 光伏電站整體表現為面狀(看似簡單實則沒有區分度)，且部分檢修通道存在的干擾物，局部特征學習不利于光伏電站的提取，樣本制作將連續成片的光伏板、檢修通道看作單一目標物，將它們作為整體特征進行學習，樣本標記采用沿著目標邊界對光伏電站進行標記，同時消除多余背景對光伏電站特征造成的影響.

3) 時相影響. 目前正處于傳統能源向清潔能源轉型時期，光伏電站建造受時間影響較大，不同時期的光伏電站特征存在差異，為準確全面提取光伏電站的特征，采用近5年的多時相遙感影像用于制備樣本.

基于以上原則，共制作1 747張光伏電站訓練集樣本，300張驗證集樣本，成像時間2016—2020年； 測試數據146 153張，成像時間為2020年6月.

2 研究方法

采用深度實例分割網絡對光伏電站進行提取，具體過程如圖2所示. 具體采用如下6個步驟：

1) 對GF-1影像進行預處理后將影像制做成樣本，得到訓練集和驗證集.

2) 采用ResNet-50提取光伏電站的基礎特征和用FPN豐富多尺度信息.

3) 在分割分支通過逐像素置信度模塊計算預測Mask和真值之間的IoU.

4) 計算分割分支的IoU和目標分支分類置信度的乘積，實現分割分支和目標分支之間的信息共享.

圖2 新疆地區光伏電站提取流程Fig.2 Extraction process of photovoltaic power plants in Xinjiang

5) 在網絡頭部添加目標框位置、目標框置信度、逐像素位置、逐像素置信度4個損失結構，構建面向光伏電站的目標提取網絡(如圖3所示).

6) 對設計的網絡進行訓練得到優化的檢測模型，再將優化檢測模型對新疆地區進行光伏電站檢測，得到新疆地區光伏電站的空間分布信息.

2.1 逐像素置信度模塊

傳統Mask RCNN網絡，首先經過殘差網絡(residual network, ResNet)[7]提取光伏電站一些淺層的特征； 接著使用特征金字塔網絡(feature pyramid networks, FPN)[8]進一步豐富這些淺層特征； 然后采用區域推薦網絡(region proposal network，RPN)[9]絡提取候選區域； 最后經過ROIAlign[10]優化候選區域，并執行候選框分類、邊界框回歸和Mask掩膜生成. 其中，Mask的類別信息由目標檢測分支的目標框提供. 但是，目標框置信度只能區分提議框的語義類別，并不能反映Mask的類別信息，所以使用目標框置信度來評價Mask的分類會使分割結果出現偏差，對于光伏電站這類背景繁雜、邊界模糊的對象而言分割誤差會更大. 基于上述考慮，通過計算逐像素的類別損失來評價Mask區域的類別置信度，使Mask區域的類別置信度不僅由目標檢測分支目標框框提供，從而提升掩膜質量的完整性，優化網絡對光伏電站邊界信息的提取.

圖3 深度實例分割網絡結構圖Fig.3 Structure diagram of the deep instance segmentation network

為了使網絡學習到Mask區域的類別置信度，首先要保證分割分支和目標檢測分支保持信息共享. 針對傳統Mask RCNN不同任務分支之間沒有信息交流，沒有實現檢測分支和分割分支之間的參數共享學習. 先通過逐像素置信度模塊實現預測Mask和真值Mask之間的IoU計算. 逐像素置信度模塊的輸入為Mask RCNN的掩膜輸出和ROIAlign特征層，主要采用卷積核為2，步長為2的最大池化使Mask掩膜的空間大小和RoI特征層一致，以便后面通道融合； 在回歸時，只回歸目標一類(即光伏電站). 逐像素置信度模塊由4個卷積層和3個全連接層組成. 卷積層保持和Mask RCNN相同，卷積核的大小設置為3、個數設置為256. 對于全連接層，按照RCNN頭部結構將全連接層的輸出設為1 024，最終輸出網絡的類別數.

圖4 逐像素置信度模塊Fig.4 Pixel-by-pixel confidence module

對于逐像素模塊的輸入，采用4組對比試驗，通過實驗結果選擇最優結構的網絡對新疆地區的光伏電站進行提取. 4組對比實驗如下：

1) 第1組將單個類別的Mask和RoI特征層相加，記為Mask + RoI，結構圖如圖4所示;

2) 第2組將單個類別的Mask和RoI特征層相乘，記為Mask × RoI;

3) 第3組將所有的C種類別的Mask和RoI特征層相加，記為CMask + RoI;

4) 第4組采用原始的Mask RCNN算法.

通過逐像素置信度模塊(Mask+RoI)先進行預測Mask和真值之間的IoU的計算； 然后將分割分支的IoU和目標檢測分支分類置信度相乘，完成分割分支和目標檢測分支之間的信息共享； 最后，通過預測的Mask每個像素點的損失函數反向傳播，優化預測的Mask像素分類精度，提升預測Mask的質量. 整個網絡的損失為：

L=Lbox+Lcls+Lseg+Lconf

(1)

式中：Lbox表示分類損失；Lcls目標邊界框損失；Lseg表示像素交叉熵損失；Lconf表示Mask置信度損失.

2.2 網絡訓練

對GF-1影像進行預處理后得到用于訓練的光伏電站樣本，接著將樣本輸入到網絡. 首先網絡對輸入數據進行增強，豐富樣本的多樣性，防止較少的數據造成網絡過擬合. 數據增強后卷積網絡對樣本進行訓練，卷積核在特征圖上進行滑動來提取圖像特征信息； 然后網絡對特征圖上每個像素產生一定寬高比的候選框，并將候選框與真值框進行IoU計算，若IoU大于0.5網絡將該候選框判斷為正樣本，否者判為負樣本. 以此過程進行網絡迭代優化，得到最佳參數配置的模型.

實例分割網絡基礎參數batch_size表示每一批次GPU處理的圖片樣本數，它與輸入圖像大小和GPU處理能力有關，設置合理將提高內存利用效率，設為2； 學習率(learning rate)代表網絡每次更新參數的速度，學習率越小，網絡訓練時間越長，設為0.02； 權重衰減系數(weight_decay)設為0.000 1； 動量因子(momentum)為0.9； 總的迭代批次total_epochs設為30，其中學習率采用線性增加的學習率策略. 實驗硬件環境為4個12 GB顯存的NVIDIA Titan XP GPU、CUDA2.0及 Intel Xeon E5 CPU，采用的軟件框架為Pytorch.

2.3 精度評價方法

模型優劣的評價需要選擇評價標準，采用精度(Precision)、召回率(Recall)和F1分數(F1Score)這3個常用的深度學習目標檢測領域評價指標對光伏電站結果進行分析評價. 指標定義如下：

(2)

(3)

(4)

式中：TP表示目標為光伏電站檢測結果也為光伏電站(正檢)； FP表示目標非光伏電站檢測結果為光伏電站(誤檢)； FN表示目標為光伏電站檢測結果為背景(漏檢). 通常情況下，精度和召回率表現為負相關，而F1分數是將兩者結合起來對網絡進行綜合評價.

3 實驗結果與分析

3.1 模型性能

使用相同的數據集(訓練集1 747張、測試集300張)對改進的Mask RCNN(Mask + RoI、Mask × RoI、CMask + RoI、Mask RCNN)和原始Mask RCNN進行訓練，最終得到4種針對光伏電站檢測的實例分割模型，然后對比分析不同檢測模型對于光伏電站的識別能力.

3.1.1平均精度均值(mAP)

圖5 網絡訓練的平均精度均值曲線Fig.5 mAP curve for network training

平均精度均值能從整體上反映出一個模型的優劣程度，它是實例分割中模型評價的重要評價指標. 為降低無關變量的影響，在訓練不同模型時除改進部分, 其余參數的設置均保持相同，如圖5所示. 從圖5可見，在相同數據集的情況下，不同網絡的mAP存在一定的差異，且采用改進的Mask + RoI結構的網絡表現最佳，經過30次迭代訓練之后mAP達到85.8%，比Mask × RoI、CMask + RoI和原始Mask RCNN分別高出3.8%、2.9%、6.4%. 在光伏電站的數據集上，原始Mask RCNN的mAP最低，其最佳的mAP為79.6%.

3.1.2驗證集精度、召回率和F1分數

將4種網絡經過30次迭代訓練后得到4種模型，然后用4種模型對驗證集中的光伏電站進行檢測，每一種模型測試采用10組閾值(0.50～0.95), 得到10種不同的檢測結果. 最后, 得到每一種模型下10組閾值的精度、召回率、F1分數，并繪制它們的變化趨勢，如圖6所示.

由圖6可知，置信度閾值和精度呈現正相關，與召回率呈現為負相關. 在這四種網絡中帶有Mask + RoI結構的網絡呈現出最佳性能，最高精度達到92.6%，在0.50以上置信度閾值的情況下召回率保持在96.4%以上，而在閾值為0.95時F1分數達到94.45%. 對比分析可知，帶有CMask + RoI、Mask × RoI結構的網絡性能依次降低，其最大精度依次為，90.1%、89.4%； 召回率兩者在95.0%以上； 其最大的F1分數依次為92.5%、92.1%； 原始Mask RCNN性能表現最差，最高精度為77.4%，召回率在94.2%以上，F1分數最高為85.0%.

圖6 不同閾值下的精度曲線、召回率曲線和F1分數曲線Fig.6 Trend of precision, recall and F1 Score curves at different confidence threshold

通過以上實驗和分析，添加Mask + RoI、Mask × RoI、CMask + RoI模塊相比于原始Mask RCNN網絡精度、召回率、F1分數都有一定程度的提升. 其中添加Mask + RoI模塊的網絡在這3種評價指標中均表現出了最好的性能. 深度實例分割網絡通過添加逐像素置信度模塊，同時考慮預測掩膜與真實掩膜之間的IoU, 以及目標檢測分支分類置信度，取代了原始Mask RCNN中僅僅只使用分類分數來評估最終掩膜質量的處理方法，結果表明，這種改進提升了光伏電站的檢測精度.

3.2 新疆地區光伏電站提取結果與分析

通過上述實驗，最終選擇加入逐像素置信度模塊(Mask + RoI)的網絡，使用1.2.2節中制作完成的訓練集和測試集經過30次迭代得到最終用于光伏電站檢測的模型； 采用1.2.2節中的測試數據使用4個GPU在17 h完成.

在對新疆地區光伏電站實際檢測中，采用綜合性能最好的模型對光伏電站進行提取，考慮到召回率的優先級更高，先采用0.2的置信度將模型用于新疆地區光伏電站的檢測，后逐步提高置信度得檢測結果如表1所示. 在置信度為0.8時得到光伏電站295個，通過人工解譯發現誤判49個，漏檢29個，經計算在置信度為0.8時光伏電站的檢測精度為83.4%. 新疆地區光伏電站檢測結果如圖7所示.

表1 不同閾值下模型的檢測結果

圖7 新疆地區光伏電站檢測結果Fig.7 Detection results of photovoltaic power plants in Xinjiang Region

對新疆不同地區光伏電站檢測結果的面積、數量、分布、大小光伏的貢獻進行統計分析，結果如圖8所示. 由圖8可見，新疆地區光伏電站總面積為198.38 km2, 其中，吐魯番地區、哈密地區等東部地區比克孜勒蘇柯爾克孜自治州、喀什地區等西部地區光伏產業密集，光伏電站面積達77.09 km2； 阿勒泰地區、塔城地區等北部地區光伏產業分布較少，光伏電站面積為5.15 km2； 其余地區分布相對均勻. 從光伏個數上看，新疆各地區光伏電站數量越多，該地區光伏電站面積一般也越大，表明各個地區單個光伏電站建設規模大體上一致. 從大小光伏的貢獻上看，光伏電站建設面積在0.80 km2以下的較多，數量為211個，總面積為92.65 km2； 光伏電站建設面積在0.80 km2以上的較少，數量為64個，面積為105.73 km2，表明總體上新疆大面積光伏建設和小面積光伏建設對新疆光伏發電的貢獻基本相當.

圖8 新疆地區光伏電站檢測結果統計Fig.8 Statistical map of detection results of photovoltaic power plants in Xinjiang Region

4 結語

通過分析基于遙感影像的光伏電站特征，改進傳統Mask RCNN的特征分類信息的衡量標準，提出添加逐像素置信度模塊的深度實例分割網絡. 該網絡通過改變衡量Mask掩膜的標準，即將預測掩膜與真值掩膜二者之間的IoU和目標檢測分支分類置信度結合起來度量光伏電站掩膜的質量. 最后網絡頭部由目標框位置、目標框置信度、逐像素位置、逐像素置信度4個損失結構構成，通過反向傳播優化預測Mask像素的分類精度，提升網絡對于光伏電站精細邊界的識別. 實驗結果表明，此改進有利于網絡對于光伏電站的提取，使得該網絡對于光伏電站檢測精度達到83.4%. 同時，實驗也證明了將深度學習方法應用于遙感大數據中能夠實現對復雜目標的準確獲取. 相比于傳統的統計方法，該方法對于大面積區域中目標的高效獲得具有重要意義. 當然，該方法也可以應用于基于遙感影像的其他目標的獲取，獲取結果可為相關行業提供數據支撐.

由于光伏電站特征比較復雜，我國中部和東部的山區光伏電站的樣本不便制作，導致用于模型訓練的數據較少，這在一種程度上限制了模型的精度. 但光伏電站特征豐富，山區中光伏電站局部地區特征具備一致性，今后主要對山區光伏電站局部特征進行研究，進一步優化網絡結構，從而提升光伏電站整體特征的識別，實現更大范圍的光伏電站提取.