SARMV3D-1.0:SAR微波視覺三維成像數據集

仇曉蘭 焦澤坤 彭凌霄 陳健堃 郭嘉逸 周良將 陳龍永 丁赤飚* 徐 豐 董秋雷 呂守業

①(微波成像技術國家級重點實驗室 北京 100190)

②(中國科學院空天信息創新研究院 北京 100190)

③(蘇州空天信息研究院 蘇州 215123)

④(復旦大學 上海 200433)

⑤(中國科學院自動化研究所 北京 100190)

⑥(北京市遙感信息研究所 北京 100192)

1 引言

三維成像是合成孔徑雷達(Synthetic Aperture Radar,SAR)技術發展的重要前沿方向之一。SAR三維成像可以直接獲得目標的三維電磁散射結構，消除SAR圖像中由成像機理導致的收縮、疊掩、頂底倒置等現象，顯著提升目標識別和解譯能力，對全天時/全天候的三維環境構建、陡峭地形和城市測繪、目標精細化解譯和災害評估等具有重要意義。

目前國內外提出并開展研究的SAR三維成像技術體制，主要包括單通道層析成像和多通道陣列干涉，其能獲得多角度觀測信息來供三維成像使用。然而，目前即便是采用稀疏成像等處理方法，通常仍然需要數十次層析飛行或十余個天線陣列單元，數據采集周期長或雷達系統極其復雜，對于星載SAR的控軌要求和機載SAR的航跡控制要求均非常高，大規模推廣應用難度很大。因此，亟需創新SAR三維成像的理論方法，實現自動化、高效能、低成本的SAR三維成像技術。

深入分析現有SAR三維成像處理技術，主要基于合成孔徑的理論框架，利用成像觀測的精確物理幾何模型對雷達回波進行數學建模，基于“雙/多角度”觀測圖像的像素點匹配、相干合成或幾何求解來獲得三維信息。在三維成像時僅利用了該像素點多角度圖像的角度維信息，而并未利用該像素所在二維圖像中所包含的物體結構、屬性以及該像素的散射機制信息。

實際上，單幅二維SAR圖像已經蘊含了環境與目標的結構、紋理、遮擋關系等許多可被三維空間認知利用的空間線索，如，經過一定訓練的判讀人員都可以通過觀測二維圖像，在腦海中形成粗略的“三維影像”；SAR回波的散射機制蘊含著目標的三維結構線索，通過角度/頻率/極化等維度的散射機制分析，也可以挖掘出目標三維結構的一些信息。

為此，中國科學院空天信息創新研究院(下簡稱“中科院空天院”)牽頭，聯合復旦大學等單位，提出了一個新的研究思路：能否將雷達回波和二維圖像中隱含的三維線索，通過微波散射機制(微波)和圖像視覺語義(視覺)挖掘的方法加以提取，并引入到傳統的SAR成像方法中，從而降低所需多角度觀測的數據量，實現高效的三維成像，發展出全新的“SAR微波視覺三維成像理論與方法”。隨后，中科院空天院、復旦大學與中科院自動化所、北京大學、北京市遙感信息研究所等單位一起進行了充分的論證，并向國家自然科學基金委員會提出了建議和申請，獲得了國家自然科學基金重大項目的支持。在該項目支持下，在SAR微波視覺三維成像理論方法研究的同時，還擬研制一套小型化無人機載一發四收全極化SAR，稱為微波視覺三維SAR驗證系統(MV3DSAR)，進行數據獲取和技術驗證，并擬構建和公開發布一套典型場景和目標的SAR微波視覺三維成像數據集，為該領域的研究提供必要的基礎平臺，也為理論方法的應用轉化提供測試數據。

本文第2小節給出SAR微波視覺三維成像數據集的構建規劃；第3小節給出數據集中包含的SAR圖像建筑物語義分割數據集1.0版本的的構建方法和數據信息內容；第4小結給出數據集中包含的SAR三維成像數據集1.0版本的構建方法、實驗結果和包含的數據信息內容；第5小節總結全文。

2 SARMV3D數據集構建與發布

SAR微波視覺三維成像理論方法的研究涉及三維電磁散射機理及微波視覺信息感知逆問題、SAR圖像視覺三維認知理論與方法、基于微波視覺的SAR三維成像理論與方法3個關鍵科學問題。為了促進各個科學問題的研究，SARMV3D數據集構成如圖1所示。

圖1 SARMV3D數據集構成示意圖Fig.1 Composition of SARMV3D dataset

圖2 建筑物語義分割數據集構成示意圖Fig.2 Composition of SARMV3D-BIS dataset

SARMV3D數據集包括三維電磁散射機制研究和SAR圖像視覺三維認知研究兩個輔助數據集和一個基于微波視覺的SAR三維成像研究綜合數據集。其中：

(1) 三維電磁散射機制研究數據集，主要用于研究和驗證典型散射機制及散射機制組合的電磁建模、表征、三維特征參數反演估計的正確性，包括典型散射機制及其組合的仿真、暗室測量和外場測量數據等，主要由復旦大學負責構建；

(2) SAR圖像視覺三維認知研究數據集，主要用于研究和驗證從SAR圖像中挖掘和識別三維基元、三維結構和三維目標方法的有效性和正確性，包括高分辨率SAR圖像以及典型建筑等目標和典型結構基元的標注結果，主要由中科院空天院和自動化所負責構建；

(3) 基于微波視覺的SAR三維成像數據集，是最主要的綜合數據集，包括城鎮場景、復雜地形、典型目標3個主要的類型，每個類型將包括SAR層析或陣列干涉獲得的單視復圖像(SLC)、相關的成像參數文件、光學攝影等獲得的三維建模數據以及激光雷達獲得的高精度三維點云數據，主要由中科院空天院牽頭進行構建。

現階段，MV3DSAR正在研制過程中，預計2021年年底完成，待系統研制完成后，將進行大量的數據采集工作，以完成數據集構建。目前，為了推進SAR微波視覺三維成像理論方法的研究，作者基于中科院空天院的陣列干涉SAR實驗系統獲取的數據，以及高分三號衛星獲取的高分辨率SAR圖像數據，初步構建SARMV3D的1.0版本。該版本包括了SAR微波視覺三維認知研究數據集中典型建筑物語義分割數據集的1.0版本，以及基于微波視覺的SAR三維成像數據集中城鎮場景類數據的1.0版本，見圖1中綠色背景部分，上述數據集已經發布在《雷達學報》網站上，具體鏈接見附錄。下面兩個小節將分別進行介紹。

3 SAR建筑物語義分割數據集

高樓林立的建筑區域場景是SAR三維成像的一個重要應用場景，一方面通過三維成像消除建筑物之間及其與地面目標之間的疊掩，有利于場景的理解與目標的發現和識別，另一方面三維成像與時序干涉相結合，有利于建筑區域的形變監測。為此，在數據集構建方面，將城鎮場景作為一類典型場景，將建筑物作為一類典型研究對象開展研究。本文SAR建筑物實例語義分割數據集(Synthetic Aperture Radar Microwave Vision 3D Imaging -Building Instance Segmentation Dataset，簡稱SARMV3D-BIS)與現有一些遙感圖像建筑物分割數據集，如光學遙感圖像建筑物分割數據集Inria Aerial Image[1],WHU building dataset[2]等，以及目前僅有的包含SAR圖像建筑物分割的數據集SpaceNet[3]，有如下幾點顯著區別：(1)本數據集面向SAR微波視覺三維成像，對建筑物的語義標注更加精細，每個建筑物都標注了建筑物的立面、屋頂和陰影3個部分，并且進行了實例標注；(2)本數據集基于單視復圖像數據進行標注，從而能夠與三維成像更好結合，也有利于散射特性的挖掘和SAR圖像三維認知方法研究。

3.1 數據集構成

本文1.0版本的面向微波視覺三維成像的SAR建筑物語義分割數據集的構成如表1所示。

表1 SAR建筑物語義分割數據集構成Tab.1 Composition of SARMV3D-BIS dataset

該數據集的原始SAR圖像來自GF-3聚束模式的美國奧馬哈市地區圖像。現階段選擇這個區域進行數據集構建主要基于如下考慮：奧馬哈地區為2019年IEEE GRSS Data Fusion大場景三維重建比賽[4]的選定區域，該區域建筑類型豐富，并具有大量的Worldview的光學影像；本團隊購買了該地區的Worldview光學立體像對和生成的高精度數字地表模型(Digitul Surface Model,DSM)，并申請了GF-3衛星該地區的影像14景用于數據集制作。在數據集后續版本中，將繼續增加其他典型建筑區域的數據。

3.2 數據集構建方法

本數據集構建的難點在于建筑物的實例分割和每棟建筑物立面、屋頂、陰影的精細化語義標注。由于SAR成像幾何和散射機制的復雜性，建筑區域的SAR圖像人工解譯也具有相當大的難度，即使請有經驗的判讀員也很難人工準確標注出每個建筑和建筑的立面、屋頂和陰影。為此，課題組提出了基于三維模型仿真逆投影進行標注的系統性流程和方法，方法流程如圖3所示。首先進行建筑區域場景三維模型的構建；然后根據每景影像的SAR成像參數和帶地理信息的三維模型數據進行SAR成像投影幾何關系的計算，得到陰影、屋頂、建筑立面在SAR一級圖像上的投影范圍，并根據每個像素對應的來自不同部分的散射貢獻數量，得到疊掩次數圖；最后對SAR圖像及其對應的Mask圖和疊掩次數圖進行標準化裁切，并按照既定的格式生成標注文件，從而形成了符合規范的數據集。下面詳細介紹每個步驟的處理方法。

圖3 數據集構建流程圖Fig.3 Flow chart of construction of SARMV3D-BIS dataset

3.2.1 建筑區域場景三維模型構建

首先通過開源網絡資源獲取建筑區域的建筑足印地圖。課題組基于openstreetmap.org網站提供街道地圖數據的下載服務，選擇目標區域范圍和輸出格式后，即可下載該區域的公開地圖(Open Street Map,OSM)數據，包括了路網、建筑、路燈、公共區域等多類信息，本團隊根據信息類型提取其中的建筑足印信息，提取后的建筑足跡信息可視化結果如圖4所示。在具體構建過程中，本團隊以geojson格式存儲該足印信息，并將該足印信息與該區域的參考高精度DSM進行對齊。由于兩個數據的經緯度均具有較高的精度，通過人工尋找特征結構能夠很好地實現對齊。然后根據對齊后每個建筑足印中心的經緯度直接提取該位置對應DSM中的高度值作為建筑物高度，從而相當于形成了建筑物的LOD1模型，無建筑物足印的部分高度直接取DSM中對應的高度。

圖4 建筑足跡信息提取Fig.4 Extraction of building footprint

3.2.2 SAR圖像建筑物實例語義標注方法

通過上述步驟獲取含建筑物LOD1模型的DSM數據后，需要將其投影至SAR圖像以確定建筑不同面的投影范圍。此處采用SAR圖像產品自帶的RPC(Rational Polynomial Coefficients)參數進行處理。由于SAR圖像定位存在一定的誤差，上述DSM數據也存在一定的定位誤差。為了保證投影后能夠對準，首先根據上述DSM數據及其對應的高分辨率光學影像數據，尋找SAR和光學均可見的特征點(如路燈燈柱等)作為控制點，根據這些點在DSM數據上獲取的經緯高信息，修正SAR圖像的RPC參數。基于修正后的RPC參數，就可得到大地坐標(Lat,Lon,H)和影像坐標(rl,rs)之間的對應關系，相關計算方法在SAR領域已相當成熟，可參考文獻[5,6]等，在此不再贅述。

明確了投影計算關系后，還需確定能被雷達波照射和不能被雷達波照射的相交關系才能確定陰影等的范圍，下面給出具體的計算步驟與方法。

(1) 屋頂：首先確定建筑物屋頂在SAR 1級圖像中的投影范圍。根據建筑物足印信息中存儲的建筑物屋頂多邊形角點的經緯度以及在DSM中獲取的高度，利用RPC參數可直接計算得到這些多邊形角點在1級圖像中的像素號，從而可連接形成一個在1級圖像中的封閉區域，如圖5所示。通過判斷每條邊所在的像素在相同方位向的近距是否有其他邊存在，可以判斷該邊所對應的立面能否被雷達波照射到。圖5中AB和BC的立面能被照射到，而CD,D E,E F和F A所在的立面則無法被照射到。

圖5 建筑物屋頂區域示意圖Fig.5 Schematic diagram of building roof

(2) 建筑立面：根據上文的判斷規則，對能夠照射到的立面，計算建筑立面的投影區域。方法是對該立面在足印中對應邊的頂點的經度緯度和所在地面高度以及所在屋頂高度組成的4個點，利用RPC參數，求得其在1級圖像中對應的像素點，形成立面區域，如圖6(a)中AA′B′B,BB′C′C所示，在斜距軸上，立面為圖6(b)中的藍色區域，屋頂為黃色部分，黑色點為墻面與地面二次散射的匯聚點。由圖6可見，立面和屋頂的投影范圍是有重疊的，在本數據集的標注json文件中，完整記錄了屋頂、立面每個區域的信息，但在Mask圖像中，屋頂和立面重疊的部分取的是屋頂的標簽。

圖6 SAR圖像中建筑物立面投影示意圖Fig.6 Projection of building elevation

(3) 建筑陰影：建筑陰影區域的計算相對復雜一些，首先根據屋頂投影時確定的未被雷達波照射的邊來確定陰影的邊界。例如對于FA這條雷達波無法照射到的邊，先對A點和F點求關于地面的等效鏡像點也即A點的經度緯度高度為[P,L,hg+hA]，其中hg為建筑區域周邊的地面高度，hA為建筑物屋頂相對于地面的高度，為當地的入射角；然后對利用RPC參數求得其在SAR 1級圖像中的投影位置，如圖7的A′′所示；從圖7中可見與SAR的距離和陰影邊界A′′與SAR的距離是一樣的，因此可以采用該等效鏡像點的投影計算得到陰影邊界；同理，可計算得到F′′,E′′,D′′,C′′，從而AFEDCC′′D′′E′′F′′A′′形成了建筑陰影的外邊界，如圖8所示；將該范圍除去屋頂頂面和建筑立面投影范圍的交集，就是最終的陰影范圍。

圖7 等效鏡像點示意圖Fig.7 Schematic diagram of equivalent mirror point

圖8 SAR圖像中建筑物陰影投影示意圖Fig.8 Projection of building shadow in SAR image

上述解釋了單個建筑的投影范圍計算方法，對于建筑物與建筑物之間離得比較遠，沒有復雜疊掩和遮擋關系的情況，就可以根據上述投影結果進行語義分割標注。然而，對于建筑物與建筑物之間離得比較近的情況，還需額外考慮相互之間的影響關系，判斷的方法如下：

(1) 首先，根據建筑物足印多邊形在地面上的位置和高度信息，得到其在SAR 1級圖像的投影，如圖9中的藍色圖像多邊形所示，并根據投影多邊形的斜距大小，判斷哪個建筑在前、哪個建筑在后。

圖9 SAR圖像中多個建筑物的投影示意圖Fig.9 Projection of multiple buildings in SAR image

(2) 其次，采用上述屋頂、立面和陰影范圍的計算方法，得到每個建筑的屋頂、立面和陰影在1級圖像中的范圍；從而對于該SAR圖像的每個像素，都可以得到其對應的語義屬性，對于那些存在復雜疊掩和遮擋關系的地區，每個像素都存在多個屬性。

(3) 對標注的語義根據遮擋關系進行約簡。如后一個建筑的立面或屋頂位于前一個建筑的陰影區域，如圖9(a)所示，則該區域為陰影，在Mask圖中標識為陰影；如后一個建筑的立面或屋頂位于前一個建筑的立面和屋頂區域，如圖9(b)所示，則Mask圖中優先標識為立面，其次為屋頂；在標注的JSON文件中則完整保留每個建筑實例的各個區域信息。

3.2.3 數據集標注規范

基于上述方法，中科院空天院基于GF-3衛星聚束模式數據構建了SARMV3D-BIS 1.0版本。需要說明的是，由于本數據集制作采用的建筑足印數據和Worldview獲取的DSM數據與SAR影像數據時不相同，因此難免存在標注噪聲。本團隊通過人工目視判讀進行了一定的篩選剔除，并綜合考慮建筑物語義分割的難度和標注的置信度，將數據集分成了困難(D)、中等(M)和簡單(S) 3種不同難度的子數據集。其中，困難版包含尺寸為1024×1024大小的圖像1588張，涵蓋建筑實例4.8萬余個，其中小型建筑比較多；中等版和簡單版分別包含尺寸為1024×1024大小的圖像773張和234張，分別涵蓋建筑實例1.5萬和6000余個。為了便于研究者基于相同的數據集進行方法的比較，本團隊按照6:2:2的比例，隨機分成了訓練集、驗證集和測試集，每個子集的標注規范是完全一致的。SARMV3D-BIS 1.0數據集的構成已在表1中明確，下面重點給出標注JSON文件的信息格式。

為了與國際已有的圖像語義分割數據集保持一致，便于研究者應用，本數據集的標注JSON文件格式參考了微軟發布的MSCOCO數據集[7]。JSON文件包含的結構體類型有info,images和annotations 3種，info數組只有一組，在文件起始處描述文件整體的基本信息，而images數組、annotations數組的數量均等于圖像切片的數量，對每個圖像切片進行分別描述。JSON文件的字段及含義如表2和表3所示。

表2 SARMV3D-BIS數據集的標注文件Tab.2 Annotation file of SARMV3D-BIS dataset

表3 segmentation字段信息Tab.3 Information of ‘segmentation’ field

3.3 實驗結果與分析

實例分割不僅要正確找到圖像中的目標，還要對其進行精確的語義分割，分割任務與檢測、分類任務是同時進行的。目前，計算機視覺中實現SOTA的實例分割神經網絡主要有Mask RCNN[8],SOLOv2[9],Yolact[10]等。其中，Mask RCNN具有極高的實例分割性能和較好的泛化能力。Mask RCNN通過感興趣區域像素到像素的對齊(RoI Align)，保留真實確定的空間位置，很好地解決了感興趣區域池化(ROI Pooling)操作中兩次量化造成的區域不匹配的問題，同時為每個感興趣區域增加一個和邊界框回歸平行的分支區預測目標的掩膜，實現了掩碼預測和類別預測的解耦。為此，本文選擇Mask RCNN來進行本數據集的測試，驗證數據集的可用性。

Mask RCNN能夠檢測SAR圖像中的建筑物，同時為每個建筑物實例生成高質量的分割掩膜。由于當前實例分割研究的主流方法均認為一個實例中只有一個語義類別，因此本團隊將SARMV3D-BIS 1.0數據集中的疊掩和屋頂之和(不計陰影)作為SAR圖像建筑物的實例掩膜，使用Mask RCNN進行初步實驗，并給出該數據集的實例分割性能基準。

Mask RCNN訓練SARMV3D-BIS 1.0分為兩階段。第1階段為頭部訓練，學習率為0.001，訓練輪數為500，第2階段為對網絡所有層的微調，訓練輪數為300，學習率為0.0001。實驗平臺為pytorch 1.4，硬件為RTX 8000 GPU，以ResNet-101-FPN為骨干的Mask RCNN在SARMV3D-BIS 1.0數據集中的訓練速度為3.3 fps。

Mask RCNN的損失函數[8]包括分類損失、回歸損失和掩碼損失。使用Mask RCNN在SARMV3DBIS 1.0(S)上的訓練過程中驗證集損失變化曲線如圖10所示，最終的各類實例分割損失[7]如表4所示。評價標準方面，采用均值平均精度(mAP)來衡量檢測及分割性能，實驗結果如表5和表6所示，其中，第3列為MSCOCO評價標準[11]，評估在共10個不同的交并比(IoU)[0.5:0.05:0.95]下的平均mAP，第4列為Pascal VOC[12]評判標準，評測IoU在閾值為0.5下的mAP值，第5～8列為符合MSCOCO評價標準[11]中的其余幾項指標。SARMV3D-BIS 1.0(S)數據集的建筑物實例分割結果如圖11所示。

圖10 使用Mask RCNN在SARMV3D-BIS 1.0(S)上的訓練過程中驗證集損失變化曲線Fig.10 Loss curve in the train process on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

圖11 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的實例分割結果Fig.11 Results of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表4 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的實例分割損失Tab.4 Loss of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表5 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的檢測框mAPTab.5 mAP of bounding box on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

表6 使用Mask RCNN在SARMV3D-BIS 1.0(S)驗證集上的掩膜mAPTab.6 mAP of mask on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

由結果可見，直接采用當前SOTA方法進行本數據集的實例分割達到的精度尚較低，與光學數據集分割精度指標相比存在較大差距。原因是SAR圖像與光學圖像存在很大的差別，例如SAR圖像中建筑物輪廓往往不夠明顯，屋頂等平坦表面大多呈現弱散射，不易與地面區分。這說明SAR圖像建筑物實例分割具有很大的挑戰性，還有很大的研究空間。SARMV3D-BIS 1.0作為首個公開高精度標注的SAR圖像建筑物實例分割數據集，能夠為本領域研究提供良好的支撐，具有較高的可用性和研究價值。

4 SAR三維成像數據集

目前，國際上發布的可用于三維成像研究的數據集還非常少，僅有的是美國空軍實驗室發布的GOTCHA數據集[13]。其為X波段圓跡SAR模式獲取目標全方位角的觀測數據，并通過改變軌道高度獲取了8個不同俯仰角的觀測，所用的極化方式為全極化，帶寬640 MHz。該數據場景范圍為100 m×100 m左右，場景中的主要目標為車輛，疊掩情況相對而言不是很嚴重，如圖12所示。

圖12 GOTCHA數據集幅度圖像Fig.12 Amplitude image of GOTCHA dataset

2015年，中科院空天院成功研制了國際上第一部高分辨率分布式陣列干涉合成孔徑雷達三維成像實驗系統[14]，該系統采用側視成像模式，天線等效相位中心沿交軌向分布，利用陣列天線結合MIMO技術，通過一次飛行獲取三維觀測數據，相干性好、時效性強，具備單次航過實現三維成像的能力，圖13為該陣列干涉SAR系統。

圖13 陣列SAR飛行平臺及天線Fig.13 Array InSAR

為促進SAR三維成像領域的技術發展，中科院空天院基于該系統獲取的數據，首次于《雷達學報》網站上發布了機載陣列干涉SAR三維成像數據。

4.1 數據集信息

本文發布的1.0版本SARMV3D Imaging數據集，選用2015年和2019年陣列干涉SAR系統在山西運城和四川峨眉山開展飛行試驗獲取數據中的部分數據，數據信息如表7所示。數據集中兩個區域主要包含的地物均為疊掩較為嚴重的建筑物，如圖14和圖15所示。數據集的構成如表8所示。

表8 SARMV3D Imaging數據集構成Tab.8 Composition of SARMV3D Imaging dataset

圖14 運城區域數據影像Fig.14 Data of Yuncheng area

圖15 峨眉山區域SAR圖像Fig.15 Data of mount Emei area

表7 SARMV3D Imaging數據集信息Tab.7 Information of SARMV3D Imaging dataset

4.2 數據集構建方法

為了便于本領域研究人員應用該數據集開展研究，本團隊對機載陣列干涉SAR數據進行了一系列預處理，從而規避系統誤差帶來的影響。下面簡要給出處理方法。

4.2.1 幅相誤差估計補償方法

受工藝水平等的限制，陣列天線多通道回波信號之間難免存在幅度和相位誤差，而由于SAR成像主要利用了多通道回波信號之間的相位關系，通道間的幅相誤差將會嚴重影響三維成像的質量。圖16展示了通道間幅相誤差對于三維重建結果的影響。因此，通道間幅相誤差需要高精度的估計和補償。

圖16 幅相誤差補償前后的三維點云結果對比Fig.16 Comparison of 3D point cloud results

課題組采用基于定標器估計和基于場景三維圖像熵優化估計兩種方法相互驗證的策略，獲取準確可靠的幅相誤差估計結果來進行補償。

首先基于場景中的定標器的幅相誤差估計方法[15]，通過精確測量定標器的三維位置結合飛行平臺的差分GPS信息，可以計算SAR圖像中定標點的理想幅度與相位。通過比較定標點的理想相位歷程和真實圖像相位，結合地面建筑結構先驗知識，可以迭代估計通道間幅相誤差。

定標器數量非常有限，并且由于擺放誤差等原因，也存在一定的可靠性風險。為此課題組提出基于三維圖像熵約束的估計方法。假設不存在通道相位誤差的情況下，傳統的層析SAR三維成像模型如式(1)所示：

如果考慮到通道間的相位誤差，則上述表達式轉化為

其中，δ1,δ2,···,δN為每個通道的相位誤差，如以第1個通道為基準，則存在N–1個未知量。針對上述模型，本團隊提出以重建三維點云的三維圖像熵為優化準則的相位誤差估計方法，以式(3)中的相位誤差δ作為待優化變量，在重建三維模型的同時對通道間的相位誤差進行了估計補償，具體實現方法可參考團隊前期工作[16]。

圖17展示了本方法對整幅圖像分塊處理后10個區域估計的結果，可見估計得到的通道間相位誤差基本一致，側面說明了估計的可靠性；其中有1個區域的誤差估計結果與整體結果有些偏差，經檢驗該區域對應圖像為水體，信噪比較低，因此應用時將其剔除。圖18給出了基于三維圖像熵估計的相位誤差平均結果和基于定標點估計結果差值的曲線，去除因采用參考高程不一致帶來的線性偏差后，兩者的差異在8°以內，驗證了兩種估計方法的可靠性。

圖17 通道間相位誤差估計結果Fig.17 Results of phase error estimation between channels

圖18 兩種相位估計結果的比較Fig.18 Comparison results of two phase estimation methods

基于上述相位誤差估計方法，本團隊對運城區域和峨眉山區域的數據進行了相位誤差補償，同時采用幅度比值法進行了通道幅度誤差估計和補償，從而減小了系統誤差的影響。

4.2.2 三維成像方法

利用上述經過幅相誤差補償的三維成像數據，采用團隊近期提出的基于鄰域約束的稀疏重建算法[17]進行三維成像。傳統SAR三維成像算法逐像素孤立求解，不考慮像素鄰域信息，重建結果雜散點多、信雜比低。為此本團隊引入了與語義相關的概率約束，在每個像素的8-鄰域內通過相鄰像素高程位置的相關性對雜散點位置進行約束。研究發現，通常散射系數相關性越大，空間分布聚集性越強，基于此結論，采用局部高斯-馬爾可夫隨機場對鄰域高程分布進行建模，對相鄰像素的高度進行聯合求解，有效提升了重建精度并減少了雜散點數量。處理得到的三維成像結果如圖19所示，圖中顏色代表了散射點的海拔。

圖19 SARMV3D Imaging數據集三維成像結果Fig.19 3D imaging results of SARMV3D Imaging dataset

4.2.3 疊掩次數圖生成方法

在獲得三維成像結果的同時，為了給SAR微波視覺三維成像研究提供額外的輔助參考信息，本團隊同步生成了一個疊掩次數圖。研究表明，受限于圖像信噪比等原因，SAR三維重建得到的點云往往存在大量的雜散點。為了濾除雜散點，可以通過幅值檢驗或廣義似然比檢驗來判斷重建的散射點是否為真實散射點。若某個散射點判斷為虛假散射點，則將其從三維點云中剔除。本數據集中提供的Layover.tif文件包含了圖像中每個像素包含的真實散射點個數，即疊掩次數。本團隊采用基于幅值檢驗的方法生成上述疊掩次數圖，將散射系數幅值小于事先設定閾值的散射點剔除后，統計二維圖像每個像素經三維成像后分離出來的有效散射點個數，作為參考疊掩次數。圖20為運城和峨眉山兩塊區域的疊掩次數圖。

圖20 SARMV3D Imaging數據集區域疊掩次數圖Fig.20 Overlay times map of SARMV3D Imaging dataset

5 結束語

本文介紹了SAR微波視覺三維成像數據集的構建規劃，并介紹了本次發布的1.0版本數據集(SARMV3D-1.0)的構成信息和構建方法。SARMV3D-1.0數據集包括了SAR建筑物實例語義分割數據集1.0版本(SARMV3D-BIS 1.0)和SAR三維成像數據集1.0版本(SARMV3D-Imaging 1.0)。目前在SAR三維成像領域，國際上公開可用的數據集非常稀缺，本文在國際上首次發布了機載陣列干涉SAR三維成像數據集，希望為SAR三維成像研究提供急需的測試和驗證平臺。

在國家自然科學基金重大項目的支持下，項目團隊后續將持續致力于該數據集的構建和發展，并將根據數據集的應用反饋持續改進完善。

致謝本數據集的構建得到了國家自然基金委重大項目的支持和指導專家組的指導，得到了項目組課題承擔單位復旦大學、中科院自動化所、北京市遙感信息研究所等的幫助，構建本數據集的GF-3衛星圖像數據由國家衛星海洋應用中心無償提供，在此一并表示感謝。

附錄

SAR微波視覺三維成像數據集公開共享將依托《雷達學報》官方網站進行，數據于每次更新后上傳至“SAR微波視覺三維成像數據集1.0”頁面中，如附圖1所示，具體網址為http://radars.ie.ac.cn/web/data/getData?dataType=SARMV3D，數據將根據SAR微波視覺三維成像相關飛行試驗的開展和數據集的制作進度不定期更新。

附圖1 SAR微波視覺三維成像數據集發布網頁App.Fig.1 Release webpage of Synthetic Aperture Radar Microwave Vision 3D Imaging Dataset