機載SAR圖像解譯系統設計研究

項海兵， 吳 濤， 張玉營， 盛佳佳

(1.中國電子科技集團公司第三十八研究所， 安徽合肥 230088；2.孔徑陣列與空間探測安徽省重點實驗室， 安徽合肥 230088)

0 引言

機載合成孔徑雷達(SAR)作為一種對地觀測手段，具有全天候、全天時、探測距離遠、幅寬大、響應快速、分辨率高等諸多優點。目前國內外已發展了大量的機載SAR系統，廣泛應用于各個方面，如土地利用分類、地形測繪、災害監測、海洋油污監測、目標檢測識別等[1-3]。針對機載SAR系統來說，SAR圖像處理方式包括在線處理和離線處理兩種。在線處理指飛行采集數據的同時，針對輸出的每幀圖像實時進行顯示、存儲和處理等；離線處理指飛行時僅采集數據，飛行后在地面再對圖像數據進行存儲、顯示和處理等。

SAR圖像解譯是當前機載SAR系統應用的瓶頸問題，主要體現在以下三個方面：(1)海量SAR圖像數據的存儲管理需求。一般地，機載SAR系統每次飛行任務都會產生至少幾百個GB的回波數據和圖像數據。不同類型的數據需要分類存儲，海量的歷史數據需要有效的存儲和管理，只有通過足夠大的數據中心、合適的數據庫工具，才能有序管理數據。然而，實際應用中SAR數據通常采用硬盤的形式保存，雜亂無序，缺乏有效的數據庫記錄，不利于圖像的深入挖掘。因此，迫切需要對SAR數據進行有效的管理。(2)SAR圖像數據的態勢顯示需求。機載SAR系統獲取的連續SAR圖像數據如何在地理信息系統中顯示、準確定位，是圖像準確判圖基礎。隨著SAR系統性能越來越高，如分辨率越來越高、圖像越來越大，在解譯端開展SAR圖像數據顯示分析的壓力也越來越大。當前的普遍問題是：(a)SAR圖像只是進行了縮略圖顯示，沒有進行全分辨率圖的解譯分析；(b)SAR圖像沒有與地理信息融合，無法判明當前SAR圖像覆蓋區域的地理環境；(c)大圖像數據的更新顯示緩慢。如今GIS技術日趨成熟，如何將SAR圖像與GIS結合，解決流暢顯示和準確定位的問題迫在眉睫。(3)SAR圖像快速解譯的需求。時效性是圖像判讀的重要指標。當前，SAR圖像信息提取的實時性還比較弱。一方面，面對海量圖像數據，人工判讀速度相對慢；另一方面由于目標的多樣性，很難找到統一的檢測、識別方法，計算機輔助功能弱。同時，計算資源的約束也是一個重要的影響因素。

針對以上應用需求，本文提出了一種機載SAR圖像解譯系統的解決方案。系統采用客戶端/服務器端(C/S)架構，客戶端完成數據顯示和用戶交互，服務器端完成數據存儲服務和圖像解譯計算服務。

1 設計方案

1.1 軟件架構

機載SAR圖像解譯系統采用客戶端/服務器端(C/S)架構。系統架構如圖1所示，其組成包括數據管理軟件、數據態勢顯示軟件、圖像解譯標繪軟件三個客戶端應用軟件，以及數據服務軟件和計算服務軟件兩個后臺服務軟件。

圖1 系統軟件組成和架構圖

1) 數據服務軟件提供各種數據的存儲和分發服務；數據主要包括SAR圖像、GMTI航跡數據、目標檢測結果和用戶等業務數據和矢量電子地圖、影像地圖等基礎地理數據。

2) 計算服務軟件具有基于并行計算實現圖像解譯的核心計算功能，如圖像預處理、目標檢測與識別、變化檢測等。

3) 數據管理軟件實現在線或離線圖像數據、動目標數據、情報數據和地理數據的存儲、管理、備份和導入導出等；與數據服務系統之間采用C/S(客戶端/服務器)架構，可部署在不同的終端，支持不同用戶協同操作。

4) 數據態勢顯示軟件實現圖像/動目標實時瀏覽、標繪、數據查詢等。

5) 圖像解析標繪軟件實現圖像/動目標實時瀏覽、人工解譯、目標檢測與識別、變化檢測等。

1.2 硬件架構

針對存儲海量數據(SAR影像數據、航跡數據、目標數據、電子地圖數據)，且需支持多用戶聯合操作、實時處理、數據共享等需求，搭建一個小型的服務器/客戶端架構(或者擴展為分布式架構)的系統，如圖2所示。系統包括數據服務器、計算服務器以及多個用戶終端。數據服務器主要完成數據存儲管理，計算服務器主要完成涉及大數據量運算的圖像處理。用戶終端是用戶的主要操作界面，用戶提交數據請求、功能請求等，服務器端響應請求，執行相關操作并返回結果。

圖2 便攜式情報終端硬件架構設計

所有的服務器與客戶端都支持靈活部署，可分布在不同的機器，亦可分布在同一機器。通過簡單配置，即可實現網絡環境下的協同工作和單機環境下的緊湊型工作。

2 關鍵技術

本系統的主要關鍵技術包括多源異構海量數據管理技術、基于OSGEarth的地圖和圖像疊加顯示技術、大圖像壓縮顯示技術和基于深度學習的目標自動檢測與識別技術。

2.1 多源異構海量數據管理技術

采用結構化關系型空間數據庫和非結構化的NoSQL數據庫相結合的混合空間數據存儲管理系統，實現影像數據、地理信息數據、目標數據等海量空間數據的分布式存儲管理，解決海量空間數據的存儲和快速并行訪問問題。

SAR圖像數據的單個文件較大，達到GB級規模，不適合關系型數據管理。因此，采用文件系統和關系型數據庫相結合的管理模式。關系型數據庫存儲影像數據的元數據信息；文件系統存儲實際的影像數據。在檢索影像數據時，首先在元數據庫中檢索影像的元數據，檢索到之后再根據記錄的影像文件地址，獲取影像數據。

由于矢量數據規模中等查詢復雜，因此采用基于關系數據庫的空間數據庫進行管理。空間數據庫主要采用PostgreSQL數據庫+PostGIS空間插件。

對于用作背景的柵格影像地圖采用NoSQL數據庫進行存儲管理；MongoDB數據庫是一種文檔類型數據NoSQL數據庫，具有讀寫速度快、支持較復雜結構數據和易于擴展的特點。MongoDB 將數據存儲為一個文檔，數據結構由鍵值(key?value)對組成。基于MongoDB數據庫創建的地圖影像底圖數據庫，用于存儲影像瓦片圖數據。數據庫表結構內容如表1所示。

表1 瓦片數據庫表結構

2.2 基于OSGEarth的地圖和圖像疊加顯示技術

機載SAR圖像解譯系統中態勢顯示作為其核心顯示模塊需具有極高的性能要求，不僅需要顯示地圖底圖，還需要疊加顯示大數量的SAR圖像數據，同時支持大量的人機交互操作。為了更好的性能和用戶體驗，本文選擇采用OSGEarth作為態勢地圖的核心驅動技術，重點解決地圖和圖像的疊加顯示問題。

1) 地圖數據加載

OSGEarth是基于三維引擎OSG開發的三維數字地球引擎庫，在OSG基礎上實現了瓦片調度插件，可選的四叉樹調度插件，更多的地理數據加載插件(包括GDAL，OGR，WMS，TMS，VPB，FILESYSTEM等)，再結合一套地理投影轉換插件，從而實現高效處理加載調度地理數據在三維地球上的顯示，實現三維虛擬地球。

OSGEarth使用自己的earth文件，簡單指定各種數據源，而不用關心數據如何渲染，便能顯示各種地理數據。OSGEarth加載地圖數據整體流程如圖3所示。

圖3 OSGEarth數據加載整體流程

2) 圖像數據加載

SAR圖像解析系統圖像數據加載通過請求圖像切片服務，實現對顯示的圖像進行切片和縮略圖生成，通過OSGEarth的ImageOverlay控件進行圖像顯示。圖像數據加載流程如圖4所示。

圖4 圖像數據加載處理流程

(1) 新增圖像：當主軟件客戶端需要新增圖像時，通過http協議發送注冊圖像請求至圖像切片服務軟件，服務判斷圖像是否存、返回注冊結果。在返回注冊成功后，獲取圖像縮略圖和圖像切片數據，并在地圖上顯示。

(2) 地圖刷新：當地圖顯示進行移動、比例尺變化時，通過http重新請求圖像切片數據，并刷新圖像顯示。

(3) 圖像平移：在用戶提交圖像平移處理后，根據平移的偏移量發送平移矯正請求后重新獲取圖像切片數據，并刷新圖像顯示。

2.3 基于金字塔的大圖像壓縮顯示技術

單幅SAR圖像的像素數量可能在32 768× 32 768以上，其大小至少在1 GB以上。對于如此大圖像數據的傳輸和顯示，給系統的穩定、流暢運行帶來了壓力。本系統在這方面重點進行了突破，采用多分辨率金字塔壓縮技術，實現對大圖像的壓縮，并根據顯示比例，快速調用對應級別的圖像。

在GIS中，圖像都是柵格數據，其物理存儲采用“金字塔層-波段-數據分塊”的多級索引機制進行組織，采用金字塔結構存放多種空間分辨率的柵格數據，同一分辨率的柵格數據被組織在一個層面(Layer)內，而不同分辨率的柵格數據具有上下的垂直組織關系；越靠近頂層，數據的分辨率越小，數據量也越小，只能反映原始數據的概貌；越靠近底層，數據的分辨率越大，數據量也越大，更能反映原始詳情。

金字塔通過檢索使用指定分辨率(取決于顯示要求)的數據，可以加快柵格數據的顯示速度[4]。利用金字塔，可在繪制整個數據時，快速顯示較低分辨率的數據副本。而隨著放大操作的進行，各個更精細的分辨率等級將逐漸得到繪制，但性能將保持不變。如果不使用金字塔等級，則必須從磁盤中讀取整個數據文件，然后將其重采樣為更小的大小。

式中，En—林木資源資產經濟價值量；W—銷售總收入；C—林木資源資產的各項經營成本；F—林木資源資產經營期間的合理利潤。

每個柵格數據只需構建一次金字塔，之后每次查看柵格數據時都會訪問這些金字塔。柵格數據越大，創建金字塔所花費的時間越長，這也意味著將來顯示會節省更多時間。

圖5為金字塔構建模型。在構建圖像金字塔時，由低一層圖像得到高一層圖像的過程一般是：先濾波，然后以2為步長進行采樣。根據金字塔的不同，所采取的濾波操作也不同，如采用鄰域平均可以生成均值金字塔，采用高斯低通濾波可以生成高斯金字塔等。

圖5 影像金字塔構建模型

2.4 基于深度學習的目標自動檢測與識別技術

國內針對SAR圖像的目標檢測與識別的研究已經有20多年的歷史，一直是SAR圖像解譯應用的核心任務[5-6]。近年來，隨著深度學習神經網絡技術的發展，傳統基于先驗知識進行目標模板匹配和機器學習的方法已經落后，主流的研究是采用訓練樣本數據進行深度學習神經網絡模型參數訓練，得到目標識別網絡模型，再將網絡模型應用于SAR圖像的目標檢測與識別。對本系統來說，需要將深度學習目標檢測與識別網絡進行工程應用[7]。

目前，深度學習目標檢測識別分為兩大類算法，一種是“兩階段”算法，一種是“單階段”算法。“兩階段”就是常見的基于候選區的目標檢測方法，包括RCNN系列和RPN等，比較代表性的為Faster RCNN；“單階段”是單次檢測器，代表性的有YOLO(You Only Look Once)、SSD(Single Shot Detection)等。

“兩階段”方法主要是通過區域估計產生大量的可能包含待檢測物體的潛在目標框，再用分類器去判斷每個目標框里是否包含有物體，以及物體所屬類別的概率或者置信度，如RCNN, Fast RCNN, Faster RCNN等，這類算法由于速度問題，始終未達到工業應用的要求[8-9]。

“單階段”方法將物體檢測任務作為一個回歸問題來處理，使用一個神經網絡，直接從一幅圖像來預測出目標框的坐標和置信度。代表性的方法就是YOLO V1，V2，V3系列以及SSD算法。YOLO V2在YOLO V1基礎上增加很多技巧，并增加輸出類別至9 000類。YOLO V3融合了FPN結構，增強了小目標檢測能力。

3 功能實現

通過關鍵技術攻關，實現了機載SAR圖像解譯原型系統，主要包括數據管理、SAR圖像顯示、SAR圖像目標檢測識別等功能。

3.1 業務數據數據管理

針對業務數據，采用關系型數據庫進行管理，主要包括對基本數據(用戶、項目等)、偵察數據(SAR圖像數據)、處理結果數據(目標檢測數據)等的存儲、查詢、管理(添加、編輯、刪除)等操作。圖6所示為數據管理軟件中查詢SAR圖像的效果圖。用戶可以利用SAR圖像的目標類型、成像模式、極化、波段、地理位置、成像時間等信息，非常便捷地查詢到所需歷史數據，并且可疊加在影像地圖上。

圖6 數據管理主界面(圖像查詢結果)

3.2 SAR圖像顯示

離線或者實時在線的SAR圖像數據都可以在地圖上進行精確的疊加顯示，如圖7所示。地圖疊加顯示可方便用戶了解SAR圖像的成像范圍、背景信息，為判圖工作提供良好的解譯環境。

圖7 SAR圖像疊加顯示

3.3 SAR圖像目標檢測識別

對離線或者實時在線的SAR圖像數據都可以進行目標檢測識別操作，返回帶有目標信息(位置、目標類型、大小、置信度等)的識別結果疊加顯示在地圖上，如圖8所示，亦可以結合背景地圖對識別結果進一步人工判讀，刪除虛警目標，提交入庫，并生成更準確的情報信息。

圖8 自動目標檢測及目標顯示

4 結束語

針對機載SAR系統應用的海量SAR圖像數據的存儲管理、SAR圖像數據的態勢顯示、SAR圖像快速解譯等需求，本文提出了基于客戶端/服務器端(C/S)架構的機載SAR圖像解譯系統的解決方案，并進行了原型系統研發，突破了海量數據的有序管理和查詢使用，有效地解決了海量SAR圖像數據的存儲管理問題；實現了SAR圖像數據的高精度地圖疊加顯示，為圖像解譯奠定堅實基礎；集成了基于深度學習的智能檢測識別功能，可實現SAR圖像實時快速解譯。后續，將進一步優化系統性能，提高運行效率。