多模式遙感智能信息與目標識別：微波視覺的物理智能

金亞秋

(復旦大學電磁波信息科學教育部重點實驗室 上海 200433)

1 引言

人工智能研究與應用已成為當今科技發展的一個重大領域，發展人工智能是提升國家核心競爭力、維護國家安全的重大戰略性科學技術。

美國麻省理工學院幾十年從未有過新設學院，但是在2018年10月，MIT宣布新設施瓦茲曼計算學院[1]，并建設了專門為計算機科學、人工智能、數據科學及相關交叉領域的斯迪塔(Stata)科學中心(見圖1)。其目的在于看準了人工智能與大數據計算對未來科學與技術的強力推動作用。在斯迪塔科學中心大廳陳列了MIT在二戰期間建造的SCR-615B雷達(見圖2)。MIT校長也特地在今年MIT通訊上發表文章[2]，強調人工智能帶來的競爭與挑戰。

圖1 MIT斯迪塔科學中心Fig.1 MIT stata science center

圖2 大廳中陳列的SCR-615B雷達Fig.2 SCR-615B radar displayed in the hall

2016年，美國白宮連續發布《為人工智能的未來做好準備》、《國家人工智能研究和發展戰略規劃》和《人工智能、自動化與經濟報告》3份重量級報告并推動成立了機器學習與人工智能分委會(MLAI)，積極布局人工智能未來發展[3]。2018年1月，美國國防部發布了新版《國防戰略》報告，指出先進計算、大數據分析、機器人等技術的發展是影響國家安全的重要因素。2018年6月，美國國防高級研究計劃局(Defense Advanced Research Projects Agency,DARPA)首次公開討論美國“電子復興計劃”的初步細節，電子復興計劃的開展將加速推動人工智能硬件的發展。同年9月，DARPA宣布將致力于打造具有常識、能感知語境和更高能源效率的系統[4]。2019年2月，美國總統特朗普簽署了《維持美國人工智能領導力》的行政命令，旨在保持美國在人工智能領域的全球領導地位。2019年2月12日，美國防部網站公布了《2018年國防部人工智能戰略概要-利用人工智能促進安全與繁榮》，闡明了美國軍方部署人工智能的戰略舉措以及重點領域[5]，美國國防部計劃以DARPA的“下一代人工智能”(AI Next)和“人工智能探索”(AIE)兩個項目為標桿，著力探索和應用人工智能技術，提升軍事實力。“AI Next”項目于2018年9月宣布啟動，該項目基于DARPA過去60年引領開發的兩代人工智能技術，強調AI的“環境自適應”能力，探索的主要領域包括：促使國防部關鍵業務流程自動化的新技術；提高AI系統的魯棒性和可靠性；增強機器學習和AI技術的安全性和靈活性；降低功耗，避免數據和性能效率低下；開創下一代AI算法和應用[6]。AIE計劃將專注于“第三波”人工智能的應用及理論，旨在讓機器適應不斷變化的情況，其將簡化提案、合同和資助流程，旨在加快AI平臺的研究和開發工作，幫助美國保持其在AI領域的技術優勢。

2017年3月，法國發布《人工智能戰略》，新建了人工智能中心，開發了數據存儲與處理平臺、自動學習技術平臺和網絡安全平臺等[7]。德國“腦科學”的戰略重點是機器人和數字化，且在2012年德國馬普科學研究所就和美國開展計算神經科學合作的研究[8]。日本也高度重視人工智能技術的發展，2017年日本政府出臺《下一代人工智能推進戰略》，明確人工智能發展的重點，并推動人工智能技術向強人工智能和超級人工智能的方向延伸[9]。

我國在2017年7月發布《新一代人工智能發展規劃》，并制定了國家人工智能戰略分3步走的目標，到2030年使中國人工智能理論、技術與應用總體達到世界領先水平，成為世界主要人工智能創新中心[10]。當前，我國在人工智能研究與應用已表現出十分強大的科研動員力量，如國家自然科學基金于2017年8月發布了“人工智能基礎研究應急管理項目指南”，擬資助人工智能前沿基礎、智能自主運動體、復雜制造過程智能決策理論與關鍵技術3個方面25個研究方向的研究[11]。我們相信，在創新驅動下，我國將在人工智能AI技術的研究、應用與產業領域取得重大的發展，在世界上占據重要領地。

本文提出在空間遙感與目標識別的領域內發展AI技術。我們在2017年主持了遙感智能處理(IEEE RSIP)會議[12]，并在IEEE TGRS/GRSL上組稿[13-16]發表論述。我們在“科技導報”上多次發表論述[17,18]，突出“物理智能”與“微波視覺”的概念。這里再專門就SAR目標監測與信息感知，論述在電磁波與目標相互作用的物理背景下進行人工智能信息技術的研究，即“物理智能”，以發展在人眼不能識別的電磁頻譜上形成目標信息感知的“微波視覺”。

2 多源多模式SAR信息感知

在20世紀50年代，SAR圖像只是單一模式的雷達散射截面積(Radar Cross Section,RCS)灰度圖，用于有無軍用目標的監測。隨后在70年代開始在民用領域取得了巨大的發展與應用，如海洋風場、陸地水文、植被積雪、降水旱澇、自然災害監測評估、地表變化識別等等，各類應用有各類需求，提出不同科學內涵的理論與技術問題，有力地促使了SAR技術的全面發展。進入21世紀以來，全極化、干涉、高分辨率等SAR衛星技術迅速地相繼發展，形成了多源多模式全極化高分辨率SAR(以下簡稱：多模式SAR)信息技術(見圖3)。

隨著空間分辨率的提高至米級與分米級，多模式SAR遙感信息感知形成了一個在民用與國防科技有重大意義的科學技術領域。21世紀的SAR促進了自動目標識別(Automatic Target Recognition,ATR)的研究與應用。從1維的有無到2維目標圖、3維目標特征識別、以及多維的目標形態等。

但是，SAR信息感知與目標特征反演重構并不是靠人工視覺可以完成的，電磁波與復雜目標的相互作用及其散射成像機理是SAR成像的物理基礎。我們對SAR成像的理論參數建模、數值模擬、在頻域空域時域極化域的物理與數值特征進行了研究，形成了極化SAR參數化模擬軟件，散射與成像計算，以及由此進行的目標分類識別、特征重構等[19]。

多模式SAR遙感產生大量系列性多時相和多類物理特征的圖像及其豐富多類的復數據，在遙感大數據驅動下，遙感應用技術取得了十分廣泛的進展。但是，大多局限于傳統的數據統計分析與圖像處理技術，顯然不能適應多模式SAR技術與應用需求，尤其是很難完成天空地海各類目標的自動識別ATR及其多維度精細信息的感知與反演重構。

3 大數據驅動的人工智能技術

圖3 各國SAR發展概況Fig.3 Overview of SAR development in various countries

人工智能技術近年里取得了科技與產業界相當廣泛的關注。基于眼睛-視網膜-大腦V1-V4區的對局部構造-特征-整體的識別，建立一種簡單的感知規則，獲得視覺感知能力。基于計算神經的方式，以大數據的數據擬合驅動，構造多層網絡卷積，從局部構造、特征矢量空間，到大整體的網絡計算，來實現內在信息的感知能力。這是人工智能及其深度學習的思路。

類似地，如何發展新的“聰明”的類腦功能，適于電磁波散射成像的SAR信息感知，它不同于通?；诠鈱W視覺為基礎的計算機視覺處理，要構造適應SAR內涵信息感知的微波譜上的智能信息技術，我們稱之為：在遙感大數據驅動下，基于多元多模式全極化高分辨率SAR物理機制指導下的電磁AI-新的科學技術，從人腦的光學視覺到類人腦的電磁波-微波視覺。

由圖4、圖5，多模式SAR的物理基礎是電磁波散射傳輸建模仿真正問題和多維度信息反演重構的逆問題研究，基于類腦計算神經算法的人工智能深度學習在多模式SAR遙感物理背景約束的各類大數據驅動下，進行人工智能的信息感知處理，從而在各個領域中應用。

4 用于ATR的物理智能的微波視覺

基于SAR散射成像機理，形成處理該類大數據的類腦智能功能，來感知SAR信息，這仿佛就是“看見了微波”：微波視覺。它最終能夠在線自動解譯、產生一種易于接受的可視化表征與視覺語義等，這就是“微波意識”，對SAR散射輻射場的視覺語義、推理、決策和交互的偵查、識別、干擾、對抗、打擊的技術形態。

圖4 天空地海目標的多源多模式SAR遙感信息感知研究與應用Fig.4 Research and application of multi-source and multi-mode SAR remote sensing information perception for spatial-ground-sea targets

圖5 遙感大數據的物理智能到應用Fig.5 Physical intelligence to application of remote sensing big data

由圖6，本文提出由電磁波散射創數的正逆理論與類腦人工智能研究的結合，產生智能新算法，這是交叉科學的電磁人工智能EM AI。它在地球遙感、ATR、電子對抗、衛星導航通信等有重要的應用。由此，本文提出“電磁空間的遙-通-導技術”。

我們最近主編了“空間微波遙感研究與應用叢書”[20]，計劃有14本專著陸續由科學出版社出版，其中有8部專著論及SAR信息獲取(圖7)。其中包括該實驗室撰寫的“雷達圖像信息智能解譯”[21]。該專著依據SAR圖像解譯的背景需求和研究現狀，總結了該實驗室近年來利用深度學習智能技術在SAR自動目標識別、極化SAR地物分類等領域的最新研究進展，并提供了相關章節的樣例數據和程序代碼。

圖6 空間電磁學的人工智能Fig.6 Artificial intelligence of space electromagnetics

圖7 空間微波遙感研究與應用叢書Fig.7 Spatial microwave remote sensing research and application series

本實驗室關于智能信息感知的一些研究內容概述如下：

(1)提出SAR目標智能識別算法[15]，所提全卷積網絡通過去掉全連接層來減少獨立參數的個數，將此網絡應用于SAR目標分類數據集MSTAR上，10類目標平均分類精度達到了99%，還實現了對SAR圖像端到端的目標檢測-鑒別-識別方法。提出了海面艦船目標的快速檢測算法，并建立SAR圖像艦船目標數據集，開展了基于遷移學習的船舶目標分類實驗。

(2)提出復數域的深度學習訓練網絡算法[16]，以極化相干矩陣的復數多維圖像訓練極化SAR地表分類的卷積神經網絡CNN。將該算法應用于全極化SAR圖像地物分類，Flevoland 15類地物平均分類精度達到了95%[22]。

(3)提出了少樣本的CNN，用于目標ATR，具有良好的網絡泛化能力；并進一步研究了在無樣本條件下，CNN特征矢量分布的目標識別與分類能力[14]。零樣本學習對SAR ATR很重要，因為訓練樣本并不總是適用于所有的目標和場景。文中提出了一種新的基于生成的神經網絡框架。該框架的關鍵部分是生成式反卷積神經網絡，稱為生成器。它在學習目標分層表示的同時自動構建一個由方向不變特征和方向角張成的連續SAR目標特征空間。然后將其用作設計和初始化解釋器卷積神經網絡的參考，該解釋器網絡與生成器網絡成反對稱。然后訓練解釋器網絡將任何輸入的SAR圖像映射到目標特征空間。

(4)SAR圖像去斑點噪聲的CNN處理；提出了一種去除斑點噪聲的深度神經網絡結構[23]。它使用CNN提取圖像特征并重建離散的RCS概率密度函數(Probability Density Function,PDF)。該網絡由一個混合損失函數訓練，該函數度量實際的SAR圖像強度PDF與估計的SAR圖像強度PDF之間的距離，該距離由重建的RCS PDF與先驗散斑PDF之間的卷積得到。可以通過仿真圖像或者真實SAR圖像來訓練網絡。在仿真SAR圖像和真實NASA/JPL AIRSAR圖像上的實驗結果都證實了所提出的去斑點噪聲的神經網絡的有效性。

(5)由單極化SAR圖像轉化為極化SAR圖像的彩色化CNN處理，用于場景分析處理[24]。文中提出了一種將單極化SAR圖像轉換為全極化SAR圖像的深層神經網絡。該網絡由兩部分組成，分別是特征提取網絡和緊隨其后的用來匹配空間特征和極化特征的特征翻譯網絡，通過這種方法每個像素的極化協方差矩陣都可以重建出來。最終得到的全極化SAR圖像不僅在視覺相似性方面，而且在真實的PolSAR應用方面與真實的全極化SAR圖像非常吻合。

此外，還有一部分工作是利用國內外SAR、包括中國GF-3 SAR數據，用于地面車輛、機場飛機和海面艦船等的SAR-AI-ATR識別；提出了干涉INSAR反演森林樹高的CNN方法以及由光學圖像和微波SAR的對照訓練，構造光學圖像和微波雷達成像的互易生成方法。以上工作可以參考相關專著[21]。

5 結束語

數據不等于信息。大數據只是素材、是一種驅動；不同的數據，就有不同的科學內涵；因此大數據的簡單直接的統計和分析并不能涵蓋內涵信息的感知，尤其是對于人眼直觀難以感受的多模式微波SAR的成像多維度矢量化復數據，提出用物理指導下的大數據驅動的AI反演信息，發展AI新模型、新算法，適應SAR遙感物理學與應用需求。交叉學科的AI研究十分重要，EM AI新科技的實現將帶動多產業-多應用的發展。

目前，多模式遙感智能信息與目標識別研究尚處于探索階段，需要進一步開展相關研究，繼續構造“微波視覺”的新理論、新方法和新應用技術。