天網情報決策級融合分析技術體系研究

楊曉冬 梁斯東 張寶玉

（北京道達天際科技有限公司 北京市 100049）

1 引言

美軍在《軍事行動聯合和國家情報支援》報告中將情報劃分為地理空間情報、人力情報、信號情報、測量與特征情報、開源情報、技術情報和反情報七大類，其中，以空天傳感器為主的圖像和圖像情報是地理空間情報的重要組成部分，美軍認為80%以上戰場環境信息與地理空間位置相關；以互聯網搜集為主的多媒體類情報是開源情報的最重要來源，美軍認為80%以上情報是依靠挖掘公開資料獲得的。為實現情報全源分析，2012 年美軍啟動“大數據研發計劃”，目的是利用人工智能技術提升從海量復雜數據中及時掌握情報并獲取知識的能力。

隨著高分辨率對地觀測重大專項的深入實施，極大提升了我軍成像偵察能力，帶動情報分析、人工智能、高性能計算等技術在圖像情報分析中的全面應用；同時，隨著公眾號、頭條等平臺的廣泛應用，我軍一改開源情報研究處于被動和零散的狀態，自主開源情報研究活動與日俱增。但是，天基偵察情報與網絡開源情報未形成有效融合與協同，綜合效益未發掘和發揮。

天網情報是融合圖像和圖像情報、互聯網開源情報的各自特點并通過大數據和人工智能等技術方法進行分析挖掘而產生的新型情報產品，其中“天”是指通過航天航空傳感器獲取的圖像、位置等對地觀測數據進行分析獲得的情報；“網”是指對在互聯網中流轉、存儲的各類公開發布的多媒體數據進行分析獲得的情報。天網情報具備幾乎不受限制的數據采集能力，并蘊含豐富的高時效高價值情報信息。同時，天網情報數據也存在數據量巨大、信息冗余且復雜、處理與分析技術難度大等現實挑戰。

2 天網情報決策級融合技術體系

2.1 理論框架

鑒于天網情報決策級融合分析技術研究的復雜性，研究組構建了“BRT”理論研究框架，其中“B”代表情報業務維、“R”代表數據關系維、“T”代表支撐技術維，如圖1 所示。

圖1：天網情報決策級融合分析技術體系理論框架圖

其中：

（1）情報業務維（B）：由場景模型（S）、數據模型（D）和分析模型（A）組成。根據應用場景，構建情報分析業務模型，并基于此自動或半自動的構建特定場景下的數據模型和分析模型，同時考慮數據不完備性及多維度分析需要，數據模型與分析模型在情報分析過程中互相影響、逐步完善。

（2）數據關系維（R）：由時間維度（T）、空間維度（G）和關系維度（R）組成。構建情報數據多模混合存儲模型，實現數據的時間、空間與關系三個維度的互聯互動，破解不同屬性數據之間的隔離，實現天網異源異構數據的一體化組織與服務。

（3）支撐技術維（T）：由地理空間數據語義化（I）、聲視圖文數據時空化（M）和文本數據智能化（T）等涉及天網情報決策級融合分析的關鍵技術組成，為天網情報融合提供基礎技術保障。

2.2 研究內容

天網情報決策級融合旨在對不同類型的成像傳感器數據和從互聯網采集的聲視圖文信息，利用圖像分析、自然語言處理、時空圖譜、情報可視化分析等技術，形成對所監測對象的初步結論，然后通過智能化、自動化的關聯、綜合和推理等技術方法進行決策級融合，最終獲得多維度的聯合分析結果，為輔助預警、態勢推演、動向監視等多種應用場景提供支撐。如圖2 所示。

圖2：天網情報決策級融合分析技術體系研究思路圖

天網情報決策級融合技術體系主要研究內容包括：

（1）研究圖像數據預處理、圖像分割、目標識別、三維重建、變化檢測和判讀解譯等相關技術，檢測、提取和識別目標三維實體和目標空間信息，實現圖像信息的語義化描述。

（2）研究互聯網開源數據智能采集、清洗去冗、語義分析等相關技術，抽取互聯網開源數據中的地理實體和空間關系，實現開源數據與時空維度對準。

（3）基于圖像情報、開源情報的初步處理與分析成果，構建天網情報圖譜，建立復雜情報要素之間的關聯關系，支持天網情報決策級融合分析模型的構建、訓練、分析、整編和表達。

（4）研究天網情報多態混合存儲與組織管理模型，以“關系”為主線的天網情報一體化組織管理，支持圖文并茂、動靜結合的天網情報可視化展示。

2.3 框架設計

天網情報決策級融合技術體系以圖像信息語義化、開源信息時空化為主軸，采用分析模型與業務模型和數據模型相分離、按圖索驥引導式數據檢索、探索交互式情報分析挖掘的研究理念設計天網情報決策級融合分析技術路線。技術體系框架主要劃分為數據、分析、存儲、應用等四個層次，如圖3 所示。

圖3：天網情報決策級融合分析技術體系框架圖

2.4 技術要點

2.4.1 圖像情報語義化技術

圖像情報語義化以圖像為對象、知識為核心，研究圖像中哪個位置有什么樣的目標、目標場景之間的相互關系、圖像表現了什么場景等問題，圖像內容描述具有“像素-目標-區域-場景”的層次包含關系，能將完整的圖像內容轉換成可直觀理解的類文本語言表達[1]。圖像信息語義化技術利用深度學習、遷移學習、高性計算等前沿技術手段，開展圖像語義信息挖掘，本文圖像信息語義化主要針對空天立體觀測獲取的高分辨率遙感影像地物要素提取、特定目標檢測、三維地形信息提取、區域增量更新等技術內容。基于超海量影像數據開展高分辨率影像語義理解，是對圖像的像素級描述，它賦予特定像素類別意義，同時作為實現決策級融合的基礎過程，能夠為天網情報決策級融合提供強有力支撐。

2.4.1.1 基于深度學習的圖像分割與目標檢測技術

（1）遙感影像語義分割。

圖像語義分割不僅需要精確地描述出目標的輪廓，還需要準確地判斷出目標的類別，也就是目標的語義信息[2]。傳統圖像分割方法包括閾值分割法、邊緣檢測法、區域分割法等只運用圖像本身的淺層次特征信息，例如顏色、紋理、梯度直方圖等特性，不需要進行訓練，導致其方法實用性不強，僅僅局限于描述出目標的輪廓。基于深度學習的圖像語義分割方法近年來得到持續發展，卷積神經網絡能夠使用參數構建一個深層的網絡，通過深度學習方法自動學習有效的特征，能夠挖掘目標深層抽象的特征，這種方式優于傳統語義分割的精度。主流的圖像分割網絡有全卷積神經網絡FCN、空洞卷積神經網絡DeepLabV3+等。天網情報決策級融合分析技術體系中圖像分割技術結合這兩種方法，能夠形成高精度的圖像分割數據產品。

（2）目標檢測與識別。

基于深度學習的目標檢測網絡的前端通常采用圖像分類網絡作為特征提取部分。天網情報決策級融合分析技術體系中采用基于回歸的目標檢測網絡，代表網絡為SSD 和YOLO。這類算法去除了區域提取的過程，在得到輸入圖像之后直接在圖像指定的多個位置處返回該位置的目標類和目標區域坐標。此外，在對小目標的檢測中，SSD 利用Faster R-CNN 的Anchorer 機制，使用六種不同比例的特征圖進行目標識別。在底層特征圖中檢測小物體，在高層特征圖中檢測大物體，實現了效率和檢測效果之間的平衡。

2.4.1.2 高分辨率影像三維實景信息提取

目標的三維實景信息是天網情報的重要組成部分，提供了遙感影像和互聯網開源數據不具備的三維屬性，并以數字化的方式對地形表面起伏狀態和細節特征進行模擬。基于衛星和無人機可見光影像的三維地形信息和建筑物信息重建涉及的時序影像特征點提取、時序影像匹配、廣域區域網平差、建筑物模型精細重建等一系列技術手段，實現了地形三維信息重建和建筑物精細重建工作，為天網情報決策級融合提供三維信息獲取能力。如圖4 所示。

圖4：高分辨率影像三維實景信息提取技術路線圖

2.4.1.3 區域增量更新技術

區域增量更新基于深度學習與機器學習技術，根據特定目標區域數字柵格圖增量更新的需求，通過深度學習模型推理、深度學習變化監測、增量式地圖更新鑲嵌等方法，實現重點目標地物變化監測與數字柵格圖更新。

傳統的遙感變化檢測方法假設地面目標的高程信息未變化，但這種假設并不嚴謹，且目前提出的變化檢測方法很少考慮三維的變化并難以實現自動化，比較典型的三維變化檢測都是基于獨立生成的兩個時期DEM，然后對兩個時相DEM 相減完成的三維變化檢測。天網情報決策級融合分析技術體系采用遙感影像匹配及三維變化檢測技術和二三維綜合建筑物變化檢測技術，實現對目標區域的變化監測。區域增量更新技術路線圖如圖5 所示。

圖5：區域增量更新技術路線圖

（1）遙感影像匹配及三維變化檢測技術。

首先利用地理信息數據輔助新遙感影像進行外方位元素的解算，采用半自動化的人機交互方式選擇上述控制點和控制線，并利用廣義點攝影測量理論解算新時期遙感立體像對的外方位元素；第二，在地理信息數據輔助下，借鑒計算機視覺中的多視平面掃描（multi-viewplanesweep）技術進行密集影像匹配；第三，為保存建筑物直線特征的同時，又能有效利用高程信息，將DSM 重新虛擬成像為一張高程虛擬影像；最后，在已生成DSM 基礎上，與舊DEM 同分辨率的規則格網內進行插值采樣生成新時期的DEM，并以舊DEM作為參照，通過二值化的方法來確定地物的三維變化[9]。

（2）二三維綜合建筑物變化檢測技術。

該技術包括顧及建筑物特性的無人機影像分割和二三維信息綜合的建筑物變化檢測。①高分辨率影像變化檢測通常利用對象級的檢測方法，影像對象的獲取需要進行面向對象影像分割。針對普通影像分割方法難以顧及無人機影像中建筑物本身故有特征的問題，提出了一種二三維信息綜合的無人機影像分割方法。該方法在超像素分割的基礎上，綜合利用影像中邊緣信息、建筑物的固有形狀以及高程正射影像的高程約束進行對象合并，并針對高大建筑物的頂面和墻面掩膜范圍對高大建筑物進行分割優化。②對于二三維信息綜合的面向對象建筑物變化檢測，首先利用影像密集匹配獲取的高程信息，對區域內的高大建筑物進行檢測及變化檢測，獲取置信度較高的高大建筑物變化檢測結果。在單張未拼接正射影像上利用二維影像及高程信息進行初始變化候選區提取，并進行二三維信息交叉驗證獲取變化檢測結果。最后對單張影像檢測結果進行融合獲取最終變化檢測結果[8]。

2.4.2 開源情報時空化技術

互聯網中開源信息種類日趨豐富，數據量迅速擴張，為天網情報決策級融合提供了豐富的數據來源。通過自然語言處理、文本翻譯、OCR 文本識別等技術實現開源數據清洗治理。

2.4.2.1 開源情報智能采集

互聯網中開源信息種類日趨豐富，數據量迅速擴張，為天網情報決策級融合提供了豐富的數據來源。基于開源數據采集利用爬蟲云采集技術、P2P 共享加速、數萬IP 動態切換等技術手段，突破網站的反爬蟲限制。基于瀏覽器模擬技術，無人值守即可自動完成復雜網站的腳本解析和樣式渲染，可采集絕大多數網站。盡可能做到廣覆蓋、深挖掘、及時更新，通過分布式爬蟲從境內外政府、軍隊、智庫、新聞、社交媒體和機構等信源中采集感興趣互聯網信息和地理空間信息，建立天網情報素材庫。

2.4.2.2 開源情報預處理

從互聯網獲取的開源數據種類繁雜，根據其表現形式大致可分為圖像、文本、視頻、音頻四大類。文本及圖片數據處理主要依托OCR 文字識別、語言翻譯、自然語言處理等技術手段，完成圖像文字識別、詞法分析、句法分析、語義分析、語用分析等工作。視頻數據一般是將視頻畫面以幀的形式抽出按照圖片形式進行處理提取其中有用信息。隨著深度學習的發展，基于卷積神經網絡的OCR 技術和自然語言處理技術逐漸成熟并獲得工業應用，能夠為實現天網情報決策級融合提供高可用的技術手段。

2.4.2.3 開源情報空間化

空間位置可通過與其他空間對象的空間關系或坐標、地址等信息來描述一個對象。網絡中大量的文本數據以自然語言來描述，往往不會采用精確的經緯度坐標，而是采用地理實體及他們間的空間關系表示。開源信息空間化主要完成地理實體識別和空間關系識別，即通過自然語言技術提取地理位置信息，即從自然語言描述的網絡文本數據中識別表達空間位置的參照命名實體，建立實體之間的語義和空間關聯，發現和填充與地理實體相關的空間位置、屬性信息和事件[5]。通過將開源信息空間化對象與遙感目標檢測識別結果建立關聯，實現“影像-目標-對象”的組織，為天網情報的高效存儲與組織管理奠定基礎。

2.4.3 天網情報決策級融合技術

從數據融合層面上分析，可大致劃分為數據級融合、特征級融合和決策級融合等三個層次。

（1）數據級融合：直接在采集到的原始數據層進行融合，在傳感器原始測報未經預處理之前就進行數據的綜合與分析。

（2）特征級融合：屬于中間層融合，先對傳感器的原始信息進行特征抽取（如邊緣、方向、速度等），然后對特征信息進行綜合分析與處理。

（3）決策級融合：通過不同類型的傳感器觀測同一個目標，每個傳感器在本地完成基本處理，其中包括預處理、特征抽取、識別或判決，以建立對所觀測目標的初步結論，然后通過關聯處理進行決策層融合判決，最終獲得聯合推斷結果。

天網情報決策級融合技術主要針對海量多源天網情報，進行圖譜分析、關聯分析、時空分析和自適應分析等信息融合綜合分析，形成決策級分析數據，以輔助決策者制定相關策略。

2.4.3.1 天網情報關聯關系建立

天網情報關聯關系存在著多種不同的樣式，關聯關系建立主要有時空關聯、對象關聯和內容關聯等。按照統一的標準規范建立時空基準，能夠基于數據采集的時間、空間建立事件發生的線索，不僅從底層的時間、空間維度建立關注對象與數據的關聯，同時又從高層語義維度建立關注對象與數據間關聯。這樣一種混合模型能夠從多個維度去刻畫、描述、定義關注對象和數據的外延，真實地還原時空數據和公開開源數據所在的環境，提升天網情報的應用價值[11]。天網情報關聯關系建立技術路線圖如圖6 所示。

其中：

（1）時空關聯。

面向統一時空基準的天網情報關聯分析，其基本目的就是在多種來源的天網情報之間建立合理的關聯關系，以便通過數據準確還原他們所描述的現實對象，達到快速、準確的獲取有用信息的目的。通過基于實際需求抽取描述數據的關鍵屬性，作為數據關聯分析的基本邏輯，例如，把時間、空間作為關聯數據的基本屬性。單純基于屬性來進行數據關聯，當面對海量數據時，存在結構過于簡單的問題。為了解決這個問題，采用“基于數據關聯數據”的方法，也就是把一部分數據作為基礎性數據，以此形成進一步關聯其他海量天網情報的數據框架。

（2）對象關聯。

面向對象的天網情報關聯分析，要在數據內部以及之間進行基于內容的數據關聯，首先完成兩種數據的語義映射。無論是圖像還是文字，其被關注的內容主要是包含在其中的關注對象，所以本文以關注對象體系為語義概念集。對圖像數據，結合產生式自動標注技術，以及圖像產品中的人工標注，將其映射成關注對象的向量表示。對文字數據，用結合最大熵方法和規則的關注對象提取技術，同樣將其映射成觀測對象的向量表示，最終統一完成基于關注對象體系的數據表達。

（3）內容關聯。

面向內容的天網數據關聯分析，直接以數據包含的內容來關聯數據。基于內容的關聯主要用到文本分類和圖像語義標注方法。其中圖像語義標注方法采用基于搜索的標注，假定用戶擁有一些弱標注的圖像作為先驗知識，在與待標注圖像相似圖像的弱標注中尋找最優標注來完成待任務。圖像作為一種非結構化數據，在抽象成特征向量表達形式之后，并不能使用簡單的歐式距離進行距離的衡量。

2.4.3.2 天網情報時空圖譜構建

天網情報決策級融合技術中天網情報時空圖譜構建技術能夠將情報與時間和空間關聯到一起，表現的圖譜信息隨時間維度、空間維度而變化，其技術路線為：第一，基于匯集的多源遙感衛星數據和互聯網公開來源信息數據，對其研究的目標進行相關知識抽取；第二，研究面向關注目標的全源信息的知識融合方法，如同名實體的實體鏈接方法等；第三，研究關注目標領域時空圖譜的增量更新技術；第四，研究關注目標領域時空圖譜相關知識的分布式計算與分析；第五，研制面向關注目標相關時空圖譜應用的圖分析引擎；最終形成體系化的領域時空圖譜構建技術，其技術途徑如圖7 所示。

圖7：天網情報時空圖譜構建技術路線圖

其中：

（1）目標知識實體抽取。采用基于迭層膨脹卷積神經網絡的復雜實體抽取方法進行復雜目標的實體抽取，通過對word2vec 和CNN 結合的分類方法進行改進，一是對于學習數據進行擴充，即對輸入進行改進，增加訓練數據來源，以增強訓練效果；二是對學習過程進行改進，提升學習性能。從而實現復雜目標知識的多樣化精準抽取。

（2）目標知識實體鏈接。采用融合通用基礎知識庫和關注目標信息領域知識進行時空圖譜邏輯構建鏈接：首先，從在維基百科、百度百科等權威知識庫系統中匯聚抽取知識庫要素，得到通用基礎圖譜，這個通用時空圖譜包含關注目標領域無關的常識性知識；第二，融合已掌握的全源信息要素，針對關注目標領域構建時空圖譜，形成具有自演化能力的時空圖譜邏輯結構；第三，通過若干相關時空圖譜的更新規則，時空圖譜能夠感知外界數據的變化，實現知識的推斷與預測[14]。

（3）異構知識統一表達與推理計算。采用面向關注目標知識的自適應性統一表達方法，對異構知識進行統一表達，保證知識表達模型的完備性和適應性。即，在統一的向量空間，表達豐富多樣的信息知識。首先，根據關注目標知識的分類及特性，制定知識表達方法選擇規則；第二，通過知識表達方法選擇規則，根據輸入的目標知識信息進行自適應表達方法的選擇；第三，建立不同知識表達方法直接的鏈接關系。同時，采用大規模關注目標時空圖譜的分布式計算與分析方法，將時空圖譜組成要素向量化，進一步實現計算與分析。

（4）目標知識增量更新。采用時空圖譜自適應增量更新策略，即，一種統一的基于依賴圖模型的隨機游走算法聯合推斷方法。將同一知識語料文本中的實體、知識語料中實體之間的語義關系、時空圖譜中的實體以及實體所屬分類和分類之間的相關關系用依賴圖統一建模，利用實體之間的依賴關系，使同一語料中不同實體的更新結果達到最優。具體地說，是將開放時空圖譜的更新問題看作是分類問題進行求解，采用基于實體上下文的biterm 模型的方式，利用實體的上下文信息計算知識語料中出現的實體與時空圖譜中的實體之間的語義相容性，相比基于詞的計算方式更為準確。同時考慮時空圖譜中相關信息實體所屬分類的之間可能存在的相關關系，使得知識語料中實體的分類信息更為準確[12]。

（5）目標圖分析。采用面向分析的圖計算引擎方法，針對圖計算引擎開發的查詢引擎，它可以與SQL 查詢引擎無縫對接，可進行交互式分析，能夠訪問數據庫所有數據。查詢引擎為圖計算查詢提供了統一的查詢接口，針對不同的圖算法可以使用不同的圖算法函數，從而可以對圖算法進行一次性、自動化的迭代計算，大大的提高了查詢效率和性能，達到對千萬級圖節點計算的秒級響應，實現對關注的目標知識快速查詢與分析[13]。

2.4.3.3 天網情報自適應分析

天網情報自適應分析能夠自動根據數據需求和用戶意圖進行解析，基于基礎模型和應用模型，生成核心流程基礎模塊，實現精準聯想、主動推薦用戶所需各處理階段應用模型。依托標準化數據建模、工作流模型注冊、自適應任務調度，對自動化進行系統化管理，構建“模型-工作流”機制，實現自動處理任務的一鍵式處理[15]。其技術途徑如圖8 所示。

圖8：天網情報自適應分析技術路線圖

（1）每個模板文檔解析出一個唯一的解析文件，生成相對應的唯一性用戶意圖和場景模型文件。

（2）解析文件默認生命周期是72 小時，超過72 小時，解析文件及相應用戶意圖和場景文件會在用戶訪問情報時重新生成。

（3）場景模型解析流程中的應用模型融合并不是簡單的交集或并集，而是融合了經驗庫和用戶偏好后，對用戶意圖進行再理解。

2.4.4 天網情報混合存儲與顯示技術

天網情報一體化組織與顯示技術是基于關系型、非關系型和文件系統數據庫的基礎上，在上層封裝搜索引擎和圖數據庫。打通不同數據之間的隔閡，構建“時間-空間-關系”的數據模型，形成三維一體化存儲與組織管理模型，實現空間數據、文本數據在分析與顯示維度任意無縫切換。

2.4.4.1 天網情報存儲模型

基于各類關系型數據庫、非關系型數據庫和文件存儲系統，在上層封裝圖數據庫和搜索引擎，通過采用天網情報分類體系學習的建模技術，對海量多源異構天網情報進行一體化存儲與組織管理，增強數據之間關聯性，實現天網情報的“時間+空間+業務”三維一體化組織融合，幫助提高數據組織與挖掘的效率。如圖9 所示。

圖9：天網情報一體化存儲模型示意圖

其中：

（1）結構化數據。

主要包括人、地、事、物、組織在內的具有二維屬性的數據信息，采用關系型數據庫進行存儲，根據數據規模及業務需要選擇采用Oracle、My SQL 以及SQL Server 等數據庫。

（2）半結構化數據。

具有一定的結構屬性，但結構變化較大，不能單獨用二維表表述也不能形成文件進行表述。該類數據可基于關系型數據庫、非關系型數據庫以及文件系統進行存儲管理。

（3）非結構化數據。

遙感衛星影像、圖片、文本、網頁、視頻等在內的沒有完整屬性信息的數據。該類數據可結合分布式文件系統以及非關系型數據進行存儲管理。

2.4.4.2 天網情報一體化組織管理

為了整合和組織海量多源天網情報信息，滿足信息挖掘和分析的應用目的，在統一時空基準框架下，以時空數據和互聯網公開來源數據為支撐，以業務應用為出發點，建立數據之間的時空關系線索以及內容關聯組織主題，形成覆蓋時間、位置、范圍以及屬性特征的天網情報集。以“時空”元素為主線，承載多行業/多應用領域數據，包括影像、矢量、視頻、文本、圖片、音頻等多種類型數據，構建“素材-對象-專題”的三層天網情報一體化組織管理體系。如圖10 所示。

圖10：天網情報一體化組織管理邏輯圖

其中：

（1）數據類型。不同的數據獲取手段和記錄方式，形成了不同的數據類型。不同類型的數據是外部數據進入系統的原始形態，體現了對客觀世界的不同描述角度和表達方式。不同類型的數據相互補充、相互印證，豐富了對事物現實特征的描述。數據類型是接入外部數據的基本形式，是數據組織的基礎和起點。天網情報主要涉及到時空數據和互聯網公開來源數據兩大類數據類型。

（2）空間特征。空間特征是數據的基本要素。空間特征將事物置于統一的空間參照系之中，體現了被描述對象之間的空間關系。整合空間數據首先要求采用統一的時空模型，在統一地理基準的前提下，選擇適合應用的空間表達方式和空間數據組織方式。空間數據的組織方法包括：空間數據結構與模型、空間索引技術、空間檢索引擎、空間檢索優化策略。空間數據的組織方法不僅用技術手段統一了不同類型數據的空間基準和空間表達，而且優化了數據的空間檢索效率。

（3）時間特征。時間特征是數據的基本要素。時間特征是所有事物的天然屬性，是事物變化過程的參照。時間體現了事物變化的順序，通過時間序列可以分析事物的變化過程和事物之間的影響關系。

（4）業務對象。業務對象用來記載現實世界中具有價值的物理實體或邏輯實體。業務信息的時間、空間、邏輯關系，構成了業務對象體系。業務對象體系直接描述了信息相互之間的關系，反映了信息的本質，同時也是組織數據的重要維度。

2.4.4.3 天網情報動態可視化

由于天網情報的獲取手段不同，決定了天網情報的多尺度性和多樣性。多尺度包括時間多尺度、空間多尺度：時間多尺度表現在獲取數據的時間序列間距的不同；空間多尺度表現在數據測量的精度方面。多樣性主要為天網情報的品類多樣性，包括影像、矢量、3D 產品、4D 產品、文字、圖像、視頻和音頻等多源數據集合而成。為了將多尺度的天網情報在可視化平臺上快速的表達出來，通過對天網情報特點的分析，構建基于場和特征的天網情報時空動態可視化模型。該模型將天網情報描述為空間、時間、專題三個方面組成的空間對象，先將特征與場進行地理空間對象級的關聯，再對地理空間實體進行時、空、屬一體化關聯，從而形成空間、時間、專題一體化的時空動態可視化模型。最終以三屏聯動的方式，實現媒體、時空、知識圖譜聯合聯動的動態展示。如圖11 所示。

圖11：天網情報動態可視化技術示意圖

3 技術試驗驗證

基于上述天網情報決策級融合分析技術體系的研究成果，結合好人·理查德真實事件的發生，展開相關技術試驗驗證。總體驗證思路為：

（1）事件發生后具體想知道什么信息內容，進行系統化梳理；

（2）理清思路怎么干，形成具體的工作流程；最后，基于天網情報決策級融合分析技術體系，進行實際性的數據采集與融合分析工作，形成最終的分析成果。

3.1 需求分析

如圖12 所示。

圖12：事件信息需求分析圖

3.2 模型生成

如圖13 所示。

圖13：事件分析工作流程圖

3.3 天網情報采集與分析

（1）理查德起火事件相關新聞報道、輿論、智庫報告、艦船結構圖、現場圖片、現場視頻、衛星影像等相關數據的采集，如圖14-16 所示。

圖14：現場照片采集

圖15：衛星影像數據采集

圖16：新聞報道及輿論信息采集（圖片來源于網絡）

（2）針對采集的多源天網情報進行圖像語義化和開源信息空間化處理，包括圖像判讀解譯、文字識別、信息提取、文本翻譯、自然語言處理等操作，形成如圖17-18 的成果。

圖17：圖像判讀解譯成果示例圖

圖18：自然語言處理及整編成果示例圖

（3）基于上述產出的成果數據進行關聯關系建立、時空圖譜構建和自適應分析等融合處理操作，最終形成“好人·理查德事件-天網情報決策級分析報告”，為用戶決策提供有效數據支撐。如圖19 所示。

圖19：好人·理查德事件-天網情報決策級分析報告示意圖

（4）最后基于空間、時間、專題一體化的時空動態可視化模型。以三屏聯動的方式，對整個事件的發展動向、分析過程和最終成果進行動態展示。如圖20 所示。

圖20：好人·理查德事件-天網情報一體化動態可視化示意圖

4 結束語

天網情報的特性決定了其采集過程、分析過程、存儲管理及可視化展示必定以智能化、自動化分析為主，人工分析為輔助。天網大情報決策級融合分析技術體系研究全面采用了深度學習、人工智能、遙感信息提取、變化檢測、文本識別、自然語言處理和動態可視化等先進技術，構建一體化的天網情報智能采集、預處理、決策級融合分析整編和動態可視化技術體系。

天網情報決策級融合分析技術體系已形成初步的研究成果，使用者可通過一系列的圖像信息語義化、開源信息時空化和決策級融合分析等處理，能夠獲得對所監測目標聯合推斷結果。為國防軍事、政府、企業、科研院所和學校等應用領域提供有價值的參考依據。