遙感數據用戶需求融合處理技術*

鄭忠剛，付 琨，徐崇彥，巫震宇，周長飛

(1. 北京遙感信息研究所, 北京 100192； 2. 中國科學院 電子學研究所, 北京 100190)

自1959 年由Mark Ⅱ Reentry Vehicle人造衛星上發回第一張地球相片開始，半個多世紀來的遙感技術發展異常迅速，尤其是近十多年來，其發展速度明顯加快，當今的遙感隨著太空技術、計算機和地球科學的發展，已經產生了質的飛躍，從航空遙感發展到以衛星為主的航天遙感，目前的遙感應用領域越來越廣泛，遙感技術應用于農業可以進行農作物識別分類與面積估算；應用于搶險救災可以對森林火險進行預警，對火點發生地精確定位；應用于國民經濟建設領域，可以實現目標觀測和遙感救災。隨著遙感影像應用效果的展現，目前，各行各業對遙感影像數據的需求也越來越多，雖然因應用目的不同，各用戶的遙感數據需求存在多樣性，但不同用戶之間也會存在相似或相同需求，特別是在發生熱點事件和自然災害事件時，各個參與單位會同時申請熱點地區和受災區域的遙感影像數據，這些需求往往會有相同或相似的需求。如何融合來自不同用戶的需求，實現最大效率地利用衛星觀測資源、地面接收資源、地面數據傳輸資源、降低衛星對地觀測系統的任務負荷，需要開展需求融合歸并技術研究，將相同或相似的遙感用戶需求進行歸并處理。

另外，用戶在需求遙感影像時大多要受限于專業門戶或軟件的要求，需要填寫專業的制式表單，表單中包含與平臺、傳感器等相關的專業參數，這對用戶的遙感影像專業知識要求相對較高，普通用戶更習慣于使用自然語言表達遙感影像需求。為此，首先需要將自然語言描述的用戶需求轉變為格式化遙感影像需求。為了解決上述問題，本文提出了一種基于自然語言處理的需求融合方法。

1 基于自然語言處理的需求融合方法

其基本原理如圖1所示，包括關鍵信息抽取、需求轉義和融合歸并處理環節，涉及信息抽取知識庫、需求轉義知識庫和融合知識庫。

圖1 基于自然語言處理的需求融合Fig.1 User request fusion based on natural language processing

在關鍵信息抽取環節，利用自然語言處理技術基于規則的信息抽取方法，從用戶需求文本中抽取出時間范圍、地域范圍、任務、傳感器類型要求等參數信息。

在需求轉義環節，在用戶需求關鍵信息抽取的基礎上，對抽取結果進行規范，使其滿足標準化和精確化的要求，達到可與衛星傳感器性能指標相匹配的目的。

在融合歸并環節，設計了用戶需求相似度度量方法，利用聚類技術對批量用戶需求進行聚類分析，找出其中潛在的相同或者相似的需求[1-3]。

1.1 關鍵信息抽取

用戶需求中的關鍵信息抽取步驟主要解決從用戶提出需求的文本中抽取遙感影像關鍵信息元素的問題，抽取的信息包括：時間范圍、地域范圍、任務、影像參數(空間分辨率、傳感器類型和波段)。實際上，關鍵信息抽取實現的是用戶需求的淺層語義分析，主要利用抽取規則實現關鍵信息的識別和抽取[4]。

基于自然語言處理(Natural Language Processing, NLP)的方法是早期的信息抽取方法，一般效率較低，現已較少使用。

每個用戶的需求描述通常遵循某種習慣模式，且具有一定規律性，這種模式和規律性使得采用基于規則的方法進行關鍵信息抽取成為可能，因此，在本項目中采用基于規則的方法進行關鍵信息抽取，主要是針對不同關鍵信息文本片段內部組成的特征規律建立抽取規則，實現關鍵信息的識別和抽取。

下面就幾種典型的關鍵信息要素如“時間”“地理名稱”“經緯度”等的表現方式進行具體的展開說明。

1)時間。時間關鍵信息文本片段內部會出現“年、月、日、時、分、秒”等單位，通過對遙感影像用戶需求的分析，常見的表現方式是：

方式1：年份數字+“年”+月份數字+“月”；

方式2：年份數字+“年”+月份數字+“月”+日數字+“日”；

方式3：年份數字+“年”+月份數字+“月”+日數字+“日”+小時數字+“時”；

方式4：年份數字+“年”+月份數字+“月”+日數字+“日”+小時數字+“時”+分鐘數字+“分”；

方式5：年份數字+“年”+月份數字+“月”+日數字+“日”+小時數字+“時”+分鐘數字+“分”+秒數字+“秒”。

另外，在用戶需求中也會出現相對時間概念，例如，“11月20日”，對于這種情況，需要根據上下文線索，確定具體指的是哪一年。

2)地理名稱。代表國家地區的地理名稱以及地物名稱，例如用戶需求“天壇5 m全色影像”中的天壇，“澳大利亞大堡礁10 m多光譜影像”中的“澳大利亞大堡礁”。另外，用戶需求描述中還會出現一些地理名稱和目標名稱的縮寫形式，例如，“日北海道3 m全色影像”中的“日”，它的常見表現形式是：

方式1：國家地區名稱或者目標名稱；

方式2：作為國家的縮寫出現時，例如代表“日本”的“日”，其前面不會出現數字，其后會緊隨所代表國家的地理名稱或者所屬目標的名稱。

另外，在用戶需求中也會出現相對位置概念，例如，“海南島東北海域”“海南島以北海域”，對于這種情況，需要依據領域知識經驗，以海南島為中心推定一個合理的位置。

3)經緯度。經緯度關鍵信息文本片段內部格式主要有兩種，一種是如“東經120度，北緯23度”，另一種是“120°E23°N”。上述兩種格式特征可以表示為：

方式1：“東經|西經”+經度數字+“度，”+“北緯|南緯”+緯度數字；

方式2：經度數字+ “E|W”+緯度數字+“N|S”。

另外，通過建立映射關系，地理名稱與經緯度之間可以實現相互轉換。

4)任務類型。任務類型通常是一些業務術語，例如，“水下地形探測”“農作物估產”“水污染監測”“水資源調查”“冬小麥估產”等。其常見表現形式是：“2016年7月中上旬華北冬小麥估產”中的“冬小麥估產”，出現業務術語詞匯的上下文中通常沒有“任務類型”這樣的引導詞。

5)影像參數。遙感影像需求中的影像參數包括：分辨率、傳感器類型、幅寬，通過對遙感影像用戶需求的分析，上述參數常見的表現方式是：

①分辨率。

方式1：“分辨率：”+ 數字+“-”+數字+“m”，例如，“分辨率：1-10 m”；

方式2：“分辨率：”+ 數字+“-”+數字+“米”，例如，“分辨率：1-10米”；

方式3：“分辨率：”+ 數字+ “m”，例如，“分辨率：10 m”；

方式4：“分辨率：”+ 數字+ “米”，例如，“分辨率：10米”。

②傳感器類型。

方式1：“傳感器類型：”+ 傳感器類型名稱，例如，“傳感器類型：多光譜” ；

方式2：傳感器類型名稱，例如，“美國關島10 m多光譜影像”中的“多光譜”。

③波段。

方式1：“波段包含” + 波段名稱 + “(”+ 數字+“-”+ 數字+“nm)”，例如，“波段包含近紅外(400-760 nm)”；

方式2：“波段包含”+ 波段名稱 + “和”波段名稱，例如，“波段包含可見光和多光譜”；

方式3：“波段：”+ 波段名稱+“、”+ 波段名稱，例如，“波段：可見光、紅外”；

方式4：“波段含有”+數字+“-”+數字+ “nm”，例如，“波段含有2000-3500 nm”。

④幅寬。

方式1：“幅寬不低于”+ 數字 +“km”，例如，“幅寬不低于200 km”；

方式2：“幅寬不低于”+ 數字 +“公里”，例如，“幅寬不低于200公里”；

方式3：“幅寬”+“十里級/百里級/千里級”+“的影像”，例如，“幅寬百里級的影像”；

方式4：“十里級/百里級/千里級”的幅寬，例如，“百里級的幅寬”；

方式5：“百公里級”的幅寬，例如，“幅寬200公里以上”。

為了使抽取規則可被計算機理解和執行，需要對信息抽取規則前提條件中的特征謂詞邏輯(特征詞信息和命名實體信息)進行格式化表達，為此采用正則表達式技術實現規則前提條件的格式化表達。

以時間關鍵信息為例，相關的抽取規則示例如下：

1)時間信息實體抽取規則1。

正則表達式：(\d){4}(-)(\d){2}(-)(\d){2}；

示例: 抽取形如“2013-10-29”的時間信息實體。

2)時間信息實體抽取規則2。

正則表達式：

(\d){4}(.)(\d){2}(.)(\d){2}(-)(\d){1，2}(:)(\d){1，2}；

示例:抽取形如“2013.10.29-20:50”的時間信息實體。

3)時間信息實體抽取規則3。

正則表達式：

(\d){4}(-)(\d){2}(-)(\d){2}(\d){1，2}(：)(\d){1，2} (：)(\d){1，2}；

示例:抽取形如“2013-10-29 20∶50∶12”的時間信息實體。

4)時間信息實體抽取規則4。

正則表達式：

(\d){4}(年)(\d){2}(月)(\d){2}(日) (\d) {1，2}(時)(\d){1，2}(分)(\d){1，2}(秒)；

示例:抽取形如“2013年10月29 日20時50分12秒”的時間信息實體。

5)時間信息實體抽取規則5。

正則表達式：

(\d) {1，2}(時)(\d){1，2}(分)(\d){1，2}(秒)；

示例:抽取形如“20時50分12秒”的時間實體。

從上述分析可以看出，用戶對于需求中各種關鍵信息描述方式是多種多樣的，所對應的抽取規則業務也是多種多樣的，為了有效地組織和管理關鍵信息的抽取規則，采用了知識本體的方法，形成了信息抽取知識庫[5]。

一個用戶遙感需求通常包含4項概念要素：時間范圍、地域范圍、任務、影像參數，如圖2所示。

圖2 用戶需求概念組成Fig.2 Concept of user request

本體包含五個基本的建模元語(modeling primitives)，這些元語是：類/概念(classes/concepts)、關系(relations)、公理(axioms)、函數(functions) 和實例(instances)，每一個概念由關系、函數、公理和實例來界定，如圖3所示。

圖3 概念要素的本體描述Fig.3 Description of ontology concepts

圖4是“時間”概念的本體描述，“時間”與“用戶需求”之間存在隸屬關系，“時間”是“用戶需求”的概念要素之一；“公理”是從用戶需求文本中抽取時間信息的具體信息抽取規則，正則表達式的形式為“(\d){2，4}+(年)(\d){1，2}(月)(\d){1，2}(日)”；“時間”的實例是各種時間的具體表達形式，例如“09年8月10日”“2009年8月10日”等；“函數”是時間轉換函數，其作用是將非標準的時間轉變為標準的時間，例如將“09”轉變為正式格式“2009”。

圖4 概念要素的本體描述實例Fig.4 Description of instances of concepts

本體知識庫的建立涉及兩個方面：一方面，通過對用戶需求歷史數據進行觀察分析，識別出其中的概念術語以及相互關系，確定本體知識庫架構；另一方面，通過對用戶需求歷史數據中時間范圍、地域范圍、任務、影像參數等關鍵信息出現的上下文特征、關鍵信息自身特征，關鍵信息在整個文檔中位置特征的分析，形成各個關鍵信息(概念)的抽取規則，抽取規則作為每個概念的公理存在，實現本體概念與抽取規則的結合和統一管理[6-7]，如圖 5所示。

圖5 本體知識庫的構建與應用Fig.5 Construction and application of ontology

通過對用戶需求文本的分析，識別出各種關鍵信息的觸發詞、上下文約束條件、區位特征、句子特征、句內特征，基于這些知識構建由特征詞匯構成的用戶需求解析規則，給定一個用戶需求文本，利用特征詞匯形成的模式結構，結合前述四種要素的抽取模式，對需求文本進行解析，確定分別包含時間、地域、任務和傳感器參數的文本子串，以及各個文本子串中包含的具體時間信息、地域信息、任務信息、影像參數信息。

例如，用戶需求“2016年4月下旬安徽省小麥紋枯病監測，采用高光譜影像，空間分辨率優于5 m”，可利用下面的模式進行解析，【時間】+“對” 【地域】+ “進行”+ 【任務】+ “采用”+ 【影響類型】+【空間分辨率】,解析出的時間信息、地域信息、任務信息、影像參數信息如表 1所示。

表1 關鍵信息抽取示例

1.2 需求轉義

需求轉義是在用戶需求關鍵信息抽取的基礎上，對抽取結果進行規范，使其滿足標準化和精確化的要求，實際上，需求轉義實現的是用戶需求的深層語義分析。

1)時間信息轉義。將識別出來的各種格式的時間轉變為標準格式。

2)地域信息轉義。將識別出來的地域范圍轉變為由一系列經緯度值定義的多邊形。

3)任務信息轉義。將任務描述轉變為具體的影像參數，任務名稱轉義基于需求轉義知識庫，知識庫中包含任務與影像參數之間的映射關系，反映的是完成某種任務用戶所需的影像參數，適用于各用戶的需求轉義知識庫示例如表 2所示。

表2 需求轉義知識庫示例

1.3 融合歸并

需求融合歸并是在統一、標準化的時間、地域、影像參數格式的基礎上進行的，融合歸并的用戶需求既包括格式化的需求也包括非格式化的需求。

融合歸并是在融合知識庫的支持下完成的，融合知識庫中包含著多種融合規則。

根據時間、地域、傳感器類型、光譜分辨率、空間分辨率、幅寬等方面對用戶需求之間的相似度進行分析計算，根據計算結果進行需求融合歸并。

需求的融合歸并問題實際上是用戶需求的聚類過程，經過聚類運算將一批用戶需求聚為若干個簇，簇內的用戶需求在時間、地域、傳感器類型、光譜分辨率、空間分辨率、幅寬等方面相同或者相似。

為了計算需求之間的相似度，需要確定時間、地域、傳感器類型、光譜分辨率、空間分辨率、幅寬等方面相似度的量化標準。

為了計算需求之間的相似度，需要對需求在時間T、地域A、傳感器類型S、光譜分辨率V、空間分辨率P、幅寬W等指標上的相似度進行量化處理，實現在統一量綱下的相似度評估，量化處理的示例見表 3，可以根據具體情況改變量化方法。

表3 需求指標相似度量化標準

表3(續)

相似度的計算公式為：

Similarity=T×λ1+A×λ2+S×λ3+V×λ4+

P×λ5+W×λ6

其中：λ1，λ2，λ3，λ4，λ5和λ6是權重系數；λ1+λ2+λ3+λ4+λ5+λ6=1。

相似度的確定是需求融合歸并的關鍵，確定了相似度的值才能通過聚類算法進一步得出類內用戶之間合適的總體內聚度。

進一步采用的聚類算法是基于類內用戶需求間相似度值柱狀圖進行的，相似度值柱狀圖是類內所有用戶需求相似度的簡潔表示。算法的基本思想是，保證在聚類運算過程中類內用戶需求之間的總體內聚度盡可能高。總體內聚度是通過計算類內兩兩用戶需求之間的相似度并觀察相似度值的分布而得出的。把相似度值劃歸到幾個值的區間，每個區間用一個長方柱表示，落在每個區間內相似度值的數量代表該區間在整個分布中的比重，長方柱高度與落入區間內的相似度值數量成正比，包含較大相似度值區間的比重越大，說明該類的內聚度越大。

假定n是某一聚類內的用戶需求數量，那么就有m=n(n-1)/2個需求之間的相似度值。設S={s1，s2， …，sm}是m個相似度值集合。把這些相似度值劃歸到B個區間，H={h1，h2，…，hB}表示所有相似度值在B個區間內的分布情況。

類內需求間值的內聚度C可由下式計算，即

其中，ST為相似度閾值(設定一個閾值，需求間的相似度超過這一閾值則認為它們是相似的)，T為與相似度閾值對應的相似度區間號。

在聚類過程中，要始終把保持較高的類內聚度作為目標，為此，當對一個新需求進行歸類時，要對這一需求的加入對該類造成的影響進行評估。如果由于新需求加入導致類的相似度值分布明顯變壞，就不能把新需求分至該類。當然也可以采取更為嚴格的條件，即要求新需求的加入必須使該類的相似度分布有所改善，也就是要好于原來的情況才允許新需求加入。苛刻條件帶來的負面影響是，即使新需求與某個類中大部分的需求都相似，此類也會拒絕新需求的加入。在實際應用中可以不采取這樣嚴格的條件，即允許相似度分布有所變壞，但通過設定一些附加條件，防止情況發生大的變化。

如前所述，希望保持每個類的C值越大越好，但實際應用中一個新需求的加入可能使相似度值分布略有變壞。所以，一個類的C值有可能隨新需求的不斷加入變得越來越低。為了防止由于C值連續降低，最終導致類的內聚度持續變壞的情況發生，為C設置一個最低值限制。如果一個新需求的加入會使C值小于設置的最低值，那么就拒絕新需求加入該類。另外，即使一個新需求的加入未使C值降低到小于設置的最低值，但C值的降幅過大(超出某個設定的閾值)也不能把新需求加入該類。這樣就可以防止由于一個需求的原因導致一個類的內聚度急劇變壞。

其中：CMin表示要求的最小類內聚度；CNew表示新文檔加入后類的內聚度；COld表示新文檔加入前類的內聚度；ε表示允許的內聚度降低限度。

聚類算法如算法1所示。算法1的描述，對于每一個新需求，都計算假定新需求加入一個現有類后的C值，并將其與原來的C值相比較。若新C值大于或等于舊C值，則把新需求加入該類。如果新C值小于舊C值，但降低量小于ε且新C值大于C值最小要求值，也可以把新需求加入該類。若不是上述情況，則不能把新需求加入該類。如果一個新需求不能被分給任何一個現有類，則創建一個新類，并把它放在這個新類中。

算法1 聚類算法

與傳統常用的K最近鄰分類(K-Nearest Neighbor, K-NN)算法相比，相似度柱狀圖方法能夠更準確地表示類內需求的相似程度，以及新需求給類的內聚度帶來的影響。

1.4 驗證與分析

構建遙感數據用戶需求融合處理原型系統，原型系統的組成如圖6所示。

圖6 遙感數據用戶需求融合處理原型系統組成Fig.6 Composition of remote sensing request fusion system

關鍵信息抽取模塊負責抽取用戶需求文本中的時間、地理范圍、任務、傳感器參數等關鍵信息；需求轉義模塊負責將抽取出的關鍵信息轉變為標準化和精確化的指標要求；融合歸并模塊負責將相同或者相似的用戶需求合并；知識庫管理模塊負責維護管理信息抽取知識庫、需求轉義知識庫和需求融合歸并知識庫。

利用農業生產、國土資源、防災減災領域各100份用戶需求，共計300份需求進行了需求融合試驗，試驗結果表明，融合歸并的正確率大于90.2%。表4是部分用戶需求關鍵信息抽取、需求轉義及最終融合歸并結果示例[8]。

表4 用戶需求關鍵信息抽取、需求轉義及最終融合歸并結果示例Tab.4 Examples of request key information extraction, semantic translation and request fusion

2 用戶歷史遙感需求的挖掘分析技術

需求融合完成了提高需求處理效率的第一步，為了進一步增加需求融合的效率，需要對用戶長期累積的歷史需求及潛在的需求進行挖掘分析，并與現有的用戶需求進行融合。

對累積的用戶遙感任務需求和用戶遙感影像數據需求進行挖掘分析，發現需求的來源、對地觀測區域范圍、對地觀測時間、傳感器類型等參數之間的關聯規律。依據這些知識規律可以事先自動生成用戶需求，實現用戶需求的自動智能提交，保證用戶的規律性需求能夠盡早提交到衛星管控部門。

由于用戶需求數量眾多，具體內容多種多樣，如何從海量用戶需求中找出用戶的特點和規律是一個難點問題。其難點在于，代表需求參數之間關聯關系的規律是隱式的，而不是顯式的，需要對數據進行復雜的數據分析才能發現，特別是在海量數據規模條件下解決上述問題就顯得尤其復雜。數據挖掘技術能夠從海量數據中發現潛在的、有價值的規律和知識，是分析海量數據的有效工具，是解決上述問題的有效技術手段。

根據遙感任務需求的數據特點，設計了挖掘分析算法，算法分為兩步進行：第一步，根據遙感任務需求數據庫生成一棵FP-tree；第二步，根據第一步生成的FP-tree，利用觀測任務需求挖掘分析算法生成所有頻繁項目集。下面分別介紹如何建立FP-tree和如何使用觀測任務需求挖掘分析算法[9-11]。

FP-tree的定義如下：

1)它有一個標記為“null”的根節點，它的子節點為一個項前綴子樹(item prefix subtree)的集合，還有一個頻繁項(frequent item)組成的頭表(header
Table)。

2)每個項前綴子樹的節點有三個域：item-name，count，node_link。item-name記錄了該節點所代表的項的名稱；count記錄了所在路徑代表的交易(transaction)中達到此節點的交易個數；node_link指向下一個具有同樣的item-name域的節點，要是沒有這樣一個節點，就為null。

3)頻繁項頭表的每個表項(entry)由兩個域組成：item-name；node_link。node_link指向FP-tree中具有與該表項相同item-name域的第一個節點。

根據一個數據庫建立一棵FP-tree算法的形式化描述如算法2所示。

算法2 FP-tree算法

函數insert_tree([p|P]，T)的功能如下：

如果T有一個子結點N，其中N.item-name=p.item-name，則將N的count域值增加1；否則，創建一個新節點N，使它的count為1，使它的父節點為T，并且使它的node_link和那些具有相同item-name域串起來。如果P非空，則遞歸調用insert_tree(P，N)。

FP-tree是一個壓縮的數據結構，它用較少的空間存儲了后面頻繁項集挖掘所需要的全部信息。

第二步以第一步產生的FP-tree為基礎。它會遞歸調用自己，并且反復調用新產生的FP-tree。觀測需求挖掘算法如算法3所示。

算法3 需求挖掘分析算法

3 結論

隨著我國在軌衛星數量和質量的逐步提升，遙感數據的應用也日益成熟和擴展，遙感用戶需求的數量和來源也越來越廣泛。為了提高衛星的應用效益，對遙感用戶的需求進行融合處理已成為必然。本文利用自然語言處理技術、需求分析技術和聚類技術對遙感數據用戶需求進行分析，在分析的基礎上，對相同或者相似的需求進行融合歸并，實現了一圖多用的目的，提高了對地觀測資源的利用率，實驗結果表明，該方法能夠有效地對自然語言形式的用戶需求進行融合歸并處理，在衛星任務管控領域具有應用價值。