基于自適應哈希學習的分層無人集群協同算法

中圖分類號：G301 文獻標志碼：A

0 引言

無人集群通常情況下是由多種較為簡單的無人平臺組成的，具有大規模的特性，各平臺個體之間通過局部協作實現全局協同行為。但是隨著無人平臺數量的增加以及對數據傳輸安全性要求的提高，如何在復雜情況下實現數據高速且安全的傳輸是當下需要考慮的問題。

此外，無人集群協同感知主要包括系統定位技術、協同目標跟蹤技術以及系統目標識別技術等，將各種技術要素以合理的方式組織起來才能發揮集群的更大效能，因此體系架構是構建無人集群系統的重要方法[]，可以讓集群的任務執行效率得到顯著的提高。但是該體系架構面臨著規模擴展性不足、多任務適應性不足以及效能評估能力缺乏等多種挑戰。

由于無監督哈希學習算法可以滿足大規模數據檢索對數據存儲空間和檢索精度的特殊要求[2，哈希學習算法與無人集群協同感知技術結合將是未來的一大研究方向。

1國內外研究現狀

無人集群是指由一定數量的無人系統組成的集群，具有網絡化溝通、自適應協同和集群智能3大基本特征，能夠在接到指令后自主完成任務。無人集群系統是近幾年來國內外軍事領域的研究重點[3]，美國高度重視無人集群在城市作戰中的應用研究，美國國防先進研究計劃局（DefenseAdvancedResearchProjectsAgency，DARPA）先后安排了多個典型城市作戰應用項目[4]。目前關于哈希學習在無人集群協同感知領域的實際應用較為缺乏，但是相關理論研究正在開展[5]

在數據處理過程中，張博文等[提出了基于局部敏感哈希的多維海量數據處理方法，利用P-stable局部敏感哈希算法對數據進行散列化存儲并且實現了數據降維，保證了各存儲節點內數據具有一定的近鄰性；龍軍等7提出了基于圖卷積的無監督跨模態的哈希檢索算法，采用分層聚合的方式將各個模態的相似性結構編碼到全局相似性矩陣中，從而獲得跨模態的成對相似性信息來指導學習。

為減少內存消耗并加速收斂，Lin等[8]提出以類別為單位劃分數據并更新哈希函數，有效地適應了數據動態更新的需求。Wang等提出了一種數據依賴的哈希方法，通過從特定數據集中學習哈希函數，將數據轉換為低維哈希碼，使哈希編碼空間的最近鄰搜索結果接近原始空間，并降低搜索與空間成本。

在數據傳輸方面，無監督哈希學習可以對要傳輸的數據進行壓縮和編碼，生成哈希碼，減少數據的傳輸量和傳輸時間，提高通信效率和網絡的帶寬利用率。 Xu 等[提出了聯合學習多模態哈希函數與統一編碼，解決了異構數據對齊的問題。此外無監督哈希學習可以幫助對數據進行處理和分析，根據數據的重要性和相關性合理分配資源，提高資源的利用效率和協同感知的性能。

2 算法應用場景

本文主要針對無人集群系統集成方案以及無人集群的分層架構對無監督的哈希學習算法進行應用，著重應用于數據的處理方面，對提升系統整體效率具有重要的作用。

2.1基于哈希學習算法的無人集群系統集成方案本方案采用基于模型的系統工程（Model-Based SystemsEngineering，MBSE）方法，是對建模的形式化應用，以支持系統要求、設計、分析等相關工作。用該方法對無人集群協同感知系統進行研究，能實現邏輯清晰并且可以滿足用戶需求的系統模型、子系統模型以及單元模型及其對應的結構。該框架在數據庫管理層上方使用了無監督哈希學習算法，目的在于提高數據庫與分析模塊的數據傳輸效率。基于哈希學習的無人集群系統架構設計如圖1所示。

圖1無人集群系統架構

2.2基于哈希學習算法的無人集群任務分層架構

此架構對無人集群任務進行進一步的分層細化，重點細分為任務層、階段層、戰術層、行動層、集群算法層、哈希算法層以及數據層。哈希算法層旨在使集群算法層和數據層之間數據傳輸變得更加高效，該任務架構如圖2所示。

圖2無人集群系統任務架構

3數據處理的技術方案

3.1數據加密與安全存儲

哈希算法是一種具有代表性的最近鄰檢索技術。用戶檢索時通過比對檢索圖片哈希碼與數據庫哈希碼之間的漢明距離來判斷圖片之間的相似性，獲得檢索結果。

哈希算法可以用于對敏感數據進行加密存儲，以確保數據的安全性。首先，根據數據的重要性、安全性以及應用場景等因素選擇合適的哈希算法，由于目前MD5和SHA-512存在一定的安全漏洞，可以選擇SHA-256及以上的哈希算法；其次，要進行數據的準備，將要加密存儲的數據進行預處理，如將字符串類型的數據轉換為字節流等，以方便后期進行哈希計算；再次，使用選定的哈希算法對準備好的數據進行計算，得到固定長度的哈希值；最后，將計算得到的哈希值存儲到數據庫中，在數據庫中可以創建一個專門的字段來存儲哈希值。值得注意的是，為了進一步提高安全性，本文在計算哈希值之前專門在原始數據中添加了一個隨機生成的鹽值（Salt），這樣即使原始數據相同，添加不同鹽值計算出的哈希值也會不同，對無人集群系統的數據安全性具有重要作用。方案流程如圖3所示。

3.2數據庫索引建立

哈希學習可以用于創建哈希索引，提高數據的查找效率。通過將數據的關鍵字段進行哈希計算從而得到固定長度的哈希值，然后將哈希值對應的數據塊地址存儲在哈希表中，在查詢過程中只須對查詢條件進行哈希計算，然后在哈希表中查找到對應的哈希值，即可快速定位到數據塊，實現0（1）的平均查找時間復雜度。系統思想如圖4所示。

圖3數據加密存儲步驟

3.3 總體設計

為了實現海量集群數據背景下基于字節相似性的近似聚類分組，本文主要采用基于字節相似性的高效數據塊分組壓縮方法。該方法是無人集群數據庫檢索的項目架構，包括端到端的具體解決方案。無監督的相似度自適應的哈希算法和面向海量集群系統中檢索數據塊的分布式近似聚類算法是本項目的重要技術，分別從基于相似性的哈希降維和海量檢索數據的高效聚類2個角度解決海量數據塊相似性壓縮。

首先，使用無監督的相似度自適應的哈希（SimilarityAdaptiveHashing，SAH）算法對需要檢索的集群數據塊進行哈希降維，SAH對原始數據塊首先通過可學習的哈希函數生成近似度保留的哈希碼，利用哈希碼生成相似圖并構建無監督的目標函數，通過目標函數迭代優化更新哈希函數參數，以訓練模型生成相似度自適應的哈希碼。SAH生成的高質量哈希碼將高維數據塊映射到低維空間，以顯著減少數據的存儲空間，提高數據塊分簇效率。

其次，使用面向無人集群檢索數據塊的分布式近似聚類算法，對海量哈希碼進行隨機樣本劃分，以生成隨機樣本數據塊，隨機樣本數據塊作為總檢索數據的隨機樣本，分布保持統計意義的一致性。同時選擇隨機樣本數據塊子集執行大數據的近似聚類集成方法（ApproximateClusteringEnsembleMethod，ACEM），以分布式方式對隨機樣本數據塊子集進行聚類操作并傳輸到主節點，用聚類集成的方法形成最終優化的近似聚類中心，從而高效完成了對海量哈希碼的近似聚類并實現對數據的高效檢索。

圖4系統思想

最后，使用性能優異的DBSCAN算法，使用最近鄰查找方法，在漢明空間以迭代的方式快速形成分組并控制分組中集群數據塊哈希碼的數量，最終完成海量檢索數據塊的分簇分組。數據組中的數據塊大概率具有很強的字節相似度，有利于在隨后的LZ4壓縮算法取得更大的壓縮比，從而獲得優秀的檢索結果。整體算法流程如圖5所示。

3.4無監督的自適應的哈希算法

傳統的哈希方法如MinHash和SimHash等將原始數據映射到多個哈希碼，哈希碼在漢明空間的相似性反映出數據特征空間的相似性，這些方法通常須構建許多不同的哈希表，且難以在保持相似度的前提下有效壓縮哈希碼的長度。針對上述缺點，本文提出無監督的相似度自適應的哈希SAH算法對數據塊進行哈希降維。SAH對原始數據塊使用可學習的哈希函數生成近似度保留的哈希碼，利用哈希碼生成相似圖并構建無監督的目標函數，通過目標函數的迭代優化更新哈希函數參數，以訓練模型生成相似度自適應的哈希碼，將高維數據塊映射到低維漢明空間，顯著減少數據的存儲空間，提高數據塊分簇效率。

將本方法運用于數據檢索的哈希算法中，首先進行可學習的哈希函數訓練，使用歐幾里得損失層來訓練哈希模型，該損失層測量哈希函數的輸出與上次迭代中學習到的哈希碼之間的差異，表達如下：

其中 W={W_l} 表示可學習的哈希函數的參數集合 W_l 表示權值參數， B_cd 是目標哈希碼。接著通過不同數據集的哈希問題對其進行微調，通過標準反向傳播和隨機梯度下降（Stochastic GradientDescent，SGD）對模型的參數進行優化。

圖5整體檢索算法流程

然后進行檢索數據相似度更新，一旦哈希模型訓練結束，系統就會得到一個哈希函數以及特征表示模型，更新相似圖的公式如下：

其中， 是特征表示模型， σ 是帶寬參數。最后讓更新后的相似圖來生成優化的哈希碼，這里采用了通用的優化思想：

其中，圖拉普拉斯由 L=diag（A1_n）-A 定義， μ_?1 和 μ₂ 表示正則化參數， 表示單位矩陣， B 表示需要優化的哈希矩陣。關聯矩陣的元素 A_ij 表示在輸入特征空間中數據對 （x_i，x_j） 之間的相似性。在實際應用中，為了避免計算維度為 n×n 的矩陣 A 和 L ，本文采用錨圖方案，公式如下：

其中， Z∈R^n×m 為錨點圖矩陣，該矩陣由所有數據與 m 個錨點之間的相似度以及 Λ=diag（Z^T1_n） 計算得到，從而減少了優化的計算開銷。

3.5面向海量集群數據塊的分布式近似聚類算法

該算法對海量哈希碼進行隨機樣本劃分，以生成隨機樣本檢索數據塊，隨機樣本檢索數據塊作為總檢索數據的隨機樣本，分布保持統計意義的一致性，選擇隨機樣本檢索數據塊子集執行檢索數據的ACEM，以分布式方式對隨機樣本數據塊子集進行聚類操作并傳輸到主節點，算法原理如圖6所示。其中 c^* 為聚類中心點，從上往下依次為集群數據集層、子樣本層、并行處理節點層、聚類中心組層、并行節點層、聚類結果層。最后，對每個聚類使用改進的基于最近鄰查找的DBSCAN算法，形成待壓縮的數據分組，每個分組包含一定數量的相似檢索數據塊。

圖6分布式近似聚類算法

3.6數據檢索的近似聚類集成方法

該算法采用分布式計算框架，將龐大的檢索數據集分割成多個隨機樣本數據塊，對多個隨機樣本數據塊進行并行聚類處理，最終在中心處理單元把多個數據塊對應的聚類中心執行聚類集成算法，形成最終優化的聚類中心，有效降低了內存使用并提高了計算效率。

3.7DBSCAN聚類算法

DBSCAN是一種基于密度的聚類算法，其原理是假定類別可以通過樣本分布的緊密程度決定。將緊密相連的樣本劃為一類，就得到了一個聚類類別。將所有集群數據樣本劃為各個不同的類別，就得到了最終的所有聚類結果。算法流程如圖7所示。

3.8系統優化與指標評估

考慮到無人集群數據庫的特點，包括自動節點發現、動態擴縮容、數據自平衡、故障自愈、去中心化協調，本算法將會實現節點動態注冊與哈希環構建、數據分片定位、動態擴縮容遷移以及故障自愈機制并對結果進行指標評估。值得注意的是，本部分哈希算法與上述部分不同。

首先，進行系統定義：集群節點集合為Nodes σ=σ ，數據對象為 D_kv={key，value} ，哈希空間為 M ，虛擬節點數為 V. ，每個物理節點對應 V 個虛擬節點。節點動態注冊與哈希環的構建公式如下：

VNodes（n_p）=∣H（n_p∣∣q）bmodM∣q=1，2，…，

圖7 DBSCAN算法

其中， VNodes（n_p） 代表虛擬節點集，Ring代表按哈希值排序的哈希環。

其次，定義數據定位函數為Locate（key），數據分片定位算法核心公式如下：

h=H（key） bmodM

vnode

pyhsical_node =?vnode/V?

repli cas={vnodes，vnode+Δ，vnode+2Δ} bmodM

Δ=M/3

其中，該算法是按順時針查找的，replicas代表副本放置;動態縮擴容遷移公式如下：

其中， n_new 為新增節點，可得遷移率為：

以上的關鍵設計指標包括數據分布均勻性、擴容遷移效率以及故障恢復時間。其中數據分布均勻性計算公式如下：

其中， C_u 表示第 Ω_u 個節點上的數據量， 表示所有節點數據量的平均值，當 時數據分布符合要求，擴容遷移效率公式如下：

當 Tlt;1h/TB 時遷移效率符合要求；故障恢復時間公式如下：

當 Tlt;5min 時符合要求。

4結語

面向高動態、資源受限大、不確定因素高的大環境，無人集群的協同感知面臨著巨大的數據傳輸處理挑戰，數據傳輸的高效性以及數據傳輸的安全性是不容忽視的問題。因此，本文采用了無監督的哈希學習算法應用于無人集群系統中的數據傳輸與處理，從一定程度上可以提高無人集群系統的任務執行效率。哈希算法在無人集群數據庫管理中時，可以負責構建高效的索引結構，當新的數據（系統功能需求等）進入系統后，通過哈希算法計算其哈希值并存入哈希表，等需要查詢時就可以迅速定位；此外哈希學習也可以保障數據的完整性驗證以及任務分配與負載均衡。但是該方案也面臨著計算資源的限制、對環境動態的適應性等方面的挑戰。在未來，該方案會朝著輕量級哈希算法以及面向多源數據的哈希技術發展。

參考文獻

[1]鄒立巖，張明智，武劍.面向體系仿真的智能無人機集群作戰建模總體框架研究［J].軍事運籌與系統工程，2021（1）：64-72.

[2]孫猛，鄧志成，丁剛.基于哈希算法的數據中臺在智慧電站中的檢索應用[J].新型工業化，2021（4）：196-198.

[3]宋怡然，申超，李東兵.美國分布式低成本無人機集群研究進展[J].飛航導彈，2016（8）：17-22.

[4]呂震華，高亢.美國無人集群城市作戰應用發展綜述[J].中國電子科學研究院學報，2020（8）：738-745.

[5]張婷婷，藍羽石，丁剛，宋愛國.無人集群系統自主協同技術綜述[J].指揮與控制學報，2021（2）：127-136.

[6]張博文，張淑麗，郝昕，等.基于局部敏感哈希的多維海量數據處理[J].科技創新與應用，2019（2）：54-55.

[7]龍軍，鄧茜尹，陳云飛，等.基于圖卷積的無監督跨模態哈希檢索算法［J].計算機工程與設計，2024（8）：2393-2399.

[8]LIN M，JI R，ZHANG B，et al.Fast class-wise updating foronline hashing[J].IEEE Transactions on Pattern Analysisand Machine Intelligence，2O22（5）： 2453-2467.

[9]WANG T， ZHANG T， SONG J，et al. A survey on learning to Hash[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，4O（4）：769-

790.

[10]XU X，SHEN F，YANG Y，et al.Learning discriminative binary codes for large-scale cross-modal retrieval[ J]. IEEE Transactions on Image Processing， 2017（5）： 2494-2507.

（編輯戴啟潤）

Unsupervised hash learning based collaborative perception algorithm for unmanned clusters

GENG Kaipin （Nanjing Yaxingwei Information Technology Co.，Ltd.，Nanjing 21OO16，China）

Abstract： The layered unmanned cluster system that combines distributed and centralized approaches faces multiple challnges indiferentscenarios.Thecoreofutilizingunmanned clusterdevices foreficient environmentalsituational awarenesslies in how to effciently compress and map various types of modal perception data，thereby achieving effcient andreliable transmision.This article aims touseunsupervised hash learning algorithms to improve data processing efficiency，collaborativeperception accuracy，and resource utilization eficiency in unmanned cluster systems， providing effective solutions for collaborative perception technology in unmanned clusters.

Key words： unmanned cluster; hash learning; collaborative perception