基于注意力機制算法的深度學習模型入侵檢測系統

一、前言

在數字化與智能化快速發展的背景下，網絡空間已成為經濟、社會運行的關鍵基礎設施。將注意力機制算法引人深度學習模型應用于人侵檢測，能夠模擬人類對關鍵信息的聚焦能力，幫助模型自動識別網絡數據中的重要特征，減少噪聲干擾，提升檢測的準確性與實時性。同時，該技術還能增強模型對復雜攻擊模式的學習能力，使其更好地適應網絡安全環境的動態變化，為網絡安全防護體系提供強有力的技術支撐，對保障網絡空間安全、維護社會穩定與經濟發展具有重要的現實意義。

注意力分數計算公式如下：

其中， d_k 為鍵向量的維度，通過除以V 進行縮放，以防止分數過大導致梯度消失問題。接著，對注意力分數進行softmax歸一化，得到注意力權重 該權重表示在生成當前位置的輸出時，對其他位置信息的關注程度，根據注意力權重對值向量進行加權求和，得到注意力輸出公式如下：

二、基于注意力機制算法的深度學習模型概念

注意力機制最初源于對人類視覺和認知系統的研究，其核心概念是通過計算注意力權重，來衡量輸入數據中不同部分的重要程度，并根據權重對輸人進行加權求和，從而得到更具代表性的輸出[1。

在Transformer中，多頭注意力機制（Multi-HeadAttention）是注意力機制變體。在運行中將輸入序列X分別通過三個不同的線性變換矩陣 W_Q N W_K 小 W_V ，得到查詢向量 Q=XW₀ 、鍵向量 K=XW_K 和值向量 V=XW_V° 然后，計算注意力分數，對于查詢向量 ΔQ_i 和鍵向量 K_j

多頭注意力機制則是并行執行多個上述注意力計算過程，每個頭學習到輸入序列不同方面的特征表示，最后將各個頭的輸出拼接并通過一個線性變換進行融合，得到最終的多頭注意力輸出，使得模型能捕捉到輸入序列中不同類型和尺度的依賴關系，增強模型對復雜信息的理解和處理能力[2]。將注意力機制算法融人深度學習模型中，可以自動為不同部分的數據分配不同的注意力權重，使模型更加關注與任務相關的重要信息，抑制噪聲和無關信息的干擾。以圖像識別任務為例，對于一張包含多個物體的圖像，模型可以通過注意力機制聚焦于目標物體，突出其關鍵特征，提高識別的準確性[3]。

三、基于注意力機制算法的深度學習模型防入侵原理

（一）特征提取與模型訓練

收集到的原始數據存在噪聲、缺失值和重復化等問題，這些問題會干擾模型的學習和判斷，所以要進行清洗操作，使其具有統一的尺度和分布，以提高模型的訓練效率和性能，完成數據預處理后，基于注意力機制算法的深度學習模型進行特征提取。以基于注意力機制的CNN為例，在卷積層進行卷積操作提取圖像局部特征后，注意力機制模塊會計算每個特征圖位置的注意力權重[4。設輸入的特征圖為F，經過注意力機制計算得到注意力權重矩陣A，則加權后的特征圖F為F^′=F?A ，用這種方式就可讓模型關注與人侵相關的關鍵特征。例如，在網絡流量數據中，突出顯示與異常流量模式相關的特征，而抑制無關的背景信息，從而提取更具代表性和判別性的入侵特征。

擁有特征后，進行模型訓練，采用反向傳播算法來調整模型的參數，以最小化模型預測結果與真實標簽之間的差異。以交叉熵損失函數L為例，對于多分類問題，其計算公式如下：

其中， Π_n 為樣本數量； y_i 表示樣本i的真實標簽，通常為one-hot編碼形式； p_i 表示模型預測樣本i屬于各個類別的概率。反向傳播算法通過計算損失函數對模型參數的梯度，然后根據梯度的方向和大小來更新參數。設模型的參數為0，學習率為 ∝ ，則參數更新公式如下：

在每一輪訓練中，模型會根據當前的參數對輸入數據進行前向傳播計算預測結果，然后通過反向傳播算法計算梯度并更新參數，不斷迭代這個過程，直到損失函數收斂到一個較小的值，此時模型認為已經學習到了數據中的有效模式。

在實際訓練中，還能采用優化策略來提高訓練效果和效率。采用隨機梯度下降（SGD）及其變種算法（如Adagrad、Adadelta、Adam等）。Adam算法結合了Adagrad和Adadelta的優點，能自適應地調整學習率，在模型訓練中表現出較好的穩定性和收斂速度。其在更新參數時，不僅考慮了當前梯度的一階矩估計（即梯度的均值），還考慮了二階矩估計（即梯度的方差），使得學習率在訓練過程中能根據梯度的變化情況自動調整。

（二）入侵檢測與判斷

當基于注意力機制算法的深度學習模型完成訓練后，便可用于實時的入侵檢測任務。在實際應用中，將實時采集到的網絡流量數據和系統日志數據按照訓練時的預處理方式進行處理后，輸入訓練好的模型中。模型會根據輸人數據的特征，通過已學習到的模式和權重進行計算，輸出對當前數據所屬類別的預測結果，即判斷當前數據是正常網絡行為還是某種入侵行為[5]。

模型的輸出是概率分布，表示輸人數據屬于各個類別的概率性。對于囊括正常、端口掃描、DDoS攻擊等類別的入侵檢測模型，輸出可能是[0.9，0.05，0.05]，表示模型認為當前數據有 90% 的概率屬于正常網絡行為，有 5% 的概率屬于端口掃描攻擊，有 5% 的概率屬于DDoS攻擊。為了做出明確的判斷，需要設置一個閾值。當模型預測屬于某一入侵類別的概率超過設定的閥值時，則判定為存在該類型的入侵行為。假設對于端口掃描攻擊設定的閾值為0.1，當模型預測端口掃描攻擊的概率為0.15時，就可以判斷當前網絡存在端口掃描攻擊。

四、基于注意力機制算法的深度學習模型入侵檢測設計方案

（一）多模態時空特征融合模型架構設計

模型由特征嵌人層、時空特征提取層、自適應注意力融合層及分類決策層構成[。時空特征提取層采用雙向門控循環單元（BiGRU）捕獲時序依賴關系，其狀態更新公式為：

h_t^f=GRU（x_t，h_t-1^f），h_t^b=GRU（x_t，h_t-1^b）

其中， 表示雙向狀態拼接， 和 分別表示前向與反向隱藏狀態， d_h 為隱藏層維度。最終輸出通過拼接融合：

其中， h_t^f@h_t^b 表示 h_t^f 和 h_t^b 雙向狀態拼接，并行

學術研究

部署空洞率 d∈{1，2，4} 的擴張卷積核 ，其中 k 為卷積核大小。第 d 個分支輸出為：

C_d=ReLU（W_conu^d*_dX+b^d）∈R^T?m

其中 ?_d 表示空洞卷積操作，意為對卷積操作施加空洞率為d的空洞卷積， * 用于明確標注當前卷積操作是空洞卷積， m 為輸出通道數。多分支輸出拼接后得到空間特征矩陣 H_conu∈R^T?3m 。

定義神經網絡模型時使用PyTorch庫構建網絡層，整體屬于類的初始化部分（通常在init方法里），用來定義模型中會用到的具體組件，如下所示：

self.bigru nn.GRU（input_size σ=σ N，hidden_size h，bidirectional=True） self.dilated_conv s=n n.ModuleList（[nn. Convld（N，m，k，dilation=d）for d in[1，2，4]l）

nn.GRU是PyTorch里用來構建門控循環單元（GRU）層的類。GRU作為特殊的循環神經網絡，能處理序列數據，記住序列中的長期依賴信息，避免傳統RNN中梯度消失的問題。在這個實例化過程中，input_size ：=N 表明輸入序列的每個時間步有N個特征，即輸入數據的特征維度為 N hidden_size=d_h，表示GRU隱藏狀態的維度大小為d_h，GRU在每個時間步根據輸入和前一個隱藏狀態更新當前的隱藏狀態，這個隱藏狀態的維度就是d_h。而bidirectional=True意味著創建的是雙向GRU。雙向GRU會同時從序列的正向和反向處理數據，最后把兩個方向得到的隱藏狀態拼接起來作為最終輸出，讓模型同時捕捉到序列中過去和未來的信息，增強模型對序列的理解能力。

nn.ModuleList是PyTorch中的容器類，它的作用是存儲多個nn.Module實例，方便PyTorch對這些層的參數進行管理。nn.Convld用于創建一維卷積層，常用于處理序列數據，dilation τ_=d 中的dilation是擴張卷積的擴張率參數，這里d取值為[1，2，4]，意思是創建三個不同擴張率的一維卷積層。擴張率為1時就是普通的卷積操作；擴張率為2時，卷積核的元素之間會有一個間隔；擴張率為4時，間隔會更大。使用不同的擴張率可以讓模型捕捉到不同尺度的特征。

（二）門控注意力特征增強機制

為提升關鍵特征的區分度，設計基于通道注意力與殘差連接的特征增強模塊[。給定時空融合特征F∈R^T*D （ D=2d_h+3m ，通過全連接層學習通道權重，表示如下：

其中， W₁∈R^k?D 和 W₂∈R^p? 為可訓練參數矩陣，δ表示ReLU激活函數， σ_σσσ 為Sigmoid函數。采用門控機制動態調節特征重要性：

其中， ? 表示逐元素乘法， 1_T 為全1向量，殘差連接確保梯度穩定。

權重計算邏輯表示如下：

attn torch.sigmoid（self.fc2（F.relu（self.fc1（F））） # [batch_size，D]

enhanced=F*attn.unsqueeze {1}+F #廣播機制

上述程序是用注意力機制來增強輸入特征F，F是輸入的特征張量，其形狀通常為[batch_size，..]，batch_size代表一批數據中樣本的數量。self.fc1和self.fc2是全連接層（nn.Linear）。在神經網絡里，全連接層可以對輸入特征進行線性變換。代碼先把輸入特征F傳入self.fc1，對F進行一次線性變換，改變特征的維度。然后使用Frelu函數，這是一個激活函數，它會將輸入中小于0的值置為0，大于0的值保持不變，目的是給模型引入非線性因素，增強模型的表達能力。注意力權重表示模型對每個特征的關注程度，值越接近1表示越關注，越接近0表示越不關注。attn.unsqueeze（1）的作用是在attn張量的第1個維度上插入新的維度，如果attn的形狀是[batch_size，D]，那么attn.unsqueeze（1）的形狀就會變成[batch_size，1， DJ 然后將輸入特征F與attn.unsqueeze（1）進行逐元素相乘，這里使用廣播機制。廣播機制允許在形狀不同但兼容的張量之間進行逐元素操作，attn.unsqueeze（1）會在缺失的維度上進行擴展，使其與F的形狀相匹配，然后逐元素相乘。相乘的結果表示根據注意力權重對輸入特征進行了加權。最后，將加權后的特征與原始輸入特征F相加，得到增強后的特征enhanced。這種方式結合了原始特征和經過注意力加權的特征，既保留了原始信息，又突出模型關注的部分，從而增強特征的表達能力，實現對異常數據的更好捕捉，及時阻止入侵行為的發生。

（三）增量式自適應檢測決策系統

部署兩階段決策機制以平衡實時性與準確性，滑動窗口置信度聚合，定義時間窗口 W_t={x_t-τ ，.， |σ_Xt} ，窗□內綜合置信度為：

其中， τ 為窗口長度，C為類別數（正常、DDoS、端口掃描等）。設置高閾值 θ_h 與低閾值 θ₁ ，決策規則為：

增量更新時損失函數包含知識蒸餾項：

其中， p_old 為舊模型輸出分布， p_new 為新模型輸出，λ 為平衡系數。其程序運行邏輯如下：

ifpred.maxgt;high_threshold： firewall.block_ip（src_ip） elif low_threshold

該方案通過多模態特征融合增強模型對隱蔽攻擊的檢測能力，門控注意力機制提升特征可解釋性，增量學習機制使系統持續適應新型攻擊模式。使用if語句判斷pred.max是否大于 high_threshold，pred是預測結果的張量，在機器學習場景下，它代表模型對某些事件或樣本的預測值，pred.max（會找出pred張量中的最大值，high_threshold是預先設定的一個高閾值。當這個最大值超過high_threshold時，意味著當前的預測結果顯示出較高的風險水平。在這種情況下，代碼調用firewall.block_ip（src_ip）方法，firewall是防火墻對象，block_ip是該對象的方法，用于將源IP地址src_ip加人防火墻的封禁列表中，以此阻止來自該IP地址的后續訪問，若pred.max不大于high_threshold，程序會進入elif分支，判斷pred.max是否大于low_threshold且小于等于high_threshold。low_threshold同樣是預先設定的一個低閾值，當pred.max（處于這個區間時，表明當前的風險處于中等水平。此時會計算特殊的損失函數loss。lambda是一個超參數，其取值范圍通常在0到1之間，用于控制兩種不同損失函數的權重。ce_loss代表交叉熵損失，它是機器學習中常用的損失函數，主要用于衡量模型預測結果與真實標簽之間的差異，在分類問題中應用廣泛。kl_div表示KL散度，用于衡量兩個概率分布之間的差異，old_logits和new_logits分別代表舊的和新的模型輸出的對數概率，通過計算它們之間的KL散度，可以衡量模型更新前后輸出分布的變化。最終的損失函數loss是交叉熵損失和KL散度的加權和，這樣的設計可以在模型訓練過程中平衡模型對預測準確性（通過交叉熵損失體現）和模型輸出分布穩定性（通過KL散度體現）的追求[8]。

五、結語

研究圍繞基于注意力機制算法的深度學習模型在入侵檢測系統中的應用展開深入探討。通過理論分析與技術設計，構建了融合多模態時空特征、門控注意力增強機制和增量式決策系統的入侵檢測模型，有效提升了對復雜網絡入侵行為的檢測能力。研究成果不僅在理論上豐富了網絡安全領域中人侵檢測技術的研究體系，還在實踐層面為網絡安全防護提供了可落地的解決方案，能夠幫助企業和機構及時發現并抵御網絡攻擊，降低安全風險，為網絡安全筑牢防線。

參考文獻

[1]李婧，楊興凱.RBAT：基于融合特征和殘差網絡的入侵檢測模型[J].中國工程機械學報，2024，22（02）：258-263.

[2]陳天翔，何利力，鄭軍紅.基于注意力機制的殘差網絡入侵檢測模型[J].軟件工程，2024，27（05）：73-78.

[3]羅虹富，王恒，馬自強.基于CNN和BiLSTM的分層注意力網絡入侵檢測方法[J].計算機技術與發展，2024.34（11）：95-100

[4]朱鵬浩，李軍，張世義，等.基于深度學習的動態危險區域入侵檢測方法[J].中國安全生產科學技術，2024，20（07）：170-178

[5]楊曉文，張健，況立群，等.融合CNN-BiGRU和注意力機制的網絡入侵檢測模型[J].信息安全研究，2024，10（03）：202-208.

[6]陳建峰.基于智能監控的重點場所無人機防入侵系統研究[J]張江科技評論，2024（04）：102-104.

[7]曹珍貫，陶明明，王勇杰，等.基于URBE-YOLOvl1n的井下安全帽小目標檢測算法[JOL].重慶工商大學學報（自然科學版）1-12[2025-06-04].http：//kns.cnki.net/kcms/detail/50.1155.N.20250421.1552.002.html.

[8]許智宏，劉秋月，董永峰，等.融合雙重注意力與圖增強的知識圖譜推理[J/OL].計算機工程與應用，1-14[2025-06-04].http：/kns.cnki.net/kcms/detail/11.2127.TP.20250428.1332.008.html.

基金項目：2021年度福建省中青年教師教育科研項目（科技類）“基于注意力機制算法的深度學習模型的入侵檢測系統”（項目編號：JAT210650）

作者單位：福建師范大學協和學院

責任編輯：張津平 尚丹