基于雙Q學習算法的安全容量的優(yōu)化

摘" 要： 由于無線傳播的廣播和開放性，車聯(lián)網通信系統(tǒng)易遭受到竊聽者的竊聽，這降低了通信系統(tǒng)的安全容量。為此，文中提出基于深度強化學習的安全容量的優(yōu)化算法（D3QN?RS）。利用隨機過程理論將最優(yōu)轉發(fā)節(jié)點的選舉問題轉化為馬爾可夫決策過程（MDP），并將截獲概率融入獎勵函數。利用獎勵值抑制截獲概率，并將選擇轉發(fā)節(jié)點的問題轉入強化學習框架。最后，利用雙Q學習算法（D3QN）求解，產生最優(yōu)的轉發(fā)節(jié)點，進而提升系統(tǒng)的安全容量。仿真結果表明，與隨機選擇轉發(fā)節(jié)點的算法相比，D3QN?RS算法的截獲概率下降了約15%，系統(tǒng)的安全容量提升了約12%。

關鍵詞： 車聯(lián)網； 安全容量； 截獲概率； 信道狀態(tài)信息； 轉發(fā)節(jié)點的選擇； D3QN

中圖分類號： TN929.5?34" " " " " " " " " " " " 文獻標識碼： A" " " " " " " " " " " " "文章編號： 1004?373X（2024）11?0181?06

Secrecy capacity optimization algorithm based on dueling double deep Q?Network

DU Ming， REN Jianguo， ZHANG Qingyang

（School of Computer Science and Technology， Jiangsu Normal University， Xuzhou 221116， China）

Abstract： Due to the broadcast and openness of wireless communication， the Internet of Vehicle （IoV） communication system is vulnerable to eavesdropping， which reduces the secrecy capacity （SC） of the communication system. Therefore， SC optimization algorithm named D3QN?RS based on deep reinforcement learning （DRL） is proposed. On the basis of the random process theory， the problem of optimal relay selection （RS） is transformed into the Markov decision process （MDP）， and the intercept probability is integrated into the reward function. The reward value is used to suppress interception probability， and the problem of RS is transferred into the reinforcement learning framework. Finally， the dueling double deep Q?network （D3QN） algorithm is used to solve the reinforcement learning problem and generate the optimal RS， so as to improve the SC of the system. Simulation results show that the D3QN?RS algorithm performs better than random RS， because it reduces intercept probability by approximately 15% and improves SC by approximately 12%.

Keywords： IoV; SC; intercept probability; channel state information; RS; D3QN

0" 引" 言

隨著電子信息技術的不斷發(fā)展，車聯(lián)網技術進入了快速發(fā)展階段。車聯(lián)網中的車輛相互協(xié)作，傳遞道路安全、預警等消息，提高了行駛安全[1]。依據DSRC通信標準，車輛單跳通信距離較短[2]，一般在200 m。因此，車輛需要周圍車輛的協(xié)助轉發(fā)才能將消息傳輸至單跳通信距離外的車輛。在這種情況下，車輛需要依據信道狀態(tài)信息（Channel State Information， CSI）從周圍車輛中選擇一個車輛作為轉發(fā)節(jié)點[3]。

然而，由于車輛的移動，依據CSI選擇最優(yōu)轉發(fā)節(jié)點仍是一項挑戰(zhàn)工作。由于信道的反饋時延，所用的CSI可能已過時了，時效性低。文獻[4?5]采用信道時延模型分析了CSI的不準確性，并提出強健的轉發(fā)節(jié)點選擇（Relay Selection， RS）方法。然而，該方法不能自適應于環(huán)境變化。隨著AI技術的不斷發(fā)展，基于強化學習和深度學習等機器學習理論的成熟應用，融合強化學習和深度學習框架（Deep Reinforcement Learning， DRL）已成功應用于多個領域[6]。

據此，文獻[7?8]提出基于Q?學習的自學習RS方法。盡管Q?學習方法通過與環(huán)境交互，選擇最優(yōu)動作，但是Q?學習需要利用Q表格存儲Q值，其只能處理較小的狀態(tài)空間。

相比之于，DQN更適應于處理復雜環(huán)境。文獻[9]提出基于DQN的RS方法。利用深度神經網絡（Deep Neural Network， DNN）替換Q?學習，選擇最優(yōu)的轉發(fā)節(jié)點。

此外，由于車聯(lián)網采用無線通信，無線傳播的廣播和開放性，又加上節(jié)點（車輛）處理數據的能力有限，車間通信容易受到攻擊者的攻擊，如竊聽數據或者干擾通信。目前，常采用安全容量（Secrecy Capacity， SC）表征通信系統(tǒng)的安全性能。SC是指合法信道傳輸的信息量與竊聽信道的信息量的差值[10]。

為此，本文考慮到信息的截獲概率，提出基于深度強化學習的安全容量的優(yōu)化算法，記為D3QN?RS。依據隨機過程理論，將優(yōu)化通信系統(tǒng)的安全容量問題轉化為馬爾可夫決策過程（Markov Decision Process， MDP），并設計考慮截獲概率和更換轉發(fā)節(jié)點成本的獎勵函數，將提升通信系統(tǒng)的安全容量問題轉入強化學習框架。最后，利用融合Double DQN和Dueling DQN的D3QN（Dueling Double Deep Q?Network）算法求解強化學習問題。仿真結果表明，提出的D3QN?RS算法降低了截獲概率，并提升了通信系統(tǒng)的安全容量。

1" 系統(tǒng)模型

1.1" 網絡模型

考慮如圖1所示的車聯(lián)網二跳通信系統(tǒng)，1個源節(jié)點、[M]個轉發(fā)節(jié)點、1個目的節(jié)點和1個竊聽者。用[Rm]表示第[m]個轉發(fā)節(jié)點，其中[m=1，2，…，M]。源節(jié)點與目的節(jié)點的通信需要轉發(fā)節(jié)點的幫助，即源節(jié)點與目的節(jié)點間無直接通信通路，只能依靠轉發(fā)節(jié)點的轉發(fā)，源節(jié)點才可能將數據傳輸至目的節(jié)點。源節(jié)點依據周圍環(huán)境信息，從[M]個轉發(fā)節(jié)點中選擇一個轉發(fā)節(jié)點。此外，竊聽者作為攻擊者，其可能會截獲源節(jié)點與轉發(fā)節(jié)點間的通信，竊取它們的通信數據。

D3QN?RS算法是通過收集[N]個關于CSI的數據包信息選舉最優(yōu)轉發(fā)節(jié)點，即利用[N]個CSI的數據包信息訓練深度神經網絡模型，再利用已訓練的模型產生最優(yōu)的轉發(fā)節(jié)點。

用[dm，ni，m=dm，n1，dm，n2，dm，n3]表示在第[n]個CSI包的距離矢量，且[m=1，2，…，M]，[n=1，2，…，N]，[i=1，2，3]。其中：[dm，n1]表示源節(jié)點與轉發(fā)節(jié)點[Rm]間的距離；[dm，n2]表示轉發(fā)節(jié)點[Rm]與目的節(jié)點間的距離；[dm，n3]表示轉發(fā)節(jié)點[Rm]與竊聽者間的距離。為了簡化表述，用距離矩陣[D]表示[N]個CSI包的距離矢量，即距離矩陣[D]是[M×N]維矩陣。

源節(jié)點通過兩跳完成與目的節(jié)點的通信。在第一個時隙，源節(jié)點向轉發(fā)節(jié)點廣播消息；在第二個時隙，所選擇的轉發(fā)節(jié)點向目的節(jié)點轉發(fā)消息。

1.2" 信道模型

假定所有信道服從瑞利阻礙衰落[11]。用[gm，ni，i=1，2，3]分別表示源節(jié)點至轉發(fā)節(jié)點[Rm]、轉發(fā)節(jié)點[Rm]至目的節(jié)點以及轉發(fā)節(jié)點[Rm]至竊聽節(jié)點（竊聽者）間的信道增益，其中[m=1，2，…，M]，[n=1，2，…，N]。定義如式（1）所示：

[gm，ni=hm，ni2dm，niα，" "i=1，2，3;" m=1，2，…，M;" n=1，2，…，N]" （1）

式中[α]表示路徑衰落因子。

此外，假定系統(tǒng)內的噪聲為高斯白噪聲，且均值為零、方差為[σ2]。因此，源節(jié)點至轉發(fā)節(jié)點[Rm]、轉發(fā)節(jié)點[Rm]至目的節(jié)點以及轉發(fā)節(jié)點[Rm]至竊聽者間的信道增益的信噪比可表示為[γm，ni，i=1，2，3]。其中：[γm，n1=PSσ2gm，n1]，[γm，n2=PRσ2gm，n2]，[γm，n3=PRσ2gm，n3]，[PS]、[PR]分別表示源節(jié)點的發(fā)射功率、轉發(fā)節(jié)點的發(fā)射功率。令信噪比矩陣[γ]表示[N]個CSI包的信噪比矢量，即信噪比矩陣[γ]是[M×N]維矩陣。

1.3" 安全容量

安全容量等于合法信道傳輸的信息速率與竊聽信道的信息速率間的差值：

[Cm，ns=Cm，nR-Cm，nE+]" （2）

式中：[Cm，ns]表示安全容量；[Cm，nR]表示轉發(fā)節(jié)點[Rm]至目的節(jié)點間信道的速率；[Cm，nE]表示轉發(fā)節(jié)點[Rm]至竊聽者間信道的速率。[x+=max0，x]表示從兩值中取最大值的函數。

采用放大?轉發(fā)（Amplify?and?Forward， AF）協(xié)議[12]。若[Rm]被選為轉發(fā)節(jié)點，則[Cm，nR]和[Cm，nE]可分別表示為：

[Cm，nR=12log21+γm，n1γm，n2γm，n1+γm，n2+1]" （3）

[Cm，nE=12log21+γm，n1γm，n3γm，n1+γm，n3+1]" （4）

1.4" 截獲概率

當合法信道的速率[Cm，nR]小于竊聽信道的速率[Cm，nE]，則表示發(fā)生截獲事件。因此，截獲概率可表示為：

[PR=Prmaxm∈MCm，nslt;0]" （5）

式中[maxm∈MCm，ns]表示最優(yōu)轉發(fā)節(jié)點所產生的最大安全容量。

2" 馬爾可夫決策過程

將選擇最優(yōu)的轉發(fā)節(jié)點過程表述成馬爾可夫決策過程[13]。MDP是求解隨機動態(tài)系統(tǒng)中最優(yōu)決策的有效方法。MDP主要由狀態(tài)、動作以及獎勵三個模塊組成。此外，在下文表述中，為了簡化變量，將變量上標中的“[m]， [n]”省略，例如[di]替換[dm，ni]。

2.1" 狀態(tài)空間

狀態(tài)空間由距離矢量、信噪比和截獲概率組成。令[sk]表示第[k]次迭代的狀態(tài)：

[sk=Dk，γk，PkR]" （6）

式中：[Dk]表示在第[k]次迭代時的距離矩陣，即[Dk=dkii=1，2，3]；[γk]表示在第[k]次迭代時的信噪比矩陣，即[γk=γkii=1，2，3]；[PkR]表示在第[k]次迭代時的截獲概率。

2.2" 動作空間

依據信道的當前狀態(tài)，選擇一個動作。用[ak]表示第[k]次迭代時所選擇的動作。在D3QN?RS算法中，動作就是選擇某一個節(jié)點作為轉發(fā)節(jié)點。因此，[ak]屬于[1×M]維空間，即[ak=0，1，2，…，M]。[ak=0]表示系統(tǒng)在第[k]次迭代中不傳輸任何數據；[ak=m]表示系統(tǒng)在第[k]次迭代中選擇[Rm]為轉發(fā)節(jié)點。

2.3" 獎勵函數

獎勵函數在DQN算法中扮演著重要作用，其指揮著動作的取向。由于D3QN?RS算法旨在降低截獲概率，提高安全容量，將獎勵函數設置為關于截獲概率的函數，其取決于當前狀態(tài)[sk]和動作[ak]。

令[rk]表示第[k]次迭代后的獎勵，其定義如式（7）所示：

[rk=exp-PkR-cλ] （7）

式中：[c]表示更換轉發(fā)節(jié)點的成本，即這次所選擇的動作與上次所選擇的動作不同，就是更換轉發(fā)節(jié)點；[λ]為布爾變量，表示是否更換轉發(fā)節(jié)點，其定義如式（8）所示：

[λ=0，" " " ak=ak-11，" " " ak≠ak-1]" （8）

式中：[ak]、[ak-1]分別表示第[k]次、第[k-1]次迭代時所選擇的動作。

3" 基于D3QN的最優(yōu)轉發(fā)節(jié)點的選擇

D3QN算法是Double DQN和Dueling DQN的結合體[14]。Double DQN采用兩個Q網絡：一個Q網絡估計[Q]值，通常將其稱為Q網絡（[Q]），另一個Q網絡預測動作，常將其稱為目標Q網絡（[Q]）。通過采用兩個Q網絡去除狀態(tài)價值與狀態(tài)?動作間的相關性，進而使智能體更好地學習到狀態(tài)與動作對其所獲得的獎勵。

3.1" Dueling DQN算法

Dueling DQN是將Q網絡分成兩個部分，如圖2所示。一部分僅與狀態(tài)S有關，其表征狀態(tài)的好壞程度，被稱為價值函數；另一部分同時與狀態(tài)和動作有關，其表征了在當前狀態(tài)下某個動作相對于其他動作的優(yōu)劣，被稱為優(yōu)勢函數[15]。

因此，Dueling DQN算法中的[Q]值由價值函數和優(yōu)勢函數兩部分組成，其可表述為：

[Qsk，ak;θ=Vsk;θ+Ask，ak;θ-1Aak+1Ask，ak+1;θ]" " "（9）

式中：[Qsk，ak;θ]表示[Q]值，[θ]表示Q網絡參數。

3.2" Double DQN算法

Q網絡與目標網絡的網絡結構一致，只是網絡參數不同[16]。由目標Q網絡生成訓練過程的目標[Q]值：[Q=r+γmaxαQs，x;θ]。訓練到一定步長數后，就將Q網絡參數[θ]拷貝至目標Q網絡參數[θ]。

D3QN沿用Double DQN算法，其采用式（10）更新目標[Q]值：

[Qtarget=rk+γQsk+1，argmaxaQsk+1，ak+1;θ;θ]" "（10）

式中：[argmaxaQsk+1，ak+1;θ]表示由Q網絡找到目前具有最大[Q]值的動作。

3.3" D3QN算法

依據3.1節(jié)和3.2節(jié)的表述，D3QN算法的流程如圖3所示。

D3QN算法的偽代碼如下：

Step1： 對參數進行初始化，包括：設定經驗池[D]的容量[N]，隨

機初始化Q網絡及其參數，初始化目標網絡以及其參數，設定

更新步長[C]、迭代次數[K]，每次迭代的步數[T]，終止狀態(tài)[ST]

Step2： for [k]=1 to [K] do

Step3：" "初始化當前狀態(tài)[st]

Step4：" "for [t]=1 to [T] do

Step5：" " 根據[ε]?貪婪算法從Q網絡中選擇一個動作

Step6：" " 執(zhí)行動作[a（t）]，并觀測獎勵[r（t）]和下一個狀態(tài)[s（t+1）]

Step7：" " 將[{s（t），a（t），r（t），s（t+1）}]存儲于經驗池[D]中

Step8：" " 更新狀態(tài)[{s（t）←s（t+1）}]

Step9：" " "從經驗池[D]中采用[m]個樣本[{s（j），a（j），r（j），s（j+1）}]，

[j=1，2，…，m]，依據式（11）計算目標[Q]值

Step10：" "依據式（12）計算均方損失函數

Step11：" "隨機梯度下降更新Q網絡參數

Step12：" "每隔[C]步， 將Q網絡參數拷貝至目標Q網絡

Step13：" "End for

Step14： End for

1） 對參數進行初始化：設定經驗池[D]的容量[N]，隨機初始化Q網絡以及其參數[θ]，初始化目標[Q]網絡及其參數[θ=θ]，設定更新步長[C]，迭代回合數[K]，每次迭代的步數[T]，終止狀態(tài)[ST]。

2） 進入迭代環(huán)節(jié)。如算法偽代碼中Step2～Step14所示。在迭代環(huán)節(jié)，先初始化當前狀態(tài)，然后進入步數迭代，如算法偽代碼中Step2～Step13所示。

① 利用[ε?]貪婪算法從Q網絡中選擇一個動作；

② 再執(zhí)行動作[at]，并觀測獎勵[rt]和下一個狀態(tài)[st+1]；

③ 將[st，at，rt，st+1]存儲于經驗池[D]中；

④ 更新狀態(tài)：[st←st+1]；

⑤ 從經驗池[D]中采樣batch樣本，并計算目標[Q]值，如Step9所示；

[Qtarget=rj，" " " " st=STrj+γQsj+1，argmaxaQsj+1，aj+1;θ;θ，" " " " " " " "st≠ST] （11）

⑥ 計算均方差損失函數：

[Loss=1mt=1mQtarget-Qst，at;θ2]" （12）

⑦ 利用隨機梯度下降法更新Q網絡的參數[θ]；

⑧ 每隔[C]步更新[Q]網絡參數：[θ←θ]。

4" 性能分析

4.1" 仿真參數

利用Python 3.6和Pytorch工具搭建仿真平臺，進行仿真實驗。D3QN算法由兩層全連接隱藏層組成，每層含有64個神經元。選用ReLU為激活函數，采用Adam優(yōu)化器，其他的有關神經網絡參數如表1所示。

此外，相關的通信參數如下：路徑衰落因子[α=3]，源節(jié)點和轉發(fā)節(jié)點的傳輸功率均為20 dB，高斯白噪聲的功率為-10 dB。

4.2" 參數[N]、[M]和[c]對截獲概率的影響

首先分析[N]和[M]對D3QN?RS算法的截獲概率的影響，其中[c=0.01]，如圖4所示。

從圖4可知，當[c]和[N]固定時，截獲概率隨著[M]的增加而下降。原因在于：[M]越大，可選的轉發(fā)節(jié)點數越多，選擇空間越大，越有利于選擇更優(yōu)的轉發(fā)節(jié)點，進而降低了截獲概率。此外，增加[N]也有利于降低截獲概率。[N]值越大，意味著擁有的CSI包數越多。換而言之，擁有的訓練數據越多，越有利于做出最優(yōu)決策，進而降低截獲概率。

圖5給出截獲概率隨[c]和[M]的變化情況，其中[N]=10。從圖5可知，[c]的增加也有利于降低截獲概率，特別是在[M]較小時，增加[c]使截獲概率快速下降。原因在于：[c]值越大，更換轉發(fā)節(jié)點的成本增加，提升了竊聽者更換竊聽目標的成本（更換了轉發(fā)節(jié)點，意味著竊聽者也要更換竊聽對象），進而降低了截獲概率。

4.3" 收斂性能

圖6給出D3QN?RS算法的平均獎勵值，迭代次數為14 000次。平均獎勵值反映了D3QN?RS算法的收斂性能。從圖6可知，D3QN?RS算法的收斂性能較好。迭代約2 000次后，獎勵值趨于平穩(wěn)。這也說明D3QN?RS算法能快速收斂。

4.4" 性能對比分析

為了更好地分析D3QN?RS的算法性能，選擇隨機選擇算法（Random）、基于DQN選擇轉發(fā)節(jié)點（DQN?RS）作為基準算法，對比分析它們的性能。Random算法隨機地選擇轉發(fā)節(jié)點；DQN?RS算法是利用DQN算法求解MDP；D3QN?RS算法是利用D3QN算法求解MDP。

圖7給出了D3QN?RS、DQN?RS和Random算法的安全容量隨著轉發(fā)節(jié)點數[M]的變化曲線。從圖7可知，轉發(fā)節(jié)點數[M]有利于提升通信系統(tǒng)的安全容量。原因在于：轉發(fā)節(jié)點數[M]越大，選擇轉發(fā)節(jié)點的空間越大，選擇動作空間越大，這就使竊聽者竊聽信道的難度越大，進而提升了通信系統(tǒng)的安全容量。

相比于DQN?RS和Random算法，D3QN?RS算法提升了通信系統(tǒng)的安全容量。Random算法是隨機選擇轉發(fā)節(jié)點，其安全容量不具有趨勢性，其安全容量最低。而DQN?RS算法是利用DQN算法求解MDP，獲取最優(yōu)轉發(fā)節(jié)點。但DQN算法存在過度高估[Q]值的不足，導致其安全容量低于D3QN?RS算法。

接下來，分析D3QN?RS、DQN?RS和Random算法的截獲概率，如圖8所示。圖8曲線與圖7曲線的趨勢相反。原因在于：系統(tǒng)的安全容量與截獲概率成反比。從圖8可知，截獲概率隨轉發(fā)節(jié)點數增加而下降，這主要是因為：轉發(fā)節(jié)點數越多，竊聽者實施竊聽的難度越大。

此外，相比于Random和DQN?RS算法，D3QN?RS算法降低了通信系統(tǒng)的截獲概率。由于Random算法采用隨機方式選擇轉發(fā)節(jié)點，其截獲概率不隨轉發(fā)節(jié)點變化。

5" 結" 語

本文針對車聯(lián)網中安全容量的優(yōu)化問題，提出一種基于DRL的安全容量優(yōu)化算法。先將優(yōu)化安全容量問題轉入強化學習框架。考慮到Double DQN和Dueling DQN算法各自的特點，構建D3QN算法，并利用D3QN算法求解。通過將截獲概率設計獎勵函數，智能體通過與環(huán)境的交互，產生最優(yōu)動作，控制截獲概率，進而提升系統(tǒng)的安全容量。仿真結果表明，提出的D3QN?RS算法具有良好的安全容量性能。

參考文獻

[1] 劉雪嬌，鐘強，夏瑩杰.基于雙層分片區(qū)塊鏈的車聯(lián)網跨信任域高效認證方案[J].通信學報，2023，44（5）：213?223.

[2] 郭楠，宋嘯波，莊璐瑗，等.面向WAVE安全服務的車聯(lián)網匿名批量消息認證方案[J].計算機科學，2023，50（4）：308?316.

[3] 李一兵，王寧馨，呂威.蜂窩車聯(lián)網中基于服務異構性的V2V通信資源分配算法研究[J].電子與信息學報，2023，45（1）：235?242.

[4] SHI Z， WANG H， FU Y R， et al. Outage performance and optimal design of MIMO?NOMA enhanced small cell networks with imperfect channel?state information [J]. China communications， 2021， 18（10）： 107?128.

[5] ZHANG Y J， WU J， WANG B. Optimization analysis of max?link secure relay selection in buffer?aided cooperative networks [J]. Journal of physics： Conference series， 2021， 1746（1）： 012079.

[6] 唐進，梁彥剛，白志會，等.基于DQN的旋翼無人機著陸控制算法[J].系統(tǒng)工程與電子技術，2023，45（5）：1451?1460.

[7] LIN R， QIU H， JIANG W， et al. Deep reinforcement learning for physical layer security enhancement in energy harvesting based cognitive radio networks [J]. Sensors （Basel， Switzerland）， 2023， 23（2）： 807.

[8] LU J， HE D， WANG Z. Learning?assisted secure relay selection with outdated CSI for finite?state Markov channel [C]// 2021 IEEE 93rd Vehicular Technology Conference. New York： IEEE， 2021： 1?5.

[9] SU Y， LIWANG M， GAO Z， et al. Optimal cooperative relaying and power control for IoUT networks with reinforcement learning [J]. IEEE internet things journal， 2021， 8（2）： 791?801.

[10] 汪衍佳.無人機通信系統(tǒng)高能效魯棒安全傳輸技術研究[D].南京：南京郵電大學，2022.

[11] PANG X， ZHAO N， TANG J， et al. IRS?assisted secure UAV transmission via joint trajectory and beamforming design [J]. IEEE transactions on communications， 2021， 70（2）： 1140?1152.

[12] DUNG C T， HOANG T M， THANG N N， et al. Secrecy performance of multi?user multi?hop cluster?based network with joint relay and jammer selection under imperfect channel state information [J]. Performance evaluation， 2021， 147： 102193.

[13] 王正寧，周陽，呂俠，等.一種基于2D和3D聯(lián)合信息的改進MDP跟蹤算法[J].計算機科學，2019，46（3）：97?102.

[14] 張良玉.移動機器人深度強化學習路徑規(guī)劃研究[D].大連：大連海事大學，2021.

[15] 武明虎，金波，趙楠，等.基于深度強化學習的V2X頻譜資源管理方法[J].光通信研究，2023（3）：71?78.

[16] 周翼.基于改進競爭網絡的機器人避障方法研究[D].西安：西安電子科技大學，2019.

作者簡介：杜" 明（1976—），男，山東泰安人，碩士，高級實驗師，研究方向為信息技術和實驗室管理。

任建國（1978—），男，山西忻州人，博士，副教授，研究方向為網絡攻防對抗與復雜網絡和網絡空間安全動力學。

張清楊（1990—），男，江蘇徐州人，博士，講師，研究方向為進化計算、動態(tài)優(yōu)化、智能算法及其應用。