基于改進(jìn)DDQN算法的復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別方法

摘 要：為全面提取節(jié)點(diǎn)的全局特征，提高復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別結(jié)果的準(zhǔn)確性，提出一種基于改進(jìn)DDQN （double deep Q-network）算法的復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別方法。通過(guò)重構(gòu)DDQN的初始獎(jiǎng)勵(lì)值、引入回退探索和優(yōu)先訪問(wèn)方法，改進(jìn)DDQN算法，提取節(jié)點(diǎn)全局特征，從而提升全局特征提取的效率和提取結(jié)果的準(zhǔn)確性。引入聚類系數(shù)獲取節(jié)點(diǎn)的局部特征，通過(guò)網(wǎng)絡(luò)性能均值實(shí)驗(yàn)得到全局特征和局部特征的融合參數(shù)，對(duì)全局特征和局部特征進(jìn)行融合，得到節(jié)點(diǎn)的重要度排序，從而實(shí)現(xiàn)關(guān)鍵節(jié)點(diǎn)識(shí)別。在7個(gè)真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，此方法在基于網(wǎng)絡(luò)性能均值的評(píng)價(jià)指標(biāo)以及SIR模型上均優(yōu)于對(duì)比的基線方法。證明其可以更全面地提取節(jié)點(diǎn)全局特征，更準(zhǔn)確地識(shí)別關(guān)鍵節(jié)點(diǎn)。

關(guān)鍵詞：復(fù)雜網(wǎng)絡(luò)；關(guān)鍵節(jié)點(diǎn)；DDQN算法；回退探索；優(yōu)先訪問(wèn)

中圖分類號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2025）04-021-1122-06

doi： 10.19734/j.issn.1001-3695.2024.09.0327

Method for identifying key nodes in complex networks based on improved DDQN algorithm

Jiang Yunana， Liu Linlana， Shu Jianb

（a. School of Information Engineering， b. School of Software， Nanchang Hangkong University， Nanchang 330063， China）

Abstract：To comprehensively extract global features of nodes and enhance the accuracy of identifying key nodes in complex networks， this paper proposed a method based on an improved DDQN algorithm for key node identification in complex networks. By redefining the initial reward values of DDQN， introducing backtracking exploration and priority access methods， it enhanced the DDQN algorithm to extract the global features of nodes， thereby improving the efficiency of global feature extraction and the accuracy of the extracted results. Introducing clustering coefficient to extract the local features of nodes， deriving fusion parameters for global and local features through mean network performance experiments， and integrating global and local features to rank the importance of nodes， thus achieving key node identification. Experimental results on seven real network datasets demonstrate that this method outperforms the baseline methods in terms of evaluation indicator based on mean network performance and the SIR model. This serves as evidence that this method can comprehensively extract global features of nodes and accurately identify key nodes.

Key words：complex network; key nodes; DDQN algorithm; backtracking exploration; priority access

0 引言

復(fù)雜網(wǎng)絡(luò)由現(xiàn)實(shí)中的復(fù)雜系統(tǒng)通過(guò)高度抽象所獲得，這種網(wǎng)絡(luò)建模方式是理解復(fù)雜系統(tǒng)的一種良好方法[1]。常見(jiàn)的網(wǎng)絡(luò)類型有好友關(guān)系網(wǎng)絡(luò)、合作關(guān)系網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等。關(guān)鍵節(jié)點(diǎn)挖掘[2]是復(fù)雜網(wǎng)絡(luò)研究領(lǐng)域的一環(huán)，在查找知名學(xué)者出版的書籍、交通樞紐以及社交名人等方面具有重要的實(shí)際意義。

現(xiàn)有的關(guān)鍵節(jié)點(diǎn)識(shí)別方法利用節(jié)點(diǎn)的多種全局或局部特征進(jìn)行綜合評(píng)估，以更準(zhǔn)確地識(shí)別關(guān)鍵節(jié)點(diǎn)。例如Guo等人[3]基于度、K-shell和最大特征向量，提出了一種改進(jìn)重力模型；謝麗霞等人[4]利用K-shell、度和次鄰居數(shù)來(lái)綜合評(píng)估關(guān)鍵節(jié)點(diǎn)；龔志豪等人[5]基于節(jié)點(diǎn)自身以及鄰居的度，提出一種改進(jìn)熵值公式；汪亭亭等人[6]利用K-shell定義新的信息熵，結(jié)合迭代次數(shù)來(lái)獲得節(jié)點(diǎn)的重要性排序；Zhao等人[7]通過(guò)考慮一階鄰居的局部聚類系數(shù)和度來(lái)找出關(guān)鍵節(jié)點(diǎn)；吳亞麗等人[8]基于節(jié)點(diǎn)自身以及鄰居的Ks值，依次定義了節(jié)點(diǎn)熵、節(jié)點(diǎn)影響力和節(jié)點(diǎn)重要性；Morone等人[9]利用節(jié)點(diǎn)自身以及多階鄰居的度來(lái)定義節(jié)點(diǎn)集體影響力；文獻(xiàn)[10～13]通過(guò)定義截?cái)喟霃酱_定節(jié)點(diǎn)影響區(qū)間，并結(jié)合節(jié)點(diǎn)不同屬性來(lái)改進(jìn)重力模型；Fang等人[14]基于一階鄰居的度、連邊權(quán)重以及節(jié)點(diǎn)度來(lái)定義節(jié)點(diǎn)的傳播能力；熊才權(quán)等人[15]綜合考慮節(jié)點(diǎn)K-shell值以及兩階內(nèi)鄰居的全局位置信息來(lái)全面評(píng)估關(guān)鍵節(jié)點(diǎn)。文獻(xiàn)[3～15]雖綜合考慮了節(jié)點(diǎn)的局部和全局特征，但在全局上僅局限于一定范圍內(nèi)的鄰居或傳統(tǒng)全局指標(biāo)，無(wú)法全面提取節(jié)點(diǎn)的全局特征。

DDQN算法是深度強(qiáng)化學(xué)習(xí)的分支，主要利用初始獎(jiǎng)勵(lì)值為智能體提供啟發(fā)信息，進(jìn)而通過(guò)與環(huán)境的交互自主學(xué)習(xí)最優(yōu)策略，獲得節(jié)點(diǎn)對(duì)間獎(jiǎng)勵(lì)值最大的路徑，以反映節(jié)點(diǎn)在全局中的重要性。但此算法也存在著深度強(qiáng)化學(xué)習(xí)相關(guān)算法普遍存在的訓(xùn)練效率低和訓(xùn)練結(jié)果不穩(wěn)定的問(wèn)題。目前，針對(duì)這些問(wèn)題，已有大量學(xué)者進(jìn)行了研究。例如張昊迪等人[16]引入啟發(fā)式和規(guī)避式規(guī)則來(lái)提升訓(xùn)練效率；張?chǎng)蔚热薣17]為各狀態(tài)賦予優(yōu)先值，以加速算法收斂；Luo等人[18]引入A*算法來(lái)降低動(dòng)作的決策時(shí)間，加快訓(xùn)練速度；Han等人[19]利用先驗(yàn)知識(shí)訓(xùn)練深度森林分類器，將動(dòng)作映射到更小的空間，加速其收斂；鄧世權(quán)等人[20]采用一條軌跡作為經(jīng)驗(yàn)池的最小單元，以提升訓(xùn)練速度。上述方法雖有效地提升了訓(xùn)練效率和訓(xùn)練結(jié)果的穩(wěn)定性，但僅適用于可選鄰居較少的簡(jiǎn)單游戲環(huán)境，無(wú)法適用于可選鄰居較多的復(fù)雜網(wǎng)絡(luò)。

為解決節(jié)點(diǎn)全局特征提取不全面的問(wèn)題，本文提出一種基于改進(jìn)DDQN算法的復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別方法。綜合考慮節(jié)點(diǎn)全局和局部特征來(lái)識(shí)別關(guān)鍵節(jié)點(diǎn)，在查找知名學(xué)者出版的書籍、交通樞紐以及社交名人等方面能發(fā)揮更好的作用。其主要貢獻(xiàn)如下：

a）提出一種基于改進(jìn)DDQN的全局特征提取算法，彌補(bǔ)了全局特征提取不全面的問(wèn)題，將提取空間由一定范圍的鄰居拓展到整個(gè)網(wǎng)絡(luò)。同時(shí)，為提升提取的效率和提取結(jié)果的穩(wěn)定性，受文獻(xiàn)[21]啟發(fā)，從減少動(dòng)作空間的角度研究了改進(jìn)DDQN算法在小規(guī)模復(fù)雜網(wǎng)絡(luò)下的適用性。

b）提出一種融合全局和局部特征的關(guān)鍵節(jié)點(diǎn)識(shí)別方法。利用聚類系數(shù)提取節(jié)點(diǎn)局部特征，依據(jù)網(wǎng)絡(luò)性能均值實(shí)驗(yàn)獲取兩特征的最優(yōu)融合參數(shù)，以提升關(guān)鍵節(jié)點(diǎn)識(shí)別的準(zhǔn)確性。

1 理論基礎(chǔ)

復(fù)雜網(wǎng)絡(luò)定義為G=（V，E），其中V={v1，v2，…，vn}為節(jié)點(diǎn)集合，E={（vi，vj）|vi，vj∈V，vi≠vj}為連邊集合，n為節(jié)點(diǎn)數(shù)。根據(jù)連邊是否有權(quán)可將復(fù)雜網(wǎng)絡(luò)劃分成無(wú)權(quán)網(wǎng)絡(luò)和加權(quán)網(wǎng)絡(luò)兩類。下面將簡(jiǎn)要介紹本文用到的幾個(gè)傳統(tǒng)指標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)價(jià)指標(biāo)與基線方法

3.1.1 評(píng)價(jià)指標(biāo)

為驗(yàn)證改進(jìn)DDQN算法在訓(xùn)練效率、訓(xùn)練結(jié)果穩(wěn)定性和全局特征提取方面的進(jìn)步，分別選取訓(xùn)練時(shí)間、收斂周期和訓(xùn)練完成時(shí)各節(jié)點(diǎn)的訪問(wèn)次數(shù)作為評(píng)價(jià)指標(biāo)。訓(xùn)練時(shí)間越少，訓(xùn)練效率越高；收斂周期越少，訓(xùn)練結(jié)果越穩(wěn)定；訓(xùn)練完成時(shí)各節(jié)點(diǎn)的訪問(wèn)次數(shù)越多，網(wǎng)絡(luò)遍歷越全面，全局特征提取越有效。

關(guān)鍵節(jié)點(diǎn)識(shí)別方法的準(zhǔn)確性通常可利用兩種方法進(jìn)行度量，具體如下：

a）網(wǎng)絡(luò)性能。網(wǎng)絡(luò)性能是評(píng)估節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)影響力的評(píng)價(jià)指標(biāo)[24]，可用網(wǎng)絡(luò)最大連通子圖的節(jié)點(diǎn)數(shù)與網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)的比值進(jìn)行衡量。刪除節(jié)點(diǎn)前后網(wǎng)絡(luò)性能變化越大，節(jié)點(diǎn)越重要。

為驗(yàn)證本文方法的有效性，選取去除前top-n節(jié)點(diǎn)的過(guò)程中網(wǎng)絡(luò)性能的均值作為評(píng)價(jià)指標(biāo)，并基于此指標(biāo)找出全局特征與局部特征的最優(yōu)融合參數(shù)a。計(jì)算公式如式（16）所示。

R=1n∑nu=1σ（u/n）

（16）

其中：R為去除前top-n節(jié)點(diǎn)的過(guò)程中網(wǎng)絡(luò)性能的均值；σ（u/n）為去除前top-u個(gè)節(jié)點(diǎn)后的網(wǎng)絡(luò)性能。

b）SIR。SIR主要模擬傳染病的傳播過(guò)程，將節(jié)點(diǎn)分為易感狀態(tài)S、感染狀態(tài)I及痊愈狀態(tài)R三類，在每一輪傳播中，各節(jié)點(diǎn)都以一定的感染概率由易感狀態(tài)變?yōu)楦腥緺顟B(tài)，且以一定的恢復(fù)概率由感染狀態(tài)變?yōu)槿鸂顟B(tài)。節(jié)點(diǎn)在一定傳播輪次內(nèi)感染的節(jié)點(diǎn)數(shù)越多，其在網(wǎng)絡(luò)中越重要。

為驗(yàn)證本文方法識(shí)別出的關(guān)鍵節(jié)點(diǎn)的有效性，采用SIR對(duì)節(jié)點(diǎn)重要度排序中前top-10節(jié)點(diǎn)的傳染性進(jìn)行實(shí)驗(yàn)。

3.1.2 基線方法

為驗(yàn)證本文方法的有效性，共選取了9種基線方法，分別是FGM（fusion gravity model）[3]、KDN（k-shell distribution of neighbours）[8]、CI（collective influence）[9]、KSGC（k-shell gravity centrality）[10]、LGM（local version of GM）[11]、LGC （Laplacian gravity centrality）[12]、SC（social capital）[13]、IGC （improved gravitational centrality）[14]、KPN（k-shell position and neighborhood within two steps）[15]。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文采用7個(gè)不同的真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，各網(wǎng)絡(luò)的拓?fù)涮卣魅绫?所示。其中Polbooks[25]是政治書籍引用網(wǎng)絡(luò)；USAir97[26]是航班連接網(wǎng)絡(luò)；Jazz[27]是爵士樂(lè)手社交網(wǎng)絡(luò)；Celegant[28]是線蟲神經(jīng)系統(tǒng)連接網(wǎng)絡(luò)；Bio-Celegans[29]是基質(zhì)代謝網(wǎng)絡(luò)；CAG_mat364[30]是組合關(guān)系網(wǎng)絡(luò)；Ia-infect-hyper[31]是人工交互網(wǎng)絡(luò)。Polbooks、Bio-Celegans和CAG_mat364網(wǎng)絡(luò)中節(jié)點(diǎn)分布稀疏，其余網(wǎng)絡(luò)中節(jié)點(diǎn)分布密集。

3.3 實(shí)驗(yàn)結(jié)果和分析

3.3.1 改進(jìn)DDQN算法的評(píng)價(jià)實(shí)驗(yàn)

本文提出的改進(jìn)DDQN算法與DDQN算法的訓(xùn)練時(shí)間和收斂周期的對(duì)比結(jié)果如表4所示。取10次實(shí)驗(yàn)的整數(shù)均值。

從表4中可以看出，改進(jìn)DDQN算法在各個(gè)數(shù)據(jù)集上的訓(xùn)練時(shí)間大幅縮短，從數(shù)百分鐘降至幾十甚至十幾分鐘；收斂周期相對(duì)于DDQN算法也顯著減少，從數(shù)百甚至上千輪縮短至兩百輪左右。由此可看出，本文提出的改進(jìn)DDQN算法能顯著提升DDQN算法的訓(xùn)練效率和訓(xùn)練結(jié)果的穩(wěn)定性。

本文提出的改進(jìn)DDQN算法在某次實(shí)驗(yàn)中對(duì)應(yīng)各數(shù)據(jù)集下的各節(jié)點(diǎn)訪問(wèn)次數(shù)如圖4所示。其中訪問(wèn)次數(shù)分為lt;20次、20～100次、gt;100次三組。橫坐標(biāo)表示各個(gè)數(shù)據(jù)集，縱坐標(biāo)表示各節(jié)點(diǎn)訪問(wèn)次數(shù)區(qū)間內(nèi)的節(jié)點(diǎn)個(gè)數(shù)。

從圖4中可看出，改進(jìn)DDQN算法在各數(shù)據(jù)集上均可將大部分的節(jié)點(diǎn)訪問(wèn)到上百次，但仍有部分節(jié)點(diǎn)訪問(wèn)次數(shù)較低。這是因?yàn)橐肓嘶赝颂剿鞣椒ǎ赃吘壒?jié)點(diǎn)在探索中不會(huì)被記錄，部分獎(jiǎng)勵(lì)值較低且無(wú)法連接獎(jiǎng)勵(lì)值較大區(qū)域的節(jié)點(diǎn)在探索中會(huì)因?yàn)榛赝瞬僮鞫^少被記錄。實(shí)際上訓(xùn)練過(guò)程中所有節(jié)點(diǎn)都被訪問(wèn)了上百次。由此可看出，本文提出的改進(jìn)DDQN算法能對(duì)網(wǎng)絡(luò)進(jìn)行全面探索，避免局部最優(yōu)解的出現(xiàn)，提升了節(jié)點(diǎn)全局特征提取的有效性。

3.3.2 本文方法的評(píng)價(jià)實(shí)驗(yàn)

為找出兩特征的最優(yōu)融合參數(shù)，分別計(jì)算各數(shù)據(jù)集下a的不同取值對(duì)應(yīng)的網(wǎng)絡(luò)性能均值。網(wǎng)絡(luò)性能均值越小，說(shuō)明評(píng)估出的節(jié)點(diǎn)重要度排序越準(zhǔn)確。實(shí)驗(yàn)結(jié)果如圖5所示。各數(shù)據(jù)集對(duì)應(yīng)的網(wǎng)絡(luò)性能均值的最小值與最優(yōu)融合參數(shù)如表5所示。同時(shí)，為驗(yàn)證本文方法的準(zhǔn)確性，將本文方法與上述9種基線方法進(jìn)行對(duì)比，選取指標(biāo)為網(wǎng)絡(luò)性能均值。對(duì)比結(jié)果如表6所示。

由圖5以及表5、6可知，在Polbooks數(shù)據(jù)集中，融合參數(shù)取0.1時(shí)，本文方法可達(dá)到最優(yōu)性能。但由于網(wǎng)絡(luò)規(guī)模較小，節(jié)點(diǎn)全局特征的影響不顯著，故相對(duì)于部分基線方法來(lái)說(shuō)性能提升不明顯；在USAir97、Jazz、Celegant和Ia-infect-hyper數(shù)據(jù)集中，由于各節(jié)點(diǎn)分布密集，故節(jié)點(diǎn)的局部特征相對(duì)于全局特征更為重要，所以本文方法雖全面提取了節(jié)點(diǎn)的全局特征，并且優(yōu)于所有基線方法，但在特征融合過(guò)程中，全局特征仍然占比較低；在Bio-Celegans和CAG_mat364數(shù)據(jù)集中，由于各節(jié)點(diǎn)分布稀疏，故節(jié)點(diǎn)的全局特征相對(duì)于局部特征更為重要，所以本文方法不僅優(yōu)于所有的基線方法，而且由于全面提取了節(jié)點(diǎn)的全局特征，使得在特征融合過(guò)程中全局特征占比較高。由此可看出，本文方法能更有效地識(shí)別關(guān)鍵節(jié)點(diǎn)，且在稀疏網(wǎng)絡(luò)中全局特征占比較高、密集網(wǎng)絡(luò)中局部特征占比較高。

為進(jìn)一步驗(yàn)證本文方法識(shí)別出的關(guān)鍵節(jié)點(diǎn)的準(zhǔn)確性，將本文方法與其他基線方法識(shí)別出的前top-10節(jié)點(diǎn)在SIR模型中進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如圖6所示，其中橫坐標(biāo)為傳播輪數(shù)，縱坐標(biāo)為當(dāng)前感染的節(jié)點(diǎn)總數(shù)。

從圖6中可看出，本文方法相對(duì)于其他基線方法具有更好的效果。雖然識(shí)別出的關(guān)鍵節(jié)點(diǎn)在初始時(shí)傳染能力不太顯著，但隨著傳播輪數(shù)的增加，傳染能力將逐漸超越其他方法識(shí)別出的關(guān)鍵節(jié)點(diǎn)。這是因?yàn)楸疚姆椒芨玫靥崛」?jié)點(diǎn)全局特征，同時(shí)融合了節(jié)點(diǎn)的局部特征，使得識(shí)別出的關(guān)鍵節(jié)點(diǎn)不僅在局部具有較高的影響力，在全局也能具有更高的影響力。所以本文方法評(píng)估出的關(guān)鍵節(jié)點(diǎn)具有更好的準(zhǔn)確性。為驗(yàn)證本文方法中各模塊設(shè)計(jì)的有效性，進(jìn)行了消融實(shí)驗(yàn)，觀察最優(yōu)融合參數(shù)a和網(wǎng)絡(luò)性能均值R的變化。實(shí)驗(yàn)結(jié)果如表7所示，其中，our-final、our-explore及our-prior分別為去除初始獎(jiǎng)勵(lì)值構(gòu)建、回退探索方法以及優(yōu)先訪問(wèn)方法后的改進(jìn)DDQN算法。

從表7中可看出，去除初始獎(jiǎng)勵(lì)值構(gòu)建模塊后，本文方法在Polbooks數(shù)據(jù)集上的關(guān)鍵節(jié)點(diǎn)識(shí)別能力略有提升，但在其他數(shù)據(jù)集中都下降，這是因?yàn)槿コ撃K會(huì)減弱改進(jìn)DDQN算法提取全局特征的能力，導(dǎo)致評(píng)估結(jié)果變差；去除優(yōu)先訪問(wèn)方法模塊后，本文方法在部分?jǐn)?shù)據(jù)集上的關(guān)鍵節(jié)點(diǎn)識(shí)別能力下降明顯，但在其他數(shù)據(jù)集中變化不明顯，這是因?yàn)樵撃K的目的是消除局部最優(yōu)解對(duì)改進(jìn)DDQN算法提取結(jié)果的影響，只有在容易出現(xiàn)局部最優(yōu)解的網(wǎng)絡(luò)中才能發(fā)揮明顯作用；去除回退探索方法模塊后，本文方法在各數(shù)據(jù)集上的關(guān)鍵節(jié)點(diǎn)識(shí)別能力普遍下降。這是因?yàn)槿鄙俅四K會(huì)導(dǎo)致改進(jìn)DDQN算法在探索網(wǎng)絡(luò)時(shí)頻繁訪問(wèn)同一節(jié)點(diǎn)，影響探索結(jié)果的準(zhǔn)確性，使得全局指標(biāo)的關(guān)鍵節(jié)點(diǎn)識(shí)別能力大大降低，僅能依賴局部指標(biāo)進(jìn)行識(shí)別。因此回退探索方法模塊對(duì)本文方法的識(shí)別結(jié)果影響最大。

通過(guò)上述實(shí)驗(yàn)可看出，本文方法雖引入了耗時(shí)較長(zhǎng)的DDQN算法，但通過(guò)改進(jìn)，大大縮短了所需時(shí)間，相對(duì)于識(shí)別準(zhǔn)確性的提升而言，其時(shí)間開(kāi)銷較低。此外，僅需額外利用兩個(gè)大小為網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)的數(shù)組，空間開(kāi)銷也較小。因此本文方法在小規(guī)模復(fù)雜網(wǎng)絡(luò)中具有一定可行性。

4 結(jié)束語(yǔ)

本文提出一種基于改進(jìn)DDQN算法的復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別方法。研究改進(jìn)DDQN算法在小規(guī)模復(fù)雜網(wǎng)絡(luò)下提取節(jié)點(diǎn)全局特征的能力、效率與提取結(jié)果的穩(wěn)定性，并結(jié)合聚類系數(shù)作為局部特征來(lái)綜合評(píng)估關(guān)鍵節(jié)點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文方法相比于基線方法來(lái)說(shuō)能更準(zhǔn)確地識(shí)別出關(guān)鍵節(jié)點(diǎn)，具有一定的可行性。未來(lái)工作將專注于大規(guī)模復(fù)雜網(wǎng)絡(luò)和有向復(fù)雜網(wǎng)絡(luò)的關(guān)鍵節(jié)點(diǎn)識(shí)別，研究如何利用深度強(qiáng)化學(xué)習(xí)更好地對(duì)節(jié)點(diǎn)全局特征進(jìn)行提取。

參考文獻(xiàn)：

[1]Yang Kewei， Li Jichao， Liu Maidi， et al. Complex systems and network science： a survey [J].Journal of Systems Engineering and Electronics，" 2023， 34（3）： 543-573.

[2]李蜜佳， 衛(wèi)紅權(quán)， 李英樂(lè)， 等. 基于改進(jìn)K-Shell的社會(huì)網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)挖掘算法 [J].計(jì)算機(jī)應(yīng)用與軟件， 2023， 40（7）： 305-310. （Li Mijia， Wei Hongquan， Li Yingle， et al. Key nodes identification method in social networks based on improved K-shell [J].Computer Applications and Software，" 2023， 40（7）： 305-310.）

[3]Guo Haoming， Wang Shuangling， Yan Xuefeng， et al. Node importance evaluation method of complex network based on the fusion gravity model [J].Chaos， Solitons amp; Fractals，" 2024， 183： 114924.

[4]謝麗霞， 孫紅紅， 楊宏宇， 等. 基于K-shell的復(fù)雜網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)識(shí)別方法 [J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版， 2022， 62（5）： 849-861. （Xie Lixia， Sun Honghong， Yang Hongyu， et al. Key node re-cognition in complex networks based on the K-shell method [J]. Journal of Tsinghua University ：Science and Technology，2022， 62（5）： 849-861.）

[5]龔志豪， 蔣沅， 代冀陽(yáng)， 等. 基于交叉熵的節(jié)點(diǎn)重要性排序算法 [J].電子科技大學(xué)學(xué)報(bào)， 2023， 52（6）： 944-953. （Gong Zhihao， Jiang Yuan， Dai Jiyang， et al. Node importance ranking algorithm based on cross entropy [J].Journal of University of Electronic Science and Technology of China，" 2023， 52（6）： 944-953.）

[6]汪亭亭， 梁宗文， 張若曦. 基于信息熵與迭代因子的復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)重要性評(píng)價(jià)方法 [J]. 物理學(xué)報(bào)， 2023， 72（4）： 337-347. （Wang Tingting， Liang Zongwen， Zhang Ruoxi. Importance evaluation method of complex network nodes based on information entropy and iteration factor [J].Acta Physica Sinica，" 2023， 72（4）： 337-347.）

[7]Zhao Na， Yang Shuangping， Wang Hao， et al. A novel method to identify key nodes in complex networks based on degree and neighborhood information [J].Applied Sciences，" 2024， 14（2）： 521.

[8]吳亞麗， 任遠(yuǎn)光， 董昂， 等. 基于鄰域K-shell分布的關(guān)鍵節(jié)點(diǎn)識(shí)別方法 [J].計(jì)算機(jī)工程與應(yīng)用， 2024， 60（2）： 87-95. （Wu Yali， Ren Yuanguang， Dong Ang， et al. Key nodes identification method based on neighborhood K-shell distribution [J].Computer Engineering and Applications，" 2024， 60（2）： 87-95.）

[9]Morone F，Makse H A. Influence maximization in complex networks through optimal percolation [J].Nature，" 2015， 524（7563）： 65-68.

[10]Yang Xuan， Xiao Fuyuan. An improved gravity model to identify influential nodes in complex networks based on K-shell method [J].Knowledge-Based Systems，" 2021， 227： 107198.

[11]Li Zhe， Ren Tao， Ma Xiaoqi，et al. Identifying influential spreaders by gravity model [J]. Scientific Reports， 2019， 9（1）： 8387.

[12]Zhang Qinyu， Shuai Bin， Lyu Min. A novel method to identify influential nodes in complex networks based on gravity centrality [J]. Information Sciences， 2022， 618： 98-117.

[13]Wang Juan， Li Chao， Xia Chengyi. Improved centrality indicators to characterize the nodal spreading capability in complex networks [J].Applied Mathematics and Computation，" 2018， 334： 388-400.

[14]Zhou Fang， Lyu Linyuan， Mariani M S. Fast influencers in complex networks [J]. Communications in Nonlinear Science and Numerical Simulation， 2019， 74： 69-83.

[15]熊才權(quán)， 古小惠， 吳歆韻. 基于K-shell位置和兩階鄰居的復(fù)雜網(wǎng)絡(luò)節(jié)點(diǎn)重要性評(píng)估方法 [J].計(jì)算機(jī)應(yīng)用研究， 2023， 40（3）： 738-742. （Xiong Caiquan， Gu Xiaohui， Wu Xinyun. Evaluation method of node importance in complex networks based on K-shell position and neighborhood within two steps [J].Application Research of Computers，" 2023， 40（3）： 738-742.）

[16]張昊迪， 陳振浩， 陳俊揚(yáng)， 等. 顯式知識(shí)推理和深度強(qiáng)化學(xué)習(xí)結(jié)合的動(dòng)態(tài)決策 [J].軟件學(xué)報(bào)， 2023， 34（8）： 3821-3835. （Zhang Haodi， Chen Zhenhao， Chen Junyang， et al. Dynamic decision ma-king based on explicit knowledge reasoning and deep reinforcement learning [J].Journal of Software，" 2023， 34（8）： 3821-3835.）

[17]張?chǎng)危?張席. 優(yōu)先狀態(tài)估計(jì)的雙深度Q網(wǎng)絡(luò) [J].計(jì)算機(jī)工程與應(yīng)用， 2021， 57（8）： 78-83. （Zhang Xin， Zhang Xi. Double deep Q network with prioritized state estimation [J].Computer Enginee-ring and Applications，" 2021， 57（8）： 78-83.）

[18]Luo Lei， Zhao Ning， Zhu Yi，et al. A* guiding DQN algorithm for automated guided vehicle pathfinding problem of robotic mobile fulfillment systems [J]. Computers amp; Industrial Engineering， 2023， 178： 109112.

[19]Han Zhicong， Fu Qiming， Chen Jianping， et al. Deep forest-based DQN for cooling water system energy saving control in HVAC [J]. Buildings， 2022， 12（11）： 1787.

[20]鄧世權(quán)， 葉緒國(guó). 基于深度Q網(wǎng)絡(luò)的多目標(biāo)任務(wù)卸載算法 [J].計(jì)算機(jī)應(yīng)用， 2022， 42（6）： 1668-1674. （Deng Shiquan， Ye Xuguo. Multi-objective task offloading algorithm based on deep Q-network [J].Journal of Computer Applications，" 2022， 42（6）： 1668-1674.）

[21]張峻偉， 呂帥， 張正昊， 等. 基于樣本效率優(yōu)化的深度強(qiáng)化學(xué)習(xí)方法綜述 [J].軟件學(xué)報(bào)， 2022， 33（11）： 4217-4238. （Zhang Junwei， Lyu Shuai， Zhang Zhenghao， et al. Survey on deep reinforcement learning methods based on sample efficiency optimization [J].Journal of Software，" 2022， 33（11）： 4217-4238.）

[22]Saaty T L. What is the analytic hierarchy process？[J]. Mathematical Models for Decision Support， 1988， 48： 109-121.

[23]虞曉芬， 傅玳. 多指標(biāo)綜合評(píng)價(jià)方法綜述 [J].統(tǒng)計(jì)與決策， 2004， 20（11）： 119-121. （Yu Xiaofen， Fu Dai. Summary of multi-index comprehensive evaluation methods [J]. Statistics and Decision， 2004， 20（11）： 119-121.）

[24]Koher A， Lentz H H K， Gleeson J P， et al. Contact-based model for epidemic spreading on temporal networks [J].Physical Review X，" 2019， 9（3）： 031017.

[25]Rossi R A， Ahmed N K， Rossi R A， et al. The network data repository with interactive graph analytics and visualization [C]//Proc of the 29th AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press， 2015： 4292-4293.

[26]楊云云， 張遼， 于海龍， 等. 基于模體結(jié)構(gòu)和度信息的關(guān)鍵節(jié)點(diǎn)組識(shí)別 [J].通信學(xué)報(bào)， 2024， 45（3）： 258-269. （Yang Yunyun， Zhang Liao， Yu Hailong， et al. Identification of key node groups based on motif structure and degree information [J].Journal on Communications，" 2024， 45（3）： 258-269.）

[27]Gleiser P M， Danon L. Community structure in jazz [J].Advances in Complex Systems，" 2003， 6： 565-574.

[28]Watts D J，Strogatz S H. Collective dynamics of ‘small-world’ networks [J]. Nature， 1998， 393： 440-442.

[29]Biological networks[EB/OL]. https：//networkrepository. com/bio-celegans. php.

[30]Combinatorial relationship network[EB/OL]. https：//networkrepository. com/CAG-mat364. php.

[31]Interaction network[EB/OL]. https：//networkrepository. com/ia-infect-hyper. php.