大規模生物網絡馬爾可夫聚類的并行化算法

孫佳敏 朱嘉富 楊伏長 謝江

摘 要：馬爾可夫聚類算法（MCL）是在大規模生物網絡中尋找模塊的一個有效方法，能夠挖掘網絡結構和功能影響力較大的模塊。算法涉及到大規模矩陣計算，因此復雜度可達立方階次。針對復雜度高的問題，提出了基于消息傳遞接口（MPI）的并行化馬爾可夫聚類算法以提高算法的計算性能。首先，生物網絡轉化成鄰接矩陣;然后，根據算法的特性，按照矩陣的規模判斷并重新生成新矩陣以處理非平方倍數矩陣的計算;其次，并行計算通過按塊分配的方式能夠有效地實現任意規模矩陣的運算;最后，循環并行計算直至收斂，得到網絡聚類結果。通過模擬網絡和真實生物網絡數據集的實驗結果表明，與全塊集體式通信（FCC）并行方法相比，平均并行效率提升了10個百分點以上，因此可以將該優化算法應用在不同類型的大規模生物網絡中。

關鍵詞：消息傳遞接口;并行化;馬爾可夫聚類;Cannon算法;大規模生物網絡

中圖分類號： TP301.6

文獻標志碼：A

Abstract： Markov Clustering Algorithm （MCL） is an effective method to find modules in large-scale biological networks. It can mine modules that have significant influence on network structure and function. The algorithm involves large-scale matrix calculations， so its complexity can reach cubic orders. For the problem of high complexity， a parallel algorithm of Markov clustering based on Message Passing Interface （MPI） was proposed to improve computational performance of algorithm. Firstly， a biological network was transformed into an adjacency matrix. Secondly， according to the characteristics of the algorithm， the matrix size was judged and a new matrix was regenerated to handle the calculation of non-square multiple matrix. Thirdly， the algorithm was calculated in parallel by means of block allocation， which could effectively implement the operation of matrix of any size. Finally， the loop was parallelized until the matrix was converged to obtain network clustering results. The experimental results on simulated network and real biological network datasets show that compared with Full-block Collective Communication （FCC） parallel method， the average parallel efficiency is improved by more than 10 percentage points， so the optimization algorithm can be applied in different types of large-scale biological networks.

Key words： Message Passing Interface （MPI）; parallelization; Markov clustering; Cannon algorithm; large-scale biological network

0 引言

生物網絡一般具有小世界和無標度的特性[1]。小世界網絡一般具有較短的平均路徑[2]、較大的聚類系數[3];而無標度網絡一般是指少數節點連接了大量的邊，多數節點連接的邊較少[4]。這些特性說明了在生物網絡中只有少數節點在網絡中能夠起到關鍵的作用，而這些關鍵節點[5]在維持正常生理功能、疾病發生及其預防等生物過程中起著重大作用。事實上，本文注重關鍵節點的同時，更加關注大規模生物網絡中具有關鍵節點的關系緊密模塊。通過聚類算法可以分解網絡，找尋對網絡結構和功能影響力較大的模塊，獲取到更加全面、準確的模塊信息。

因此，如何通過聚類算法找出具有關鍵節點的關系緊密模塊是問題的關鍵。

較為典型的生物網絡聚類方法有基于節點密度和層次聚類的算法，例如分子復合體檢測算法[6]和Girvan-Newman（GN）算法[7]。除了這兩類以外，也出現了如支持向量聚類（Support Vector Clustering， SVC）[8]、馬爾可夫聚類算法（Markov Clustering Algorithm， MCL）[9]等。

其中，馬爾可夫聚類算法常被應用于生物信息學領域[10]，是一種簡易有效、適應性強、可拓展的聚類算法[11]。

與其他已有的一些聚類算法相比，如基于節點密度的分子復合體檢測算法會損失大量聯系稀疏的節點，不能保證檢測到的所有模塊都有意義，會影響模塊功能和預測的準確性;基于層次聚類的GN算法耗時較長，僅限于中等規模的復雜網絡研究;馬爾可夫聚類算法對于網絡具有非常好的穩定性，抗噪聲能力強[12]，能夠較為快速準確地識別網絡模塊，因此，對于在相互作用網絡中提取模塊方面，具有很大的優勢。

生物數據量大規模增長給聚類算法帶來了巨大的挑戰。隨著數據集規模的擴大，聚類問題需要更大的內存和更長的運行時間[13]。在馬爾可夫聚類算法中，Expansion和Inflation是兩個主要操作[11]，一般以矩陣的形式進行計算，計算機在這兩個主要操作中需要消耗大量的內存存儲矩陣[14]，同時需要消耗大量的時間，因此，本文提出馬爾可夫聚類并行算法解決大規模生物網絡聚類問題，提高運行速度，提高計算效率。

1 馬爾可夫聚類算法主要思想

馬爾可夫聚類算法的主要思想是模擬圖中的隨機游走（Random Walk）的過程。位于同一簇的點，內部聯系緊密，而和外部聯系較少，即任意選一點出發，它的一階鄰居節點和這點在同一簇的可能性遠大于離開當前簇到達新簇的可能性。

圖1展示了馬爾可夫鏈（Markov Chain）[15]實現隨機游走（random walk）過程。

圖1中的網絡可以分成兩個子圖，即兩簇族V（1，2，3）和V（4，5，6，7），每一簇族全連接各個節點。在這兩個簇族中，僅存在一條邊E（3，5）。

假設每一條邊都是一樣的。如果從點1出發，到達點2的概率是50%，到達點3的概率是50%，到達點4、5、6和7的概率為0。如果從點2出發，到達點1、3的概率是50%，到達其余點的概率均為0。如果從點3出發，到達點1、2、5的概率均為33.33%，到達其余點的概率均為0。

通過計算可知每一個點到達其他點的概率，如下所示，得到相應的概率矩陣A，矩陣中非零數取兩位有效數字：

馬爾可夫鏈描述了一種狀態序列，其每個狀態值取決于前面的有限個狀態。馬爾可夫鏈是指具有馬爾可夫性質的隨機變量的數列。這些變量的范圍，即它們所有可能取值的集合，被稱為“狀態空間”，而Xn的值則是在n的狀態，如果Xn+1對于過去狀態的條件概率分布滿足式（1）：

則稱其是一條馬爾可夫鏈。

馬爾可夫鏈模擬馬爾可夫聚類算法中的隨機游走過程，能夠得到相應概率矩陣。馬爾可夫聚類算法經歷多次隨機游走過程，可較大概率地發現簇群，最終得到聚類結果。

2 馬爾可夫聚類算法的實現

馬爾可夫聚類算法屬于圖聚類算法，可有效解決圖形分類問題。具體實現步驟（主要步驟如圖2圖形與文字描述重復，是否可以刪除圖2？請明確?；貜停捍饛投簣D2可以刪除。）如下所示：

第1步 通過生物網絡建立鄰接矩陣。生物網絡可以用圖的方式表示，先轉為鄰接矩陣。奇偶冪次可能會導致結果無法收斂，本文通過鄰接矩陣添加自環來消除這個影響，得到了一個添加自環的鄰接矩陣A。

第2步 通過鄰接矩陣A標準化得到概率矩陣A*。具體計算如式（2）所示：

舉例說明：

圖G轉為添加自環的鄰接矩陣A，經過式（2）計算可得概率矩陣A*：

第3步 Expansion操作。Expansion操作每次對矩陣進行e次冪方。一般e值取2。式（3）表示對矩陣A*Expansion操作后得到矩陣B：

第4步 Inflation操作。Inflation操作每次對矩陣B內的每一個值，即矩陣Brij進行r次冪方，

然后將求出結果除以所在列中的k個元素的r次冪方的和，即ΓrB，其中m為參數經驗值，一般與r相等。

主要作用是將概率矩陣中的每一個值進行r次冪次擴大化，使得緊密的點更緊密，松散的點更松散，一般r值取2。如式（4）所示得到矩陣C：

（4）前面的問題說得很清晰，但又出現新問題了，變量k是何意？在求和公式中沒有出現k，k的出現，感覺突兀，請作調整。切記：將問題回復清晰一些，不要再扯出其他問題，越改越復雜了。請在正文中說明Γr的說明

第5步 標準化Expansion和Inflation操作后的矩陣得到矩陣C*。

第6步 判斷第5步得到的矩陣是否與Expansion操作前的矩陣收斂至近似相等，即矩陣中任意同一位置元素值相差小于0.01。如果兩矩陣不收斂至近似相等，循環第3、4、5步;如果兩矩陣收斂至近似相等，則輸出聚類結果。最終，結果矩陣變成聚類的聚簇。

以上6步是算法的完整流程，其中，馬爾可夫聚類算法主要耗時在Expansion和Inflation操作上[11]。這兩個操作中，Expansion耗時相對更多，因此，本研究需要將耗時較長的兩大操作并行化。

3 馬爾可夫聚類算法并行化實現及其優化

使用MPI常用的并行化方法有主從式（Master-Slaves， MS）和集體通信式（Collective Communication， CC）兩種并行方式。根據文獻[16]可知，在Expansion過程中，同一數據集使用集體通信式無論從時間耗費、加速比還是效率上均比主從式并行方式較好，因此，整體算法選擇集體通信式完成并行化。

3.1 矩陣Expansion操作并行化

Expansion操作的計算過程主要是矩陣的e冪次方，以e值取2為例說明其并行化過程。

當e=2時，Expansion操作相當于兩個矩陣相乘的操作。矩陣相乘并行化分配方式多種，常見的分配方法有按行、按列和按塊劃分[17]等。與按行或按列的分配方法相比，按塊劃分具有更好的并行效果。針對馬爾可夫聚類算法來說，計算的主體是n階方陣，按塊分配最多可以使用n2個處理器并行計算;而如果使用按行或者按列分配的方法最多只能使用n個處理器并行加速，因此，按塊分配能夠更充分利用處理器。

按塊分配的方法需要并行核數為平方數，即分成的小塊均為規模一致的小方陣。在并行核數足夠時，設置并行核數為平方數是完全易行的。

在此，本文選用按塊分配中的Cannon算法[18]并行化Expansion操作。Cannon算法是一種存儲有效的算法，有目的地在各行列間循環移位，從而降低處理器的總存儲需求。在多CPU處理器并行計算上，可以減少通信時延，提高計算速度，提高計算效率。

然而，這里的按塊分配方法要求進程數必須是平方數且矩陣的階數必須是平方數的倍數。在實際的生物網絡中，網絡中的節點規模往往不是平方數的倍數，因此，本文拓展Cannon算法，基于此提出了馬爾可夫聚類并行化算法，可并行計算任意規模的網絡，如圖3所示，其中虛線框中為并行的主要過程，詳細過程如圖4所示。

本文算法中出現的矩陣特點是所有矩陣均為n階方陣。由矩陣相乘的性質可知，兩n階方陣相乘得到的結果矩陣也必然是n階方陣。

假設并行核數為p，初始方陣階數為y，并行計算中，實際使用的方陣階數是n，即使用p個處理器并行化n階方陣相乘。并行化馬爾可夫聚類算法的主要操作流程如下。

第1步 判斷y是否是平方數的倍數。

第2步 如果y是平方數的倍數，令n=y;如果y不是平方數的倍數，令n=y+p-（y%p），即將大于y的最小并行核數倍數賦值給n。

第3步 初始化n階方陣為零階矩陣。接下來主要是圖3虛線框中的主要并行過程，如圖4所示。

第4步 為了更好地說明并區分，在這里用B=A，表示兩矩陣相乘C=A×B，即C=A2。將矩陣A和矩陣B分成p個方塊Ai， j和Bi， j（0≤i， j≤p-1），令x=p-1，如圖4（a）和（b）所示，每塊大小為（n/p）×（n/p），將每塊分配給p×p個處理器（P0，0，P0，1，…，Pp-1，p-1）。處理器Pi， j存儲分塊矩陣Ai， j和Bi， j，如圖4（c）所示，并且計算塊Ci， j，算法執行第5～7步。

第5步 各行列間的循環移位，即圖4（d），將塊Ai， j（0≤i， j

第6步 Pi， j執行乘加運算，循環移位的過程可參照圖4（d）;

然后，將塊Ai， j（0≤i， j

將塊Bi， j（0≤i， j

第7步 重復第6步，在Pi， j中執行p次乘加運算和p次塊Ai， j和Bi， j的循環單位移位。

第8步 收集分塊計算結果，每一個元素獨自進行r次冪方運算，即并行Inflation操作。

3.2 矩陣Inflation操作并行化

如圖3所示，Inflation操作緊跟Expansion操作，是在分塊收集結果時一并進行。

Inflation操作主要是指矩陣中的每一個元素獨自r次進行冪方運算，默認r值為2，且矩陣中每一個元素是獨立的，各元素之間相互獨立。Expansion操作后，按照分塊收集矩陣中的每一個獨立元素，與此同時，分塊并行Inflation操作。

4 實驗與分析

4.1 實驗環境

算法使用的實驗平臺是上海大學高性能計算集群自強4000。實驗使用3個計算節點，每個節點的CPU個數為2，每個CPU的核數為8，CPU型號為Intel Xeon CPU E5645 @2.40GHz。實驗的操作系統版本為CentOS 6.3，編程語言為C++，MPI庫的版本為MPICH2。

4.2 實驗數據

4.2.1 模擬實驗數據

實驗同時使用了模擬數據和真實生物網絡數據進行性能分析，其中模擬數據使用NetworkX[19]的Python包模擬了三類不同的網絡模型，分別是無標度網絡模型[20]、小世界網絡模型[5]和隨機網絡模型[21]。

為了確保實驗結果的準確性，下述模擬實驗使用表1中的10類模擬網絡數據集進行實驗，每類網絡模型改變節點數和邊數，隨機產生10個不同的網絡。

4.2.2 真實網絡實驗數據

為了確保實驗結果的準確性，下述模擬實驗使用表2中的3種真實網絡數據集進行實驗。

真實生物網絡選取了三個生物網絡數據集，即含有2362個節點、6646條邊的酵母菌蛋白質網絡，含有4677個節點、16213條邊和16064個節點159989條邊的兩個人類蛋白質網絡，其中酵母菌的蛋白質網絡數據集來源于Uri Alon實驗室[22]，人類蛋白質網絡數據來源于STRING在線數據庫[23]。

4.3 實驗結果與分析

4.3.1 模擬網絡實驗設計

馬爾可夫聚類并行化算法在大規模生物網絡的應用中可能受到的影響因素有以下三點：生物網絡模型的類別、網絡中節點的平均度（即網絡稠密程度）和網絡中節點數量（即網絡規模），因此，實驗分別以三個因素設計模擬實驗，探討算法在不同網絡規模和網絡類型上的性能。

根據分塊分配的特點，選定的并行核數為平方數，即4、9、16、25、36核進行并行實驗。

4.3.2 模擬網絡實驗結果與分析

1）不同的生物網絡模型的類別。

不同的生物網絡模型具有不同的特征，如平均路徑長度、聚集系數、度及其分布等。為了驗證非平方數倍數規模網絡在并行算法中的可行性，選取表1中編號為1、2、3，節點數為2018的三個不同網絡模型作為數據集，其中，網絡節點數均不是平方數倍數?；诖藬祿?，在不同并行核數程序時間消耗及加速比如圖5所示。

圖5（a）為2018節點數的三種網絡模型耗時實驗結果。橫向觀察，隨著并行核數增加，程序運行時間逐漸減少，起到較好的并行作用?？v向觀察，在節點數和并行核數相同情況下，從所耗時間上相比，三種網絡模型所耗時間相差無幾。

圖5（b）為2018節點數的三種網絡模型的加速比實驗結果，橫向觀察，在16核前幾乎呈線性加速比，隨著并行核數的增加，加速比逐漸上升?？v向觀察，三種網絡模型的加速比折線曲線幾乎重合，加速比數值幾乎相同，說明優化后的馬爾可夫聚類并行化算法應用范圍廣，在不同模型中均有較好的作用。

2）不同的網絡中節點的平均度。

網絡中節點的平均度體現了網絡的稠密程度，而網絡稠密程序很大程度上可能會影響算法的計算量，因此，選取表1中編號為4、5、6、7的四個節點數為4500的網絡作為數據集，它們的節點平均度分別約為1、30、70、110。基于此數據集，在不同并行核數程序時間消耗及加速比如圖6所示。

圖6（a）為4500節點數的不同平均節點度的網絡耗時實驗結果。橫向觀察，隨著并行核數增加，程序運行時間逐漸減少，起到較好的并行作用。縱向觀察，在節點數和并行核數相同情況下，從所耗時間上相比，不同平均節點度網絡耗時相近，說明馬爾可夫聚類算法在稠密程度不同的矩陣上均有良好的作用。

圖6（b）為4500節點數的不同平均節點度的網絡加速比實驗結果，橫向觀察，隨著并行核數的增加，加速比逐漸上升?？v向觀察，兩種網絡模型的加速比折線曲線幾乎重合，加速比數值幾乎相同，說明優化后的馬爾可夫聚類并行化算法在稠密度不同的矩陣中均有很好的應用效果。

3）不同的網絡中的節點數。

網絡中的節點數決定網絡的規模。本節選取表1中編號為1、4、8，節點數分別為2018、4500、15000的三種網絡數據集。基于此數據集，在不同并行核數程序時間消耗和加速比如圖7所示。

根據下面的這個描述，圖7（a）中的圖例是否錯了？是否應該改為與圖7（b）一樣的圖例，即改為“2018節點，4500節點，15000節點”？請明確。

圖7（a）為不同節點數的網絡耗時的實驗結果。橫向觀察，隨著并行核數增加，程序運行時間逐漸減少，起到較好的并行作用。縱向觀察，在節點數和并行核數相同情況下，從所耗時間上相比，節點數越多，耗時越久;節點數成倍增加時，耗時成數倍增加。

圖7（b）為不同節點數的網絡加速比實驗結果。橫向觀察，隨著并行核數的增加，加速比逐漸上升?？v向觀察，并行核數小于16時，三種網絡的加速比折線曲線幾乎重合，加速比數值幾乎相同;在并行核數增大后，節點數量多的并行加速比更大。隨著節點數增加，網絡規模變大，并行加速比增長越快，說明網絡中的節點數量對并行的影響較大，馬爾可夫聚類算法在大規模網絡數據集上有良好的效果。

通過上面三組模擬實驗分析結果可知，并行馬爾可夫聚類算法在不同模型類別、不同稠密度、不同規模的網絡中均有較好的效果。在網絡的規模不同時，規模越大，并行效果越佳。

4.3.3 真實網絡實驗結果與分析

在網絡規模量足夠時可以達到較高的效率，因此，為了驗證算法的可靠性和效率，本文采取三組真實網絡實驗數據驗證上述想法。

真實生物網絡選取了三個蛋白質網絡，表3列出了三個網絡的消耗時間。其中：YPIN代表2362個節點的酵母菌蛋白質網絡，PIN1和PIN2分別代表4677和16064個節點的兩個人類蛋白質網絡。

圖8（a）為三個真實生物網絡耗時實驗結果。橫向觀察，隨著并行核數增加，程序運行時間逐漸減少，起到較好的并行作用?？v向觀察，在節點數和并行核數相同情況下，從所耗時間上相比，節點數越多，耗時越久。

圖8（b）為三個真實生物網絡加速比實驗結果。橫向觀察，隨著并行核數的增加，加速比逐漸上升，近似線性增長。在16064個節點并行核數為36時，加速比最高可達到27.4?？v向觀察，并行核數相同時，隨著節點增多，并行加速比更大。

文獻[16]中采取并比較了多種方法并行馬爾可夫聚類算法，其中，文中提出全塊集體式通信方法（Full-block Collective Communication， FCC）效率最好。數據集為5156節點、51050條邊網絡時，最高效率75%，最低約50%;數據集為23175個節點、137104條邊的網絡時最高效率近似85%，最低效率為45%。

圖8（c）為三個真實生物網絡效率實驗結果。橫向觀察，隨著并行核數的增加，效率逐步下降。在16064個節點，并行核數小于16時，加速效率可達到92%以上;并行核數為36時，加速比為27.4，效率可達到76%?？v向觀察，并行核數相同時，節點數量多的并行加速比更大。在真實網絡的結果說明在節點數足夠多，即網絡規模計算量足夠大時，該并行算法可以在大規模生物網絡上達到較好的并行效果。

本文在相同真實數據集上結果與文獻[16]相比，在并行核數相同時，加速效率提高了10個百分點以上，提出的并行馬爾可夫聚類算法有著更好的加速效率，說明該算法在大規模生物網絡中，應用范圍大，實驗效果佳。

5 結語

本文提出了基于消息傳遞接口（MPI）的并行化馬爾可夫聚類算法，解決了原馬爾可夫聚類算法中Expansion操作耗時問題，可并行計算任意規模矩陣。實驗使用了模擬網絡和真實網絡數據集：模擬網絡結果說明在不同模擬網絡模型、不同稠密度網絡集上均有良好的效果。在真實網絡結果中，與全塊集體式通信并行方法相比，平均效率提高了10個百分點以上。說明算法在生物網絡上具有較好的效果，能夠有效地解決大規模生物網絡尋找網絡模塊的問題。

參考文獻 （References）

[1] HOPKINS A L. Network pharmacology： the next paradigm in drug discovery[J]. Nature Chemical Biology， 2008， 4（11）： 682-690.

[2] 劉業政，周云龍.無尺度網絡平均路徑長度的估計[J].系統工程理論與實踐，2014，34（6）：1566-1571.（LIU Y Z， ZHOU Y L. Estimation for the average path length of scale-free networks[J]. Systems Engineering — Theory & Practice， 2014， 34（6）： 1566-1571.）

[3] WATTS D J，STROGATZ S H. Collective dynamics of ‘small-world networks[J]. Nature， 1998， 393（6684）： 440-442.

[4] 車宏安，顧基發.無標度網絡及其系統科學意義[J].系統工程理論與實踐，2004，24（4）：11-16.（CHE H A， GU J F. Scale-free networks and their significance for systems science[J]. Systems Engineering — Theory & Practice， 2004， 24（4）： 11-16.）

[5] 黃海濱，楊路明，王建新，等.基于復合參數的蛋白質網絡關鍵節點識別技術[J].自動化學報，2008，34（11）：1388-1395.（HUANG H B， YANG L M， WANG J X， et al. Identification technique of essential nodes in protein networks based on combined parameters[J]. Acta Automatica Sinica， 2008， 34（11）： 1388-1395.）

[6] BADER G D， HOGUE C W V. An automated method for finding molecular complexes in large protein interaction networks[J]. BMC Bioinformatics， 2003， 4（1）： 2-27.

[7] GIRVAN M， NEWMAN M E J. Community structure in social and biological networks[J]. Proceedings of the National Academy of Sciences， 2002， 99（12）： 7821-7826.

[8] BEBHUR A， HORN D， SIEGELMANN H T， et al. Support vector clustering[J]. Journal of Machine Learning Research， 2001， 2（2）： 125-137.

[9] VAN DONGEN S M. Graph clustering by flow simulation[D]. Utrecht： University of Utrecht， 2000.

[10] CHEN G， ZHAO J， COHEN T， et al. Using ontology fingerprints to disambiguate gene name entities in the biomedical literature [J]. Database the Journal of Biological Databases & Curation， 2015， 2015（13）：bav034.

[11] HE L， LU L， WANG Q. An optimal parallel implementation of Markov clustering based on the coordination of CPU and GPU[J]. Journal of Intelligent & Fuzzy Systems， 2017， 32（5）： 3609-3617.

[12] 王曉敏.基于蛋白質相互作用網絡的功能模塊識別及功能預測研究[D].長沙：國防科學技術大學，2013.（WANG X M. The detection of functional modules and protein function prediction based on protein-protein interaction networks[D]. Changsha： National University of Defense Technology， 2013.）

[13] WANG M， ZHANG W， DING W， et al. Parallel clustering algorithm for large-scale biological data sets[J]. PLoS One， 2014， 9（4）： e91315.

[14] AZAD A， PAVLOPOULOS G A， OUZOUNIS C A， et al. HipMCL： a high-performance parallel implementation of the Markov clustering algorithm for large-scale networks[J]. Nucleic Acids Research， 2018， 46（6）：1-11.

[15] GASPARINI M. Markov chain Monte Carlo in practice[J]. Technometrics， 1999， 39（3）：338-338.

[16] BUSTAMAM A， SEHGAL M S， WONG S， et al. Parallel Markov clustering for large-scale protein-protein interaction networks using MPI [EB/OL]. [2018-05-30]. https：//pdfs.semanticscholar.org/c62d/5b5abc12a3fe566fce668974436e7cdd273e.pdf.

[17] 蔣瀚洋.論Cannon算法在并行計算機上的運用研究[J].計算機光盤軟件與應用，2012（20）：154-155.（JIANG H Y. Research on application of Cannon algorithm in parallel computer [J]. Computer CD Software and Applications， 2012（20）： 154-155.）

[18] 陳鵬，樊小超.幾種矩陣乘并行算法的對比分析[J].新疆師范大學學報（自然科學版），2012，31（3）：5-10.（CHEN P， FAN X C. Several kinds of parallel algorithm for matrix multiplication comparative analysis[J]. Journal of Xinjiang Normal University （Natural Sciences Edition）， 2012， 31（3）： 5-10.）

[19] HAGBERG A， SCHULT D， SWART P. Exploring network structure， dynamics， and function using NetworkX[R]. Los Alamos， NM： Los Alamos National Lab， 2008.

[20] BARABSI A， ALBERT R. Emergence of scaling in random networks[J]. Science， 1999， 286（5439）：509-512.

[21] KIM J， VU V. Generating random regular graphs[C]// Proceedings of the Thirty-fifth Annual ACM Symposium on Theory of Computing. New York： ACM， 2003：213-222.

[22] MILO R， SHEN-ORR S， ITZKOVITZ S， et al. Network motifs： simple building blocks of complex networks[J]. Science， 2002， 298（5594）： 824-827.

[23] SNEL B， LEHMANN G， BORK P， et al. STRING： a Web-server to retrieve and display the repeatedly occurring neighbourhood of a gene[J]. Nucleic Acids Research， 2000， 28（18）： 3442-3444.