基于CNN算法的網絡信任等級模型研究

王鵬，楊華民，邱寧佳，楊迪，李松江

（長春理工大學 計算機科學技術學院，長春130022）

基于CNN算法的網絡信任等級模型研究

王鵬，楊華民，邱寧佳，楊迪，李松江

（長春理工大學 計算機科學技術學院，長春130022）

提出一種基于CNN算法的網絡信任等級模型，解決用戶節點信任值的高低對整個網絡信任度造成影響問題。使用設定好的卷積神經網絡對用戶節點數據進行訓練，完成用戶信任等級分類工作，在提高執行效率的基礎上，對數據完成有效分類，確定用戶特征屬性的具體維度范圍，并通過噪聲、運行時間、準確率和分類精度等不同方面對不同算法進行對比驗證模型，實驗結果表明，改進后的算法在集群環境下執行的效率得到很大提升，能夠高效處理實驗數據。

CNN；信任模型；信任等級分類；模型驗證

近年來，社交網絡普遍流行發展起來，隨之而來的網絡安全問題也受到了人們的重視。學者們也開始了對社交網絡的信任關系模型的廣泛探討。Magnusson等人提出一個能實現信任問題仿真的信任計算系統，能通過仿真模擬信任社交網絡上的個人直接連接，通過整合的信任值計算最終返回代表實際信任的信任評分［1］。Nepal等人提供了一個信任推理模型，比較和評估可用的信任路徑和聚合方法的長度會影響預測的準確性，然后提出最佳的策略，以最大限度地提高預測精度［2-3］。Moyano等人提出了FIRE模型，該模型全面考慮信任的來源，并對其進行分類，融合了多種不同的信任評價方式［4］。孟憲佳等人在進行信任評估的同時綜合了用戶的態度、經驗和行為三者來完成，并通過實驗驗證了模型對復雜網絡的各種變化具有較高的適應能力［5］。王勇等人針對傳統社交網絡缺乏用戶關系描述方法的問題，從用戶關系角度出發，將信任引入作為表征用戶關系的要素，提出了一種信任鏈形式化模型（TCFM）［6］。

針對信任預測所存在的問題，大量學者提出了利用人工神經網絡的計算網絡結構對評估過程進行改進，Djuric等人提出了基于神經網絡的信用風險評估模型，成功地解決了金融風險管理領域的一個研究熱點問題［7-9］。Yang等人提出了基于神經網絡的城市信用評估模型，利用遺傳算法提高了分類精度達到了評級精準的目的［10］。徐旭等人設計了基于專家系統和人工神經網絡的混合智能信用排序系統，通過實驗分析驗證了系統的推薦和理解能力的智能化，以及更加準確和強大的信用排名功效［11-12］。Bissacot等人提出了一種基于Hopfield神經網絡的信任模型以及網絡可信度的評估方法，最大限度地減少偽穩定點的數目，極大可能地提高穩定點的吸引力［13-15］。韓艷等人通過對人工神經網絡與邏輯回歸分析在信用風險預測中的應用比較，驗證了人工神經網絡相比于邏輯回歸具有更好的評分效果［16］。結合上述研究，本文構建了一種針對卷積神經網絡訓練用戶信任等級劃分過程的CNN信任模型，使用該模型可以對設定好的卷積神經網絡進行訓練，能夠較快的確定特定應用卷積神經網絡算法中用戶信任等級分類問題。

1 CNN模型

CNN網絡在本質上是一種輸入到輸出的映射，它能夠學習大量的輸入與輸出之間的映射關系，只須用已知的模式對卷積網絡加以訓練，網絡就具有輸入輸出對之間的映射能力。在開始訓練前，所有的權重都用一些不同的“小隨機數”進行初始化，“小隨機數”用來保證網絡不會因權值過大而進入飽和狀態，從而導致訓練失敗；“不同”用來保證網絡可以正常地學習，若用相同的數去初始化權矩陣，則網絡無能力學習。

圖1 CNN簡化模型

CNN模型如圖1所示，第l層的每一組特征映射都依賴于第l層的所有特征映射，定義一個連接表T來描述不同層的特征映射之間的連接關系，如果第l層的第k組特征映射依賴于前一層的第p組特征映射，則Tp,k=1，否則為0。映射關系表達式如下所示：

如果連接表T的非零個數為K，每個濾波器的大小為u×v，那么共需要K×(u×v)+nl個參數。對于卷積層得到的一個特征映射X(l)，將其劃分為多個子采樣Rk函數定義為：

其中，down(Rk)指子采樣后的特征映射。這里假定卷積層為l層，子采樣層為l+1層，由于子采樣層是下采樣操作，l+1層的一個神經元節點的誤差項δ對應于上一卷積層的相應特征映射的一個區域。

l層的第k個特征映射中的每個神經元節點都有一條邊和l+1層的第k個特征映射中的一個神經元節點相連。根據鏈式法則，第l層的一個特征映射的誤差項δ(l,k)，只需要將l+1層對應特征映射的誤差項δ(l,k)進行上采樣操作，再和l層特征映射的激活值偏導數逐元素相乘，再乘上權重w(l,k)，就得到了δ(l,k)。第l層的第k個特征映射的誤差項δ(l,k)的具體推導過程如下：

其中，up()為上采樣函數（Upsampling）。

2 網絡信任評估算法實現

2.1 信任網絡

由基本理論可知，令xi為評估屬性向量，wij為評估屬性的影響權值，以yi為輸出的信任，那么對社交網絡用戶某行為的信任程度可以表示為信任度yi。

設zi為構成神經網絡的某個神經元節點的內部狀態，xi為輸入信號，wij表示從zi到zj連接的權值。bi為外部輸入信號（在某些狀態下，可以控制神經元節點zi，使其保持在某一個狀態），則其形式化描述如下：

信任節點的輸入xi可以表示為對行為屬性的測算值，而行為的每一個屬性對于用戶信任值的影響可以通過權值wij來表現。

對于計算密集型的網絡應用，同樣是傳輸行為，排隊時長、CPU的利用率和通信帶寬利用率等屬性則更重要。

2.2 評估方案

首先尋找到CNN網絡的權重收斂點，并通過求得每個不同等級樣本所對應各節點信任值的平均值來獲得樣本各個信任等級節點的信任值，再利用CNN網絡的學習功能，將權重收斂點作為一個評估點，一旦輸入端有待分類的網絡信任值輸入時，經過一個由初始輸入向穩態收斂的過程，網絡中的權重系數就會確定，最終達到穩定狀態后，網絡信任等級就是所對應的分類等級。具體的網絡信任度評估實現算法如下：

輸入：待評級的網絡中的樣本節點信任值

輸出：網絡信任度等級

step1：通過CNN信任模型獲得社交網絡中的樣本節點信任值；

step2：通過給出的節點信任值等級樣本求出收斂點；

step3：設計節點信任值等級評定規則；

step4：根據評定規則分別對待分類的社交網絡的節點信任值等級進行匹配；

step5：創建CNN神經網絡；

step6：設定神經網絡的初始狀態值；

step7：將待評級的各節點信任值作為CNN神經網絡的輸入值；

step8：網絡通過自學收斂到評估點，得到網絡信任度等級。

3 信任神經網絡結構構建

圖2所示為網絡信任度評估算法的仿真流程圖。先需要對用戶特征屬性、交互信息等進行數據預處理工作，得到構成每個用戶的信息列表。然后利用在上文提到的CNN信任模型，從模型文件中選出代表用戶信任關系的詞向量。使得每個用戶信息都變成多個詞向量的集合，最終可以用一個矩陣來表示每個用戶。將待評估用戶矩陣的集合劃分為訓練集和測試集，訓練集用作訓練卷積神經網絡模型，測試集用來對模型進行評估，最終得到判斷模型性能的評估指標。

由于評論矩陣的列數是可變動的，這里選取用戶屬性維度不超過100，這樣，評估矩陣的行數為100，設定用戶屬性維度不足100時，在矩陣中用零向量補齊。在CNN信任模型中，詞向量的維度是在模型學習時就設定好的，當得到詞向量模型后，根據訓練特征的維度信息計算得到了各個詞語的詞向量，再根據兩個詞向量之間的余弦值大小來判斷兩個用戶的相關程度。這里的任務是評估用戶的信任等級，因此這里在詞向量模型上增加一個維度來表示這個用戶的信任傾向性信息。

圖2 網絡信任度評估算法的分析流程

4 實驗分析

4.1 評估指標

采用了分類方法中經常使用的評估指標，分別是：正確率（Precision）、召回率（Recall）、F1值（F Measure）、分類精確率（Classification accuracy）。本文希望得到分類器在所有類別上的綜合性能，因此這里實驗主要考察微平均（Micro-averaging）F1值作為衡量標準，即對類別集合中每個尊群都計算TP、FP和FN，并完成累加計算P、R和F1。它們的計算公式如下：

其中，TP表示分類并判定都正確的用戶，FP表示分類錯誤但判定為該分類的用戶，TN表示分類正確但判定不是該分類的用戶，FN表示分類并判定都錯誤的用戶。

4.2 實驗配置

使用Newsgroup數據集中用戶實體作為數據節點（如表1所示），用戶關注與評論作為用戶交互實驗數據，共計200個節點，38020條交互數據，網絡用戶信任等級分為5等：一級、二級、三級、四級、五級。選取其中各族群29853條交互數據作為訓練集，8167條交互數據作為測試集。同時，又在訓練集中取出了30%的數據作為驗證集，用來在訓練模型時評估模型的性能。參數設置如下：輸入矩陣為100×n（n為詞向量維度），卷積過濾器100個，卷積過濾器窗口3，選取ReLU函數作為卷積層激活函數，設定2層采樣層，使用梯度下降法進行參數優化反復訓練迭代100次。

4.3 實驗分析

（1）詞向量維度界定

本實驗先訓練出不同維度的詞向量模型，利用詞向量模型將每個用戶特征轉化為了不同維度的詞向量，因此得到了不同維度的特征矩陣。通過本實驗得到了不同維度特征矩陣和模型的F1值的關系，如圖3所示。

可以看到，當詞向量的維度在增加到100維之前，模型的微平均F1值呈明顯的上升趨勢，而詞向量的維度從100維再增加時，微平均F1值開始了震蕩的過程，微平均F1值的增加不再明顯。當詞向量為100維時，微平均F1值為0.8965，模型預測的準確率為89.5%。說明當詞向量的維度較小時，詞向量所包含的信息并不能準確的表示出這個用戶的等級歸屬，向量之間的評估也不能較好的表明兩個詞語的在統計意義上的相似度，隨著詞向量維度的增加，代表用戶的向量包含的統計信息相應增多。但是當維數大于100時，向量已經基本能夠代表這個詞語，更多的維度在分類問題上帶來的效果也越來越小，故F1值在高于100維后出現震蕩。

圖3 微平均F1值與維度關系

（2）實驗設置和結果分析

為了處理不同維度的用戶特征，本文定義用戶維度最大為100，不足最大長度的維度用零向量填充。模型參數均采用隨機梯度下降算法更新，模型中每個卷積層和全連接層的輸出均連接到ReLU激活函數，最后一個全連接層的輸出采用softmax進行分類，且采用dropout以防止過擬合。在詞向量確定的基礎上增加一維，用來表示這個用戶的信任等級傾向性，并根據維度的傾向程度設定權重，若不包含傾向信息，則設置為0。由于要預測的是用戶行為信任等級，因此根據二八準則提取數據集的80%作為樣本訓練集，其余20%的數據為測試集，在不同領域的數據集上進行對比實驗，驗證測試模型在數據集上的信任等級評估準確率。

這里選取傳統的機器學習方法SVM、樸素貝葉斯（NB）、KNN、RNN和本文使用的CNN信任模型（CNN Trust）做對比。實驗分三個層次：第一個層次是輸入特征維度分析，在加入信任等級傾向維度前后，分析用戶信任等級劃分準確率情況；第二個層次是對比五種算法對數據集結果產生的性能分析；第三個層次是算法在數據集上得到的準確率對比情況。

圖4 信任等級傾向維度對準確率的影響

加入信任等級傾向維度前后，用戶信任等級劃分準確率情況如圖4所示?？梢钥闯?，使用較多的特征屬性參與卷積計算時，信任等級分類準確率會明顯提高，但并非屬性特征越多越優，選擇不當的特征屬性時會降低分類的準確率，因此在本實驗中選取維度為80時，出現準確率波動情況；在增加了信任等級傾向維度后，準確率明顯優于未增加信任等級傾向維度的模型計算，且在維度增至90時效果最好。

針對特征屬性維度增加時準確率降低的問題，我們在信任等級分類中加入噪聲值來比較分類算法的性能。如圖5所示，分別將分類噪聲比例增加至20%、30%、50%和80%一起作為四種分析環境，對五個算法的正確率在數據集上進行比較。結果顯示在噪聲比例較小的情況下，CNN Trust已顯現出較好的正確率，當噪聲比例加大時，進一步實驗分析NE算法的分類效率，從圖中可以看出，隨著噪聲比例的增加，五個算法的分類正確率都有不同程度的降低，其中SVM算法、NB算法和KNN算法正確率下降幅度明顯，RNN算法下降幅度稍緩，CNN Trust算法變化不大。因此證明CNN Trust在噪聲比例逐漸增大的情況下，仍能保持良好且穩定的正確率，與其他算法相比，可見其在噪聲消除上的高效性和在信任等級分類過程中的穩定性。

圖5 四種比例下五個算法的準確率比較

圖6 五個算法在數據集上的運行時間

五種對比算法在數據集上產生結果的性能對比如圖6和7所示，可以看出五種算法在數據集上的算法總體運行時間滿足下面的次序：RNN＜CNN Trust＜SVM＜KNN＜NB。由于在數據集上按數據總數從大到小排列，所以圖中處理數據使用時間沿x軸正向呈遞減趨勢，且振幅不大，因各算法差異運行時間長短不同。RNN、CNN Trust和SVM在運行時間上相較差別不大，三條數據處理時間線段非常相近，故而進一步在正確率上對這三種算法進行比較。從五種算法在數據集上的Precision可以看出，正確率滿足下面的次序：CNN Trust＞RNN＞KNN＞SVM＞NB。CNN Trust在正確率上明顯優于SVM算法和NB算法，與KNN算法相比，能將正確率提高1.16到3.29個百分點，與RNN算法相比，能提高0.06到1.39個百分點。由此可見，使用CNN Trust能更有效提高信任等級分類正確率，對減少整個信任等級分類過程的空間和時間消耗是非常有效的。

圖7 五個算法的準確率比較

表2為使用本文模型學習訓練的信任等級信任輸出與預測輸出結果對比情況，可以看出信任等級輸出情況基本與預測值保持一致。說明利用本文構建的模型能夠提取輸入的局部特征，再對局部特征進行綜合考慮分析，對輸入特征進行進一步的學習，從而轉化為較高級的特征。輸入信息為一系列的特征屬性，經過卷積操作之后，特征將通過卷積層的自我學習匹配相應的信任等級類別。

5 結論

本文提出了一種針對卷積神經網絡訓練用戶信任等級劃分過程的CNN信任模型，使用該模型可以對設定好的卷積神經網絡進行訓練，研究其對目標應用的有效性，能夠較快的確定特定應用卷積神經網絡算法中用戶信任等級分類問題。通過對不同特征屬性的維度、權值對CNN識別性能影響的模擬，確定用戶特征屬性的具體維度范圍，并通過噪聲、運行時間、準確率和分類精度等不同方面對不同算法進行對比驗證模型，說明使用本文提出的方法可以大大提高其執行效率，能夠高效處理實驗數據。

表2 信任等級輸出結果對比

［1］Magnusson K.Resettled and connected：social networks in the integration process of resettled refugees［J］.Metabolomics Official Journal of the Metabolomic Society，2015，3（3）：211-221.

［2］Nepal S，Bista S K，Paris C.Behavior based propagation of trust in social networks with restricted and anonymousparticipation ［J］.ComputationalIntelligence，2015，31（4）：642-668.

［3］Moyano F，Fernandez-Gago C，Lopez J.A modeldriven approach for engineering trust and reputation into software services［J］.Journal of Network and Computer Applications，2016，69（C）：134-151.

［4］Azadeh A，Zia N P，Saberi M，et al.A trust-based performance measurement modeling using DEA，T-norm and S-norm operators［J］.Applied Soft Computing，2015，30（C）：491-500.

［5］孟憲佳，馬建峰，盧笛，等.在社交網絡中綜合的信任評估模型［J］.通信學報，2014，35（12）：136-143.

［6］王勇，許榮強，任興田，等.可信計算中信任鏈建立的形式化驗證［J］.北京工業大學學報，2016，42（3）：387-392.

［7］Djuric N，Wu H，Radosavljevic V，et al.Hierarchical neural language models for joint representation of streaming documents and their content［J］.International World Wide Web Conferences Steering Committee Republic and Canton of Geneva，2015：248-255.

［8］Mustafa H M H，Tourkia F B，Ramadan R M.On analysis and evaluation of comparative performance for selected behavioral neural learning models versus one bio-inspired non-neural clever model（Neural Networks Approach）［J］.Open Access Library Journal，2016，03（10）：1-20.

［9］Syriopoulos T.An integrated credit rating and loan quality model：application to bank shipping finance［J］.Maritime Policy&Management，2015，120（6）：1-22.

［10］Yang S M.Analysis and assessment of credit rating model in P2P lending：an instrument to solve information asymmetry between lenders and borrowers［D］.Massachusetts：Massachusetts Institute of Technology，2015.

［12］Chen W，Wilson J T，Tyree S，et al.Compressing neural networks with the hashing trick［J］.Computer Science，2015：2285-2294.

［13］徐旭，劉紅軍.基于BP神經網絡模型的移動電子商務客戶信任評價［J］.統計與決策，2016（10）：60-63.

［14］李凌霞.云環境下基于BP神經網絡的電子商務企業信任評估模型研究［J］.電子商務，2016（5）：40-41.

［15］Bissacot A C G，Salgado S A B，Balestrassi P P，et al.Comparison of neural networks and logistic regression in assessing the occurrence of failures in steel structures of transmission lines［J］.Open Electrical&Electronic Engineering Journal，2016，10（1）：11-26.

［16］韓艷，王靜宇，譚躍生.云計算環境下網格用戶行為信任模型研究［J］.南京郵電大學學報：自然科學版，2016，36（1）：104-110.

Research on Network Trust Model Based on Convolutional Neural Network

WANG Peng，YANG Huamin，QIU Ningjia，YANG Di，LI Songjiang
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

In paper，a convolutional neural network （CNN） based network trust model is proposed，aiming to solve the problem of how trust level of users affect the trust level of the whole network.We use configured convolutional neural network to train the user node data to complete the classification of user trust level，on the basis of improving the efficiency of the implementation，the data is classified effectively and the specific dimension range of user characteristics is determined.To verify the model，different algorithms are compared by different aspects such as noise，running time，precision and classification accuracy.The experimental results show that the efficiency of the improved algorithm in the cluster environment is greatly improved，and the experimental data can be processed efficiently.

CNN；trust model；trust classification；model verification

TP391

A

1672-9870（2017）04-0093-06

2017-05-04

吉林省科技發展計劃重點科技攻關項目（20150204036GX）

王鵬（1973-），男，碩士，副教授，E-mail：whping2000@126.com