基于麻雀算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)推薦算法研究

黃承寧， 孫自梅， 張 斌， 朱玉全

（1 南京工業(yè)大學(xué)浦江學(xué)院， 南京 211222； 2 江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院， 江蘇 鎮(zhèn)江 212013）

0 引 言

在智慧校園建設(shè)中，信息過載現(xiàn)象越來越嚴(yán)重，而學(xué)生培養(yǎng)方案存在過于單一規(guī)范問題，無法反映不同學(xué)生擅長的領(lǐng)域，更無法針對性推薦引導(dǎo)自主學(xué)習(xí)，無法充分發(fā)揮不同學(xué)生真正的學(xué)習(xí)能力。 基于用戶畫像的自主學(xué)習(xí)推薦，是根據(jù)學(xué)生人才培養(yǎng)方案課程學(xué)習(xí)情況數(shù)據(jù)分析，對學(xué)生學(xué)情進(jìn)行畫像描述與分析，進(jìn)而實(shí)施個(gè)性化推薦，提供適合學(xué)生的學(xué)習(xí)領(lǐng)域和職業(yè)課程知識。 基于畫像，可以根據(jù)學(xué)生的特點(diǎn)，深入了解適合學(xué)生的特定領(lǐng)域，讓學(xué)生學(xué)習(xí)真正有用的技能，為學(xué)生將來進(jìn)入社會打下堅(jiān)實(shí)的基礎(chǔ)。

用戶畫像是通過分析用戶行為特征、消費(fèi)習(xí)慣和其他有關(guān)用戶行為的信息而構(gòu)建的一種用戶特征［1］。 根據(jù)用戶的特點(diǎn)，公司對其進(jìn)行精準(zhǔn)營銷，為改善用戶體驗(yàn)、吸引用戶注意力奠定基礎(chǔ)。 例如：淘寶和抖音等互聯(lián)網(wǎng)公司，通過分析購物記錄和瀏覽用戶數(shù)據(jù)，為每個(gè)用戶構(gòu)建一幅畫像。 當(dāng)用戶再次登錄時(shí)，其會根據(jù)用戶畫像推薦專屬商品，以方便用戶購物。 在高校，智能圖書館可以根據(jù)用戶畫像為學(xué)生提供準(zhǔn)確的知識服務(wù)，并為研究團(tuán)隊(duì)提供學(xué)科知識服務(wù)。 用戶畫像的構(gòu)建方法包括：基于用戶興趣偏好、用戶行為、動機(jī)、個(gè)性特征和角色情緒等等。

推薦算法是推薦系統(tǒng)的重要組成部分，該算法通過收集用戶特征、行為和推薦元素的特征，計(jì)算出最接近用戶偏好的元素。 推薦算法分為3 類：基于內(nèi)容的推薦（Content-Based， CB）、基于協(xié)同過濾的推薦（Collaborative Filtering， CF） 和混合推薦（Hybrid Recommendation）算法［2］。 其中，基于內(nèi)容的推薦算法是通過用戶特點(diǎn)，推薦其喜歡的特征項(xiàng)目；基于協(xié)作過濾的推薦算法是就目前最有效的推薦算法，其假設(shè)兩個(gè)用戶有相似的興趣，那么當(dāng)前用戶很可能會喜歡另一個(gè)用戶喜歡的項(xiàng)目；混合推薦算法結(jié)合了兩種或兩種以上的算法，最大限度地發(fā)揮每種算法的優(yōu)勢，并使最終的推薦結(jié)果更接近用戶的偏好。

目前，推薦系統(tǒng)通常根據(jù)用戶畫像特征，推薦與用戶偏好標(biāo)簽匹配的商品，但此方式存在信息繭房問題，即不能推薦提供用戶更多弱關(guān)聯(lián)信息。 如：用戶標(biāo)簽顯示不喜歡或者弱需要的，或者推薦對象的某些屬性被忽略等問題。 造成這種情況的主要原因，是獲得用戶興趣和喜好的方法以及提取特征的方法不是非常適用，該系統(tǒng)難以獲取用戶的興趣和偏好，無法匹配推薦對象的內(nèi)容特點(diǎn)，更難以獲得用戶滿意的推薦結(jié)果［3-4］。 因此有必要引入更準(zhǔn)確、更合適的用戶和對象特征。 模型持續(xù)改進(jìn)的前提和關(guān)鍵，是找到更多的應(yīng)用場景進(jìn)行測試和修正；同時(shí)應(yīng)考慮到多變的環(huán)境和利用用戶認(rèn)知能力，避免技術(shù)過程崩潰的可能性。 因此，目前在理論和技術(shù)上存在很大差距，主要表現(xiàn)在缺乏多種應(yīng)用場景，導(dǎo)致模型技術(shù)及其轉(zhuǎn)化應(yīng)用的能力缺乏持續(xù)改進(jìn)。

深度學(xué)習(xí)方法最常用的分類器為卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)是含有卷積層、池化層等多個(gè)層次的深度神經(jīng)網(wǎng)絡(luò)模型，在數(shù)據(jù)訓(xùn)練時(shí)很容易產(chǎn)生過擬合現(xiàn)象，同樣存在致使準(zhǔn)確率降低的問題［5］。 而麻雀搜索算法的搜索過程中引入隨機(jī)性，其并不是一種確定性算法（Deterministic approaches），所以其很好的解決了確定性算法在復(fù)雜問題上陷入局部最優(yōu)的缺陷，所以麻雀算法在求解全局優(yōu)化問題的最優(yōu)解方面具有重要的現(xiàn)實(shí)意義。 但是，在實(shí)際研究中發(fā)現(xiàn)，麻雀搜索算法在處理復(fù)雜問題上仍然容易處于局部最優(yōu)，但全局搜索能力稍有改善。

綜上所述，本文基于Anaconda 環(huán)境，使用Python 和PyTorch 框架，在GPU 處理支持下，對模型進(jìn)行加速訓(xùn)練驗(yàn)證。 首先對數(shù)據(jù)集進(jìn)行了訓(xùn)練分割，然后研究了神經(jīng)網(wǎng)絡(luò)模型和最新的麻雀算法，并進(jìn)行基于麻雀算法改進(jìn)DNN 分類推薦算法的設(shè)計(jì)，最后開展模型實(shí)驗(yàn)以及優(yōu)化，尋找出麻雀算法的適用范圍，并對深度神經(jīng)網(wǎng)絡(luò)模型的推薦性能進(jìn)行優(yōu)化分析，最終實(shí)現(xiàn)基于麻雀算法的神經(jīng)網(wǎng)絡(luò)模型的推薦性能研究優(yōu)化提升。

1 相關(guān)研究工作

1.1 神經(jīng)網(wǎng)絡(luò)與麻雀算法

深度神經(jīng)網(wǎng)絡(luò)，又稱多層感知機(jī)，是以人類神經(jīng)元之間的協(xié)作學(xué)習(xí)為模型的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)［6］。 網(wǎng)絡(luò)分為3 層：輸入層、隱藏層和輸出層。 輸入層將數(shù)據(jù)傳遞給模型，讓模型進(jìn)行研究；隱藏層為中間表示層；輸出層負(fù)責(zé)輸出模型學(xué)習(xí)結(jié)果。 網(wǎng)絡(luò)結(jié)構(gòu)示意如圖1 所示。

圖1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 1 Schematic diagram of deep neural network structure

群優(yōu)化算法根據(jù)模仿機(jī)制的不同，可分為生物現(xiàn)象模仿和確定性物理定律設(shè)計(jì)的啟發(fā)式模擬。 常見的生物現(xiàn)象的模仿算法有：模擬人類社會進(jìn)化的遺傳算法（Genetic Algorithm）、熱帶雨林生長的雨林算法（Rain Forest Algorithm，RFA）、螞蟻覓食行為的蟻群算法（Ant Colony Optimization，ACO）、鳥群覓食行為的粒子群算法（Particle Swarm Optimization，PSO）、蜜蜂覓食行為的蜂群算法（Bee Colony Algorithm， BCA）、細(xì)菌覓食優(yōu)化算法（Bacterial Foraging Optimization， BFO）、麻雀覓食分層思想的麻雀算法（Sparrow Search Algorithm，SSA）等［7］。 其中，麻雀搜索算法的搜索過程中引入隨機(jī)性，其并不是一種確定性算法（Deterministic approaches），因此在求解全局優(yōu)化問題的最優(yōu)解具有重要的現(xiàn)實(shí)意義。 但是在實(shí)際研究中發(fā)現(xiàn)，麻雀搜索算法在處理復(fù)雜問題上仍然容易處于局部最優(yōu)，但全局搜索能力稍有改善。

1.2 神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

深度神經(jīng)網(wǎng)絡(luò)的顯著特點(diǎn)是其神經(jīng)元的多層次結(jié)構(gòu)，與其它神經(jīng)網(wǎng)絡(luò)一樣，也有輸入層和輸出層［8］。 在輸入和輸出之間，可以任意地設(shè)置多個(gè)隱藏層，而隱藏層的數(shù)量取決于所要解決問題的大小。深度神經(jīng)網(wǎng)絡(luò)是完全連接的，這和其它的神經(jīng)網(wǎng)絡(luò)有很大的區(qū)別。 如圖2 所示，在每個(gè)神經(jīng)元的輸入信號中，首先由神經(jīng)網(wǎng)絡(luò)進(jìn)行線性轉(zhuǎn)換，然后通過激活函數(shù)進(jìn)行非線性轉(zhuǎn)換，最后經(jīng)過多層隱藏層之后進(jìn)入輸出層輸出。 若要解決分類問題，則要將輸出歸一化或者經(jīng)過其他形式的激活函數(shù)進(jìn)一步處理。

圖2 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 2 Structure of deep neural network

經(jīng)過上述分析，本文模擬的函數(shù)本質(zhì)上屬于分類問題，基于對標(biāo)簽的觀察，需要對輸出進(jìn)行歸一化。 通過神經(jīng)網(wǎng)絡(luò)將輸入的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中，然后通過與標(biāo)簽的比較，來確定適合的梯度下降算法。 本文系統(tǒng)采用了5 層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中包括1 個(gè)輸入層、1 個(gè)輸出層和3 個(gè)隱藏層。

1.2.1 激活函數(shù)的選擇

激活函數(shù)又稱傳遞函數(shù)，可以把數(shù)據(jù)訓(xùn)練過程轉(zhuǎn)換為非線性運(yùn)算，來更好的求解復(fù)雜的問題［9］。激活函數(shù)具有非線性、單調(diào)性、可微性的特點(diǎn)。 因?yàn)閷せ詈瘮?shù)的優(yōu)化有梯度性，所以可微是必不可少的一個(gè)特性。 正是由于激活函數(shù)增加神經(jīng)網(wǎng)絡(luò)模型的非線性，同時(shí)使得梯度優(yōu)化更為穩(wěn)定、模型訓(xùn)練更為高效，因此選擇合適的激活函數(shù)可以提升神經(jīng)網(wǎng)絡(luò)性能。 常見的幾種激活函數(shù)如下：

1.2.1.1 Sigmoid 函數(shù)［10］

輸入的數(shù)據(jù)通過Sigmoid 功能進(jìn)行處理，則輸出的數(shù)值在0～1 之間。 若輸入的數(shù)據(jù)非常大，則輸出為0；如果輸入數(shù)據(jù)的絕對數(shù)值很小，輸出就是1。

Sigmoid 函數(shù)公式如式（1），函數(shù)圖像如圖3所示。

圖3 Sigmoid 函數(shù)圖像Fig. 3 Sigmoid function image

一般情況下，Sigmoid 激活函數(shù)能夠很好的應(yīng)用于二分類問題，通過計(jì)算輸出的概率進(jìn)行結(jié)果的判決。 但Sigmoid 函數(shù)也存在一定的局限性，當(dāng)需要大量計(jì)算時(shí)，會影響函數(shù)的收斂速率，導(dǎo)致訓(xùn)練速度下降；當(dāng)輸入值過大和過小時(shí)，梯度會向0 逼近，而數(shù)據(jù)反向傳輸時(shí)，容易導(dǎo)致模型梯度的消失。

1.2.1.2 Tanh 函數(shù)［11］

Tanh 函數(shù)是一種基于Sigmoid 函數(shù)的轉(zhuǎn)換，公式如式（2），函數(shù)圖像如圖4 所示。

圖4 Tanh 函數(shù)圖像Fig. 4 Tanh function image

同Sigmoid 函數(shù)相比，Tanh 函數(shù)輸出值映射范圍在-1～1 之間，函數(shù)圖像如圖4 所示。 由于Tanh函數(shù)輸出均值為0，因此網(wǎng)絡(luò)訓(xùn)練的收斂性更強(qiáng)。但是，如果輸入值變大或變小，梯度也會隨之消失。

1.2.1.3 ReLU 函數(shù)［12］

如圖5 所示ReLU 激活函數(shù)的映射規(guī)則為：當(dāng)輸入值為負(fù)數(shù)時(shí)，映射結(jié)果為0，其余數(shù)值不進(jìn)行映射。 由于ReLU 函數(shù)在x ＞0 的情況下梯度不會發(fā)生變化，因此很好的解決了Sigmoid 與Tanh 函數(shù)存在的局限性問題。 該方法不僅計(jì)算方法簡單，而且收斂速度較快。 但此函數(shù)也存在因?yàn)樘荻冗^高而被置0，導(dǎo)致神經(jīng)元可能再也無法被數(shù)據(jù)激活。

圖5 ReLU 函數(shù)圖像Fig. 5 ReLU function image

1.2.1.4 ReLU6 函數(shù)［13］

由于ReLU 函數(shù)的梯度是1，當(dāng)輸入數(shù)據(jù)是一個(gè)很大值時(shí)，對應(yīng)的輸出值受其影響也會很大，導(dǎo)致網(wǎng)絡(luò)不穩(wěn)定。 為了避免這一情況，可通過使用ReLU6函數(shù)來消除該函數(shù)的線性增長。 ReLU6 表達(dá)式如式（4），ReLU6 函數(shù)與導(dǎo)函數(shù)如圖6 所示。

圖6 ReLU6 函數(shù)圖像Fig. 6 ReLU6 function image

本文針對激活函數(shù)的選擇實(shí)驗(yàn)中，采用控制變量對比法，選擇最佳激活函數(shù)，參數(shù)設(shè)定見表1。 實(shí)驗(yàn)針對上述4 種激活函數(shù)進(jìn)行，比較結(jié)果如圖7 所示。

表1 激活函數(shù)對比實(shí)驗(yàn)參數(shù)設(shè)定Tab. 1 Parameter setting of activation function comparison

圖7 4 種激活函數(shù)驗(yàn)證數(shù)據(jù)集結(jié)果比對實(shí)驗(yàn)Fig. 7 Comparison experiment of four activation function validation datasets

由圖7 可見，Sigmoid 激活函數(shù)在訓(xùn)練集趨于收斂的情況下，驗(yàn)證集并未發(fā)散，未出現(xiàn)過擬合情況，因此本文選擇Sigmoid 激活函數(shù)作為DNN 神經(jīng)元的激活函數(shù)。

1.2.2 梯度下降優(yōu)化器的選擇［14］

梯度下降是一種尋找函數(shù)極小值的優(yōu)化方法，在模型訓(xùn)練中學(xué)習(xí)率控制著每次更新參數(shù)的幅度，是比較重要的模型超參，過高或過低的學(xué)習(xí)率都可能對模型結(jié)果帶來不良影響。 為了使學(xué)習(xí)率對模型訓(xùn)練過程起到良性促進(jìn)作用，需要不斷調(diào)整學(xué)習(xí)率，根據(jù)本文模型對以下兩種梯度優(yōu)化算法進(jìn)行比對選擇。

1.2.2.1 Adam-自適應(yīng)矩估計(jì)［15］

Adam 首先計(jì)算梯度一階矩E（x） 和二階矩E（x2） 估計(jì)，并據(jù)此為不同參數(shù)設(shè)置獨(dú)立的自適應(yīng)學(xué)習(xí)率。 傳統(tǒng)的隨機(jī)梯度下降中，是按照固定學(xué)習(xí)率更新所有參數(shù)權(quán)重，而在Adam 策略中，其為每一個(gè)參數(shù)保留一個(gè)學(xué)習(xí)率，以提升在稀疏梯度上的性能。 當(dāng)初始化的梯度和衰減率都很低時(shí)，Adam 使用梯度的一階矩估計(jì)和二階矩估計(jì)來修正梯度，提高梯度在參數(shù)空間內(nèi)的穩(wěn)定性，如下所示：

所以Adam 梯度下降算法的參數(shù)更新公式為

1.2.2.2 RMSprop［16］

為了解決Adagrad 學(xué)習(xí)率下降太快的問題，在文獻(xiàn)［21］中作者采用Geoff Hinton 提出了RMSprop梯度下降法，參數(shù)更新公式如下：

由此可見，RMSprop 梯度下降法是將學(xué)習(xí)率分解成平方梯度指數(shù)衰減的平均。

本文采用控制變量對比法，選擇最佳梯度下降優(yōu)化器，參數(shù)見表2。 優(yōu)化器選擇中，針對Adam 和RMSprop 梯度下降優(yōu)化器進(jìn)行比較，學(xué)習(xí)率設(shè)定為0.001，并且在此參數(shù)下進(jìn)行了對比實(shí)驗(yàn)。

表2 梯度下降優(yōu)化器對比的參數(shù)設(shè)定Tab. 2 Parameter settings for gradient descent optimizer comparison

在表2 參數(shù)下，對DNN 模型進(jìn)行訓(xùn)練，圖8 記錄了模型訓(xùn)練過程中訓(xùn)練集的MSE損失函數(shù)值。可以清晰發(fā)現(xiàn)，當(dāng)梯度下降優(yōu)化器為Adam 時(shí)，DNN模型訓(xùn)練集的損失值下降速度最快，且收斂平穩(wěn)；而RMSprop 前期損失函數(shù)值下降快，但卻不收斂，迭代后期不平穩(wěn)。

圖8 兩種梯度下降訓(xùn)練集結(jié)果對比Fig. 8 Comparison experiment of two gradient descent training sets

在設(shè)置優(yōu)化參數(shù)下，對DNN 模型進(jìn)行訓(xùn)練，圖9 記錄了模型訓(xùn)練過程中驗(yàn)證集的MSE損失函數(shù)值。 由圖可見，當(dāng)梯度下降優(yōu)化器為Adam 時(shí)，DNN模型驗(yàn)證集的損失值下降速度最快，且收斂平穩(wěn)；而RMSprop 前期損失函數(shù)值下降快、不收斂，迭代后期不平穩(wěn)。

圖9 兩種梯度下降驗(yàn)證集結(jié)果對比Fig. 9 Comparison experiment of results of two gradient descent verification sets

通過對以上實(shí)驗(yàn)結(jié)果分析，故選擇Adam 梯度下降優(yōu)化器作為本文中DNN 網(wǎng)絡(luò)的優(yōu)化器。 對此，單獨(dú)對Adam 進(jìn)行訓(xùn)練集與驗(yàn)證集的損失函數(shù)值隨迭代變化實(shí)驗(yàn)。 Adam 梯度下降優(yōu)化器下的訓(xùn)練集和驗(yàn)證集的實(shí)驗(yàn)結(jié)果如圖10 所示。

1.3 麻雀算法設(shè)計(jì)

麻雀算法的搜索機(jī)制，是在一次搜索結(jié)束后，都會更新麻雀所在位置；而在每一次更新位置之前，先根據(jù)麻雀當(dāng)前覓食處的食物總量進(jìn)行分配身份，食物總量多的分配成發(fā)現(xiàn)者，剩余的分配成跟隨者［17-19］。 在發(fā)現(xiàn)者與跟隨者麻雀搜索完畢后，通過隨機(jī)抽取的方式，分配警惕者身份，更新警惕者位置。

基于此，本文提出了一種改進(jìn)的麻雀搜索算法，具體改進(jìn)如下：

（1）融合鳥群搜索算法中發(fā)現(xiàn)者位置更新策略，在尋優(yōu)過程中代入上一代全局最優(yōu)解，提升搜索充分性；

（2）在跟隨公式中增加自適應(yīng)因子，提高跟隨者麻雀搜索范圍，提升尋優(yōu)能力。

發(fā)現(xiàn)者麻雀位置更新見式（10），雖然ST固定警惕閾值∈［0.5，1］，但一般取值0.8。

由式（10）中判斷條件可知，R2＜ST概率大于R2≥ST，發(fā)現(xiàn)者麻雀群落中的大部分麻雀位置更新機(jī)制是基于在原有位置基礎(chǔ)上再做跳躍。

跟隨者麻雀位置更新見式（11），從公式的判斷條件可知，跟隨者麻雀中滿足i ＞n／2 條件的位置屬于較差位置，這些麻雀可稱作乞丐麻雀（食物少的麻雀）。 乞丐麻雀的更新位置機(jī)制是每一維度在原點(diǎn)左右跳躍，試圖找到食物更好的地方。 非乞丐麻雀在更新位置時(shí)，每一維度都往發(fā)現(xiàn)者麻雀中的最佳位置靠近。

警惕者位置更新見式（12），更新原則是發(fā)現(xiàn)者麻雀與跟隨者麻雀更新完畢后，對更新后的麻雀群落隨機(jī)抽取麻雀的方式，分配警惕者麻雀群落。

由公式（11）中判斷條件可知，滿足條件的警惕者麻雀數(shù)量為極少部分（幾乎僅為一只）。 這只幸運(yùn)的麻雀會逃離自身位置，更新的位置是在基于自身原有位置上位移，位移距離由自身距離和最差距離的差值與自身食物和最差食物的差的比值。 剩余麻雀幾乎占據(jù)所有警惕者麻雀的群落，在更新位置上，朝著最佳位置大幅度位移。

1.4 基于麻雀算法改進(jìn)DNN 分類推薦算法設(shè)計(jì)

1.4.1 深度神經(jīng)網(wǎng)絡(luò)模型推薦性能分析

1.4.1.1 交叉熵?fù)p失函數(shù)［20］

由于模型預(yù)測值和真實(shí)值之間存在差距，為此引入交叉熵進(jìn)行描述，具體表達(dá)如式（13）所示：

式中DL（p ｜｜q） 為相對熵，代表了p與q存在的差異大小。 相對熵越大代表兩者之間的差異性越大；反之，相對熵越小說明兩者之間的差異性越小；而當(dāng)相對熵等于0 時(shí)，意味著兩者之間的概率分布是一致的。 在進(jìn)行分類問題的處理時(shí)，該函數(shù)的表達(dá)如式（14）所示。

式中＝（0，0，…，0，1，0，…） 為＝m的獨(dú)熱編碼，代表第i個(gè)樣本的數(shù)據(jù)輸出。 其中，第m維為1，而在該誤差評判標(biāo)準(zhǔn)下，標(biāo)簽歸屬于第m類別； ˉyi為網(wǎng)絡(luò)輸出數(shù)據(jù)；N為樣本的數(shù)量。

由于yi概率分布是確定的，即熵的值確定，則不會對網(wǎng)絡(luò)的優(yōu)化訓(xùn)練造成影響，若樣本數(shù)據(jù)的類別是m，則樣本中類別數(shù)量為C，則損失函數(shù)變換如式（15）所示：

若神經(jīng)網(wǎng)絡(luò)選用Sigmoid 作為激活函數(shù)，當(dāng)網(wǎng)絡(luò)梯度下降時(shí)，交叉熵能夠利用誤差控制網(wǎng)絡(luò)學(xué)習(xí)速率，以解決使用均方誤差損失函數(shù)時(shí)學(xué)習(xí)速率下降的問題。

1.4.1.2 均方誤差損失函數(shù)［21］

在解決回歸問題時(shí)，均方誤差代表了神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出與真實(shí)標(biāo)簽之間誤差的平方，函數(shù)公式如式（16）所示：

式中：N代表訓(xùn)練樣本中的數(shù)據(jù)量，yi∈R代表第i個(gè)樣本的真實(shí)值，ˉyi代表神經(jīng)網(wǎng)絡(luò)的預(yù)測輸出。 其中，預(yù)測輸出與標(biāo)簽的數(shù)據(jù)格式保持一致，即標(biāo)簽為具體數(shù)值時(shí)，相應(yīng)的預(yù)測結(jié)果也是特定的數(shù)值。

本文研究表明，所提出的神經(jīng)網(wǎng)絡(luò)所需的捕獲算法都是一種回歸問題，故選用均方誤差作為損失函數(shù)。

1.4.2 基于麻雀算法改進(jìn)的DNN 分類推薦算法流程

基于麻雀算法改進(jìn)DNN 分類推薦算法的流程如圖11 所示。 首先設(shè)置迭代次數(shù)，初始化麻雀算法中每一個(gè)個(gè)體的適應(yīng)度值，進(jìn)行搜索迭代；將每一只麻雀位置的四維數(shù)據(jù)傳入DNN 模型進(jìn)行訓(xùn)練，訓(xùn)練完畢后將測試集放入模型進(jìn)行預(yù)測，并得出均方誤差MSE；將MSE作為每一只麻雀的適應(yīng)度值，發(fā)現(xiàn)者麻雀、跟隨者麻雀、警戒者麻雀位置更新完畢后，迭代次數(shù)加1，若未達(dá)到迭代次數(shù)，則進(jìn)行新一輪的搜索。

2 模型實(shí)驗(yàn)與優(yōu)化

2.1 數(shù)據(jù)集

本文提出的基于麻雀算法改進(jìn)的模型推薦算法涉及數(shù)據(jù)集主要來源于學(xué)院和教務(wù)系統(tǒng)的學(xué)生學(xué)情數(shù)據(jù)。 該數(shù)據(jù)集中包含學(xué)院4 個(gè)專業(yè)，共計(jì)1 281個(gè)學(xué)生的學(xué)情評價(jià)數(shù)據(jù)，評分從1 ～10 的整數(shù)。 根據(jù)前面的數(shù)據(jù)信息，根據(jù)相應(yīng)動態(tài)學(xué)情評分，驗(yàn)證本文所提算法的性能和傳統(tǒng)推薦算法性能對比分析。

2.2 基于麻雀算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型的推薦性能分析

本文采用基于麻雀算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型作為推薦算法，在該算法中參數(shù)設(shè)定見表3。 目標(biāo)函數(shù)是模型訓(xùn)練后驗(yàn)證集的損失最小值；種群數(shù)量為20，迭代次數(shù)20 次，麻雀在發(fā)現(xiàn)者的比例設(shè)置為0.2，神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的搜索范圍分別為［100，300］、［200，500］、［100，300］，學(xué)習(xí)率搜索范圍［0.000 1，0.01］。

表4 是麻雀算法中優(yōu)化的DNN 網(wǎng)絡(luò)參數(shù)，其中隱含層的神經(jīng)元參數(shù)及學(xué)習(xí)率由麻雀算法傳入。

表4 麻雀算法中優(yōu)化的DNN 網(wǎng)絡(luò)參數(shù)Tab. 4 DNN network parameters optimized in sparrow algorithm

表5 是本次實(shí)驗(yàn)中作為對比實(shí)驗(yàn)的DNN 網(wǎng)絡(luò)參數(shù)，其中隱含層的神經(jīng)元設(shè)置為［100，200，100］，學(xué)習(xí)率設(shè)置為0.01。

從圖12 實(shí)驗(yàn)結(jié)果圖可知，基于麻雀算法優(yōu)化的DNN 的推薦結(jié)果精準(zhǔn)度更高，圖中綠色的線是以表5 中參數(shù)設(shè)定實(shí)現(xiàn)的DNN 模型中目標(biāo)函數(shù)值，而紅色線是麻雀算法在迭代過程中的目標(biāo)函數(shù)值。 可見，在經(jīng)過麻雀搜索算法改進(jìn)之后，具有較強(qiáng)的優(yōu)化程度，增強(qiáng)了聚類效果，提升了鄰間相似，最終完成了對目標(biāo)用戶的推薦，提高了推薦準(zhǔn)確度。

圖12 基于麻雀算法優(yōu)化的DNN 的實(shí)驗(yàn)結(jié)果圖Fig. 12 Experimental results of DNN optimized based on sparrow algorithm

3 結(jié)束語

本文采用DNN 模型對基于用戶畫像的個(gè)性化推薦，首先對DNN 中的激活函數(shù)、梯度下降優(yōu)化器的選擇進(jìn)行了對比實(shí)驗(yàn)，根據(jù)實(shí)驗(yàn)結(jié)果選擇Sigmoid作為本文實(shí)驗(yàn)中的激活函數(shù)。 然后在對相關(guān)梯度下降訓(xùn)練集結(jié)果對比實(shí)驗(yàn)中，擇優(yōu)選擇Adam 為梯度下降優(yōu)化器，優(yōu)化之后DNN 模型的訓(xùn)練集實(shí)現(xiàn)損失值下降速度最快，且收斂平穩(wěn)；其次通過常見目標(biāo)函數(shù)對麻雀算法的適用性研究，得出麻雀算法適用于優(yōu)化DNN 模型。 最后采用麻雀算法對模型中的參數(shù)進(jìn)行尋優(yōu)，經(jīng)過麻雀算法優(yōu)化后的DNN 模型，在實(shí)驗(yàn)結(jié)果中表現(xiàn)出較強(qiáng)的優(yōu)化程度，實(shí)現(xiàn)了更為精準(zhǔn)有效推薦。