基于Transformer模型的圖書館借閱量預測研究

摘要：針對圖書借閱量預測在捕捉復雜時序特征中的局限性，本文提出了一種基于Transformer模型的預測方法。該方法通過多頭自注意力機制捕捉序列中的復雜依賴關(guān)系，并利用多層編碼器提取非線性特征，實現(xiàn)精準預測。實驗結(jié)果顯示，與傳統(tǒng)模型相比，在最佳參數(shù)條件下，Transformer的均方根誤差（RMSE） 和平均絕對誤差（MAE） 分別降低了16.2%和23.2%。此外，Transformer模型能夠更好地適應數(shù)據(jù)的動態(tài)變化，顯著提升了預測精度。

關(guān)鍵詞：圖書館借閱量；Transformer；非線性預測；編碼器；自注意力機制

中圖分類號：TP391" " " 文獻標識碼：A

文章編號：1009-3044（2025）19-0005-04

開放科學（資源服務） 標識碼（OSID）

0 引言

圖書館在高校及現(xiàn)代社會中扮演著重要角色，是知識的寶庫，為人們提供免費和平等的教育資源。圖書借閱量作為館藏文獻利用率的重要指標，對評估圖書館業(yè)務及提升管理和服務水平具有重大意義，并受到廣泛關(guān)注[1-2]。

在早期針對圖書借閱量預測的研究中，多數(shù)工作主要依托于統(tǒng)計學領(lǐng)域的線性回歸分析模型展開[2-3]。然而，面對圖書館借閱量這類具有非線性和波動性特征且情況較為復雜的數(shù)據(jù)時，此類模型暴露出很大的局限性[2]。

隨著機器學習技術(shù)的發(fā)展，圖書借閱量預測研究開始轉(zhuǎn)向非統(tǒng)計學方法。王麗華提出了一種基于支持向量機（SVM） [4]的圖書館借閱量預測方法，該方法利用其處理非線性和高維數(shù)據(jù)的優(yōu)勢，通過遺傳算法優(yōu)化訓練參數(shù)以增強泛化能力[5]。

隨著計算機計算能力的提升，深度學習開始進入研究人員的視野。越來越多的學者開始使用深度學習技術(shù)對借閱量進行預測。鄧敏和盧寧提出了結(jié)合因子分析（FA） 與粒子群優(yōu)化（PSO） 的BP神經(jīng)網(wǎng)絡(luò)模型，該模型通過因子分析提取借閱量相關(guān)公共因子作為輸入訓練網(wǎng)絡(luò)，并用改進PSO算法優(yōu)化初始參數(shù)以提高預測精度[2]。高萍構(gòu)建了GMBP模型來分析圖書館借閱量數(shù)據(jù)，該模型結(jié)合混沌分析和數(shù)據(jù)挖掘方法處理數(shù)據(jù)，實現(xiàn)了非線性預測并取得了一定效果[6]。

長短期記憶網(wǎng)絡(luò)（LSTM） 、門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU） 和Transformer[7]是深度學習中擅長處理時序數(shù)據(jù)的模型，經(jīng)常應用于股票價格預測、機器翻譯等問題[8]。齊曉娜等[9]利用LSTM進行股票價格預測獲得了較優(yōu)的預測精度。但LSTM和GRU均缺乏自注意力機制，在提取序列復雜依賴關(guān)系時具有局限性。

為了進一步提高圖書借閱量的預測精度，本文提出了基于Transformer模型的圖書館借閱量預測方法。本文對圖書館借閱量數(shù)據(jù)進行分析建模，捕獲序列中的復雜依賴關(guān)系，最后通過多組實驗對所提方法的預測性能進行評估，并將結(jié)果與多種其他方法進行對比分析。

1 基于Transformer模型的圖書館借閱量預測方法

1.1 Transformer模型

Transformer模型（見圖1） 是谷歌團隊于2017年提出的新型深度學習架構(gòu)[7]。該模型核心采用自注意力機制，由多個編碼器—解碼器堆疊構(gòu)成，以代替?zhèn)鹘y(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 。編碼器通過多頭自注意力層提取輸入序列的全局依賴關(guān)系，解碼器則結(jié)合自注意力和交叉注意力機制動態(tài)捕捉輸入輸出的關(guān)聯(lián)。通過并行化計算與位置編碼，Transformer突破了RNN的訓練瓶頸，既能高效處理長距離依賴，又加速了模型訓練。該架構(gòu)最初在機器翻譯任務中表現(xiàn)突出，隨后拓展至圖像生成、語音識別等領(lǐng)域，并成為ChatGPT等大語言模型的核心技術(shù)[10]。

編碼器是Transformer模型中的重要組成部分，每個編碼器層包含兩個子層連接結(jié)構(gòu)（見圖2） ：第一個子層是多頭注意力層，第二個子層是前饋全連接神經(jīng)網(wǎng)絡(luò)層。在每個子層后面均采用殘差連接和層歸一化。殘差連接能夠防止在訓練過程中出現(xiàn)退化問題，而層歸一化可以加快訓練速度，提高訓練穩(wěn)定性。

多頭自注意力機制是Transformer模型的核心組件，通過并行多個獨立的注意力頭，使模型能夠同時聚焦于輸入序列的不同特征子空間。相較于RNN的順序處理，這種機制突破了序列長度限制，避免了梯度消失問題。

由于本文基于該模型用于借閱量時間序列預測任務，屬于回歸問題，而不是像翻譯任務那樣逐時間步生成輸出序列，并且在單變量預測場景中，編碼器已能有效提取時序特征，因此本文僅使用該模型的編碼器部分構(gòu)建借閱量預測模型（見圖3） 。

模型的輸入為具有序列特征的圖書借閱量數(shù)據(jù)，其形狀為（seq_len， batch_size， dimension） ，其中seq_len為序列長度，batch_size為批大小，dimension為特征維度，本文為1。經(jīng)過嵌入層后，形狀轉(zhuǎn)換為（seq_len， batch_size， 32） ，然后通過位置編碼在嵌入向量中注入位置信息，以提高模型的時序感知能力。模型中設(shè)置了2～3個編碼器，用于提取序列數(shù)據(jù)中長距離依賴的特征，此外采用3～5頭多頭注意力機制來提取潛在的關(guān)系特征。最后，經(jīng)過全連接層，將高維特征映射為目標預測值。

1.2 損失函數(shù)和優(yōu)化器

模型的損失函數(shù)采用回歸問題中常見的均方誤差（MSE） ，MSE直接衡量預測值與真實值之間的平均平方差，數(shù)值越小表示模型性能越好，其公式如式（1） 所示：

[MSE=1ni=1n（yi-yi）2] （1）

式中：n為批次大小，yi為第i個樣本的真實借閱量，[yi]為預測借閱量。

在優(yōu)化器方面，本文選擇Adam優(yōu)化器，它能夠動態(tài)調(diào)整每個參數(shù)的學習率，實現(xiàn)自適應學習。這不僅加快了參數(shù)更新過程中的收斂速度，還通過動量機制減少了振蕩，提高了訓練的穩(wěn)定性。此外，Adam還包括初始化偏差修正，確保訓練初期的準確性。這些特性使得Adam在深度學習模型訓練中表現(xiàn)出色，成為廣泛應用的優(yōu)化策略。

2 實驗結(jié)果分析

2.1 數(shù)據(jù)集

本文采用某高校近幾年每天的圖書借閱量數(shù)據(jù)，共1 583條，數(shù)據(jù)變化趨勢呈現(xiàn)非線性（見圖4） ，其中借閱量為歸一化后的值。

2.2 數(shù)據(jù)預處理

深度學習算法在處理特征尺度差異較大的數(shù)據(jù)時，容易出現(xiàn)模型收斂緩慢、梯度爆炸或梯度消失等問題。為消除特征尺度對模型訓練和預測的影響，需要采用特征縮放技術(shù)對數(shù)據(jù)進行標準化。本文采用常用的最小-最大歸一化方法，將數(shù)據(jù)縮放到[0， 1]區(qū)間，具體過程如式（2） 所示：

[x=X-XminXmax-Xmin] （2）

式中：X為原始值，Xmin為原始數(shù)據(jù)中的最小值，Xmax為原始數(shù)據(jù)中的最大值，[x]為歸一化后的值。

借閱量數(shù)據(jù)屬于典型的時間序列數(shù)據(jù)，這類數(shù)據(jù)的預測通常需要根據(jù)前一段時間序列的信息來預測下一個時刻的值。因此，本文采用滑動窗口的方式處理數(shù)據(jù)（見圖5） ，窗口大小設(shè)為i，即用前i天的特征預測第i+1天的借閱量。這樣既保留了時間序列的上下文信息，又為模型提供了豐富的歷史特征，有助于捕捉時序依賴關(guān)系。

當i為10時，采用滑動窗口方法能夠構(gòu)建1 573組具有序列特征的數(shù)據(jù)集，我們將數(shù)據(jù)集的前80%（1 258組） 劃分為訓練集，后20%（315組） 劃分為測試集。

2.3 評價指標

本文選擇RMSE和MAE作為評價指標。RMSE為MSE的平方根，其公式如式（3） 所示。MAE則為預測值與實際值差的絕對值的平均數(shù)，其公式如式（4） 所示。

[RMSE=1ni=1n（yi-yi）2] （3）

[MAE=1ni=1nyi-yi] （4）

式中：n為測試集的數(shù)據(jù)量，yi為第i個樣本的真實借閱量，[yi]為預測借閱量。

2.4 實驗設(shè)置

為了評估Transformer在圖書館借閱量預測中的性能優(yōu)勢，本文選擇GRU、LSTM和SVR（Support Vector Regression） 模型進行對比實驗。實驗平臺硬件環(huán)境為：Intel（R） Core（TM） i7-9700K CPU，NVIDIA GeForce GTX 1070 GPU，16GB RAM。軟件環(huán)境為：Win10 OS，PyCharm 2023.2.3，Python 3.11.10，PyTorch 2.3.1。

2.5 結(jié)果與分析

為確定Transformer模型中編碼器層數(shù)和自注意力頭數(shù)的最佳組合，本研究設(shè)計了參數(shù)尋優(yōu)實驗。具體設(shè)置為：窗口大小為10，編碼器層數(shù)分別取2、3層，自注意力頭數(shù)分別取3、4、5頭，共形成6種參數(shù)組合。所有組合均在圖書館借閱量數(shù)據(jù)集上進行訓練與測試，每組參數(shù)重復訓練3次以消除隨機性，最終選取最優(yōu)結(jié)果作為評估基準。從實驗結(jié)果（見表1） 中可以看出，2層編碼器和5個自注意力頭的組合效果最好，RMSE為0.056 2，MAE為0.037 0。

通過將Transformer模型與GRU、LSTM以及SVR模型在測試集上的效果進行對比（見表2） ，發(fā)現(xiàn)Transformer在RMSE和MAE上均顯著優(yōu)于其他模型。具體表現(xiàn)為：Transformer的RMSE為0.0565，較LSTM降低了16.2%，并且比GRU的RMSE低了約19.3%。同時，在MAE方面，Transformer的表現(xiàn)同樣突出，達到了0.0370，相較于GRU降低了20.6%，相比LSTM則減少了23.2%。值得注意的是，即使與傳統(tǒng)回歸方法SVR相比，Transformer在RMSE和MAE上也分別降低了18.1%和35.4%。這主要得益于Transformer模型擁有多頭自注意力機制，并且實現(xiàn)全局并行計算，能夠捕獲全局長距離復雜依賴關(guān)系，例如周末借閱量下降、每周三下午借閱量高峰和學期初末高峰等關(guān)鍵特征。

從預測曲線來看，LSTM的曲線過于平滑（見圖6） ，整體波動幅度較小，在關(guān)鍵節(jié)點處誤差較大。GRU的結(jié)果同樣不理想，其預測值在多個區(qū)間偏離真實值，并存在持續(xù)高估的情況。Transformer模型則能夠較好地擬合實際值，同時其波動范圍控制在真實值范圍內(nèi)。

3 結(jié)論

本文探討了基于Transformer模型的圖書館借閱量預測方法。該模型通過多頭自注意力機制，有效捕捉長期時序依賴關(guān)系，克服了傳統(tǒng)RNN模型的局限性。實驗結(jié)果顯示，Transformer在RMSE和MAE指標上均顯著優(yōu)于其他對比模型，表明其在圖書借閱量預測領(lǐng)域具有較大應用潛力。未來，我們將進一步優(yōu)化模型參數(shù)，探討其他影響因素，提高預測的準確性和魯棒性，以促進圖書館服務的智能化發(fā)展。

參考文獻：

[1] 劉洋.基于大數(shù)據(jù)的圖書館借閱量預測研究[J].現(xiàn)代電子技術(shù)，2020，43（5）：105-108.

[2] 鄧敏，盧寧.基于數(shù)據(jù)挖掘的圖書館借閱量預測研究[J].微型電腦應用，2023，39（11）：221-224.

[3] 陳桂菊.基于數(shù)據(jù)挖掘的高校圖書館圖書借閱流量預測[J].微型電腦應用，2020，36（6）：93-96.

[4] CORTES C， VAPNIK V. Support-vector networks[J]. Machine Learning，1995，20（3）： 273-297.

[5] 王麗華.基于支持向量機的圖書館借閱量預測[J].微計算機信息，2012，28（4）：105-106.

[6] 高萍.基于GMBP模型的圖書館借閱量非線性預測方法[J].電子設(shè)計工程，2022，30（23）：121-124，129.

[7] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[J/OL].[2025-03-29].arXiv：1706.03762， 2017.

[8] 陳棟，黃國勇.基于Transformer編碼器和手工特征的航空發(fā)動機剩余壽命預測[J/OL].機床與液壓，2025：1-9.（2025-03-12）. https：//kns.cnki.net/kcms/detail/44.1259.TH.20250311.1731. 004.html.

[9] 齊曉娜，張宇敬，鄭艷娟，等.深度學習算法在股票價格預測方面的研究[J].軟件，2021，42（7）：70-72.

[10] 楊璇.基于改進Transformer模型的股票價格預測[D].南昌：江西財經(jīng)大學，2024.

【通聯(lián)編輯：唐一東】