數字圖書館無效鏈接實證研究

劉金亞，顧立平，陳新蘭

（1.中國科學院 文獻情報中心；2.中國科學院大學 經濟與管理學院，北京 100190）

0 引言

數字圖書館的出現，始于1994 年美國國家科學基金會、國防部先進研究項目局和美國國家航空與航天局聯合啟動的為期4 年的數字圖書館研究項目［1］。經過長期發展與實踐，數字圖書館現已成為用戶獲取信息，滿足日常知識需求的重要方式。在過去20 年，圖書館建立了成熟的數字圖書館知識服務體系和豐富的資源內容［2］，圖書館學界關于數字圖書館鏈接研究內容不斷增加。

其中，晁亞男等［3］從用戶使用意愿出發，發現平臺設計質量、用戶期望和信息質量是數字圖書館知識鏈接用戶使用意愿的主要影響因素；Mirghafoori 等［4］研究結果表明，網站缺乏跳轉到用戶的鏈接是高校圖書館提高數字服務質量的主要原因之一；Cheng 等［5］提出一種基于關鍵詞—引用—關鍵詞網絡的學科知識結構分析方法以檢測具備較高語義關系的關鍵詞間的間接鏈接關系；Page 等［6］提出了一個更好訪問數字音樂圖書館的鏈接數據框架，該框架利用可重用的工具包，以支持通過實時事件定制的用戶界面；Wenige 等［7］研究了如何在數字圖書館中使用鏈接開放數據進行推薦和信息檢索的方法。然而，數字圖書館中鏈接相關研究在不斷豐富的同時，如何簡單有效地幫助管理者解決無效鏈接問題，維護數字圖書館鏈接的長期可持續性，始終困擾著數字圖書館的用戶和網站管理者。譚園園等［8］對無效鏈接的解決方法進行了早期探索，后期也有相關學者對無效鏈接的清除方法作出了改進，例如可通過百度搜索資源平臺查看網站失效鏈接［9］；Zheng 等［10］提出了一種針對可存活鏈接中共享鏈接失效的快速恢復算法，以應對網絡鏈接失效問題。

鏈接雖然在豐富數字圖書館服務內容，提高數字圖書館服務質量方面起重要作用［11］，但白海燕［12］的研究表明，無效鏈接仍是影響數字圖書館服務質量的重要原因之一。Paris［13］認為無效鏈接影響了數據質量，建議學術界研究無效鏈接的影響和解決方法。而調查分析發現，學術界并未有針對數字圖書館無效鏈接的解決辦法，數字圖書館中的無效鏈接問題，仍未得到很好的解決。

無效鏈接指無法打開響應的鏈接指向，無法實現鏈接的鏈接類型［8］。無效鏈接根據表現方式，可分為錯誤鏈接、死鏈接及重疊鏈接3 種。

（1）錯誤鏈接。錯誤鏈接指根本不存在的鏈接，是由于域名、URL 地址輸入錯誤等原因而生成的鏈接。

（2）死鏈接。死鏈接指原本存在，但由于長期無人維護，對外鏈接的網頁或文件更改了位置，或所鏈接到的網頁被替換，服務器或數據庫不再支持原有網頁鏈接而生成的鏈接。

（3）重疊鏈接。重疊鏈接指原本存在，但網站在更新維護過程中，更改了部分內容，卻未對原始網頁進行清除，而導致原始網頁內容和新網頁內容部分重疊的鏈接。重疊鏈接是由于網站內部管理不當而造成的結果。雖然不會影響用戶最終瀏覽結果，卻給網站管理員造成了困擾，也降低了終端用戶瀏覽時的精確度和使用體驗。

隨著時間的不斷推移，數字圖書館累積了較多的無效鏈接。若不能有效清除，不僅影響了用戶使用體驗，還會降低用戶獲取信息的準確性，使用戶喪失對網站的信任［12］。為了解決該問題，本文以某國內數字圖書館為例，并隨機選取了國家科技圖書文獻中心（National Science and Technology Digital Library，NSTL）［14］及中國高等教育文獻保障系統（China Academic Library &Information System，CALIS）［15］的38 家成員館進行了驗證分析。

1 研究過程

1.1 數據來源

本文以某國內數字圖書館網站為實驗對象，利用預先設計的代碼，對實驗對象進行了測試，具體分析處理過程主要由3 部分構成（見圖1）。

（1）確定分析目標。選取官網鏈接為分析對象，檢驗該網站內無效鏈接狀況。

（2）選擇分析工具。選取Python3.8.5［16］版本為分析工具，新建腳本文件，編寫識別無效鏈接的程序代碼。

（3）輸出分析結果。測試數字圖書館的無效鏈接情況及代碼可行性。根據分析結果，總結數字圖書館中無效鏈接的類型和清除方法。

Fig.1 Analysis process圖1 分析處理過程

1.2 研究方法

下載Python 工具，并為其選用合適的運行環境；下載并調用訪問網頁的urllib 庫［17］，分析網頁用的BeautifulSoup庫［18］；根據設計的代碼返回運行結果。具體分析流程如圖2 所示。

Fig.2 Code analysis process圖2 代碼分析流程

（1）導入分析工具并輸入待分析的網頁鏈接。結合計算機終端狀況和需求，下載合適的Python 版本。之后，選取合適的運行環境（例如Spider［19］、Pycharm［20］等）。一切就緒后，打開運行環境，并新建文件，輸入待分析的網頁地址。

（2）抽取鏈接信息，形成對應的數據結構。根據待檢測的網站網址，分析該網址的鏈接內容，形成以元組（tuples）表示的數據結構，例如http404Error=（404，“Not Found”）。

（3）遍歷網站，并反饋結果。分析網頁鏈接時，若發現網站內確實存在失效鏈接，則將這些鏈接內容以反饋信息和響應url 信息的形式返回到運行界面。

根據上述分析流程，本文設計了一段簡單的代碼，在經過初始代碼的運行與調試后，得到了準確的代碼內容，具體代碼見算法1。

2 結果及討論

本文將某國內數字圖書館官方網址輸入到代碼測試區，運行代碼后最終得到了該網站的無效鏈接狀況，部分結果見算法2。

Algorithm 2：The Invalid Links Results of A Digital Library

算法2：某國內數字圖書館無效鏈接運行結果

輸入網站網址：http：//www.las.ac.cn

網頁信息“查找網絡數據庫”的情況“http：//www.las.ac.cn/subpage/Information_Content.jsp？InformationID=6159”可能是無效鏈接。

網頁信息“信息素質教育”的情況“http：//il.las.ac.cn”可能是無效鏈接。

網頁信息“正在進行的活動”的情況“http：//www.las.ac.cn/others/news_activity.jsp”可能是無效鏈接。

網頁信息“資源動態消息”的情況“http：//www.las.ac.cn/others/news_resource.jsp”可能是無效鏈接。

網頁信息“總體概況”的情況“http：//www.las.cas.cn/gkjj/”可能是無效鏈接。

網頁信息“60 周年館慶網”的情況“http：//www.las.ac.cn/60/”可能是無效鏈接。

網頁信息“館史陳列室”的情況“http：//www.las.ac.cn/history/”可能是無效鏈接。

網頁信息“第六次文獻情報會議”的情況“http：//wxqb6.las.ac.cn/”可能是無效鏈接。

網頁信息“博士后流動站”的情況“http：//www.las.cas.cn/jypx/bshldz/”可能是無效鏈接。

網頁信息“2020 年中國專業圖書館學術年會征文通知”的情況“http：//www.csla.org.cn”可能是無效鏈接。

根據算法2 可知，代碼準確且運行結果可信。網站管理員可根據運行結果，進入網站服務器或用戶終端瀏覽器。若發現網站內確實存在結果中的無效鏈接，則可根據鏈接的內容和位置，對無效鏈接進行剔除和更改。

本文主要目的是通過簡單的程序代碼，一鍵了解網站無效鏈接概況，旨在方便日常鏈接維護，提高無效鏈接處理效率。結果發現，某國內數字圖書館的無效鏈接主要存在3 種類型：

一是網頁更替過程中，新舊網頁大部分內容相似，只是所使用標簽和內容表述發生了變化，即重疊鏈接。產生該現象的原因是網站建設者或管理員在內部測試時，找到了管理或技術上的問題，改變了網頁的窗口樣式、顏色、語言描述等。該部分的網頁雖并未給用戶增添較大的檢索負擔，但用戶若不了解網頁內容的新舊情況，則會由于雙重標準而困擾，用戶無法判斷網頁信息內容是否準確有效。

二是用戶在搜索網頁過程中，被提示網頁正在跳轉中或返回到首頁。該鏈接在網站中實際并不存在，終端用戶無法看到最終網頁，即錯誤鏈接。產生這種現象的原因可能是網站在建設或更新過程中，網站建設者或管理員輸入錯誤的網頁地址或撰改了原始網頁信息，導致網頁無法跳轉，用戶無法判斷網頁內容是否真的存在。尤其是用戶網絡狀況較差時，用戶可能將關注點放在網速上，其搜索時間被無限拖長。

三是指網頁鏈接存在，但無法打開，即死鏈接。產生這種鏈接內容的原因可能是網站建立初期，有足夠的資金和資源支撐數字圖書館的運作。但在網站運營過程中，負責該網站的建設者可能轉移了工作重心，網站缺少資金支持，導致一部分鏈接無人維護或更新。鏈接指向發生了變更，用戶在搜索時，仍可看到該鏈接。在點擊時，卻無法打開，進而可能讓終端用戶誤以為網頁正在維護中，仍可能會有最新消息發布。

之后，為檢驗同類機構網站無效鏈接狀況，本文隨機選取NSTL 及CALIS 38家成員館進行驗證分析，如表1所示。

Table 1 Invalid links results of digital libraries表1 數字圖書館無效鏈接存在情況

分析發現，除無法訪問的網站外，同類機構網站中幾乎都存在無效鏈接，但數量不一、浮動較大。其中，最大值為89，最小值為2。為更直觀地對比各數字圖書館的無效鏈接情況，本文進行了譜段分析（見圖3）。由圖3 可知，各數字圖書館的無效鏈接數量大多處于1～13 之間，有個別超過了37。分析發現，各數字圖書館無效鏈接類型集中表現為死鏈接，其次為錯誤鏈接。但整體而言，無效鏈接基本為以上3 種。而具體網站無效鏈接狀況，讀者可自行驗證。

Fig.3 Invalid links distribution圖3 無效鏈接分布狀況

3 結語

數字圖書館隨著時間推移，其鏈接數量會不斷增多。雖然無效鏈接的存在為正常現象，但若出現太多則有必要仔細檢查和梳理。否則用戶將會在搜索過程中，逐漸喪失其耐性，降低對網站的滿意度。此外，數字圖書館網頁多、項目進展快速、內容更新頻繁等，也可能造成更多的無效鏈接。為了解決這一問題，本文設計了簡單代碼并運行。希望通過簡單的方法，幫助網站管理員解決較為麻煩的無效鏈接問題。其具體作用主要包含以下幾方面：①該段簡潔代碼和上述所述簡單操作，可以協助數字圖書館的館員（或一般網站管理員）檢查網站鏈接狀況，以便對無效鏈接進行及時更新、剔除或新增，以優化用戶使用網站時的體驗；②可用于檢查無效鏈接外網頁的處理情況，測量網頁管理情況，決定非無效鏈接下網頁間的相互鏈接關系，以幫助網站管理員更好地組織網頁間的鏈接關系，提高用戶使用網站的效率；③可用于檢查數字圖書館網站管理工作，全面了解數字資源基本狀況，定期對數字資源內容進行檢查，避免資源重復建設。

以往依靠人工計算不免費時耗力，需改善網頁鏈接，借助自動化方式，提高無效鏈接檢查效率和準確性，并直接計算結果，但對于如何及時預警并改善數字圖書館無效鏈接機制需進一步研究。并且，無效鏈接間的比較，不能簡單地用數量進行評估，應采用一種合適的計量方式：①網站總數除以無效鏈接數；②實現步驟①中結果標準化，即介于0 和1 之間的數值；③考慮個別圖書館在全部圖書館的無效鏈接頻譜上的位置，并檢查無效鏈接數的真實數值，進行合理判斷。

因此，未來研究中，將會利用自動化方式，探索更多測量指標，并與富有經驗的一線業務人員合作，以形成更全面、更有效的無效鏈接預防機制。