AIGC時代公共圖書館云存儲解決方案

摘要：當今社會信息爆炸的現象日益顯著，各行各業的數據均展現出成倍增長的趨勢。這一海量數據的涌現，無疑對存儲設備提出了更為迫切的需求，公共圖書館領域亦不例外。鑒于此背景，文章以南京圖書館為例，致力于構建一個既能順應時代發展潮流，又能滿足實際應用需求的云存儲平臺，旨在通過此平臺的建設，為公共圖書館的存儲方案提供有益的參考與指導，助力其更好地適應生成式人工智能（AIGC）時代的發展步伐，實現信息的有效管理與利用。

關鍵詞：信息爆炸；數據倍增；存儲；公共圖書館；AIGC

中圖分類號：G250.7 "文獻標志碼：A

0 引言

自2022年11月以來，以ChatGPT為代表的生成式人工智能（Artificial Intelligence Generated Content，AIGC）技術的快速發展［1-2］，各個行業紛紛投入對這一技術的學習和探究之中，公共圖書館同樣積極參與到這個領域的探索和實踐。AIGC技術有力地推動了公共圖書館向智慧化、高效化、創新化等方向的轉型與發展。然而，隨著公共圖書館信息化程度的不斷提升，其數據量亦呈現出爆發式增長態勢，這對存儲設備的容量提出了更高要求。面對如此龐大的數據存儲需求，若仍依賴大型機、小型機等傳統存儲設備，勢必導致硬件成本與維護成本的顯著增加。同時，鑒于國家對節能減排、降低能耗的大力倡導，節約用電不僅成為企事業單位降低運營成本的重要舉措，還是每個公民應盡的社會責任。基于此背景，本文以南京圖書館為例，深入探討并研究了適應當前時代發展趨勢和契合公共圖書館需求的云存儲解決方案。旨在協助公共圖書館更好地適應信息科技時代的進步趨勢，進一步促進其高質量發展。

1 總體設計原則

南京圖書館作為江蘇省的省級公共圖書館，同時也是國家一級圖書館［3］，在設計其云存儲平臺的過程中，充分考量了當前的存儲環境以及作為省級中心圖書館的特殊需求。具體設計過程可以分為以下幾個方面。

1.1 前瞻性原則

在系統方案設計階段，研究人員應深刻意識到數據存儲前瞻性原則的重要性。因此，本文主動融入并實施了行業前沿的方案與技術。這一核心策略的設計目標在于，確保該存儲系統在未來相當長的一段時期內，能夠持續保持其技術的領先地位，有效規避其因技術陳舊而帶來的潛在風險，從而保障存儲系統的長期競爭力和市場適應性。同時，該存儲系統應采納模塊化的結構設計理念，這一策略不僅滿足了當前實際應用場景的需求，還為系統的長遠發展預留了便捷的擴展接口，確保了系統的持續發展性和高度的靈活性，為未來的技術升級和功能擴展奠定了堅實的基礎。

1.2 穩定性原則

在系統架構設計階段，穩定性原則的重要性不容忽視。為確保數據的穩定性和可靠性，研究人員可以采納一系列先進的軟硬件容錯策略，如冗余磁盤陣列（Redundant Array of Independent Disks，RAID）［4］、快照與備份和故障轉移與自動恢復等。這些策略的應用將極大地提升系統在面對各種故障時的恢復能力和數據保護水平。同時，實施一套精密的安全訪問控制機制也是必不可少的，其能有效保障系統數據的安全性，防止未經授權的訪問和數據泄露。此外，研發一套綜合性的管理與監控平臺也是關鍵，該平臺應具備高效的故障診斷與預警能力，為系統的持續安全與運維管理提供強有力的支撐，確保系統能夠長期穩定運行。

1.3 開放性原則

在系統設計過程中，嚴格遵守開放性標準體系是至關重要的。為確保文件系統訪問接口的廣泛兼容性和靈活性，必須確保其符合可移植操作系統接口（Portable Operating System Interface，POSIX）標準［5］，并提供開放的應用程序編程接口（Application Programming Interface，API）［6］，以便開發人員能夠輕松地集成和擴展系統的功能。同時，系統應配備人性化的應用與管理界面，注重用戶體驗，以滿足用戶多樣化的需求，提升系統的易用性和可維護性。此外，系統還需要嚴格遵循其他通用標準，如硬件接口標準、通信協議和存儲協議等，以實現硬件、通信、軟件及操作系統等之間的互操作性和共享性，進一步提升系統的整體性能和兼容性。

1.4 經濟性原則

在設計系統時，經濟性原則是一個不可忽視的重要考量因素。首先，研究人員應合理控制初始投資成本，選擇性價比高的硬件設備，避免過度建設；其次，通過數據壓縮與去重技術提高存儲效率，減少空間占用；同時，采用模塊化設計便于系統擴展，降低未來升級成本；此外，智能化管理降低運維成本，提高資源利用率；最后，進行長期經濟效益評估，確保投資回報率合理。通過這些措施，公共圖書館存儲系統在設計時能夠兼顧經濟性與實用性。

2 系統架構

基于南京圖書館的實際需求，同時充分考慮上述總體設計原則，該館創新性地采用了分布式存儲機制。這一機制巧妙地將存儲數據分散于多臺獨立的服務器上，成功構建了一個虛擬而統一的海量存儲空間。此存儲空間不僅極大地提升了數據的存儲與管理能力，還通過涵蓋卷管理節點、元數據管理節點、塊數據存儲節點、用戶掛載客戶端以及管理監控中心等多個核心組成部分，實現了存儲功能的全面優化。在這一架構下，各個服務器節點均運行著精心設計的云存儲資源管理服務程序。這些程序通過協同工作，確保了整個系統的穩定運行和高效管理。其不僅負責數據的讀寫操作、存儲空間的分配與管理，還承擔著數據的備份、恢復以及容災等重要任務。為了更直觀地展示這一云存儲平臺架構，本文構建了如圖1所示系統架構。根據圖1，可以清晰地看到各個組成部分之間的關聯與交互以及其在整個系統中的重要角色。這一創新的分布式存儲機制不僅滿足了南京圖書館的實際需求，還為公共圖書館的存儲方案提供了新的思路與參考。

3 云存儲關鍵技術

南京圖書館云存儲系統在構建過程中，積極吸納并融合了多個行業內頗為先進且經過廣泛驗證的技術手段。這些技術涵蓋了動態負載均衡技術、高效并發處理技術、高可靠性保障技術以及節能存儲技術等，每項技術的精心選擇與運用，都為系統帶來了顯著的性能提升、穩定性增強以及能效優化等。本文將對這些核心技術進行逐一介紹，深入剖析其在南京圖書館云存儲系統中的具體應用。

3.1 動態負載均衡技術

系統采納了中心化的服務器架構進行集中管理，其中主卷管理服務器承擔了存儲所有元數據的核心職責，而文件數據則采用分布式存儲策略，分布于各個節點服務器之上。主卷管理服務器不僅負責維護一個統一的命名空間，還負責實時監控各節點服務器的運行狀態，以執行基于負載最優化的節點選擇策略并自動實現系統負載的均衡分配。在遭遇節點故障事件時，系統能夠自動執行故障隔離程序并將冗余數據遷移至其他健康節點中，從而保障系統的持續穩定運行和數據的高可靠性。

3.2 高效并發處理技術

客戶端在訪問云存儲時，首先會訪問主卷管理服務器以獲取節點信息。隨后，客戶端會直接與節點服務器進行交互，完成數據的存取操作。此過程中，控制流與數據流分離，降低了主卷管理服務器負載，避免成為性能瓶頸。該分布式存儲允許實現對多個節點的并行訪問，進而達到輸入/輸出（I/O）操作的高度并行化。在此機制下，系統的吞吐率與節點數量成正比關系，從而使得系統性能得以顯著提升。

3.3 高可靠性保障技術

系統通過網絡架構將所有服務節點互聯，并實施了高可靠性的容錯機制，以保障系統的穩定持續運行。在系統架構中，卷管理服務器采用主備雙機熱備份方案，當主服務器遭遇故障時，備用服務器能夠及時接管其職能，確保服務的連續性不受影響。此外，存儲節點采用了編解碼冗余備份策略，即便在部分節點數據丟失的情況下，仍能確保數據的完整性，并且維持服務的正常運行。

3.4 節能存儲技術

系統的功耗表現主要由其核心組件決定，包括處理器、芯片組以及存儲器等關鍵配件。這些組件的能耗特性在很大程度上決定了整個系統的功耗水平。為了有效降低能耗，系統采用了嵌入式設計理念［7］，其硬件和軟件均經過高效設計，以確保在滿足性能需求的同時，實現低功耗、小體積、高集成度和低成本等多重優勢。這種設計不僅有助于降低系統的整體成本和功耗，還有利于簡化散熱系統，提高系統的可靠性和穩定性。通過這些優化設計，系統在功耗控制、成本控制以及散熱管理等方面均表現出色，為各種應用場景提供了高效、可靠的解決方案。

4 系統優勢

南京圖書館云存儲系統結合了先進的存儲技術，相較于傳統存儲系統，所提系統展現出顯著的技術優勢。本文從以下幾個方面敘述其優勢。

4.1 可靠性極高

存儲系統基于云計算架構精心設計［8］，采納數據分塊策略，并將其分別存儲于多個節點之上，從而構建了一個高效的數據分布式存儲框架。系統融合了尖端的容錯技術，賦予了數據卓越的容錯能力。此容錯機制能夠確保即便在單個存儲服務器節點遭遇故障的情況下，數據的完整性與可靠性依然可以得到維護，系統能夠無縫持續提供服務，避免了服務的中斷。另外，云存儲管理節點實施了主備雙機鏡像熱備份方案，實現了故障情況下的自動切換功能，確保了系統全天候、無間斷地運行。

4.2 卓越性能

系統采納了一種頗具創新性的技術架構，該架構巧妙地實現了控制流與數據流的分離，這一設計使得數據的并行讀寫處理成為可能，極大地提升了數據處理的效率與性能。隨著系統中存儲節點數量的不斷增加，系統的吞吐率以及I/O性能均展現出顯著的線性提升趨勢，這充分證明了系統在擴展性方面的卓越表現。此外，系統還融入了一種先進的負載均衡機制，該機制能夠智能地調節服務器之間的負載分布，確保各服務器的工作負載保持均衡，進而實現了存儲資源的優化分配與高效利用，進一步提升了系統的整體性能和穩定性。

4.3 動態擴容

系統具備高度靈活的擴展性，能夠在不干擾現有服務運行的前提下，動態集成新的存儲節點，進而實現即時且無縫的存儲容量擴充。該特性顯著提升了系統的可伸縮性和運維效率，確保在用戶需求增長時能夠迅速響應并滿足存儲需求。此外，系統具備動態節點剔除功能，支持在不中斷服務的情況下，無縫移除任意節點，從而實現系統的自動規模調整。在此過程中，系統能夠維持數據的完整性與持久性，確保無數據丟失現象發生，被移除節點上的數據將自動遷移至集群中的其他活躍節點，以此保障系統數據的冗余度與整體可靠性。

4.4 出色的兼容特性

系統采納了遵循POSIX標準的通用文件系統接口，這一設計確保了系統能夠在不同操作系統環境下實現應用程序的無縫接入與兼容。通過遵循POSIX標準，應用程序能夠將云存儲系統視作一個無限擴展的磁盤空間，而無須進行任何煩瑣的適應性修改或配置調整。這一特性極大地簡化了應用程序與云存儲系統之間的交互流程，提升了系統的易用性和便捷性。此外，為了滿足開發人員對定制化功能調用的需求，系統還提供了專門的API。這些API為開發人員提供了靈活且強大的編程接口，使他們能夠根據特定的開發需求和業務場景，輕松地調用和定制云存儲系統的各項功能。這一設計不僅提升了開發人員的編程效率，還進一步拓展了系統的應用范圍和靈活性。

4.5 智慧化管理

系統搭載了一款先進的、基于Web的管理控制平臺，這一平臺實現了管理流程的全方位自動化，極大地提升了系統管理的效率和便捷性。平臺的設計理念著重于降低用戶操作的門檻，通過直觀易用的界面和人性化的操作方式，使得即便不具備專業背景的用戶也能輕松上手，便捷地執行各項管理任務。管理平臺具備強大的實時監控能力，能夠對全網絡節點及磁盤的運行狀態進行實時、全面的監控，確保系統運行的穩定性和數據的安全性。同時，平臺還支持細粒度的文件級別系統監控，能夠深入文件層面進行監控和管理，有效識別并修復受損文件，進一步提升了數據的完整性和可靠性。除此之外，系統還內置了完善的用戶安全認證機制、靈活的存儲配額配置以及精細化的權限管理功能。這些功能全面滿足了日常運維與安全管理的各項要求，確保了系統數據的安全性和訪問的合規性。通過這一系列功能的設計與實現，系統為用戶提供了一個高效、便捷、安全的管理控制平臺，極大地提升了用戶體驗和系統價值。

5 結語

人工智能時代，全球數據量呈爆炸式增長。作為信息傳播的核心機構，公共圖書館應當采用適應時代發展的云存儲系統。本文以南京圖書館為例，深入探討分析了其采納的云存儲解決方案。該方案憑借對尖端云計算、網絡通信以及分布式文件系統等技術的整合應用，實現了對低成本硬件存儲節點的高效組織與管理，進而構建了一個兼具高性能與高可靠性的存儲解決方案。該方案為其他公共圖書館在云存儲解決方案方面的探索與實踐提供了有益的參考與借鑒，以促進其更好地服務于廣大讀者。展望未來，隨著技術的不斷進步，公共圖書館還應積極探尋并應用新興的存儲技術和方法，以持續適應時代變遷與發展趨勢。

參考文獻

［1］傅勇.ChatGPT時代對計算機專業人才培養的影響分析［J］.無線互聯科技，2023（15）：135-138.

［2］蔡丹丹，宋歌笙，劉煒.以AIGC創新圖書館知識服務［J］.圖書館雜志，2023（12）：36-44.

［3］江蘇省文化和旅游廳.直屬單位［EB/OL］.（2019-09-25）［2024-07-21］.https：//wlt.jiangsu.gov.cn/col/col52196/index.html.

［4］宋立豪.基于RAID技術的固態硬盤校驗位管理機制優化研究［D］.重慶：西南大學，2022.

［5］黎悠揚.基于微內核的POSIX-PSE51操作系統關鍵技術的研究與實現［D］.成都：電子科技大學，2023.

［6］楊新濤，劉意辰，常津銘.基于API服務網關技術的物聯網感知數據安全傳輸方法［J］.無線互聯科技，2023（24）：119-121.

［7］楊敬杰，楊駿.探討嵌入式系統中低功耗的設計理念［J］.電腦編程技巧與維護，2011（2）：82-84.

［8］曹海平.面向云計算的微服務架構設計與實現［J］.信息記錄材料，2024（5）：175-177.

（編輯 沈 強編輯）

Cloud storage solution for public libraries in AIGC era：

taking Nanjing Library as an example

WANG" Weikun

（Nanjing Library， Nanjing 210018， China）

Abstract： Today’s society is in the era of information explosion， data in all walks of life has shown a trend of exponential growth. Due to the emergence of this huge amount of data， it is an increasingly urgent need for storage devices， public libraries are no exception. In view of this background， this paper takes the Nanjing Library as an example， aims to build a cloud storage platform that not only fits the trend of the times， but also meets the actual application requirements. By building this platform， it can provide useful reference and guidance for the storage program of public libraries， help them better adapt to the pace of development in AIGC era， and realize the effective management and utilization of the information.

Key words： information explosion; data multiplication; storage; public library; AIGC