高校圖書館智慧化建設中大數據生態系統構建?

王世華 陳光耀

(1上海大學圖書館,上海 200444;2上海大學材料科學與工程學院,上海 200072)

1 引言

隨著我國全面進入信息時代,各種技術進入高速發展階段,圖書館的智慧化建設得到了技術支持并全面展開。圖書館已經由傳統的服務模式變成了可以進行大規模的虛擬服務。這次新冠疫情發生以來,各高校的智慧圖書館共享系統發揮了重要作用,老師和學生足不出戶就能上網學習、資源利用。用戶在互聯網及物理空間上的行為軌跡、言論交流、檢索閱讀等等都可能被捕捉,都會留下數據記錄痕跡。由“數字化生存”到“透明化生存”,“指紋”到“數紋”,無不彰顯大數據的魅力[1]。傳統圖書館服務是進行資源的分類存儲,而智慧圖書館通過對收集的大數據信息進行整合、分析,來挖掘出有用的信息,通過分析用戶使用軌跡來預測用戶需求,有針對性的為用戶提供智慧服務,提高了圖書館的管理效率和減少了圖書館的資金成本。應用現在先進的跨系統hadoop信息技術,構建智慧圖書館大數據生態系統,該系統還可以實現館際互聯,業務協同、信息共享。只有利用好大數據優勢來推進圖書館智慧化建設,才能促進我國智慧圖書館建設去虛向實。這些變化給智慧圖書館的創新發展帶來了新的變革。

智慧圖書館大數據生態系統可以發揮信息技術的優勢,加強信息資源的整合利用。將各種數據有機結合,使圖書館大數據價值獲得最大化,促進圖書館管理方式、服務理念更加智慧化。只有這樣才能提升圖書館服務能力和管理水平,給用戶帶來更多認同感和獲得感,才能增強圖書館活力,實現高效、健康的發展。

2 高校智慧圖書館的發展

2.1 智慧圖書館概念

2008年,IBM提出了智慧地球的概念,我國在“十二五”和“十三五”規劃中明確提出了高校智慧校園,圖書館作為高校智慧校園建設一部分受到重視。現有的傳統的圖書館系統將由智慧圖書館大數據生態系統逐漸取代。智慧圖書館是在數字圖書館基礎上發展起來的,利用新一代的信息技術如:大數據、云計算、物聯網等構建全新的模式,為用戶提供全新的服務,如智能檢索、網絡預約、智能推薦等,滿足現階段的用戶需求[2]。智慧圖書館還以技術為主不斷進行融合創新,構建全新的智能化系統,為用戶提供個性化服務,提升資源的利用效率,適應新時代發展[3]。

智慧圖書館與傳統圖書館相比,更加注重用戶體驗,運用大數據進行分析與對比,來進行精準化的推送服務,為用戶提供需求智慧感知,實現圖書館的智慧化管理,在圖書館角度也能減少管理成本等[4]。智慧圖書館不僅提供資源的服務,而且通過用戶和知識的融合,為用戶營造一個和諧的知識生態環境,提供更高層次的知識服務。因此,對于智慧圖書館而言,其核心要素就是用戶和圖書能夠實現相互交融,用戶隨時隨地都能享受圖書館資源[5]。

2.2 高校智慧圖書館現狀及未來發展方向

現在圖書館已經由傳統的資源存儲形式發展到以用戶為中心,進行大數據分析整合,自主為用戶提供個性化信息服務的智慧圖書館。國外已經在積極的探索智慧圖書館,美國紐約21世紀國家圖書館是世界上首個高科技圖書館和信息庫。圖書館主體部分是100多個新式電腦工作臺,它們都通過本地和遠程的終端與Internet連接,用戶隨時通過圖書館相互查詢所需要的圖書報刊、電子文獻等各種信息資料,包括文字、圖片甚至聲像多媒體的服務[6]。同時期法國的弗朗索瓦·密特朗國家圖書館、日本電氣公司(NEC)開發出的“電子圖書館”系統等,都在智慧圖書館領域里作出了有益的實踐。1996年12月上海圖書館新館是國內首家信息一體化服務的現代圖書館,在某些方面達到了智能化的程度[6]。我國在智慧圖書館建設方面起步晚,近幾年我國高校智慧圖書館建設尚處于還處在起步階段,主要還是圖書館系統、微服務及手機App等形式將館內信息資源推送給用戶,還做不到為用戶能提供個性化服務,并不能稱為真正的智慧圖書館。隨著新一代信息技術大數據、云計算的快速發展,“大數據+微服務”的模式融入圖書館個性化服務中,為構建圖書館個性化服務體系提供了技術保障[7]。可以把智慧圖書館當作一個綜合的大數據生態系統,利用大數據分析與數據挖掘技術,可自動檢索出用戶需求的資源信息、查詢的問題,可以以報告形式或可視化形式呈現出來,針對性的為用戶提供個性化服務。高校圖書館之間進行信息交互、資源共享,可實現讓用戶享受一站式自助服務。這樣就提升館藏的利用效率,使高校圖書館發揮其資源配置及共享服務優越性,在軟硬件設施上是廣泛互聯,在資源上面是融合共享的。并且未來智慧圖書館可以提供可視化的決策信息、可預測的智慧服務。上述這些都是智慧圖書館今后的發展方向。

3 智慧圖書館大數據生態系統面臨問題及意義

智慧圖書館大數據生態系統是通過信息技術與大數據技術,以用戶為中心把各種信息與圖書館整合到一起形成一個新的生態系統,不僅信息資源共享,軟硬件設施也可共享。不僅僅體現在管理與服務技術上創新,更是服務理念、思維、模式上創新,是智慧圖書館的拓展與延伸。

3.1 智慧圖書館大數據生態系統面臨問題

3.1.1 大數據生態系統開發

圖書館是學科、專業、行業和領域交叉現象最頻繁的環境,圖書館管理與服務一直處于跨學科、跨領域的狀態中。傳統圖書館管理的資源驅動型服務方式已經阻礙了圖書館的發展,而智慧圖書館,用戶也可參與到圖書館管理、服務、內容設計當中,非常契合當今時代的要求。隨著智能圖書館不斷更新發展,圖書館業務的不斷更新,資源數據也呈海量式增長,那么面臨的問題就是,如何將多種來源,各種異構的數據通過系統整合到一個系統,未來移動服務、社交網絡等新的應用都需要在這個統一的系統上展開。以上所有的應用,構成了一個大數據的生態系統,在這個系統上,全面涵蓋大數據和分析的各個應用,采用統一架構,集成到一個系統[8]。智慧圖書館系統對數據應用的安全性、可靠性,穩定性的要求會越來越高。

3.1.2 智慧圖書館中大數據管理

隨著智能圖書館業務越來越廣泛,除去傳統的圖書資源外,未來移動數據、視頻數據等結構化和非結構化數據會越來越多,數據量和維度也會海量增長。數據是大數據分析的基礎,要進行大數據資源建設,在統一協同環境下進行大數據采集、存儲、管理及分析處理都將面臨著前所未有的挑戰。智慧圖書館中大數據管理生態系統是高度整合的實時數據處理系統,應具備以下特點,如圖1所示。①對海量數據進行采集,需要建立一個系統,可以捕獲和管理大數據的所有維度,整合數據孤島,在盡量不損失價值的情況下減少數據的規模,像數據的清洗、去除等等。②對海量數據進行有效管理,海量數據存儲難度大,查詢分析效率較低,要有效利用分布式的集群完成數據的存儲和計算,在統一的系統中進行數據建模、計算,并利用數據倉庫技術降低數據分析的復雜度。③大數據決策與預測應用,利用數據挖掘等相關技術,挖掘行業信息資源價值,提高領域大數據的利用率。所有可使用數據的人,實時獲得分析結果,如借閱數據,你只需用自然語言輸入查詢條件,系統提供實時解決方案,就會一一呈現出來[8]。

圖1 智慧圖書館大數據生態系統特點

3.2 構建智慧圖書館大數據生態系統的意義

大數據生態系統是智慧圖書館發展的全新服務模式。圖書館是跨學科、專業、行業和領域的有機融合,尤其需要建立起開放式的大數據知識服務生態系統,好圖書館與外部生態體系的無縫銜接與有機融合。使圖書館管理與服務由用戶需求來驅動。構建全新的大數據系統智能系統:它可以借助大數據處理技術,靈活方便地從已有海量數據資源中抓取有用的數據,為資源建設與用戶服務提供數據支撐。并且通過對圖書館的大數據進行分析進一步提供資源共享與決策服務、交易和協作的智慧系統,強調完整的業務流程管理能力和效率。提供嵌入分析環境,融入用戶施作過程的預見性服務。大數據的核心就是預測,可即時獲取可分析的數據,有利于提高對用戶需求預測的實時性,它把數學算法運用到海量的數據上來預測事情發生的可能性,以便提供具有前瞻性服務[9]。

4 智慧圖書館中大數據生態系統構建

4.1 智慧圖書館大數據生態系統分析流程設計

充分利用高校圖書館的大數據資源,因Hadoop具有高效性、高擴展性、高可靠性和高容錯性,所以采用基于Hadoop分布式架構數據工具進行分析,來為用戶提供可預見的智慧服務。智慧圖書館大數據信息分析流程圖如圖2所示。

圖2 智慧圖書館大數據信息分析流程

高校圖書館每天產生的信息量較大,圖書資源、光盤、期刊等資源外還有大量的網絡資源、視頻信息等等,這些數據結構類型多樣,有些數據還呈現出孤立性和無序性,隨著數據量的逐步增多,處理這些海量數據變成了一項難題。現應用現有的hadoop數據集成等技術,對數據源進行數據的存儲與處理,對采集的海量數據進行分布式集群存儲,進行數據清洗、查詢和數據挖掘,得出用戶信息模型,可以對數據進行高效管理,從而為用戶的個性化需求提供服務。本文的大數據生態系統借助數據倉庫技術,從已知的隱形信息發現有用的信息,進而預測用戶需求。對用戶需求、未來閱讀模式發展趨勢、服務系統運行、安全隱患和市場環境變化進行智慧分析和預測,并對圖書館個性化智慧服務的模式、策略、內容和安全防范措施進行決策與評估[10]。

4.2 智慧圖書館大數據生態系統總體架構設計

智慧圖書館大數據生態系統利用現代的信息技術來實現圖書館云服務系統,并可以在虛擬云存儲中建立高校共享服務架構,以滿足高校圖書館個性與共性的需求。存儲設備之間是共享的,不僅可以消除系統異構、地理等原因造成的共享困難,而且可以實現資源的統一組織和調度,還可以大大減少對存儲設備的重復投資,提高存儲設備和資源的利用。智慧圖書館總體設計框架如圖3所示。

圖3 智慧圖書館大數據生態系統的總體架構

本地智慧圖書館系統采用Hadoop框架,數據庫將放入虛擬環境的資源加載到分布式文件系統中,建立起圖書館與用戶多維的交互模式。當用戶發起請求時,它將生成函數以進行搜索,在子節點中并行執行任務搜索,最后輸出結果。本地智慧圖書館包括一個主節點和多個子節點,主要是圖書、用戶、移動媒體、傳感器等具有信息感知能力的節點,還包括有數據獲取與后期處理、智慧服務系統。系統主要通過信息技術與語義技術,對元數據進行語義抽取和副本用來容錯處理。主節點使用元數據進行語義抽取,子節點通過副本實現容錯,并采用節點動態聯接技術,這樣可以減少系統擴展的工作量。

集成大數據生態系統聚集了不同的本地圖書館智慧服務,并為每個本地圖書館智慧服務提供了不同的開放接口。集成大數據生態系統采用統一的接口托管,并為每個圖書館提供統一的接口服務。本地圖書館智慧服務系統都能通過云與集成生態系統相互連接起來,通過云的集群技術將現有設備連接起來,那么每個圖書館都可以使用集成生態系統中已有的大量廉價硬件設施,那么該系統就構成具有巨大計算和存儲容量的圖書館應用服務器。

4.3 基于Hadoop智慧圖書館大數據的生態系統構建

本文利用Hadoop來構建一個智慧圖書館大數據生態系統,Hadoop生態系統在處理大數據的存儲、分析、管理等方面有顯著的優勢,而Hadoop生態系統是采用集群分布式進行大數據存儲和計算,并還有良好的兼容性,很多開源大數據框架都依賴于它,因此采用Hadoop生態系統來構建。如圖4所示。

圖4 基于Hadoop智慧圖書館大數據的生態系統

針對圖書館的大數據復雜度高,多維及海量管理需求,所應用的數據表示形式、數據傳輸協議、通信規范以及后端處理應用系統種類都是非常復雜的,如何使得這樣一個復雜的應用系統能夠平穩可靠的工作,管理控制靈活[11]。就要結合自己業務需求及數據系統技術架構,來選擇一個合適的框架與方案Hadoop是一個集群數據管理系統是大量工具集合,它包含大量的組件,從數據存儲到數據集成、數據處理以及數據分析師的專用工具,因此應該將Hadoop歸類為一個生態系統。Hadoop集群生態系統技術方面可提供服務有HDFS和Spark等關鍵服務,HDFS是分布式存儲器主要應用于離線處理,是Hadoop生態系統中的重要一員,主要用于海量結構化數據存儲,HDFS具有良好的可擴展性,適合于批處理并具備高可靠性,但不支持隨機查找,不適合實時數據訪問。Spark可以是一個子生態主要應用實時處理,Spark可以擬補HDFS的不足,它的特點是輕量級快速處理,可支持復雜查詢進行實時流處理,有數據查詢分析Spark SQL,實時處理Spark Streaming;并且Hadoop還提供接口支持的各項技術,上述這些工具可以協同工作來完成特定的任務,這個系統可以為用戶提供高效、實時的全方位服務。

5 結論

圖書館在智慧化進程中,如何使圖書館變得更智慧,是智慧圖書館建設面臨的關鍵問題。綜合運用大數據技術與Hadoop生態系統有機結合,對傳統的圖書館應用系統進行改進,構建的基于Hadoop智慧圖書館大數據生態系統,可以實現館與館之間信息互聯、設施共享的智慧服務,保證智慧圖書館有機發展。智慧圖書館可為用戶帶來高效、智慧創新服務方式、增強圖書館競爭力,提升圖書館的價值,未來智慧圖書館還可以與用戶友好互動,可為用戶提供推薦與預測增值服務,并會加強對數據安全和用戶的隱私信息方面的保護。