基于Hadoop的高校美術繪畫資源存儲與檢索平臺設計

李朝霞

(西安工程大學，西安 710048)

0 引言

近年來，隨著我國市場經濟高速發展，人們對藝術的需求也日漸提高。在此背景下，作為藝術人才培養基地的美術學院開始致力于美術繪畫資源數據庫的建設工作。美術學院繪畫資源數據庫是滿足高校美術專業對藝術資源需求的一個重要平臺，高校可以借助該平臺，發揮藝術資源共享的作用，并集合美術繪畫的各項資源。但就目前情況來看，高校在進行美術繪畫資源存儲與檢索平臺研究方面仍存在許多問題，難以在傳統模式的影響下發揮出自身獨特優勢。對此，本文對基于Hadoop的高校美術繪畫資源存儲與檢索平臺進行研究設計，以期為高校藝術專業起到參考作用。

1 Hadoop簡述

Hadoop是一種由美國非盈利性組織Apache軟件基金會設計開發的開放式源代碼框架，能夠在分布式底層細節不夠清晰的情況下，幫助用戶進行分布式程序開發工作，從而被廣泛應用于開源云計算編程平臺方面。在Hadoop框架的整體設計中，HDFS與Map Reduce扮演著極其重要的角色。其中，HDFS是Hadoop架構實現分布式計算以及海量數據儲存的關鍵；Map Reduce主要借助Map函數以及Reduce函數達到對工作的分解及分解結果匯總的目的。

1.1 HDFS基本原理

HDFS在運行過程中以主/副關系作為其整體架構，具有一個主節點及多個從而點。在HDFS分布式的集群中，通常是由一個Name Node，以及多個Data Node共同構成。其中Name Node表示名稱節點，主要在HDFS主節點上運轉。該節點在整個架構中，通常被看成是一個中心協調器，擔負著客戶端對文件訪問的監管以及資源文件系統命名空間的管理職責。在HDFS集群中，通常情況下僅在一個節點中安裝一個數據節點，具體HDFS 架構體系，如圖1所示。

圖1中，HDFS主要從資源文件寫入、資源文件獲取、數據塊備份三方面對數據進行管理。其中，資源文件寫入實則就是將數據塊按照數據文件事先排列好的順序，依次寫入至HDFS中相應的數據節點中；資源文件獲取主要通過客戶端對數據節點上的信息進行獲取；數據塊備份主要作用于在數據節點出現故障的情況下，進行數據塊備份工作。

圖1 HDFS架構體系

1.2 Map Reduce基本原理

Map Reduce在計算過程中主要由Map 階段以及Reduce 階段組成。其中Map階段主要采用將運算任務細分為眾多小運算任務，并將眾多小任務派送至各數據節點的方式進行計算工作；Reduce階段主要擔負著將眾多Map運算任務進行及輸出至HDFS中的責任。具體Map Reduce 的計算流程，如圖2所示。

圖2中，通常情況下，用戶在規定的Map Reduce中，其中的任意Map 函數所負責鍵值對后，就能產生相應的鍵值對的對集。同時，用戶在指定所有value值歸并于一個Reduce函數中后，value值都將具備同樣的key值。

圖2 Map Reduce執行流程

2 基于Hadoop的高校美術繪畫資源存儲與檢索平臺設計

2.1 設計思路

由于本次設計所面向的對象主要為高校美術繪畫專業，因此在對基于Hadoop 的高校美術繪畫資源存儲與檢索平臺進行設計時，本文將以美術繪畫自身的特點作為設計基礎，結合美術繪畫資料實現對繪畫資源的數字化管理。在此基礎上，利用元數據進行繪畫數據資料錄入，然后對繪畫資料實行文本化及校驗，從而實現對海量美術繪畫數字化圖片的存儲及檢索。

2.2 整體架構設計

結合以上對高校美術繪畫資源存儲與檢索平臺設計思路的分析，本系統首先從美術繪畫管理入手，以設計資料管理系統的方式建立起繪畫資料元數據及數字化文檔的電子檔案，以此便于對數字化繪畫資料的入庫及管理。同時，出于對高校美術繪畫資料數量巨大的考慮，本系統將采用全文本的圖片檢索方式，對高校美術繪畫數字化圖片進行存儲及檢索。具體基于Hadoop 的高校美術繪畫資源存儲與檢索系統整體架構如圖3所示。

2.3 功能模塊設計

通過以上對系統設計思路及整體架構設計的分析，本文將該系統設計為以上功能。具體系統功能如下：

圖3 系統整體架構搭建

(1) 數字化：針對不同類型的美術繪畫資源，如紙質文檔、音頻資料、視頻資料等，采用相應的數字化方法。

(2) 描述元數據功能：通過對繪畫資源信息的分析獲取到相應的元數據，再利用元數據對不同類型的繪畫資料信息進行描述。

(3) 管理元數據功能：系統不僅能夠對元數據進行增加、刪除、修改等一系列管理操作，還能根據用戶不同需求，對元數據進行重新定義，以此更為全面的對繪畫資料進行描述。

(4) 數據資料錄入功能：以元數據為基礎開始繪畫數據資料的錄入工作，以此增強繪畫資料與元數據之間的關聯性。

(5) 海量圖片存儲功能：通過Hadoop 平臺實現對海量圖片資料進行存儲的目的。

(6) 海量圖片檢索功能：采用全文本圖片檢索方式實現對高校美術繪畫資源海量圖片的檢索，以此提高系統在檢索圖片方面的效率。

3 系統實現

3.1 登錄界面實現

登錄模塊是高校美術繪畫資源存儲與檢索系統的入口，相當于系統與用戶之間通行的橋梁。在系統登錄界面中，用戶不同權限的用戶所進入到的管理模塊接口也不同。用戶在系統登錄界面輸入用戶名及密碼之后，系統后臺將會對該用戶所屬權限進行判斷及處理。具體系統登錄流程，如圖4所示。

系統實現的登錄界面，如圖5所示。

3.2 并行檢索模塊實現

該系統中設計Map Reduce模塊的主要目的在于能夠實現用戶輸入的關鍵字與HDFS中文本內容的匹配，并將匹配成功后的文本圖片ID發送給美術繪畫資源存儲與檢索系統，再由系統將匹配到的文本信息及圖片位置信息傳達給用戶。具體高校繪畫圖片檢索流程，如圖6所示。

圖4 系統登錄流程

圖5 系統登錄顯示界面

圖6 高校繪畫圖片檢索流程

圖6中，Map Reduce 作業過程包括多個作業階段，其中最具代表性的有任務初始化、任務分配、任務執行等。其中，在任務初始化工作開展之前，用戶需向客戶端提交檢索資料的關鍵字，再由客戶端向系統提交作業，以此開展任務初始化工作。而其中的Job Client 則對文本庫中的文本進行分類，從而是一個文本對應一個作業分片。而一個作業分片則直接對應一個Map任務，最后通過心跳機制將任務分配給不同的Task Tracker。

當分布式集群中的任務節點在接到任務分配以后，通過Whole File Record Reader()函數將分配的任務分年轉化為鍵值對，同時Map 則通過鍵值對進行運算操作；最后，待完成執行任務后，Reduce開始搜集產生的結果，并輸出結果。

4 系統測試

4.1 實驗的軟件及硬件配置

由于本文所設計的高校美術繪畫資源存儲與檢索系統主要是在Hadoop平臺之上運行，因此，本次實驗基礎在于對搭建Hadoop 集群。本文選取3臺計算機進行Hadoop分布式系統的搭建工作。采用3臺計算機中1臺為 Master節點中運行的Name Node以及Job Tracker；剩下的兩臺計算機作為在Slave 節點上運行的 Data Node以及 Task Tracker。具體集群服務器設計，如圖7所示。

圖7 集群服務器設計

4.2 具體試驗結果

本次實驗將分別對不同數目情況下圖片的檢索以及不同節點數下圖片檢索所花費的時間進行測試。在圖片數目方面主要選取5～30幅不等的美術繪畫圖片；節點數將采用1個節點、2個節點、3個節點情況下進行測試。通過以上搭建，得到具體實驗測試結果，如圖8所示。

圖8 實驗測試結果

根據實驗測試結果顯示可以看出，當檢索圖片數量較少且節點越多時，在圖片檢索方面所花費的時間越多。反而在圖片數量較大的情況下，多節點優勢才能得以發揮。因此，本次實驗看出，分布式檢索方法在處理大規模繪畫圖像上具有很強的優勢。

4.3 圖片檢索結果

在輸入關鍵詞“蒙娜麗莎”之后，可以得到不同作者上傳的美術作品，如圖9所示。

圖9 美術作品檢索圖

通過上述的檢索可以看出，在圖片的文件中凡是帶有“蒙娜麗莎”關鍵詞的作者圖片都全部顯示出來，點擊其中的任何一張，都可以查看不同的作者所作的圖片，進而大大提升了美術圖片共享的效率。

5 總結

通過上述的分析，本文構建了一個基于大數據的美術繪畫資源數據庫。在實現該數據庫的過程中，本文應用Hadoop對數據進行存儲，運用Map Reduce并行處理方式對圖像檢索進行運算，由此通過上述設計，實現了可用于高校的美術繪畫圖像存儲與檢索平臺，并可實現不同高校之間繪畫資源的共享，也為當前高校美術繪畫的發展提供了借鑒。但是由于受篇幅的限制，在對圖片的檢索中，還需要就圖片檢索的準確率等進行進一步的研究和試驗，這樣才能更好的為美術學者提供圖片檢索服務。