淺談海量存儲技術在標準文獻信息系統中的應用

摘 要:本文首先分析了現有的標準文獻電子文本存儲方式存在的問題和隱患，然后介紹了文件海量存儲方式的優點。文章還介紹了實現海量文件存儲方式中的幾個技術關鍵點。文章最后介紹了利用海量文件存儲技術實現的標準文獻信息系統的應用情況，并提出了今后的研究方向。

關鍵詞:數據庫海量存儲存儲規則同步規則

中圖分類號:TP274文獻標識碼:A文章編號:1674-098X(2011)09(c)-0228-02

1 標準文獻電子全文存儲現狀

隨著社會生產力的不斷發展，特別是我國加入WTO以后，各行各業對產品質量的要求越來越嚴格，因此企事業單位對各類國內外標準的需求量以及需求頻率也隨之不斷地上升。以往用戶往往通過紙質版的傳統方式獲取標準文本，從客戶提出需求到獲得標準存在著一定的時間差。隨著信息技術和網絡技術的發展，尤其是Internet技術的發展與普及，電子版文本已經逐漸取代了傳統紙本成為了人們獲取資料的首選方式，網上實時閱覽、購買的需求越來越強烈。上海市標準化研究院(以下簡稱“我院”)于2004年建立了標準文獻電子閱覽室，用戶可以通過訪問電子閱覽室系統實時閱覽和購買標準全文電子版，所有的標準電子文本存儲和訪問方式全部由Oracle數據庫進行管理與實現。隨著標準文獻電子全文數量的不斷增加，以及電子閱覽室系統的不斷推廣，系統的問題也越來越顯現出來，主要體現在以下兩方面:(1)近幾年來標準文獻電子文本數量不斷增加，與此同時，電子閱覽室系統的用戶數和訪問量也在不斷上升，導致了標準電子文本數據庫所占用存儲空間的不斷加大，用戶訪問數據庫性能日顯低下。隨著用戶并發數不斷上升，數據庫的讀取(即數據庫的I/O量)將會越來越頻繁，用戶訪問數據庫的瓶頸問題也會越來越嚴重。(2)對于系統維護來說，由于標準文獻電子文本數量的不斷增加，導致數據庫存儲量的不斷增加，這就對數據庫維護帶來了困難，同時也為標準文獻信息服務平臺正常運維埋下了隱患。

2 文件存儲方式的優點以及系統架構

與數據庫讀取方式相比，文件讀取方式有著較高的效率，同時采用分布式文件服務器方式，能夠隨著電子文本數量的不斷增多，靈活地對文件服務器進行擴展，而不影響整個應用系統的性能。在標準文獻領域，越來越多的國際化標準組織和機構開始逐步運用文件海量存儲技術，向用戶提供標準文獻資料。如IHS(Information Handling Services，全球最大的標準索引系統開發商和標準數據庫制造商)，BSI(英國標準化協會)，AFNOR(法國標協集團)，ASTM(美國試驗與材料協會)等國際與國家標準化組織機構和協會，他們都有自己的網站，用戶通過網站可以檢索到所需的標準文獻資料，并且可以通過網站進行在線購買。

為了進一步提高上海市標準信息服務系統的標準文獻電子文本的訪問效率，達到“性能高效、使用便捷、安全可靠、便于推廣”的建設預期，我們提出以文件存儲方式取代目前的數據庫存儲方式，以提高電子全文的存取效率，通過對結構化存儲處理技術的研究與應用，實現便捷、可控、高性能的標準文獻電子全文的閱覽與打印。首先，通過對存儲規則的研究以及對文件服務器的規劃，并采用存儲路徑的分層管理技術，實現標準文獻電子全文的海量存儲和格式化存儲。其次，通過制定靈活的存儲規則，運用標準全文存儲動態分配技術，根據標準全文存儲策略和服務器負載情況，動態將標準全文存儲到不同文件服務器上，同時按照電子文本的使用率進行電子文本存儲的調整，以此來提高電子文本調用的效率。通過對現有應用的改造，客戶端會根據文件服務器優先的方式，先從文件服務器讀取電子文版，若沒有取到，則從數據庫服務器讀取。通過一段時間內對讀取次數的統計，動態調整標準全文的存儲位置。

3 系統實現中的關鍵技術介紹

3.1 標準文獻全文存儲規則的制定

目前，標準文獻系統中的電子全文是以數據庫的方式進行存儲，應用系統采用基于數據庫的SQL語句調用電子全文，隨著用戶訪問數和標準電子全文數量的不斷增加，這種訪問方式造成數據庫性能低下的狀況日顯突出。如采用將標準電子全文以文件方式存儲于文件服務器中，應用系統采用讀取文件的方式調用電子全文。隨著用戶數和訪問負載不斷增加，這種方式可靈活地增加文件服務器，以解決因訪問負載增加而產生的性能瓶頸問題。由于標準文獻電子全文的數量比較龐大，為了達到快速定位電子全文的目的，我們需要制定一套標準文獻全文存儲規則，實現對所需的電子全文進行較快的定位，因此如何在最短時間內以最快的速度對文件服務器中的所需的電子全文進行定位成為了該研究項目中的技術關鍵點。

在課題調研階段，我們對現有的標準文獻電子閱覽室系統以及現有的電子全文存儲方式和存儲情況進行了調研分析。原先的標準文獻電子全文在Oracle 10g數據中以BLOB字段的形式存放，其實質上是一個個PDF文件，因此我們考慮可以以文件方式替代目前的數據庫方式存儲。目前數據庫中已有電子全文近40萬個，即在數據庫中有40萬條記錄，每條記錄均有一個唯一的序列號。使用過Windows操作系統或者Unix操作系統的用戶都知道，如果一個目錄下存放的文件過多，會影響系統使用的效率，同時也會降低文件定位的效率。為此，我們考慮采用多級目錄的方式存放這些文件，實現文件存儲與快速定位。考慮到根據電子文件的序列號長度以及今后的增長趨勢，我們采用3級目錄方式，第一級與第二級目錄中最多可存放100個子目錄，最底層的目錄中存放的文件數不超過1000個。這樣既解決了文件海量存儲的問題，同時也不會降低文件定位的效率。

以下是數據庫存儲方式與文件存儲方式的比較(經過實際測試后得出)表1。

通過比較，我們可以發現，兩種存儲方式除了在存儲介質上有所不同之外，實際的文件定位平均耗時基本相同。而且專用存儲設備的價格較高，以同樣一塊146G硬盤進行比較，專用設備(CX-2G 10-146U FC 146GB 10K 520B 2GB)的價格是普通服務器硬盤(XM371-SAS 146GB，2.5-inch)價格的4-5倍。通過比較我們發現，采用文件方式進行存儲可以得到較高的性價比。

另外，考慮到單臺文件服務器的容量有限，我們在存儲規則中加入了可擴展機制，即可動態擴展文件服務器的數量，以滿足不斷增長的文件數量。最后，為了保證標準文獻電子閱覽室系統的不間斷運行，我們增加了備份機制，即設置一臺文件服務器作為備份服務器，一旦正式服務器出現故障無法正常運行，系統可在最短時間內將備份服務器切換到正式系統中對外提供服務。

3.2 電子全文文件服務器同步規則的制定

根據標準電子全文管理現狀，在提高訪問標準電子全文性能的同時，又要顧及文件服務器的存儲容量。因此我們設計文件服務器系統時充分考慮現有管理狀況，制定可根據標準文獻各應用系統對標準文獻電子全文調用頻率的統計，動態調整電子全文的存儲位置的同步規則，即將一定時間內使用較頻繁的電子全文存儲在文件服務器上，而將較少使用的電子全文從文件服務器上移除掉，使文件服務器始終處于合理使用容量之中。

在文件服務器系統中，設置了打開同步功能與關閉同步功能，用戶可根據實際需要打開或關閉同步功能。另外，系統中還設置了自動同步功能與手動同步功能，自動同步功能可根據一定時間范圍內電子全文累計使用情況進行自動同步;而手動同步則可按照特殊要求，手動將需要同步的標準同步到文件服務器。

3.3 電子全文文件服務器同步功能的研究與開發

目前的標準文獻服務系統與電子閱覽室系統中，調用電子全文的方式為直接連接數據庫，讀取相關全文表獲取全文。隨著電子全文存儲方式的調整，文件的讀取方式也由原先的直接讀寫數據庫改成了直接訪問文件方式。為此，標準文獻服務系統與電子閱覽室系統中的相應功能模塊必須根據應用的需要進行相應調整:標準文獻服務系統主要供內部工作人員使用，工作人員在該系統中根據不同的操作權限可以進行讀取全文、保存全文、維護全文等操作。電子閱覽室系統主要向公網用戶提供服務，用戶通過該系統可以讀取全文、保存全文。通過對這兩個系統訪問全文的實際情況，首先在文件服務器上設置FTP服務，分別設置兩個賬號，一個是只讀賬號，用于讀取電子全文，另一個是讀寫賬號，用于讀取與維護全文。接著分別對這兩個系統的訪問全文的功能模塊進行調整:將原先讀取全文模塊與保存全文模塊改為由只讀賬號讀取全文，將原先維護全文模塊改為由讀寫賬號上傳全文(即維護全文)。

4 海量存儲技術應用現狀及展望

我院在原有標準文獻電子閱覽室的基礎上，通過對以上技術以及規則的研究與運用，成功開發了標準文獻電子全文文件服務器系統，實現了標準文獻電子全文的文件化存儲與動態管理;將標準文獻電子全文文件服務器系統成功地應用于B/S結構的“上海市標準服務信息系統平臺”與C/S結構的“標準文獻信息服務系統”，建立了全新的、基于文件服務器系統的電子全文訪問方式，替代了原先的數據庫訪問方式，實現了海量全文的存儲，并且實現了文件的快速定位，與原先的數據庫存儲方式相比，存儲方式更為簡潔明了，文件定位的速度與原先存儲方式下的定位速度也無明顯的差別。這些技術的實現，對于發展全文數據庫檢索系統具有重要的理論意義和實際價值，使上海標準文獻數據庫系統達到國內領先水平。

由于標準文獻本身的動態性及其與國民經濟發展的緊密結合性，標準文獻電子閱覽室系統必將面臨電子全文種類與數量不斷增加以及用戶數量與需求量不斷擴大的問題，可能會對標準文獻電子文件存儲以及相應系統的使用產生影響，因此我們需要定期對文件存儲的情況以及用戶使用情況進行跟蹤與分析，并對可能產生的問題進行及時地調整與處理，以保證系統的穩定性。

參考文獻

[1]鄭益光.海量存儲技術及其在高校圖書館中的應用，2006.

[2]崔愛軍.數字圖書館與網絡存儲技術，2003.

[3]張江陵，金海.信息存儲技術原理.華中科技大學出版社，2000.