網絡環境下的非結構化數據庫應用研究

王穎 李建敏

[摘 要] 本文從非結構化數據庫技術出發，分析了網絡環境下數據庫應用現狀，探討了網絡數據庫的建設、非結構化數據的分析，并以一個具體應用實例進行了說明。

[關鍵詞] 網絡;非結構化數據庫;應用

[中圖分類號] G434 ? ? [文獻標識碼] A ? 文章編號：1671-0037（2015）06-68-3

Application Research on Unstructured Database in the Network

Wang Ying1 ?Li Jianmin2

（1. Management Service Center of Henan Research and Production and Test Base， Zhengzhou 450008; 2. Changyuan Science &Technology and Industrial Informatization Bureau in Henan Province， Changyuan ?Henan 453400）

Abstract：Based on unstructured database technology， this paper analyzes the current situation of database application in the network environment， discusses the construction of network databases， analysis of unstructured data， and an application example is used for explanation.

Keywords：network;unstructured database;application

1 引言

非結構化數據庫和傳統的結構化數據庫相比，其字段長度可變，字段記錄又可以包含重復或不可重復的子字段。非結構化數據庫不僅可以處理諸如數字、符號等信息，而且更適合處理全文本、圖像、聲音、影視、超媒體等信息。它突破了關系數據庫結構定義相對固定、字段長度受限等缺陷，具有字段重復、變長字段的特點，對變長數據可以進行有效管理，在處理連續信息和非結構信息中有著傳統關系型數據庫所無法比擬的優勢。

同時，網絡技術的快速發展與應用，使得網絡環境中的數據量飛速增長，這些數據有兩個特點，一是類型復雜多變、除傳統的文本信息外，還包含各種超文本文檔以及多媒體信息;二是數據量極大，從存儲空間看，已從TB級向PB級發展。對這些信息資源的處理問題，已成為網絡環境下數據庫技術新的應用點。

2 網絡環境數據庫應用分析

2.1 結構化數據庫的局限性

隨著網絡的發展，各種新的應用模式，如網絡搜索、云服務等不斷涌現，對網絡數據處理提出了更多的需求，如對海量數據的高效存儲與訪問、高可用性和高擴展性、非結構化數據以及高并發的數據處理等，基于結構化數據的傳統關系，數據庫呈現出越來越大的局限性和不足。由于傳統結構化數據庫結構模型和技術基礎等原因，結構化數據庫與網絡結合的問題一直沒有得到有效的解決，多數情況下需要采用在網絡與數據庫之間加入中間件的解決方案，由此帶來的是由于頻繁交互，出現在應用服務器端與數據庫之間的網絡瓶頸，使得系統應用整體上效率降低、應用服務器端產生阻塞、難度加大、成本增加。同時，對于網絡環境下的大量非結構化信息和多媒體資源，結構化數據庫也無法完成分析和檢索需求。雖然隨著網絡應用需求的快速增長和數據庫技術的進步，關系數據庫也做出了一些改進，如為了復雜的數據類型，增加對象成分。但是，網絡環境下最為重要的檢索效率和全文檢索問題一直沒有得到解決[1-2]，非結構化數據庫的應用已成為網絡數據處理發展的必然。

2.2 非結構化數據庫的優勢和特點

結構化數據庫的建立是基于數據表，要求有固定的表結構，數據庫模型相對來說，比較簡單，對于復雜的嵌套問題，表達困難。而非結構化數據庫的基礎是基于數據建立的模型，支持子字段、多值字段，而且字段長度可變，字段格式、類型也可根據需要設置和調整;在底層存儲機制上，比起結構化數據庫有了根本的變革。

非結構化數據庫的索引技術以倒排檔技術為基礎，因而對于海量文獻，可以快速實現全文檢索，同時支持多種字段限定檢索。對于網絡環境下大量的多媒體信息，在存儲和管理方面，非結構化數據庫系統采用外部文件技術，和結構化數據庫二進制字段存儲的方式相比，效率提高而且管理方便[3]。

2.2.1 數據結構和數據類型的優化

傳統結構化數據庫的基礎是包含若干字段、固定格式的二維表，這些二維表中的每個字段屬性需要事先定義，字段中不支持子字段。表中的每一行對應著一條數據記錄，每一記錄中的字段名不能重復，數據以一條條記錄的方式存儲，表和表之間的關系通過關系連接體現。

非結構化數據庫也定義了二維表，但非結構化數據庫中，表的概念已經不能用關系數據庫的范式來描述。其中，表的結構以及每個列的內容是可變的，它支持重復字段，字段內部可以包含下級層次的子字段。這種支持重復字段、子字段的多值和包含子項的特性使得非結構化數據庫可以在記錄中實現二維嵌套，一個非結構化數據庫字段可以包含結構化數據庫的一張數據表，從而避免了結構化數據庫中由于表之間的關系鏈接引起的性能下降。

早期的結構化數據庫的支持的數據類型是字符型和數值型數據，在數據庫中可以對這兩類數據直接進行讀寫和檢索。隨著數據庫技術的發展，結構化數據庫開始逐漸支持超長文本、圖像、聲音等多媒體等數據，但是，不能在數據庫中對這些數據直接操作。

非結構化數據庫擴充了數據類型，支持網絡環境下的各種文件類型，如超長文本、圖像、聲音等，同時采用外部文件技術，使得可以處理的數據覆蓋了多類型文檔應用領域內幾乎所有的文獻數據類型。

2.2.2 強大、高效的檢索功能

數據庫系統核心的問題之一是數據檢索，而檢索的基礎是建立嚴密、完備的索引機制，在此基礎上，數據庫的檢索功能才能充分體現。數據庫的索引建立機制往往決定著數據庫檢索的效率、實用性和準確性。各種數據庫的檢索方式和檢索能力的高低是由數據庫索引機制決定。對于結構化數據庫來說，索引機制只限于單字段和復合索引，檢索一般用基于結構化查詢語言（SQL）來實現。需要檢索數據時，用戶在其構造的SQL查詢表達式中根據需要，具體設置查詢條件，實現檢索。由于結構化數據庫的索引機制受限，在處理較為復雜的數據類型時，其檢索能力和效率比較低。

網絡環境下的數據有兩個基本特點，一是和傳統計算機應用相比，有大量用戶群;二是瞬時產生的大量并發數據。這些特點對數據查詢和檢索效率提出了更高的要求

非結構化數據庫由于其數據結構和索引方式的特點，完全可以滿足網絡環境的檢索要求。非結構化數據庫除支持結構化數據庫字段索引外，還支持子字段索引、全文索引，還可以實現人工標引索引和中、英文混合索引。外部文件支持能力使非結構化數據庫對于二次文獻，也可實現掛接全文的功能。

非結構化數據庫基于倒排檔索引技術，使其支持的檢索方式大大高于結構化數據庫。除字段查詢外，還支持子字段、全文任意詞的組配檢索。由于其內嵌的全文檢索技術，非結構化數據庫對中文的全文檢索效率有了質的飛躍。同時，由于對于基于人工智能的自然語言處理技術的采用，非結構化數據庫大大提高了系統的查全率和查準率[4]。

2.2.3 對大數據環境的支持

傳統的結構化數據庫的檢索速度會隨著數據量的增加而下降，而非結構化數據庫檢索速度則不受影響，因此，非常適合網絡環境下的海量數據。以某一非結構化數據庫為例，數據庫支持的記錄數在1 000萬條以上，記錄長度可達32 000個漢字，可包含800個字段。

3 網絡數據庫建設方案

網絡的迅猛發展使數據庫應用環境發生了巨大的變化。網絡上各類應用一般都以數據庫為基礎，都需要數據庫技術的支持。

網絡數據庫建設有各種形式，但大多采用三種方案：一是傳統的結構化數據庫建設方案;二是非結構化網絡數據庫建設方案;三是二者的結合，即結構化數據庫和非結構化網絡數據庫融合方案。傳統的結構化數據庫技術成熟，應用經驗豐富，在事務處理和數值計算仍有一席之地。但是，其數據結構單一，檢索方式簡單，網絡應用時需要加入中間件，所以結構化數據庫方案不適合大型網絡應用系統。

非結構化數據庫的網絡應用是建立在基于因特網的數據庫結構模型之上。一般在單一平臺上融合數據庫服務器和應用服務器，使二者緊密結合。系統架構也在傳統的客戶機/服務器擴展，結合網絡特點，形成瀏覽器/Web服務器+應用服務器/數據庫服務的三層或多層體系架構。這種架構的優勢在于數據庫系統不是作為獨立于網絡之外的組件，而是網絡應用的組成部分，而且，由于這種架構減少了硬件投入和中間件以及系統集成的支出，大大提高了開發效率，節約了硬件成本和開發成本。在全文檢索方面，非結構化數據庫方案由于其高效的全文檢索技術，也具有結構化數據不可比擬的優勢。因此，對于大型網絡應用，應把非結構化網絡數據庫列為建設方案的首選方案。

網絡應用千差萬別，對于那些以結構化數據為基礎，不需要全文檢索或僅僅需要部分非結構化數據庫功能的網絡應用，可以采用二者結合的建設方案，在同一系統中集成結構化數據庫和非結構化數據庫，充分發揮各自的優勢，實現優劣互補。

4 應用實例

以某公司的基于云服務的養老信息管理平臺為例，說明非結構化數據庫的應用。該項目以方便老齡人群，提高民政管理部門工作效率為出發點，對老人服務申請辦理業務進行流程優化，形成省、市老齡辦、鄉（鎮、辦事處）、村（居）民委員會各層次的老年人口動態管理數據庫，為養老機構的動態管理、各級政府部門養老事務管理與資金管理、老齡人群的養老服務等提供一個云服務平臺。

該數據庫兼容各種主流結構化數據庫的格式，共支持8種索引方式，包括結構化數據庫所提供的所有檢索方式，以及非結構化數據庫獨具的檢索方式。該數據庫不僅可以處理TXT類型的文本、Office辦公軟件的字處理DOC文檔、電子表格的EXCEL文檔、幻燈片PPT文檔以及電子閱讀PDF文檔等類型數據，還可以對各類多媒體資源進行編目和數字化處理。項目開發實踐表明，采用非結構化數據庫，大大降低了開發成本，高效解決了各類復雜數據的檢索問題，完全達到了設計目標。

參考文獻：

[1] 吳建新.淺議網絡環境下檔案信息資源的開發利用[J].科技情報開發與經濟，2011（26）.

[2] 李曉葉.論網絡環境下檔案信息資源的開發利用[J].信息系統工程，2011（7）.

[3] 李珊珊.檔案信息資源價值實現的基本路徑[J].黑龍江檔案，2011（4）.

[4] 楊芳.高校檔案信息資源的開發利用[J].河南科技，2011（13）.

[5] 孫治國，李令臣.基于XML的非結構化數據管理[J].中小企業管理與科技（下旬刊），2011（9）.

[6] 曹金山，張澤濱.非結構化數據的ETL設計[J].現代電子技術，2011（4）.

[7] 呂元智.國家檔案信息資源“云”共享服務模式研究[J].檔案學研究，2011（3）.