大數據技術與數據庫系列課程體系的銜接與創新研究

翟霞

摘? ?要：新一輪科技革命和產業變革正在加速推進，技術創新日益成為重塑經濟發展模式和促進經濟增長的重要驅動力量，而大數據無疑是第一核心推動力。當前，發展大數據已經成為國家戰略，大數據在引領經濟社會發展中的新引擎作用更加突顯。文章在闡述關系型數據庫面臨的問題基礎上，針對非關系數據庫遇到的問題，提出大數據技術與數據庫系列課程體系的銜接和創新研究。

關鍵詞：非關系數據庫;分布式架構;Hadoop;MongoDB

1? ? 非關系型數據庫提出背景

伴隨著互聯網的興起，人們生產、收集數據的能力大大增強，也更加希望從數據中獲得新價值。大數據業務不斷出現，例如搜索引擎、推薦系統、位置服務與日志分析等。傳統的關系型數據庫可能無法對這些新業務進行有效支撐。首先，關系型數據庫的橫向擴展能力較差，使之無法對不斷增加的大數據進行有效管理。其次，關系型數據庫的數據模型嚴格固定，使之對多源數據或復雜的數據類型的處理能力較差。最后，一些大數據業務對事務機制、一致性和完整性的要求較低，這使得關系型數據庫的優勢難以發揮作用，反而成為制約。

在這種背景下，多家互聯網企業的技術團隊不約而同地著手研發非關系型數據庫，其核心理念是通過犧牲事務機制和強一致性保障機制，以獲得更好的分布式部署能力和橫向擴展能力;通過打破關系模型、創造新的數據模型，使其在特定大數據場景下，對特定業務數據的處理性能更佳。

2? ? 非關系數據庫

隨著新型數據庫產品不斷涌現，一些流行的分布式、非關系型數據庫統稱為NoSQL，代表了大數據時代來臨，需要為不同的業務場景選擇更適合的技術工具，此時不再強調技術工具的全面，而是強調“取舍”。此外，NoSQL并非是對關系型數據庫或SQL語言的否定，而是對傳統數據庫的發展和補充。NoSQL無法代替關系型數據庫，就像關系型數據庫也無法代替NoSQL。作為新生事物，NoSQL在技術原理和使用方法上，都和傳統數據庫有所不同，而且，由于沒有統一的標準，不同NoSQL產品之間的技術差別也非常大。這使得傳統的數據庫用戶在產品選型和使用上無所適從，可能遇到以下問題[1]。

第一，不理解不同 NoSQL產品的設計理念和技術特點，因此難以進行產品選擇。

第二，不理解分布式系統可能遇到的技術問題和解決方法，因此難以進行有效的部署、配置和優化。

第三，習慣使用SQL語句操作數據庫，對新的數據庫操作方法感到陌生。

3? ? 大數據技術與關系數據庫理論相融合

針對以上問題，將NoSQL數據庫的分布式架構、數據模型、數據管理策略等核心原理融入關系數據庫理論體系中，使學生在學習數據庫基本理論的同時，能夠理解NoSQL數據庫的特點，進而判斷NoSQL的適用場景。通過介紹典型 NoSQL數據庫的部署方法、數據操作方法和編程訪問方法，使學生在實際工作中能夠初步運用這些工具。

在關系數據庫基本原理部分，融入NoSQL的原理，主要突出NoSQL數據庫為進行分布式部署、實現高可用性、高效率和易用性等目標所采取的設計方法和功能取舍。在數據庫系列課程的學習中，學生已經熟悉了SQL Server，Oracle和MySQL等關系數據庫管理系統，但對非關系數據庫幾乎一無所知。所以在授課過程中，建議引導學生自主了解典型的非關系數據庫系統，例如現階段國內外較為流行的HBase，Cassandra，MongoDB，Redis和Neo4j等數據庫。

4? ? 典型NoSQL數據庫

（1）HBase是一種經典的、基于列族的NoSQL數據庫，一般會和著名大數據工具Hadoop共同部署、配合使用。由于Hadoop是大數據工具的一個事實標準，很多大數據工具都會保持和Hadoop，HBase的兼容性，使得HBase的應用領域很廣，構建各類解決方案的能力很強，在互聯網、電信、電力、金融等行業均能看到其使用案例。

（2）Cassandra也是基于列族的NoSQL數據庫，其特點是：一方面，采用了環形拓撲結構，避免了主節點單點失效問題;另一方面，提供了類似SQL的CQL語言。

（3）MongoDB是一種基于文檔模型的分布式NoSQL數據庫，其特點在于可以利用單表存儲復雜的數據結構，例如列的嵌套，而不必考慮關系型數據庫所要求的列原子性。此外，MongoDB支持非常靈活的數據查詢操作，且在大數量的情況下，查詢性能也很高。

（4）Neo4j是一個圖數據庫，其分布式部署能力較弱，但數據結構很有特色，適合存儲節點和關系模型，例如社交網絡上的關注關系、網頁之間的鏈接關系等。

5? ? 大數據技術與數據庫系列課程的銜接

在內容側重上，突出大數據技術的覆蓋面，融合介紹了多種軟件的原理以及部署、操作和編程方法。在原理方面，盡可能介紹和NoSQL直接相關的、有特色的技術原理，并盡量用比較通俗的方式進行解釋，避免對技術原理進行過于深入的分析。此外，可以給學生推薦一些經典的技術論文，供學生做擴展閱讀;在實踐部署方法上，主要介紹部署的核心步驟和基本方法，例如盡可能多地采用默認參數等，目的是突出分布式軟件的部署需求和重點配置內容。詳細步驟將通過配套實驗等方式體現;在使用方法上，主要介紹基本的庫表操作、數據增刪改查方法、數據批量操作方法等，并介紹不同軟件所提供的特色功能，所介紹的方法在深度和覆蓋面上要盡可能簡略;在編程方法上，可以提供Java和 Python兩種語言的示例。一般來說，通過Java編程可以實現更多功能和更高的效率;而Python語言更易使用，更容易進行功能驗證，學習時可以根據需要進行取舍。為突出大數據技術與數據庫課程的銜接，不需要對Java和Python的基礎編程方法、開發環境以及如何導入依賴包等問題進行介紹。

考慮到一般情況下，缺少分布式環境下的定制化部署、性能優化和運維管理等內容，實驗環境可能有所限制，對于如何在分布式環境下進階使用和維護NoSQL數據庫等內容，可以不做介紹。

6? ? 大數據技術發展的創新研究

大數據是一個復雜的系統工程，需要以進步發展的理念，積極主動適應大數據時代所帶來的深刻變革。推動大數據發展需要注重以下5個方面的辯證統一和統籌兼顧[2]。

6.1? 注重“長與短結合”

所謂“長”就是要目標長遠，要注重制定大數據發展的頂層設計和中長期發展規劃，明確發展方向和總體目標;所謂“短”就是要著眼當前，注重短期收益，從實處著手，快速起效，并形成效益反哺的良性循環。

6.2? 注重“快與慢結合”

所謂“快”就是要注重發揮新一代信息技術產業爆炸性增長的特點，以實際應用需求為牽引加快推進，力爭快速占領大數據技術和產業制高點;所謂“慢”就是要注重夯實大數據發展的基礎，著重積累發展大數據基礎理論與核心共性關鍵技術，培養行業領域發展中的大數據思維，潛心培育大數據專業人才。

6.3? 注重“高與低結合”

所謂“高”就是要打造大數據創新發展高地，部署高端大數據公共服務平臺，組織開展大數據重大示范工程，提升重點領域和標志性行業的大數據技術水平和應用能力;所謂“低”就是要堅持推進大數據在各行各業和民生領域的廣泛應用，擴展大數據發展的廣度和深度。

6.4? 注重“內與外結合”

所謂“內”就是要向內深度挖掘和深入研究大數據，作為一門學科領域的深刻技術內涵，構建和完善大數據發展的完整理論體系和技術支撐體系;所謂“外”就是要加強開放創新，推動大數據與人工智能、云計算、物聯網、網絡安全等信息技術領域的協同發展，促進數據科學與計算機科學、基礎科學和各種應用科學的深度融合。

6.5? 注重“開與閉結合”

所謂“開”就是要堅持開放共享，加強科研機構、企業間技術交流和合作，推動大數據資源高效利用，打破數據壁壘，普惠數據服務，縮小數據鴻溝，破除數據孤島;所謂“閉”就是要形成價值鏈生態閉環，充分發揮大數據發展中技術驅動與需求牽引的雙引擎作用，形成技術創新鏈和產業發展鏈協同發展的態勢，構建大數據產業良性發展的閉環生態圈。

7? ? 結語

推動大數據的創新發展，已經成為新時代的新訴求。推動大數據、人工智能等信息技術產業與實體經濟深度融合，培育新增長點，為建設網絡強國、數字中國、智慧社會提供新動能。

[參考文獻]

[1]胡世昆.分布式數據庫技術在大數據中的應用[J].電子技術與軟件工程，2019（1）：153.

[2]侯賓.NoSQL數據庫原理[M].北京：人民郵電出版社，2018.