999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

云存儲環境下的測繪成果資料管理系統設計與實現

2021-12-06 09:42:11潘磊郭曉虎薛崢章亮
科技信息·學術版 2021年29期
關鍵詞:測繪數據庫管理

潘磊 郭曉虎 薛崢 章亮

摘要:在測繪生產中,由于成果數據的不斷積累,數據量已經由過去的TB級發展至PB級,使得測繪成果數據面臨著更高的管理要求,因此在云存儲環境下搭建一套測繪資料在線管理系統,充分利用云存儲的技術優勢確保數據存儲的安全性、高可擴展性和高可靠性,實現測繪成果資料在線化管理,提升測繪資料管理的質量和效率,是當前測繪生產發展的必然趨勢。本文介紹了云存儲環境下的測繪資料在線管理系統的框架設計和主要功能,通過高效的文件快速查詢檢索,滿足測繪成果資料在線管理需求。

關鍵詞:云存儲 測繪成果資料管理

1、引言

隨著測繪事業的不斷發展,測繪地理信息成果資料的數據量呈逐年快速增長趨勢,測繪成果資料大多以光盤、磁帶、硬盤為主要存儲載體進行備份,導致存放數據的硬盤不斷增多,其中有些硬盤存儲量達到數百萬個小文件,傳統方式管理起來日漸乏力,過去的成果資料管理很大程度依靠人工,采用文檔方式記錄,查詢檢索效率低,很難快速找到對應的資料數據,給日常管理與數據檢索傳輸造成很大困擾,不利于測繪成果資料的管理,這也是目前測繪資料管理普遍存在的問題。[1]

云存儲(Cloud Storage)是在云計算(Cloud Computing)基礎上延伸和發展而來,通過集群應用、網格技術或分布式文件系統等技術,將服務器后端存儲資源虛擬化,將數據分布式存儲在眾多的服務器主機上,通過網絡共享方式提供給用戶使用。和傳統存儲相比,云存儲具有高性價比、高可靠性、高可擴展性的特點,同時支持高并發、高帶寬、自動均衡負載。相同數據在不同存儲節點存有兩個或多個副本,任意節點發生故障,系統將自動復制數據塊到新的存儲節點,具有高可靠性,可大規模橫向擴展,足以滿足地理信息數據與日俱增的數據存儲需求。

本文主要探討云存儲環境下,設計開發一套測繪資料管理系統,模擬日常測繪成果資料管理流程,將每個磁盤存儲信息與云存儲空間一一對應,將測繪成果數據上傳到云存儲的同時,建立相關元數據庫,實現海量數據快速實時檢索。

2、系統框架設計

測繪成果資料管理系統符合OAIS開放檔案系統(Open Archival Information System)標準[2],采用B/S架構實現服務的交互,系統基于底層云存儲服務,搭建文件檢索和事務管理數據庫,通過系統平臺以WEB頁面形式將信息提供給用戶,系統包括資料預處理模塊、管理模塊、存儲管理模塊、數據庫管理模塊、文件檢索模塊等功能模塊。

2.1資料預處理模塊

首先對生產部門提交的測繪成果資料,以硬盤為單位進行硬盤登記和硬盤健康狀況檢驗,對不滿足健康狀況的硬盤,及時進行硬盤數據備份。提取硬盤中相關元數據入數據庫,調用數據上傳功能將測繪資料數據上傳到底層云存儲中。

2.2管理模塊

管理模塊包括任務功能調度、平臺及存儲運行狀態監測、系統日志記錄以及用戶權限管理等功能。任務功能調度具有分布式功能調用、動態均衡、存儲資源監控等功能。存儲資源監控包括獲取集群狀態、存儲使用率、性能等信息。用戶權限管理將不同類型的用戶分配對應的權限。

2.3存儲管理模塊

存儲管理模塊包括云存儲空間管理和文件共享服務等功能。云存儲空間管理功能可動態分配和回收存儲空間,并實時查看云存儲剩余空間。文件共享服務功能采用SMB協議(全稱是Server Message Block)搭建基于linux系統的文件共享服務,建立linux服務器的數據與客戶端之間的數據共享。文件共享服務將云存儲數據以硬盤掛載的形式提供服務,掛載后和操作本地磁盤沒有區別,數據的訪問無需進行下載,可在線實時操作。當使用部門申請數據獲準后,可以從云存儲內部將數據直接傳輸進該部門空間。底層云存儲系統的文件存儲由眾多X86架構的存儲節點組成,利用存儲軟件將網絡中的存儲節點資源進行整合組織,并提供一套維護管理云存儲空間的標準接口,通過接口調用動態分配云存儲資源、存儲資源回收以及狀態監控等功能。

2.4數據庫管理模塊

數據庫管理模塊建立起系統平臺與數據庫之間的關聯,管理包括元數據庫,事務管理數據庫。元數據存儲在ElasticSearch文件檢索數據庫中,事務管理數據存儲在關系型數據庫MySQL中,支持分布式部署,存儲資料管理系統中的業務數據。

2.5文件檢索功能模塊

文件檢索功能模塊采用ElasticSearch搭建文件檢索功能,支持分布式部署的全文搜索引擎。無論是基于時間檢索還是基于空間檢索,ElasticSearch在大數據查詢方面都表現出比基于數據庫查詢更高的檢索效率[3],文件檢索供用戶按照文件和文件目錄檢索,對數據查詢時,可根據文件名、文件后綴、時間段進行文件檢索,對于檢索到的文件可手動選擇加載對應云存儲空間到本地工作站訪問。

3、存儲管理技術介紹

底層云存儲采用分布式架構,可大規模橫向擴展,系統由眾多冗余組件組成,不存在單點故障,且支持對象存儲、塊存儲、文件系統三種存儲方式。

3.1系統組成

3.1.1管理監控模塊

該模塊負責整個存儲集群的配置管理以及狀態監控,當系統出現異常時,通過指定方式及時告警。通過基于web的訪問方式進行管理和維護操作,支持智能化管理和配置。

3.1.2 元數據服務模塊

該模塊用來管理和維護文件系統中文件的元數據信息。當客戶端使用文件系統訪問存儲時,首先與元數據服務進程通信,獲得被訪問文件的元數據信息,根據元數據信息來訪問數據。

3.1.3存儲服務模塊

該模塊負責數據存儲,處理從客戶端發過來的數據請求。同時每個存儲服務進程會與其相關的存儲服務進程相關聯,保持關聯磁盤之間的一致性,當發現相關磁盤異常時,存儲服務進程會將其匯報給管理節點,管理節點隨后做出應對,保證系統的正常運行及數據的恢復等。

3.1.4對象存儲網關

通過該模塊,云存儲系統可以對外提供支持RESTful的對象存儲訪問方式,目前兼容亞馬遜S3和Swift等傳統對象存儲接口。該模塊支持集群化部署,以提供高并發訪問服務能力。

3.1.5客戶端模塊

為滿足不同的應用需求,系統提供豐富的存儲訪問接口,支持通過iSCSI客戶端程序將云存儲映射成本地磁盤使用,也提供私有的文件系統客戶端訪問方式,同時支持私有接口訪問。

3.2 關鍵技術

3.2.1 數據分布算法

為滿足系統高可擴展性和高并發性的設計要求,該云存儲系統采用無中心節點架構設計,通過分布式Hash算法計算的方式來尋址。保證了數據的均勻分布,系統發生變更時盡可能少的數據在設備之間的遷移,以及快速定位數據。

3.2.2 分層緩存技術

為提高存儲系統的讀寫性能,存儲系統在系統層面采用cache策略和分級存儲策略,將SSD磁盤配置成SATA磁盤cache層,cache模塊負責在cache層和存儲層之間進行數據自動遷移,對于客戶端而言,數據的存儲和訪問完全是透明的。

3.2.3 高速并發訪問技術

采用無中心節點架構設計,避免了由于中心節點服務能力的限制造成系統并發能力的降低;客戶端與存儲節點之間通信,不經過任何代理節點或轉發節點,系統的整體吞吐率和并發能力會隨著存儲節點的數量的增加而線性擴展;存儲系統的容錯由存儲節點之間自動進行,可以在高并發情況下,提高客戶端的帶寬利用率。

3.2.4其他技術

為了幫助用戶更好的保護數據,云存儲系統還支持快照、克隆、遠程復制等功能。

4、文件檢索模塊設計

4.1 文件檢索數據庫

測繪成果資料數據量巨大,要從海量數據中檢索出某一文件,這對檢索模塊的設計提出了較高要求。本管理系統采用ElasticSearch搭建文件檢索模塊,它的倒排索引技術實現比關系型數據庫更快的過濾,能支持上百億條、PB級數據的搜索。

4.2 ElasticSearch集群

為保證E lasticSearch的高可用性,在本管理系統中,使用三臺主機構建了一個ElasticSearch集群。Elasticsearch采用分片技術,將索引存儲時分成兩個分片,每個分片又有兩個副本分片,數據保存在分片內,分片被分配到集群內的各個節點里。當集群規模擴大或者縮小時,Elasticsearch會自動的在各節點中遷移分片,使得數據均勻分布在集群里。集群結構如圖3所示,P開頭的代表Primary分片,即主分片,R開頭的代表Replica分片,即副本分片。

根據節點的職責不同,劃分為主節點、數據節點、負載均衡節點。主節點即Master節點,其管理控制整套集群,如創建索引、刪除索引、資源分配、節點修改等;數據節點,對文檔進行增刪改查操作等;負載均衡節點,負責處理路由請求、搜索、分發索引操作等。

5、總結

在云存儲環境下,搭建一套測繪成果資料管理系統,實現測繪成果資料管理的在線化、服務網絡化,整合更多依賴分布式存儲和數據庫的資源,提高測繪成果資料文件檢索和數據共享效率,進一步提升測繪成果資料管理的質量和能力。

參考文獻:

[1]黃遞全,向娟,吳蕾.測繪成果資料目錄管理系統設計與實現[J].地理空間信息,2017,15( 10) :112-114.

[2]秦高雅.測繪資料檔案一站式管理平臺設計與實現[D].北京:北京建筑大學,2019.

[3]李峰,宋宴,魏廣澤,王永安.基于 ElasticSearch 的海量遙感數據檢索技術研究 [J].計算機與網絡,2021,47(05):57-61.

猜你喜歡
測繪數據庫管理
棗前期管理再好,后期管不好,前功盡棄
今日農業(2022年15期)2022-09-20 06:56:20
浙江省第一測繪院
工程測繪中GNSS測繪技術的應用
04 無人機測繪應用創新受青睞
無人機在地形測繪中的應用
電子制作(2017年9期)2017-04-17 03:01:00
數據庫
財經(2017年2期)2017-03-10 14:35:35
數據庫
財經(2016年15期)2016-06-03 07:38:02
數據庫
財經(2016年3期)2016-03-07 07:44:46
數據庫
財經(2016年6期)2016-02-24 07:41:51
“這下管理創新了!等7則
雜文月刊(2016年1期)2016-02-11 10:35:51
主站蜘蛛池模板: 亚洲第一区欧美国产综合| 久久综合亚洲鲁鲁九月天| 国产69精品久久| 国产在线观看99| 欧美日韩动态图| 亚洲天堂.com| 精品久久国产综合精麻豆| 999在线免费视频| 国产精女同一区二区三区久| 国产本道久久一区二区三区| 伊人久久大线影院首页| 亚洲精品欧美日本中文字幕| 成年片色大黄全免费网站久久| 国产亚洲欧美在线专区| 国产在线观看成人91| 精品无码一区二区在线观看| 91九色国产在线| 中文字幕永久在线观看| 国产视频一二三区| 久久久精品久久久久三级| 国产一级毛片在线| 久久黄色小视频| 国产麻豆精品久久一二三| 国产精品久久久久鬼色| 国产91特黄特色A级毛片| 欧美a级完整在线观看| 欧美日本二区| 欧美激情第一欧美在线| 三级视频中文字幕| 亚洲91精品视频| 九色视频线上播放| a级毛片毛片免费观看久潮| 99资源在线| 国产精品美女网站| 欧美在线三级| 国产69精品久久久久孕妇大杂乱| 亚洲va欧美va国产综合下载| 国产无遮挡裸体免费视频| 永久免费无码成人网站| 成人国产精品视频频| 中日韩欧亚无码视频| 高清国产在线| 成人国产精品一级毛片天堂| 亚洲人成网7777777国产| 一本久道久久综合多人| 九九久久精品免费观看| 91久久天天躁狠狠躁夜夜| 午夜在线不卡| 色婷婷啪啪| 久久99国产乱子伦精品免| 无码网站免费观看| 美女无遮挡拍拍拍免费视频| 最新国产精品鲁鲁免费视频| 精品人妻一区二区三区蜜桃AⅤ| 手机精品视频在线观看免费| 玖玖精品视频在线观看| 波多野结衣的av一区二区三区| 成人自拍视频在线观看| 欧美精品不卡| www.99精品视频在线播放| 欧美日韩中文国产va另类| 精品乱码久久久久久久| 五月六月伊人狠狠丁香网| 思思热精品在线8| 欧美啪啪精品| 久久婷婷六月| 久久亚洲美女精品国产精品| 国产成人毛片| 亚洲婷婷丁香| 亚洲国产精品日韩欧美一区| www.99在线观看| 亚洲人成在线免费观看| 国产婬乱a一级毛片多女| 伊人网址在线| 在线另类稀缺国产呦| 中文字幕在线一区二区在线| 99re在线观看视频| 在线99视频| 亚洲精品欧美日韩在线| 久久国产精品夜色| 在线亚洲精品自拍| a亚洲视频|