土地工程大數(shù)據(jù)平臺構(gòu)建關(guān)鍵技術(shù)研究

摘要：隨著土地整治工程的深入發(fā)展，土地工程數(shù)據(jù)平臺構(gòu)建成為全面提高國土資源整治、管理、保護和高效利用的有效途徑和重要手段。本文就土地工程大數(shù)據(jù)平臺構(gòu)建關(guān)鍵技術(shù)進行分析研究，以期對土地工程信息化相關(guān)方面研究提供一定參考。

關(guān)鍵詞：土地工程；大數(shù)據(jù)；平臺構(gòu)建

土地作為人類社會經(jīng)濟活動的空間載體，人類一切生產(chǎn)、生活、生態(tài)行為都離不開土地。土地工程是運用工程手段解決土地的問題，把未利用土地變?yōu)榭衫猛恋鼗虬岩牙猛恋剡M行高效利用，能動協(xié)調(diào)人地關(guān)系和諧發(fā)展的過程。土地工程作為研究如何高效生態(tài)利用土地的學科日益重要。大數(shù)據(jù)蘊藏著巨大的潛力和能量，正日益成為國家基礎(chǔ)性戰(zhàn)略資源。利用大數(shù)據(jù)提供的信息，充分考慮人的不同需求和行為方式，將會顯著提升土地管理的效能和水平，為經(jīng)濟持續(xù)快速發(fā)展和社會和諧穩(wěn)定做出更重要的貢獻。因此，如何將大數(shù)據(jù)技術(shù)和土地工程相結(jié)合，結(jié)合現(xiàn)有土地海量數(shù)據(jù)，發(fā)展出適用于土地工程的大數(shù)據(jù)技術(shù)，對創(chuàng)新土地管理方式和模式，完善國家治理體系和提高國家治理能力具有重要的意義。同時也是國土資源信息化重大建設(shè)立項的新方向。

1 土地工程大數(shù)據(jù)特點

土地工程的數(shù)據(jù)具有類型多、來源廣的特點。一方面土地工程數(shù)據(jù)包括的圖像、文本、視頻等各類半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)體量增長迅速。這些多樣化的數(shù)據(jù)增加了土地工程數(shù)據(jù)平臺數(shù)據(jù)采集和處理的難度。另一方面，土地工程中采集的數(shù)據(jù)具有很大的不確定性和地域多樣性。土地工程中采集的數(shù)據(jù)存在著采集原始數(shù)據(jù)不完整、采集時間不均衡等問題，使得采集到的數(shù)據(jù)存在著不確定性，也導致傳統(tǒng)的數(shù)據(jù)處理方法無法很好地應(yīng)用于土地工程大數(shù)據(jù)構(gòu)建中。

2 土地工程大數(shù)據(jù)平臺構(gòu)建技術(shù)

土地工程涉及到土地利用、農(nóng)田水利工程、土壤、氣象、環(huán)境等多方面的學科，其中包含多種類、海量的數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)平臺技術(shù)已經(jīng)無法滿足數(shù)據(jù)處理需求，數(shù)據(jù)量的增長需要引進分布式計算和海量數(shù)據(jù)存儲技術(shù)?；谕恋毓こ绦袠I(yè)的現(xiàn)狀和業(yè)務(wù)需求，梳理整合涉及的數(shù)據(jù)信息，研究土地工程數(shù)據(jù)平臺構(gòu)建關(guān)鍵技術(shù)，構(gòu)建土地工程大數(shù)據(jù)平臺是目前亟需解決的問題，為土地工程信息化發(fā)展起到一個基礎(chǔ)支撐的作用，旨在為土地工程的實踐、更多信息的挖掘以及決策提供一個基礎(chǔ)的數(shù)據(jù)平臺。Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載方面上的天然優(yōu)勢。可以構(gòu)建高效、可靠、可擴展的土地工程數(shù)據(jù)處理平臺，實現(xiàn)對土地工程中海量數(shù)據(jù)的采集存儲，以期推動土地工程數(shù)據(jù)平臺技術(shù)的發(fā)展。為土地工程企業(yè)、研究機構(gòu)進一步應(yīng)用數(shù)據(jù)提供支持，更好的輔助土地工程信息化的發(fā)展進程。

2.1 多源數(shù)據(jù)的屬性信息和不同指標信息的采集

數(shù)據(jù)采集工作是構(gòu)建數(shù)據(jù)平臺的基礎(chǔ)，只有保證采集到的數(shù)據(jù)完整性和正確性，數(shù)據(jù)的存儲和應(yīng)用才有意義。而土地工程數(shù)據(jù)具備多樣性，多屬性信息的特點，因此在數(shù)據(jù)采集流程中容易出現(xiàn)流量數(shù)據(jù)在傳輸過程中丟失，數(shù)據(jù)傳輸出錯等問題。在對數(shù)據(jù)采集之前，要確定所涉及的數(shù)據(jù)的哪些屬性和指標為土地工程中應(yīng)用的需求點。在土地工程應(yīng)用中，數(shù)據(jù)的獲取方式也是多種多樣，針對不同數(shù)據(jù)的收集方式，包括對個別數(shù)據(jù)的野外實測（GPS數(shù)據(jù)），搭建持續(xù)性數(shù)據(jù)采集的監(jiān)測設(shè)備，遙感GIS數(shù)據(jù)的信息提取，針對需求的點對點網(wǎng)絡(luò)數(shù)據(jù)爬取技術(shù)等。結(jié)合土地工程中應(yīng)用的需求點和不同的采集方式，研發(fā)適用于土地工程數(shù)據(jù)平臺的數(shù)據(jù)采集技術(shù)。

2.2 土地工程數(shù)據(jù)平臺部署技術(shù)

為了滿足當前土地工程的快速發(fā)展和海量數(shù)據(jù)的處理需求，研究合適的技術(shù)來進行海量數(shù)據(jù)的處理工作有很高的必要性。Hadoop具有高性能的優(yōu)勢，其可以對數(shù)量級在PB以上的非結(jié)構(gòu)化數(shù)據(jù)進行處理操作，同時，處理結(jié)果可以以通用的形式提供給其他應(yīng)用。還具有可擴展性高的特點，對于數(shù)據(jù)持續(xù)増長，Hadoop可以擴展至數(shù)千個節(jié)點。通過對基于Hadoop云平臺的具體安裝、編碼實現(xiàn)土地工程數(shù)據(jù)的存儲計算。土地工程的特點、土地信息化中遇到的問題以及云計算平臺的特點以及使用基于Hadoop云計算平臺的優(yōu)勢。

2.3 土地工程數(shù)據(jù)平臺存儲技術(shù)研究

針對不同的數(shù)據(jù)本身的屬性和結(jié)構(gòu)特點，構(gòu)建合理的數(shù)據(jù)模型，包括對結(jié)構(gòu)化、非結(jié)構(gòu)化、空間結(jié)構(gòu)數(shù)據(jù)、普通文本類型數(shù)據(jù)等多種不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)的存儲技術(shù)。探索如何使用Hadoop解決土地工程海量數(shù)據(jù)問題。創(chuàng)建在大數(shù)據(jù)技術(shù)快速發(fā)展條件下對土地工程數(shù)據(jù)資源、存儲、利用的新模式，為土地工程信息化建設(shè)提供了新的技術(shù)手段和平臺。

3 大數(shù)據(jù)知識服務(wù)平臺的實施思路

針對土地工程行業(yè)數(shù)據(jù)的規(guī)模大，種類多的特點，搭建一套基于不同數(shù)據(jù)采集與數(shù)據(jù)存儲的土地工程數(shù)據(jù)平臺，來對土地工程的數(shù)據(jù)信息進行整合，統(tǒng)籌處理和應(yīng)用。根據(jù)土地工程學科本身的屬性，大量的搜集包括氣象數(shù)據(jù)、土壤數(shù)據(jù)、水文水利數(shù)據(jù)、土地利用數(shù)據(jù)、空氣質(zhì)量數(shù)據(jù)、水體質(zhì)量數(shù)據(jù)、林業(yè)數(shù)據(jù)、礦產(chǎn)資源分布數(shù)據(jù)、地形地貌數(shù)據(jù)等多源化的數(shù)據(jù)，并對數(shù)據(jù)本身進行清理與整合，以標準化的數(shù)據(jù)格式來分類存儲相關(guān)數(shù)據(jù)，同時采用多種數(shù)據(jù)挖掘的方式來尋找各類不同數(shù)據(jù)源之間的關(guān)聯(lián)性信息。達到用科學的數(shù)據(jù)來服務(wù)于支撐土地工程學科的發(fā)展。大數(shù)據(jù)平臺的構(gòu)建必將是一個長期而漫長的過程，需要通力協(xié)作、共同努力使其技術(shù)水平不斷前進。

參考文獻：

[1]張露，孔輝. 建立土地工程學科的思考. 西部大開發(fā)（土地開發(fā)工程研究），2017，（11）：33-37

[2]程杰，石磊，申丹，等. 探析信息在土地工程中的重點應(yīng)用方向. 信息技術(shù)與信息化，2017，（07）：126-129

[3]毛忠安，馬衛(wèi)鵬. 土地工程大數(shù)據(jù)概念、特征及在土地工程領(lǐng)域的應(yīng)用. 西部大開發(fā)（土地開發(fā)工程研究），2016，（05）：1-5

[4]孫志明，黨爭. 大數(shù)據(jù)技術(shù)發(fā)展對土地利用的影響. 環(huán)球人文地理，2016，（4）：136

[5]胡雅. 土地工程中的大數(shù)據(jù)應(yīng)用構(gòu)想. 中國農(nóng)業(yè)信息，2017，（07）：88-92

作者簡介：

孫增慧（1987—），男，供職于陜西省土地工程建設(shè)集團有限責任公司，工程師，博士，主要從事土地工程大數(shù)據(jù)和土壤修復研究

基金項目：

陜西省土地整治重點實驗室開放基金（2018-TD02），陜西省土地工程建設(shè)集團有限責任公司內(nèi)部科研項目（DJNY2018-23；DJNY2018-24）資助。