地質大數據采集與分析系統的配置技術研究

柳 波

（長沙迪邁數碼科技股份有限公司，長沙 410083）

0 引言

隨著互聯網、物聯網、大數據、云計算等高新技術的發展，地質行業也迎來大數據時代，走向數字化與智能化。地質大數據的采集、匯聚、管理、應用成為地質行業的一個重要研究方向[1-5]。

在國外，地質數據管理軟件較早應用且比較成熟并配有專人管理，地質數據信息化程度較高。典型的軟件包括acQuire和Deposit，兩者都是可配置軟件，均可配置數據錄入、數據導入、質量分析質量控制（QAQC）、數據導出、報告報表等功能。前者是C/S模式，需要本地安裝，功能強大，升級更新便利，側重數據分析；后者是Web模式，操作簡單，功能較少，側重數據存儲、管理及查看[6-8]。

在國內，地勘數據采集、管理應用比較早的軟件是中國地質調查局研發的數字地質調查系統（DGSS），該軟件涵蓋區域地質調查、固體礦產勘查、礦體模擬、品位估計、資源儲量估算、礦山開采等內容，實現了整個地質調查過程的無縫數字化與一體化，并創新地開發了集地質三維羅盤和野外數據采集于一體的野外數據采集器。另外，北京東澳達科技有限公司于2020年發布了3DLogging軟件，應用于野外勘查和探礦工程（探槽、坑道和鉆孔）的地質編錄工作。這兩款軟件為C/S模式，側重數據采集、管理，在可配置方面弱于國外軟件[9-11]。

本研究結合國外地質數據管理軟件先進的可配置模式和國內地質標準規范，針對地質數據來源繁多、類型繁雜、數據量大的特點，以Web模式為主、C/S模式為輔，采用PostgreSQL數據庫，開發了可靈活配置的地質數據錄入、導入導出、QAQC、報告報表、統計分析、三維展示的系統，系統支持手機端、平板端、電腦端數據錄入及查看。系統可根據不同礦山、項目數據管理的要求進行配置與調整。

系統在國內的紫金山金銅礦、新疆紫金鋅業、洛陽坤宇、山西紫金及國外的塞爾維亞紫金礦業進行了地勘數據采集及管理應用，實現了對歷史數據及正式施工數據的管理，實現了集團總部對下屬礦山或項目地質數據標準化集中統一管理，為地質大數據建設及數據綜合利用分析奠定了基礎。

1 地質業務配置系統

1.1 建設目標

系統的建設目標是開發一個能夠針對地質業務不同場景進行可靈活配置的系統，實現地質野外數據高效采集、內業數據快速處理、數據標準化管理、實時統計分析、報告報表輸出、三維可視化地質數據展示等功能。

系統實現礦山、項目數據的獨自采集、管理、分析以及向集團統一匯總、分析、展示。

此外，系統實現與主流三維礦業軟件、實驗室管理系統、檔案管理系統、生產管理系統等信息化系統對接，實現多源異構地質數據的融合及標準化管理，地質數據的實時共享、高效流轉及大數據綜合分析。

1.2 系統架構

系統架構分為數據層、組件層、業務層及應用層，如圖1所示。

圖1 系統架構

（1）數據層。數據層存儲的數據除了地質業務數據、文件數據、管理數據外，還包括配置數據。配置數據針對不同項目、礦山配置的不同功能，通過改變配置數據實現地質業務不同場景功能的切換。

（2）組件層。組件層提供了滿足不同功能配置的豐富組件，組件包括表單組件、布局組件、頁簽頁面組件、報告報表組件、建表工具。

（3）業務層。業務層包括基礎功能、功能配置、規則配置及系統管理。基礎功能包括系統登錄、菜單、權限、用戶、日志等管理功能。功能配置包括數據錄入、導入導出、統計分析、QAQC、二維顯示、三維顯示等功能。規則配置包括計算規則、校驗規則、關聯規則等功能。

（4）應用層。應用層包括巖芯鉆探、反循環（RC）鉆探、坑探、槽探、地質填圖、樣品管理等地質業務領域的應用。

2 系統功能及關鍵技術

為實現地質業務功能可靈活配置，系統包括數據錄入配置、數據導入配置、報告報表配置、統計分析配置、三維地質數據庫配置等功能，以及數據校驗、字典輔助錄入、自動計算、數據聯動技術等關鍵技術。

2.1 數據錄入配置

數據錄入配置的實現方法是在數據表的基礎上建立數據對象，設置數據對象屬性的錄入格式，如單行文本框、多行文本框、下拉框、附件框、日期框等，并可設置屬性的必填、可視、可編輯，再配置表單、列表，組成錄入的頁簽頁面。

通過配置方式完成的鉆孔設計數據錄入界面如圖2所示，界面上方為錄入表單，界面下方為錄入后的數據列表，數據操作功能包括新增、修改、刪除等。

圖2 數據錄入界面

2.2 數據導入配置

數據導入配置的實現方法是建立數據對象與Excel數據表的關系，一個數據對象對應一張數據表，對象屬性對應數據表的列。一個導入模塊可以選擇多個數據對象，對應多張數據表，從而實現批量導入多張數據表，提高數據導入效率。

數據導入還需考慮重復數據的判斷規則及處理方式。重復數據的判斷規則由數據表的聯合主鍵確定，如主鍵相同則數據被判定為重復。重復數據的處理方式包括忽略和覆蓋。

為了保證數據庫中數據的標準規范，數據導入提供了檢查功能，對異常、錯誤數據進行警告及阻止。

2.3 報告報表配置

在數據錄入、導入后，系統需按照地質標準規范輸出報告報表，如鉆探工程的巖芯鉆工程施工班報表、孔深校正及彎曲度測量表、簡易水文觀測記錄表、原始地質記錄表、水工地質記錄表、孔深丈量驗收表、鉆孔概況表、鉆孔質量驗收報告等。

報告報表配置的實現方式首先定義數據源，提取報告報表需要的數據；然后，設計報告報表模板；最后，進行報告報表輸出。

數據源支持數據庫已有的數據表選擇及SQL查詢語句。一個報告的數據源可支持多張數據表及多個SQL語句，從而實現復雜報告數據的提取。

可用的報告報表模板設計組件包括表格、表單、富文本、直方圖、折線圖、散點圖等，并可設置文字字號、字體、行間距等格式。

2.4 統計分析配置

統計分析是數據采集后的一個重要應用，包括按礦山統計、項目統計、時間周期統計、業務類型統計等。為了滿足地質數據統計需求的多樣性，統計分析界面需靈活可配置。

統計分析配置的實現方式是在數據對象的SQL列表布局中配置SQL語句，提取數據，再配置查詢布局。將SQL列表布局和查詢布局組成頁簽頁面。一個數據對象可配置多個SQL列表布局，并支持修改。統計項包括項目編號、年份、期次、工作項目、單位、本周完成量、年累計完成量、年度設計量、年累計完成率，查詢項包括項目編號、年份、期次、工作項目。

2.5 三維地質數據庫配置

三維地質數據庫是礦床建模、儲量估算的基礎數據。傳統三維地質數據庫的建立方式是將勘探報告成果整理成數據庫需要的開口表、測斜表、樣品表、巖性表，再對數據進行校驗，建立鉆孔數據庫，存在整理工作量大且不能實時更新數據的問題。

三維地質數據庫配置通過數據提取形成鉆孔數據庫需要的開口表、測斜表、樣品表、巖性表。實現方式是將創建的數據庫視圖及字段填寫在tds_select_data_relation、 tds_table_config、 tds_dmd_config三個表中，三維視圖讀取這三個表，再根據用戶查詢生成三維地質數據庫。

2.6 關鍵技術

系統在數據標準化、輔助錄入方面的關鍵技術包括數據校驗、字典輔助錄入、自動計算、數據聯動等技術。

2.6.1 數據校驗

數據校驗技術對異常、錯誤數據進行警告、阻止，保障了進入系統的數據符合地質標準規范。數據校驗包括主鍵約束、外鍵約束、唯一約束、數值范圍約束、SQL語句約束等。

地質數據的校驗規則包括鉆孔開口坐標位于勘探范圍內、孔深起止范圍不能重疊、終孔日期大于開孔日期、巖芯長不能超過樣長、樣品編號不能重復等。

數據校驗技術的實現方式是在建表時設置該表的主鍵約束、外鍵約束及唯一約束，并可在數據對象屬性上配置SQL校驗規則、數值范圍規則。

設計的鉆孔開口坐標校驗配置如表1所示的SQL規則校驗配置，當錄入的數據未通過校驗時，系統會進行規則校驗效果提示。

表1 規則校驗配置

2.6.2 字典輔助錄入

字典輔助錄入技術通過對常用選項配置數據字典輔助錄入，不僅保障了數據錄入的標準化，也提高了數據錄入效率。一個特定礦山或特定項目只有樣品類型、標本類型、采樣方法、地層層位、巖性、風化程度、構造類型、結構、勘查階段、蝕變類型、堅硬程度等地質數據中的幾種固定類型。通過配置數據字典、統一數據規范，避免無效、錯誤錄入。同時，下拉框提供模糊搜索，極大地提高了錄入效率。

字典輔助錄入技術的實現方式先由系統配置人員錄入或導入數據字典，再對數據對象的屬性配置數據字典。可設置屬性默認值及下拉字典選項的排序，錄入界面如圖3所示。

圖3 字典輔助錄入界面

2.6.3 自動計算

數據錄入、導入時，一些字段由本表或其他表的字段計算得到。自動計算技術通過關聯本表或其他表的字段進行自動計算，實現數據的自動錄入，提高數據錄入效率和準確性。

地質數據計算字段包括樣長、累計巖礦芯長、巖礦芯采取率、分層厚度、分層巖礦芯長、分層巖礦芯采取率、誤差率等。

自動計算技術的實現方式對數據對象屬性進行計算規則配置，包括表達式計算規則配置和SQL計算規則配置。表達式計算規則實現本表字段之間的計算，SQL計算規則實現跨表字段的查詢與計算。

2.6.4 數據聯動

數據錄入往往會遇到多個下拉框之間關聯聯動的情況。例如，分析項目下拉框選項會根據實驗室下拉框選項的不同而變化，分析方法下拉框選項會根據分析項目下拉框選項的不同而變化。實驗室、分析項目、分析方法下拉框形成了三級關聯聯動。

數據聯動技術的實現方式是在數據對象屬性聯動中，對下拉框選項配置聯動的SQL語句，SQL語句如表2所示。

表2 下拉框數據聯動SQL語句

3 系統應用案例

系統在新疆紫金鋅業的金剛石鉆探和RC鉆探進行了數據采集及管理應用。

金剛石鉆探的數據錄入、導入包括鉆孔設計、鉆孔定位、鉆孔施工回次記錄、彎曲度測量、孔深校正、簡易水文觀測、鉆孔結構、穩定水文觀測、原始地質編錄、標志面、標本記錄、二次地質編錄、水工地質編錄、鉆孔丈量驗收、封孔設計及施工、鉆孔質量評分、布樣采樣、送樣、分析結果等。

數據統計分析包括鉆孔施工質量自動評分、內外檢誤差統計、QAQC、項目周報月報等，QAQC界面如圖4所示。

圖4 QAQC界面

報告報表包括鉆孔地質技術設計書、鉆孔定位通知書、鉆孔機械安裝通知書、巖芯鉆工程施工班報表、鉆孔原始地質記錄表、鉆孔水工地質記錄表、鉆孔孔深丈量驗收表、鉆孔質量驗收報告等。

此外，該系統還在紫金山金銅礦、山西紫金、塞爾維亞紫金礦業等地勘數據采集及管理進行了應用。通過系統應用，實現了地勘數據信息化采集、管理及實時統計分析，滿足了項目組對地勘數據的管理及向集團總部匯報的要求，為地質大數據建設奠定了基礎。

4 結論

針對地質大數據類型繁雜、數據量大、實時可視化分析等問題，本文開發了地質業務配置系統，在系統組件基礎上配置了地質業務功能，實現了地質野外數據快速采集、內業數據便捷處理、地質數據統計分析、地質規范報告報表輸出、三維數據庫生成及數據標準化規范化管理，并在巖芯鉆探、RC鉆探、槽探、坑探、物探、化探、地質填圖、實測剖面、水工環、樣品管理等地質業務領域進行應用，為地質數據綜合分析、地質大數據找礦、地質三維建模及與其他系統對接提供了基礎。這種地質業務靈活配置的系統和技術，可推廣應用到礦山采礦、測量等其他礦山業務的數據采集及可視化分析，為實現礦山數字化轉型提供了便利的工具。