潘彥波
河北省崗南水庫事務中心 河北石家莊 050400
崗南水庫主副壩總長7168米,觀測標點分布在大壩上下游及附近區域,總共有測壓管131根,垂直位移觀測基點136個,水平位移觀測基點34個。每個觀測標點都會有一系列的考證數據、參數數據及觀測數據,隨著時間的推移,這些數據逐漸增加,管理也隨之復雜起來。
本軟件的核心需求是為用戶提供一套功能齊全、簡單易用、維護方便的安全監測數據管理分析軟件。以崗南水庫監測數據為例,重點解決在實際安全監測工作中數據錄入誤差、數據反復倒運、整編效率較低、圖表維護(時間)成本高、年度數據對比難以實現等問題[1]。
本人即使軟件開發人員,同時也軟件的使用人員,能夠更好的與用戶溝通,能更好的開發出滿足用戶需求的軟件。相對于運行成本高昂、硬件要求苛刻、操作復雜的大型數據庫而言,崗南水庫大壩安全監測數據量并沒有達到海量的級別,不需要很高的硬件配置和軟件開發平臺。但平臺要滿足:一滿足當前監測人員的管理需要,通過軟件的規范監測人員的觀測行為,使其現場觀測和數據計算、整理、分析等行為符合《土石壩安全監測技術規范》SL551-2012的要求。二要有比較強的數據處理、統計分析能力,利用它的查詢功能,可以方便的實現數據的各類匯總、計算等,并可以靈活的設置統計的條件。三 考慮到歷史數據的銜接問題,平臺的選擇要能夠與EXCEL電子表格相互輸入輸出。
由于觀測設備、人員等因素,所觀測數據必然存在觀測誤差,為取得滿足觀測精度要求、能夠反映工程真實狀態的數據、必須對原始觀測數據進行誤差檢驗和處理。據觀測經驗,觀測誤差主要有觀測人員因讀數、書寫、錄入等錯誤造成的粗大誤差和觀測設施變動所造成數據發生臺階性變化的系統誤差。在原始數據輸入軟件的過程中進行兩種誤差的檢驗和處理,具體方法如下:①利用數據庫的內置函數進行粗大誤差的檢驗和處理,
由n個測值可得n-2個dj,當n足夠大時可按 “3σ”法進行檢驗。計算跳動統計樣本的平均值和標準差:
計算各測值跳動偏差的絕對值與標準差的比值:
當qj>3,則認為此值存在粗大誤差,軟件發出不宜輸入的警示。
利用數據庫內置函數建立回歸統計方程的方法進行系統誤差的檢驗與處理。以崗南水庫土石壩為例,垂直位移主要受到時效影響,可選用時效的對數曲線函數建立統計方程:
S=a+b1n(1+ct)
選取發生系統誤差之前的第一個時段觀測樣本建立統計方程,預測第二個時段首個測次的變形量,以觀測值與預測值的差值作為修正量進行系統修正。在觀測設施發生變動后再進行上述修整值的計算,平時不進行此類計算。
數據在數據庫當中的計算可以通過數據庫的查詢功能實現,通過查詢對數據進行分析和處理,從中獲取需要的信息。主要通過下列種類的查詢實現:1選擇查詢(包括帶條件和不帶條件的):比如例1(不帶條件):創建一個查詢,查找并顯示水準基點的“點號”、“高差”、“高程”三個字段內容,可以形成此類的表。例2(帶條件的)查詢條件為平差公式,顯示為水準基點的“點號”、“高差”、“高程”、“平差高程”四個字段內容。2在查詢中進行計算 :主要有預定以計算和自定義計算,預定義計算是系統提供的用于對查詢中的記錄組或全部記錄的計算,包括總計、平均值、計數、最大值、最小值、標準偏差或方差等。自定義計算可以用一個或多個字段的值進行數值、日期和文體計算。3交叉表查詢:交叉表查詢能夠匯總數據字段的內容,匯總計算的結果顯示在行與列交叉的單元格中,它是對基表或查詢中的數據進行計算和重構,可以簡化數據分析。交叉表查詢將來源于某個表中的字段進行分組,一組列在交叉表左側,一組列在交叉表上部,并在交叉表行與列交叉處顯示表中某個字段的各種計算值。4其他還有操作查詢包括生成表查詢、刪除查詢、更新查詢、追加查詢等。利用數據庫的查詢功能可充分滿足崗南水庫大壩安全監測數據的計算、輸出、整編、預測、分析等工作需要[2]。
兩種方法實現數據庫圖表的輸出,第一種利用數據庫與EXCEL文件的兼容性,把查詢好的數據導入EXCEL文件中,利用EXCEL文件中的圖表分析功能生成需要的圖表。第二種利用數據庫自帶的設計視圖功能生成所需要的數據分析圖表,數據庫功能不斷豐富,大部分數據庫在查詢生成報表后,可以利用Microsoft Graph工具或其它圖表制作工具實現監測數據的直觀分析。
要求數據庫組合查詢時,只保存查詢結構,不保存返回的記錄。每次查詢時,都會讀取基礎表并重新創建記錄集。由于要求不存儲記錄集本身,查詢會自動反映執行查詢前對基礎表所做的所有更改。當窗體或報表基于查詢時,每次打開該查詢時,都會重新創建其記錄集,并將其綁定到相應的窗體或報表。
隨著在線運行的監測數據的增加,會逐漸積累形成海量的多元異構安全監測數據。基于數據庫的大壩安全監測數據管理及分析軟件,在數據存儲,并行計算及數據挖掘等方面應用大數據技術,提高數據的可用性。基于隨機森林、決策樹等大數據算法,構建安全監測大數據分析模型,實現安全監測大數據挖掘。基于統計學建立統計模型,根據監測物理量受水位、溫度、時效、降雨及外界載荷等因素影響而產生變化,著力挖掘影響因子與監測結果的相關關系,建立多元非線性逐步回歸建立統計模型。此類模型建立一旦發現符合實際物理量的發展趨勢,可以在防洪搶險及其它應急事件中通過相關因子的變化來預測大壩各類建筑物在此因子條件下安全與可靠性,保證大壩安全運用并充分發揮其工程效益。
本文闡述了大壩安全監測數據管理與分析軟件的實現方法和途徑。如果此軟件能夠實現,必將有效提升安全監測工作效率與專業水平,具有很好的應用前景。在下一步的軟件實現工作中,將結合“水利工程補短板,水利行業強監管”中具體業務需求,開展好大壩安全監測數據管理方面的研發工作,從而更好的為大壩安全管理工作服務。