基于OpenTSDB數據庫的測風塔管理系統開發研究

文 | 包文峰，郭慧斌，張志俊，臧艷艷

現階段，在風能資源的開發和利用中，測風塔處于十分重要的地位，通過測風塔獲得風能資源數據是前期風能資源選址的重要途徑。但是，隨著風電場測風數據量增多，測風塔基本地理信息，不同高度通道的風向、風速、風頻、氣溫、氣壓等基礎數據的管理都遇到了重大挑戰，存在因測風塔廠家數據格式多樣性、通信信號中斷、設備損壞以及人工處理分析效率低下引起的數據缺失、管理困難、質量偏差等問題。

目前全國已設立了數以萬計的風電場測風塔，但通過測風塔實測值計算出的產能與運行值偏差較大，造成極大資源浪費。測風數據缺失或異常會為后期數據質量篩選、數據修正、數據插補、長期訂正等過程引入很大的不確定性，通常1%風速的不確定性會帶來超過3%發電量的上下浮動，而對于某些對投資效益進行嚴控的大型風電企業，資本金回報收益率通常在8%至10%。那么，由于測風數據造成的3%發電量不確定度可能就決定了風電場能否盈利。在市場的競爭中，風能資源選擇的優劣程度直接影響著業主的投資效益。所以，測風塔數據對整機企業和業主都具備重要的意義。

針對測風塔數據管理的問題，本文詳細介紹了基于微服務架構開發的測風塔管理系統。該系統可以實現測風塔高效管理，具備數據自動采集、處理及分析功能，并能獲得高質量的分析報告。

測風塔管理系統方案設計與實現

一、分布式時序數據存儲方案

測風塔管理系統要求對數據進行秒級處理、不間斷存儲分析和處理，數據庫只有具備上述基本功能特性才能滿足使用要求。時序型數據庫OpenTSDB是通過HBase存儲所有的時序以構建一個分布式、可伸縮的時間序列數據庫。它支持秒級數據采集、永久存儲，可以做容量規劃，可以從大規模的集群（包括集群中的網絡設備、操作系統、應用程序）中獲取相應的metrics并進行存儲、索引以及服務，從而使這些數據更容易讓人理解，如網格化、圖形化等。

基于以上特性，本系統采用OpenTSDB作為業務數據存儲方案，系統架構如圖1所示。采集層通過郵箱對測風塔數據進行采集；數據存儲/處理/分析層通過Spark Streaming、Impala、Spark等將復雜算法最終推送到文件系統、數據庫，實現數據的存儲、處理和分析功能；服務層通過多維分析將結果在展示層進行數據可視化。

根據現場實際情況，測風塔一般需要采集1～2年的數據方可為工程實際場景提供分析結論。測風塔數據按不同種類分為風速、風向、氣溫、氣壓、空氣密度等，這些數據種類分別通過不同的數據通道進行記錄，風速、溫度和濕度、氣壓每個通道又細分為均值、最大值、最小值、標準差四個基礎統計指標，風向每個通道分為均值和標準差統計指標。假設某一測風塔有風速、風向、溫度和濕度、大氣壓四類傳感器，三個高度層。通常情況下，一個測風塔設立1個溫度和濕度傳感器，1個大氣壓傳感器，每層各1個風速、風向傳感器。測風塔每10分鐘存儲一次采樣數據點，一天共存儲144次。計算可知，每個測風塔每年將產 生 144×（3×4+3×2+1×4+1×4）×365=136萬個數據點。以歷史與現存測風塔作為管理對象，假定總測風塔數為500臺，則需要管理的總數據點量將近6.8億。隨著對測風數據采集精度、頻次的提高，此數據量將繼續呈爆炸式增長，例如將測風數據的采集頻次提高至工業SCADA級，或者將測風數據用于工業控制策略輔助，則每年產生的數據點量將達到0.4萬億，即每秒寫入量將達到1.29萬。面對如此龐大的數據量，傳統的數據存儲及分析工具無法提供有效的秒級讀寫支撐，而采用OpenTSDB時序數據庫的系統，可以支持秒級存儲，并且具有可擴展、高吞吐量、容錯的特點，所以從根本上規避了該問題。

二、自動化業務流程實現

測風塔數據一般需要經過數據產生、收集、處理等幾個階段后方可為數據分析提供支撐，傳統模式下的業務流程如圖2 所示，數據收集和處理均采用人工方式，隨著測風塔數量的增加，不僅處理效率低下，而且增加人力成本。

圖1 系統整體架構

圖2 傳統模式下的測風業務流程

圖3 測風塔管理系統業務流程

圖4 傳統模式與測風塔管理平臺對比

測風塔管理系統業務流程見圖3，測風塔管理系統自動定時（用戶可自由選擇定時周期）接收測風塔數據郵件，自動統計郵件缺失情況，自動解析測風數據，自動統計數據完整性，根據預定義數據評估策略自動識別異常數據，當數據缺失或異常率超過預定義基準線時自動向用戶報警提示，并對原始數據進行自動化數據標記及數據插補前完整性與相關性測算，提高數據準確度，并減小插補造成的失真；自動完成對原始數據的多維度預處理及預統計，大幅度縮短統計分析的時間周期。

圖5 測風塔郵箱綁定

傳統方式的弊端主要表現為，一方面，測風塔原始數據及中間過程數據均散落在處理人員的單機中，最終轉入服務器的只有處理后的結果，中間過程數據大多未能進行有效留存；另一方面，測風塔數據的單機處理及分析模式并不利于團隊協同作業。由兩種業務流程的對比（圖4）可知，系統化的方案從數據源頭上以系統本身作為接收方，用戶團隊成員均在同一平臺上進行數據處理及分析，為中間過程數據留存及協同一體化工作流程提供了天然的基礎，實現了測風塔數據的精細化管理。

測風塔管理系統的應用實踐

一、數據采集功能

測風塔管理系統支持多種郵箱和通道配置及附件上傳功能。在平臺中，測風塔管理功能與全國地圖頁面測風塔庫相互聯動，統一調配；快捷便利實現項目的增、刪、改、查等功能；可滿足使用者對精細管理的要求。

如圖5所示，系統可以錄入新建測風塔基本信息，包括測風塔編號、名稱、標識、所屬項目、經緯度等。系統支持csv文件和手動添加兩種通道上傳方式。系統能夠自動解析csv文件，提供文件存儲功能，管理者可將測風塔文件、安裝報告、驗收報告和標準報告等上傳至系統存儲，避免文件的亂放亂傳。

二、數據處理功能

測風塔管理系統支持將txt、csv等格式文件統一轉入時序數據庫進行解析存儲。平臺嚴格遵循《風電場風能資源測量方法》（GB/T18709―2002）等有關規范、標準及規定，保證了數據處理結果的可靠性。用戶通過選擇項目、測風塔編號及不同高度通道等，可以查看該測風塔原始數據。在原始數據圖上，通過操作鼠標可查看任意時間點的風速以及縮放數據事件范圍，如圖6所示。通過點擊不同功能按鈕，可以進行原始數據查看、磁偏角修正、數據篩選、塔影修正、剪切推算和代表年訂正功能操作。此外，還能提供管理者對修正后數據的查看功能。例如：界面完整性功能按鈕以彈框形式展示完整性內容（圖7），通過數據自定義及處理，界面展現該列數據完整性狀態細節，并支持管理者對該條數據信息的下載。

圖6 原始數據查看

圖7 數據處理功能完整性展示

三、數據分析功能

測風塔管理系統基于風能資源處理規范，在數據分析模塊中根據管理者需求，對測風塔采集到的數據進行定制化分析、計算，并予以直觀顯示，包含風速、風向、空氣密度、風功率密度、風切變、湍流等風能資源指標。管理者對多項目同步管理時，通過選擇項目、測風塔編號，設定時間范圍，可以查看風速、風向、空氣密度、風功率密度、風切變、湍流等風能資源指標。例如：風速曲線分析模塊，支持管理者對選定時間范圍內風速曲線、日變化、月變化、年變化和韋布爾分布的查看，如圖8所示；風向曲線分析模塊，支持管理者對風向曲線、風向玫瑰圖、月變化和年變化的查看，如圖9所示。

結論及展望

科學高效的測風塔管理系統在風能資源開發利用中有著重要的意義。根據目前測風塔管理系統對已有數千臺測風塔的實際管理能力可以看出，采用時序型數據庫OpenTSDB數據存儲方案的測風塔管理系統表現出了強大的管理能力，實現了自動化業務流程，完成了數據自動采集、篩選、分析、存儲和提醒，提高了管理效率，為數據的安全提供了保障。

圖8 風速曲線分析

圖9 風向曲線分析

但是，該系統目前主要應用在前期風能資源選址中，缺乏與其他平臺的聯動。下一步的研究工作可以圍繞將該系統擴展至整個風能資源前、中、后三個周期的整體平臺開展。例如，將分散式管理平臺和項目管理平臺等與該系統進行集成，搭建風能資源一站式整體解決方案；在平臺架構的基礎上開發新的功能，例如增加平準化度電成本（LCOE）、氣象信息等。