基于SOA體系的水文資料在線整編系統(tǒng)構(gòu)建及應(yīng)用

盧靜媛 劉財(cái)福 時(shí)建國 關(guān)興中

摘要：整合現(xiàn)有資源以實(shí)現(xiàn)資料整編在線化是水文資料整編工作的重難點(diǎn)，提出了一種基于SOA體系的水文資料在線整編系統(tǒng)，在與南方片水文資料整匯編軟件系統(tǒng)（SHDP系統(tǒng)）、江西省水文監(jiān)測系統(tǒng)兼容的同時(shí)，可實(shí)現(xiàn)“一處填寫、多處錄入”，減少了不必要的數(shù)據(jù)重復(fù)錄入，實(shí)現(xiàn)整編工作的效益最大化。該整編系統(tǒng)可拆分為獨(dú)立部署的服務(wù)單元，與SHDP系統(tǒng)、江西省水文監(jiān)測系統(tǒng)通過數(shù)據(jù)交換服務(wù)進(jìn)行交互，能夠復(fù)用這些系統(tǒng)的已有功能;系統(tǒng)還能實(shí)時(shí)預(yù)覽整編結(jié)果，對其進(jìn)行交叉審查，提高了水文整編工作的效率，保證了整編成果的質(zhì)量。

關(guān)鍵詞：水文資料整編;在線整編系統(tǒng);SOA體系;系統(tǒng)兼容;Web應(yīng)用

中圖法分類號(hào)：P337

文獻(xiàn)標(biāo)志碼：A

DOI：10.15974/j .cnki. slsdkb.2020.10.014

1 研究背景

我國地形復(fù)雜，水資源分布時(shí)空不均，是世界上人均水資源最為貧乏的國家之一。開展水文資料整編工作有助于充分了解某一地區(qū)的用水、集水情況，以便對后續(xù)發(fā)生的一系列水文事件作出最優(yōu)判斷[1]。2004年，長江水利委員會(huì)水文局率先開展了在線水文資料整編系統(tǒng)的平臺(tái)開發(fā)工作，主導(dǎo)開發(fā)了“南方片水文資料整匯編軟件系統(tǒng)”客戶端（以下簡稱“南方片系統(tǒng)”），實(shí)現(xiàn)了水文資料的整編數(shù)據(jù)錄入、處理、報(bào)表生成、整編表項(xiàng)、匯編數(shù)據(jù)輸出等功能，該系統(tǒng)在行業(yè)內(nèi)逐步得到了推廣使用。2019年，江西省響應(yīng)水利部的工作要求，建立了“江西省水文監(jiān)測系統(tǒng)”（以下簡稱“監(jiān)測系統(tǒng)”），初步實(shí)現(xiàn)水文資料在線導(dǎo)人，人工觀測數(shù)據(jù)、各項(xiàng)監(jiān)測成果以及人工錄入數(shù)據(jù)的錄入、校對、復(fù)核3道工序流程，達(dá)到水文資料監(jiān)測及整編“日清月結(jié)”的考核指標(biāo)要求。

南方片系統(tǒng)和監(jiān)測系統(tǒng)無法完全滿足水文資料整編工作的需求，具體原因有：①南方片系統(tǒng)是資料整編系統(tǒng)，采用的是C/S架構(gòu)（客戶端/服務(wù)器架構(gòu)），監(jiān)測系統(tǒng)采用B/S架構(gòu)（瀏覽器/服務(wù)器架構(gòu)），二者難以交互;②監(jiān)測系統(tǒng)只包含簡單的資料整編功能，缺少原始數(shù)據(jù)溯源及成果合理性分析功能，從南方片系統(tǒng)中遷移數(shù)據(jù)到監(jiān)測系統(tǒng)中時(shí)，數(shù)據(jù)的重復(fù)錄入增加了用戶工作量，且有出錯(cuò)風(fēng)險(xiǎn);③監(jiān)測系統(tǒng)中的數(shù)據(jù)審查較為簡單，缺乏流程性和實(shí)時(shí)性，且尚無法實(shí)現(xiàn)全省交叉審查。本文提出了一種基于SOA體系的水文資料在線整編系統(tǒng)（以下簡稱“整編系統(tǒng)”），通過Web應(yīng)用的形式，實(shí)現(xiàn)了與監(jiān)測系統(tǒng)、南方片系統(tǒng)的銜接。

2 系統(tǒng)設(shè)計(jì)

整編系統(tǒng)中的數(shù)據(jù)可與南方片系統(tǒng)中的數(shù)據(jù)進(jìn)行雙向?qū)藢?dǎo)出，提高了水文資料整編工作效率，減少了人為誤差[2]。整編系統(tǒng)可運(yùn)行于內(nèi)網(wǎng)環(huán)境中，保證了數(shù)據(jù)的安全性;采用B/S架構(gòu)，用戶無需下載專門的客戶端即可在線使用，同時(shí)采用SOA體系將系統(tǒng)拆分成數(shù)個(gè)子服務(wù)單元，熱點(diǎn)服務(wù)可以進(jìn)行負(fù)載均衡、冗余部署，提高了系統(tǒng)穩(wěn)定性。系統(tǒng)升級(jí)時(shí)無需更新整個(gè)系統(tǒng)，只需更新對應(yīng)的服務(wù)單元即可，對原有系統(tǒng)進(jìn)行擴(kuò)展也十分便捷，不會(huì)影響原系統(tǒng)的正常使用。

整編系統(tǒng)設(shè)計(jì)主要實(shí)現(xiàn)以下功能：

（1）對測站原始資料的收集、整理及合理性檢查，解決目前江西省水文測站資料分散整編、整編方法不統(tǒng)一等問題，確保水文監(jiān)測資料的準(zhǔn)確性、合理性、標(biāo)準(zhǔn)性，能夠輸出符合水文年鑒圖表要求的格式文件。

（2）實(shí)現(xiàn)統(tǒng)一、規(guī)范的水文監(jiān)測資料原始數(shù)據(jù)及成果的提交、審查、匯交及共享功能。提高水文資料整編成果的匯交及審查效率，做到水文監(jiān)測資料標(biāo)準(zhǔn)化管理。

（3）減少測站人員對數(shù)據(jù)的重復(fù)錄入，做到“一處填寫、多處錄入”，統(tǒng)一數(shù)據(jù)源，確保與其他業(yè)務(wù)系統(tǒng)整編成果數(shù)據(jù)的一致性，提高數(shù)據(jù)準(zhǔn)確性。

傳統(tǒng)的軟件開發(fā)已經(jīng)經(jīng)歷了面向過程、面向?qū)ο蠛兔嫦驑?gòu)件幾個(gè)階段[3]，現(xiàn)階段SOA體系（基于服務(wù)的軟件開發(fā)體系）已較為成熟，具有跨語言、跨平臺(tái)、抽象化、透明化、通用化等特點(diǎn)。整編系統(tǒng)可以按照基本功能單元拆分成數(shù)個(gè)松耦合緊內(nèi)聚的服務(wù)單元，不同服務(wù)單元之間通過規(guī)定好的接口進(jìn)行Web通信[4]，并且各細(xì)粒度的服務(wù)單元還可以通過組合形成粗粒度的服務(wù)單元。系統(tǒng)采用B/S架構(gòu)，相較于C/S架構(gòu)具有配置要求低、無需特定客戶端、更新容易、交換數(shù)據(jù)方便快捷等優(yōu)點(diǎn)，用戶只需使用通用瀏覽器訪問網(wǎng)頁即可使用相關(guān)功能。整編系統(tǒng)體系結(jié)構(gòu)共分為5層，見圖1。

業(yè)務(wù)支撐層是系統(tǒng)的核心，為應(yīng)用用戶層提供數(shù)據(jù)支撐，系統(tǒng)的主要數(shù)據(jù)處理過程都在該層完成。業(yè)務(wù)支撐層包含基本信息管理、數(shù)據(jù)管理、輔助定線、數(shù)據(jù)分析、審查管理、文檔管理和系統(tǒng)管理等服務(wù)單元，各服務(wù)單元將公共服務(wù)組件封裝對外提供實(shí)現(xiàn)數(shù)據(jù)共享，對上層提供應(yīng)用接口便于訪問數(shù)據(jù)，上層以RESTful風(fēng)格便捷地訪問數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求的不同自由組合不同的服務(wù)。

2.1 基本信息管理

基本信息管理服務(wù)包含一系列預(yù)設(shè)的信息表[5]，用戶可在線輸入，或?qū)⒈恚０逦募┫螺d到本地，填寫完畢后再上傳，系統(tǒng)會(huì)自動(dòng)分析并檢測數(shù)據(jù)的正確性和合理性。

2.2 數(shù)據(jù)管理

傳統(tǒng)水文測驗(yàn)工作需要先將測驗(yàn)數(shù)據(jù)錄入/導(dǎo)人到監(jiān)測系統(tǒng)中，然后再手工錄入/導(dǎo)人到南方片系統(tǒng)中，重復(fù)錄入極易出錯(cuò)。整編系統(tǒng)中，只需測站人員完成一份人工觀測及測驗(yàn)記載數(shù)據(jù)，成果數(shù)據(jù)會(huì)自動(dòng)生成，并且通過系統(tǒng)提供的數(shù)據(jù)雙向?qū)藢?dǎo)出功能與南方片系統(tǒng)的數(shù)據(jù)無縫對接，通過RPC遠(yuǎn)程調(diào)用能夠直接將數(shù)據(jù)錄入到監(jiān)測系統(tǒng)中，統(tǒng)一數(shù)據(jù)源，確保其他業(yè)務(wù)系統(tǒng)的整編成果數(shù)據(jù)一致性，提高數(shù)據(jù)準(zhǔn)確性。

數(shù)據(jù)是整編系統(tǒng)的基石，只有數(shù)據(jù)準(zhǔn)確才能正常開展后續(xù)的計(jì)算工作，導(dǎo)人數(shù)據(jù)后，數(shù)據(jù)管理服務(wù)會(huì)對數(shù)據(jù)進(jìn)行必要的正確性和合理性檢查，避免后續(xù)計(jì)算失敗。通過自動(dòng)采集數(shù)據(jù)、人工錄入數(shù)據(jù)、離線交換數(shù)據(jù)和在線交換數(shù)據(jù)4種方式向系統(tǒng)輸入數(shù)據(jù)。數(shù)據(jù)處理具體過程見圖2。

（1）數(shù)據(jù)輸入系統(tǒng)。對于遙測數(shù)據(jù)可設(shè)定采用自動(dòng)采集數(shù)據(jù)方式，或?qū)xcel結(jié)果文件導(dǎo)人到系統(tǒng)中，其余數(shù)據(jù)采用人工錄入或填寫Excel文件的方式導(dǎo)人到系統(tǒng)中，數(shù)據(jù)通過異常檢測模塊檢測后才可進(jìn)入下一步處理。由于自動(dòng)采集數(shù)據(jù)量大（每5 min采集一次），故平臺(tái)可以根據(jù)測站特性，在不破壞數(shù)據(jù)特征點(diǎn)的情況下進(jìn)行精簡摘錄，摘錄成果需反映水位變化的完整過程，并滿足計(jì)算日平均水位和推算流量的需求。

（2）在線交換數(shù)據(jù)。指同一系統(tǒng)在運(yùn)行過程中通過網(wǎng)絡(luò)交換數(shù)據(jù)。由于系統(tǒng)已對數(shù)據(jù)進(jìn)行了處理，故在線交換數(shù)據(jù)可越過數(shù)據(jù)異常檢測環(huán)節(jié)直接進(jìn)入下一環(huán)節(jié)。

（3）數(shù)據(jù)異常檢測單元。通過預(yù)先設(shè)定的數(shù)據(jù)規(guī)則對輸入的數(shù)據(jù)進(jìn)行正確性和合理性檢查，例如數(shù)據(jù)缺失、位數(shù)錯(cuò)誤、單位錯(cuò)誤、數(shù)據(jù)超出范圍、數(shù)據(jù)錯(cuò)位和數(shù)據(jù)明顯不合理等，數(shù)據(jù)管理服務(wù)對異常數(shù)據(jù)進(jìn)行高亮處理后，以可視化形式進(jìn)一步處理。

（4）人工數(shù)據(jù)審核。操作員可直接修正明顯不合理的數(shù)據(jù)，或?qū)⒊鲥e(cuò)數(shù)據(jù)以最小單位駁回。

（5）存人原始庫。待人工審核通過后存人原始數(shù)據(jù)庫中，對原始數(shù)據(jù)庫中的數(shù)據(jù)不允許直接修改，只允許讀取和插入，每進(jìn)行一次插入操作都要記錄詳細(xì)操作日志，便于后期溯源。

2.3 輔助定線

輔助定線能夠?qū)σ延械囊?guī)范數(shù)據(jù)進(jìn)行分析整理，以圖表的形式對水位一流量、水位一流速、水位一面積等關(guān)系模型進(jìn)行符合測站特性的定線工作。該模塊能夠提供可視化操作界面，測站人員可以直接在界面上通過設(shè)定檢測參數(shù)、選擇模型、劃分定線時(shí)段等定線操作。計(jì)算機(jī)會(huì)根據(jù)用戶的設(shè)置進(jìn)行自主定線，綜合對比不同模型后，計(jì)算出水位一流量關(guān)系曲線入庫，并將定線數(shù)據(jù)自動(dòng)導(dǎo)人到南方片系統(tǒng)中;南方片系統(tǒng)中已經(jīng)定線的成果數(shù)據(jù)也可導(dǎo)人到監(jiān)測系統(tǒng)中。

2.4 數(shù)據(jù)分析

根據(jù)系統(tǒng)獲取到的數(shù)據(jù)和計(jì)算出的關(guān)系模型進(jìn)行數(shù)據(jù)分析，得到水文站點(diǎn)的一系列過程線和對照圖。系統(tǒng)根據(jù)預(yù)先設(shè)定的規(guī)則進(jìn)行檢測，對異常數(shù)據(jù)進(jìn)行標(biāo)注并轉(zhuǎn)交“審查管理”服務(wù)單元。水位、流量、沙量、水溫、降水量、蒸發(fā)量等內(nèi)容經(jīng)審查后，可導(dǎo)出為規(guī)范的月報(bào)表。

2.5 審查管理

相較于監(jiān)測系統(tǒng)的審查功能，整編系統(tǒng)的審查管理可以做到“隨整編隨檢查”，實(shí)現(xiàn)審查資料交匯、專家指派、任務(wù)分配、合理性檢查、結(jié)果確認(rèn)等工作一體化;記錄詳細(xì)操作日志，使所有審查操作均可溯源，達(dá)到對整編過程及整編結(jié)果綜合審查的目的;提高了水文資料整編成果匯交和審查的效率，實(shí)現(xiàn)了水文監(jiān)測資料標(biāo)準(zhǔn)化管理。

圖3為審查管理的具體流程，由圖3可知：①管理員負(fù)責(zé)新建審查主題，為有資格的審查人員隨機(jī)指定審查項(xiàng)目，進(jìn)行單站合理性檢查和綜合合理性檢查。②單站合理性檢查主要對單站資料進(jìn)行檢查，每條欄目旁均有規(guī)范格式和參考示例供審查人員快速核對。若檢查出錯(cuò)情，會(huì)生成錯(cuò)情登記表交由審查人員登記，并交由管理員進(jìn)行查復(fù)處理;對于確定的錯(cuò)情，同意處理;對于有爭議的錯(cuò)情，需要移交給省局進(jìn)行仲裁，最終生成錯(cuò)情登記表。③綜合合理性檢查主要對相鄰站點(diǎn)進(jìn)行檢查，尤其是需要對用到相鄰站點(diǎn)的過程線資料進(jìn)行檢查;界面會(huì)并列顯示相鄰站點(diǎn)，自動(dòng)高亮相差較大的數(shù)據(jù)，其余同單站合理性檢查相同。

用戶可隨時(shí)通過統(tǒng)一的Web GIS界面，在地圖上或以表格方式查詢審查進(jìn)度及錯(cuò)情統(tǒng)計(jì)等信息。

2.6 文檔管理和系統(tǒng)管理

不同級(jí)別的水文管理部門可以向指定單位或指定人員發(fā)送文件，對方下載接收到的文件并永久保存。同時(shí)，所有用戶的操作都會(huì)記錄在操作日志中，日志提供查詢和篩選功能，不可予以刪除，管理員在系統(tǒng)管理中對用戶進(jìn)行管理。

3 系統(tǒng)應(yīng)用效果分析

該整編系統(tǒng)采用SOA體系，易部署、易更新、易擴(kuò)展，各個(gè)服務(wù)單元在規(guī)劃階段均實(shí)現(xiàn)統(tǒng)一化、規(guī)范化，設(shè)有專門與南方片系統(tǒng)數(shù)據(jù)庫或監(jiān)測系統(tǒng)進(jìn)行交互的服務(wù)單元，用戶在整編系統(tǒng)中錄入的數(shù)據(jù)均可通過該服務(wù)單元導(dǎo)人到南方片系統(tǒng)數(shù)據(jù)庫或者監(jiān)測系統(tǒng)中。同時(shí)，整編系統(tǒng)中的正常數(shù)據(jù)流轉(zhuǎn)不受該服務(wù)單元的影響，對于無需與南方片系統(tǒng)或者監(jiān)測系統(tǒng)進(jìn)行交互的用戶，可以在部署時(shí)直接移除該服務(wù)單元。

相較于南方片系統(tǒng)和監(jiān)測系統(tǒng)，整編系統(tǒng)具有以下優(yōu)點(diǎn)：

（1）易部署、易更新、易擴(kuò)展、易使用。系統(tǒng)各服務(wù)單元之間不會(huì)形成遞歸依賴，只會(huì)依賴最少的必要服務(wù)，各服務(wù)單元均可獨(dú)立部署在不同的服務(wù)器中進(jìn)行通信;用戶只需在統(tǒng)一的前端人口進(jìn)行數(shù)據(jù)錄入;系統(tǒng)的更新擴(kuò)展十分便捷，由于系統(tǒng)主要采用接口服務(wù)，增加手機(jī)APP、微信公眾號(hào)人口功能，只需開發(fā)對應(yīng)的前端界面，無需對后端做較大修改。

（2）整編系統(tǒng)與南方片系統(tǒng)、監(jiān)測系統(tǒng)之間交互方便，不易出錯(cuò)。系統(tǒng)內(nèi)部采用RESTful接口進(jìn)行交互，并設(shè)有與南方片系統(tǒng)進(jìn)行交互的功能，用戶在整編系統(tǒng)中錄人數(shù)據(jù)，經(jīng)系統(tǒng)檢查后，可以錄入南方片系統(tǒng)的數(shù)據(jù)庫中;對于南方片系統(tǒng)中已有的整編成果，也可導(dǎo)人整編系統(tǒng)中。該系統(tǒng)還設(shè)有與檢測系統(tǒng)進(jìn)行交互的服務(wù)單元，對于以前需要手工錄入的數(shù)據(jù)，該服務(wù)單元采用RPC遠(yuǎn)程調(diào)用的形式，直接調(diào)用監(jiān)測系統(tǒng)的接口，將系統(tǒng)中的數(shù)據(jù)返回給監(jiān)測系統(tǒng)。

（3）可實(shí)時(shí)預(yù)覽、導(dǎo)出整編成果。系統(tǒng)擁有圖形化數(shù)據(jù)預(yù)覽界面，以圖表的形式展現(xiàn)整編數(shù)據(jù)及成果，也可通過WebGIS界面在地圖上點(diǎn)擊、篩選對應(yīng)測站詳情。系統(tǒng)可隨時(shí)導(dǎo)出整編成果書，以更規(guī)范的形式供用戶查看。

（4）隨整編隨檢查，水文監(jiān)測資料實(shí)現(xiàn)標(biāo)準(zhǔn)化管理。系統(tǒng)實(shí)現(xiàn)了審查資料交匯、專家指派、任務(wù)分配、合理性檢查、結(jié)果確認(rèn)等工作一體化，每一步工作都會(huì)記錄詳細(xì)操作日志，使所有審查操作均可溯源，達(dá)到對整編過程及整編結(jié)果綜合審查的目的，提高水文資料整編成果匯交和審查的效率。

4 結(jié)語

傳統(tǒng)的水文資料整編過度依賴人工操作，不同單位開發(fā)的水文資料整編系統(tǒng)相互兼容性不強(qiáng)。本文提出了基于SOA體系構(gòu)建的水文資料整編系統(tǒng)，將系統(tǒng)分解為多個(gè)可以獨(dú)立部署的服務(wù)單元，通過獨(dú)立的數(shù)據(jù)交換服務(wù)單元與南方片系統(tǒng)、監(jiān)測系統(tǒng)進(jìn)行交互，不同服務(wù)單元之間可以根據(jù)不同的要求進(jìn)行功能的組合，實(shí)現(xiàn)無侵入式開發(fā)部署。該系統(tǒng)可以做到“一處填寫、多處錄入”，避免了因人員手工重復(fù)錄入造成的錯(cuò)誤，也實(shí)現(xiàn)了與其他水文系統(tǒng)的兼容，復(fù)用了其他水文系統(tǒng)的優(yōu)勢，提高了水文整編工作的效率，保證了整編成果的質(zhì)量。

參考文獻(xiàn)：

[1] 韋賢彬.水文資料在線整編系統(tǒng)設(shè)計(jì)與應(yīng)用[J].水利信息化，2018（3）：61-64.

[2] 張超，徐正坤.如何提高水文資料整編精度的思考[J].河南水利與南水北調(diào)，2017，46（12）：45-46.

[3]周曉強(qiáng).Web服務(wù)異步調(diào)用模型的研究與實(shí)現(xiàn)[D].武漢：武漢理工大學(xué)，2009.

[4] 陳文燕.基于SOA軟件體系的研究與設(shè)計(jì)[D].合肥：合肥工業(yè)大學(xué)，2009.

[5]SL 247-2012水文資料整編規(guī)范[S].

（編輯：李曉濛）

作者簡介：盧靜媛，女，碩士，主要從事水文資料及數(shù)據(jù)庫管理方面的工作。E-mail：29955214@qq.com