集團型企業數據采集交換系統的設計與實踐

金鑫 于英濤

[摘 ? ?要] 文章以一個典型的集團型企業為例，介紹了數據采集的方案設計及工程實踐。結合集團與下屬單位的特點，進行完整的技術體系設計，明確了重點數據處理過程，支持全面數據采集的實現。

[關鍵詞] 數字采集;數據處理過程;企業管理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 051

[中圖分類號] F270.7 ? ?[文獻標識碼] ?A ? ? ?[文章編號] ?1673 - 0194（2020）23- 0123- 03

1 ? ? ?項目背景

集團型企業是以一個實力雄厚的大型企業為核心，以產權聯結為主要紐帶， 并以產品、技術、經濟、契約等多種紐帶，把多個企業、事業單位聯結在一起，具有多層次結構的以母子公司為主體的多法人經濟聯合體。集團型企業具有金字塔式垂直分層的組織結構，一般有一個能起主導作用的核心，這個核心可以是一個從事生產經營的法人企業，也可以是一個專門從事經營的法人企業，也可以是一個具有管理職能的機構，處于集團型企業的管理頂端，負責管控下屬單位的治理結構、角色定位與職責、資源管控方式、績效管理體系等。集團型企業在市場競爭中對于優化資源配置和分散風險具有無可比擬的優越性。每個下屬單位又是相對完整獨立的經營企業法人，接受集團的各項管理，又要獨立開展業務。

數據采集是支持集團化管理的利器。數據采集又稱數據獲取，是利用一種裝置，從系統外部采集數據并輸入到系統內部的一個接口。數據采集的方法一般包括軟件接口方式、客戶端采集、網絡爬蟲、開放數據方式等。其中，軟件接口方式數據可靠性與價值較高，但可擴展性有局限;客戶端采集兼容性較強，但采集數據的實時性有一定限制;網絡爬蟲支持自動抓取互聯網的程序或腳本，但容易受反爬機制影響;開發數據庫方式簡單直接，但安全性方面有局限。多種數據采集方式各有優勢，應用場景也不相同。如何有效地與集團型企業管理特點結合，適應實際情況，實現有效采集，成為集團型企業信息化建設中的關鍵問題。

某集團型企業為了加強集團管控能力，在信息化建設方面加大力度，構建了較為完善的基礎設施，具備了集團與各下屬單位之間的網絡聯通條件，能夠實現信息的無障礙傳輸。各下屬單位建設了主營業務的支撐系統，能夠支撐本單位業務的數字化開展。為了進一步加強宏觀管控，構建集團一體化的數據采集體系需求迫切。

2 ? ? ?系統設計方案

2.1 ? 集團端設計

集團端處于管理頂端，是數據采集的中樞，結合戰略導向開展數據采集，構建統一的數據采集交換系統對各下屬單位提供全面的數據采集交換服務，主要采用軟件接口方式進行數據采集，具體包括：統一接收服務、統一驗證服務、統一解析服務、安全傳輸組件、統一存儲服務和統一安全審計服務，并將上報數據中的元數據寫入統一數據存儲庫，如圖1所示。

（1）統一接收服務：面向各下屬單位提供數據接收的接口服務，各單位的前置服務區將通過該接口向集團前置匯聚服務區提供數據。同時，該服務提供狀態反饋，數據傳輸狀態的及時返回，并針對傳輸失敗數據進行及時的消息提醒。

（2）統一驗證服務：提供數據的格式驗證、狀態校驗、完整性校驗等服務，確保上報數據符合要求、完整準確。

（3）統一解析服務：提供數據的解析服務，解析數據包中的元數據、受控屬性和版式文件，對上報數據包進行拆包，還原其中的元數據、版式文件等內容。

（4）統一存儲服務：提供數據的存儲服務，將解析出的元數據寫入到集團，將版式文件存儲到數據存儲服務中，數據存儲服務可以為磁盤路徑、FTP、NFS、NAS、SAN等多種文件存儲服務中。由各下屬單位數據加密存儲，未被授權的用戶或系統管理員也無法獲取數據內容。

（5）統一安全審計服務：對數據進行詳細的日志記錄，記錄數據來源、數據用途、受控等級、受控范圍、受控期限等內容，通過管理平臺提供統計分析、操作追蹤等服務。

（6）管理平臺：提供前置匯聚服務區的配置和管理維護，統一配置各下屬單位前置匯聚服務區接入信息，配置接入安全策略，防止非授權單位獲得接入服務，確保訪問前置匯聚服務區的服務器是可信服務器。

（7）安全傳輸組件：具體支撐數據的接收服務，并確保上傳數據與各下屬單位前置服務區上報數據狀態一致。主要包含兩個部分：

①同步隊列：根據統一策略配置的定時器服務可以設置向各下屬單位前置服務區傳送接收數據，并建立數據同步隊列。

②同步-阻塞服務：根據統一策略配置的文件，對各下屬單位前置服務區建立狀態反饋服務，確保上傳數據的狀態一致，只有集團前置匯聚服務區反饋了數據上傳成功的狀態，各下屬單位的前置服務區才能設置本地狀態數據上傳成功，否則只能重新上傳數據。

（8）統一策略控制：在采集數據之前，需對采集的數據制訂模板和元數據標準，并將相關模板及元數據標準下發至各下屬單位，各單位按照統一的模板和數據標準進行數據填裝即可。同時統一策略控制，在今后業務需求發生變更時，可根據變更后的模板，自動將模板下發至各單位，并主動進行數據抓取，確保業務采集頻率變化后，能實現智能快速的數據獲取。

（9）申請審批服務：面向各下屬單位前置服務區提供上報數據修改、刪除操作的申請審批服務，確保修改、刪除操作的集團審批，數據受控。前置匯聚服務區提供審批流程配置引擎，可快速建立上報數據修改、刪除操作申請審批體系。審批流程配置引擎提供：定義多級審批流程，支持多人審批;可根據部門、受控等級創建多種審批流向;支持代理審批，審批處理人員可委托他人代為處理審批事宜;流程監控可實時呈現每個流程當前處理情況;提供申請審批消息通知。