云計算管理系統研究與應用

何蕓

摘要：隨著石油勘探開發數據向PB級邁進，新技術應用對現有運算能力與存儲能力提出新的挑戰，采用云計算是勢在必行的解決方案。云計算通過網絡統一管理和調度計算、存儲、網絡、軟件等資源，實現資源整合與配置優化，突破了傳統 IT 架構和技術瓶頸，實現容量隨時擴展，大幅度提升了網絡服務所需的計算能力。通過實例展示云計算管理系統在石油地震解釋處理業務中部署、應用、管理，推廣成效，深度研究、剖析系統優缺點，擴展優化系統功能，促進云計算管理系統可持續發展。

關鍵詞：云計算；自動化管理；實時監控；智能化

一、前言

云計算把許多計算資源集合起來，通過軟件自動化管理，解決現實場地物理機使用效率低、成本高的缺點，讓計算和存儲資源實現理論上的無限擴展。與云計算相比，購買CPU集群、GPU顯卡等集群和算力的傳統做法需要持續投入，成本較高，機器資源利用率低，運算高峰時算力永遠跟不上算法的改進更新。很多新技術受制于算力不足，隨著勘探開發高密度、深精度數據向PB級邁進，對現有運算能力與存儲能力提出新挑戰，因此，采用云計算是勢在必行的解決方案。

二、存在的問題

建立勘探開發生產一體化云平臺，進而建立一個生態系統，進行智能協同研究是油氣行業共同目標。如果說云計算實現了硬件云化，那么，建立云平臺相當于進行軟件云化。傳統的勘探開發生產模式是各個環節都用專門的軟件，各個專業人員各自為戰。實際上，軟件種類繁多，數據格式也不統一，每個業務環節數據交換非常不便，而上下游產業鏈的業務環節往往重疊交叉。因此，軟件多、系統多、數據孤立、研究重復，需要建立一個統一技術平臺，這個平臺要實現勘探、開發、生產等數據互聯互通，技術上實現標準統一、互通融合，各個專業軟件數據在這個平臺下也能實現數據自由通信，而不同專業人員可以在一個平臺上進行協同研究。研究發現實際存在的問題如下：

第一，業務成本居高不下。軟、硬件投資已成為主要成本，隨機構設置、靠前服務往往要重復建設、重復購置。

第二，資源分散能效差。資源配置小而散，孤島現象突出，資源無法共享，導致利用率低下，大項目往往面臨著設備總量足夠，工作卻無法完成的尷尬局面。

第三，管理難度大、復雜度高。資源分散導致管理分散，專業化水平參差不齊、問題多，軟件版本眾多，打補丁很困難，設備運維、統計分析的自動化手段不足。

第四，用戶體驗差。對工作場所、終端限制多，移動工作困難，對多軟件協同工作支持不力，三維可視化程序無法遠程運行，存在數據安全性隱患[1]。

三、云計算管理系統簡介

云計算管理平臺，也稱CMP（Cloud Management Platform），確切來說，是由業界知名的IT調研機構Gartner于2016年提出的概念。顧名思義，云計算管理平臺，是在云計算之上的一層管理服務。

云計算管理系統是一款實現傳統單機或C/S 模式的物探軟件向現代云計算服務模式跨越的綜合性管理平臺。云計算管理系統就是一套用來幫助地震解釋資料處理業務實現向云計算模式轉型的軟件工具。

（一）架構

云計算管理平臺的架構如圖1所示。

1.Struts

提供MVC分層架構，提供表示層支持和業務邏輯層的請求分發服務。

2.Spring

提供容器服務，系統內模塊符合“控制反轉”的架構思想，降低模快直接耦合。

3.Hibernate

提供數據持久層的封裝，降低數據使用難度、復雜度，簡化數據訪回代碼。

4.MySQL數據庫

作為業務邏輯的持久化層，利用關系型數據庫的關聯關系、結構化查詢等特點構建業務邏輯的數據存儲層。

（二）云平臺相關進程

云平臺相關進程：

[root@lnvjs03 ～]# ps -ef|grep paraportal

采集組件相關進程：

[root@lnvjs03 ～]# ps -ef|grep pcollectd

root? ? ?44530? ? ?1? 0? 2023 ？? ? ? ? 15：11：47

/opt/paratera/pcollectd/bin/pcollectd -c

/opt/paratera/pcollectd/etc/pcollectd.conf

[root@lnvjs03 ～]# ps -ef|grep pgatherd

root? ? ?44646? ? ?1? 0? 2023 ？? ? ? ? 14：20：21

/opt/paratera/pgatherd/bin/pgatherd -c

/opt/paratera/pgatherd/etc/pgatherd.conf

四、云計算管理系統功能及應用

要實現傳統單機或C/S模式的物探軟件向現代云計算服務模式的跨越，必須解決兩個關鍵問題：一是如何實現對云計算中心大量基礎設施的高效管理，二是如何實現用戶通過網絡遠程訪問云中部署的各種物探軟件。這兩個問題解決的結果好壞將直接關系到云計算能否真正實現落地。針對兩個關鍵問題的解決，云計算管理系統主要功能如下所述：

（一）云計算管理系統功能

云計算管理系統包括：用戶管理、資源管理與監控、軟件管理、統計分析、消息管理、數據管理、定時設置、設備權限管理、許可管理等功能。

1.用戶管理

用戶管理模塊支持對部門、用戶、用戶組、角色進行添加、刪除、修改、查詢、高級查詢、關聯、表格配置等操作，用戶管理模塊包括部門管理、用戶管理、用戶組管理、角色管理等模塊。用戶是用于登錄云平臺的賬號，用戶組是將云平臺的用戶與操作系統用戶進行映射，一個用戶組可以包含多個用戶。角色管理用于給不同的用戶分配權限。每個用戶需要屬于一個用戶組，需要屬于一個部門，同時具備一個角色。用戶管理中用戶添加可以通過云平臺自動同步，也可以手動添加。

2.資源管理與監控

資源管理與監控是對服務器、服務器組、存儲、能耗、繪圖儀、磁帶機進行添加、刪除、修改、查詢、高級查詢、關聯、表格配置、導出等操作及服務器監控和存儲監控。能耗管理中對節點能耗實行實時監測、智能休眠和動態管控，達到精細化管理。可以從服務器監控中查看相應的CPU、內存使用量來確定需要輸入的持續時間數據。在定時設置中為能耗管理添加定時任務，實時監控節點的狀態，智能喚醒和休眠節點。服務器監控以圖形模式實時動態顯示集群節點監控狀態。監控默認以列表形式展現2分鐘內機器運行的數據，自動刷新頻率為30秒。

（1）服務器信息來源

自動同步：節點安裝pgatherd后會自動將節點信息匯報到云平臺，云平臺收到消息后，將該節點添加到不可用服務器中，并將該節點添加到默認服務器組中。

手動添加：手動添加的節點無法使用遠程可視化，也不能在云平臺中看到節點的監控信息，但是調度可以拿到該節點進行作業調度。

（2）服務器類型

計算：節點作為批量計算使用，不能打開遠程桌面。

可視化：節點用于打開遠程桌面，不能作為批量計算使用。

通用：節點既可以運行批量作業，也可以打開遠程桌面。

專用服務器：不能用于批量計算，也不能打開遠程桌面。

3.軟件管理

軟件管理是對應用軟件進行添加、刪除、修改、查詢、高級查詢等基本功能進行操作。軟件管理—軟件添加，通過軟件名稱、軟件版本、軟件執行腳本、軟件運行環境及軟件連接方式實現。

4.遠程訪問

遠程訪問包括策略管理、容器管理、遠程連接管理。策略管理是對應用軟件啟動遠程桌面時所選服務器的內存、CPU、最大連接數等進行配置管理。容器管理是對用戶使用的CPU 核數和內存進行管理的基本功能操作，策略管理和容器管理同時存在時，優先使用容器管理，默認不限制內存使用。遠程連接管理是對所有遠程連接的用戶進行統一管理的基本功能操作。

5.統計分析

統計分析是對服務器、服務器組、存儲使用、用戶連接和設備連接等的運行情況進行統計分析，包括：服務器負載統計、集群負載統計、存儲使用統計、用戶連接統計、設備連接統計、應用連接統計、許可證使用統計。可以就不同的時間段進行統計，支持統計結果輸出為圖片及Excel格式（集群負載統計）。

6.消息管理

消息管理是對集群和內存、新用戶注冊等發送消息通知。

7.數據管理

數據管理是提供對私有和公有數據的管理，支持上傳、下載和新建、刪除操作。

8.定時設置

定時設置是提供對需要重復或者在特定時間完成的作業和任務的功能實現。

9.設備權限管理

設備權限管理是對用戶可以進行哪些操作等進行權限設定。

10.許可管理

許可服務進程及啟動命令：startlic。

（二）實例分析

1.云平臺安裝

硬件平臺：X86_64架構。操作系統版本：Red Hat Enterprise Linux Server release6.8。安裝文件：Pgatherd、pcollectd只能安裝在本地盤，配置文件：install.conf，節點列表文件：pgatherd-node.list。安裝在服務器（軟件、管理）節點的本地盤上，容量200GB以上分區，用root用戶登錄安裝。根據操作系統版本安裝VirtualGL等相應軟件。

2.普通用戶登錄云計算管理系統

普通用戶登錄云計算管理系統使用三維的遠程可視化界面流程：在Windows系統下載安裝火狐瀏覽器、谷歌瀏覽器或搜狗瀏覽器，在網頁地址欄輸入云平臺登錄地址及端口，點擊首頁“新用戶注冊”，進入注冊界面注冊新用戶，按要求填寫相應內容，點擊提交就可成為此云計算管理系統的用戶。下載安裝相關軟件及工具，如VNC，輸入用戶名及密碼，點擊登錄進入云平臺，點擊軟件圖標，彈出選擇屏幕提示界面，選擇屏幕大小后，使用并打開VNC軟件，彈出linux遠程界面，開啟三維的遠程可視化界面，如圖2所示。

（三）效果分析

云計算管理系統已部署在石油地震資料處理和勘探解釋業務中，通過Web瀏覽器登錄進入地震資料解釋、處理應用，實現協同工作。云計算管理系統集中管理各類軟件、硬件資源，自動實現負載均衡，統一管理，協同運作，基本滿足了地震資料處理、解釋業務的需求。云計算管理系統在應用中有很多優點，但也存在一些缺點和不足。

第一，云計算管理系統提供大規模異構集群的自動化管理和實時監控，遠程可視化訪問門戶則是提供云計算服務的基礎，不僅保證了企業集群安全穩定運作，也是做好其他工作的堅實基礎。通過云平臺對云計算中心大量基礎設施的高效管理以及用戶通過網絡遠程訪問云中部署的各種軟件，極大提高了企業的工作效率，同時也為企業提供了一個安全、穩定的云平臺環境，為企業未來的發展提供最大的助力。

第二，在新的云計算管理系統中，無論是用戶還是系統管理員，在使用云計算管理系統時存在一些應用不太熟練的問題，通過使用軟件的時間增加，對系統界面逐漸熟悉，應用不熟練問題隨之解決。

第三，在云計算管理系統應用中需要個性化的設計。例如，用戶臺式機顯示器的屏幕分辨率有1920×1080像素、1920×1200像素的，也有3840×2160像素的，有多種規格、類型，云計算管理系統有單屏、兩屏、三屏及自定義屏幕分辨率，用戶在使用中不清楚兩屏、三屏等屏幕分辨率的具體像素值，不知道如何選擇，只能一個一個試驗。對于低分辨率的臺式機，軟件使用上很友好，在高分辨率工作站上，軟件會讓文字變得很小，看起來費勁，給用戶帶來一些困擾，不利于用戶使用軟件。隨著云計算管理系統的不斷升級，增加更多定制化的選項來滿足用戶的需求，這個問題也將得到解決。

第四，用戶在使用云計算管理系統時，由于使用習慣的原因導致物探軟件許可數量不夠用。用戶在打開一個應用軟件以后，無論短時間還是長時間不使用物探軟件，都不能及時退出云計算管理系統，導致用戶無論是否正在使用軟件，物探軟件許可都長期掛載被占用，一些許可數量少的軟件就存在許可不夠用的現象，導致緊急需要使用軟件的用戶無法使用。可以通過規范用戶使用習慣釋放軟件許可，但是目前效果不是很好，是否在云計算管理系統開發中，根據資源管理與監控方面的數據流判斷用戶是否使用軟件，來規范用戶的錯誤使用習慣，還需觀察效果。

五、結語

云計算管理系統通過網絡統一管理和調度計算、存儲、網絡、軟件等資源，實現資源整合與配置優化[2]，并以服務的方式提供，滿足不同用戶需求，突破了傳統的 IT 架構和技術瓶頸，實現容量隨時擴展，大幅度提升了網絡服務所需計算能力。有利于推動企業加快數字化、網絡化、智能化轉型，提高創新能力、業務實力和發展水平；有利于加快軟件和信息技術服務業發展，深化供給側結構性改革，促進互聯網、大數據、人工智能與實體經濟深度融合，加快現代化經濟體系建設[3]。可以說把信息技術作為重要生產力是企業的必然選擇，走數字化之路繞不開云計算。總體而言，人工智能技術在油氣行業的應用依然處于起步和探索階段，還存在技術不成熟和經驗不足等問題，相信未來，隨著新一輪工業革命的發展，開發人員對油氣行業專業背景知識的加深，根據油田實際情況，開發個性化的應用場景將會越來越多。此外，區塊鏈、5G等新一代信息技術也不斷邁上新臺階，將會為行業數字化轉型插上翅膀，不斷孵化新應用，催生新業態[4]。

參考文獻

[1]孫孝萍，陳繼紅，羅剛，等.物探云計算環境研究及實現[J].石油地球物理勘探，2020，55（S1）：98-104+8-9.

[2]周坤， 孫孝萍， 羅剛， 等.RESTful 在GeoEast 云計算管理系統中的應用[J].電腦編程技巧與維護[J]，2020（06）：88-89+107.

[3]王晨. 民機設計研發企業上云的思考與研究[J]. 科技視界，2020（19）：186-187.

[4]曹剛，楊清海，任義麗，等.五大信息技術在油氣行業數字化轉型中的應用探討[J].石油科技論壇，2020（06）：33-42+73.

作者單位：新疆油田公司勘探開發研究院地球物理研究所

責任編輯：張津平