



摘要:隨著地震勘探技術的不斷進步,勘探數據的處理和分析變得日益復雜和關鍵。GeoEast作為國產自主研發的地震數據處理解釋一體化軟件系統,在石油勘探領域具有廣泛的應用。作業調度系統作為GeoEast的核心組成部分,其性能直接影響數據處理的速度和效率。旨在深入研究GeoEast作業調度系統(GeoJSF)的架構設計和核心關鍵技術,重點從作業優先級設定、資源動態分配、作業訪問控制管理等幾個方面對作業調度系統進行優化配置,從而提高了地震資料處理系統的綜合性能,為提升石油勘探數據處理效率提供理論支持和實踐指導。
關鍵詞:GeoEast;GeoJSF;作業調度系統;優化策略;地震勘探數據
一、前言
地震勘探數據處理是一個復雜且精細的過程,涉及大量的數據處理和分析工作,由專用數據處理系統作為技術平臺支撐。GeoEast地震數據處理系統是國內自主研發的地震數據處理解釋一體化軟件系統,在石油勘探領域具有廣泛的應用。在使用GeoEast地震數據處理系統開展地震處理項目實際生產中,發現處理作業運行狀況與作業調度系統緊密相關。在深入研究GeoJSF的運行架構模型[1]和調度流程后,定位了作業系統存在的問題,并據此提出針對性優化策略,通過優化作業調度[2]系統配置,解決作業執行效率不高、資源利用率低、資源分配不合理[3]等問題,滿足GeoEast地震數據系統穩定運行超大規模地震處理項目需求,提高作業運行效率。
二、GeoJSF系統概述
GeoJSF全稱GeoEast作業調度系統(GeoEast Job Scheduling Facility),是基于云計算平臺的作業管理系統,針對大規模地震勘探數據復雜環境處理工作設計,旨在提高資源利用率、優化作業執行效率,并滿足多用戶并發使用的需求。該系統通過應用驅動的資源分配、靈活的調度控制規則、多樣化的調度模式以及強大的作業流管理能力,實現了對大規模地震資料作業精細管理和調度。具有智能化調度、高效資源分配、實時監控等功能,它根據作業的性質、優先級和資源需求等因素安排作業的執行順序和時間,以確保數據處理的高效性和準確性。該系統具有靈活、可擴展的特點,能夠適應不同規模和復雜度的勘探數據處理需求。系統主要組成及調度系統運行架構如下。
(一)系統主要組成
1.tetrisd
提供核心的作業調度、作業流執行控制功能,同時負責與各節點控制程序和各控制臺程序進行通信,完成作業/節點的管控、管理命令的執行,以及各種事件的派發等。
2.jsfnode
負責收集本節點以及本節點上所有活躍作業的資源使用狀況,監控各作業的運行狀態,收集各作業的標準輸出,并以報告的形式發送給調度服務器;負責執行調度服務器發送的各種系統管理命令和作業管理命令;負責與協同式作業進行通信,完成相關消息的接收、轉發和處理。
3.jsfconsole
提供 GUI 界面,供用戶查看系統運行狀態或執行各種系統管理操作。
(二)系統運行架構及作業流程
GeoJSF的運行架構基于先進的調度算法和資源管理策略,同其他作業調度系統不同的地方是引入了作業調度計算公式,作業通過類C語法表達式靈活表達資源需求,使得資源分配更加精確、高效,滿足不同應用對資源的需求。而且,編輯方式實現了GUI模式,實現友好的界面和交互模式。GeoJSF的作業流程主要包括作業申請、調度決策和執行等環節見圖1,支持分組調度、獨占調度、彈性調度和動態資源調整等多種調度模式,使得系統能夠根據不同的應用場景和需求,選擇最合適的調度策略。
三、GeoJSF在地震勘探中數據處理研究與應用
以新疆油田勘探地震數據處理項目為例,通過GeoJSF對作業優先級、資源分配和項目訪問規則進行優化設置,實現了數據處理作業流的自動化和智能化,提高了作業處理的效率。
(一)調整作業優先級
在石油地震勘探資料處理過程中,不同作業對時間和資源的需求各不相同,如何確保關鍵作業[4]能夠得到及時處理,需要對作業優先級計算公式進行重新配置。優先級計算公式分為作業優先級計算公式(圖2左)和節點優先級計算公式(圖2右),分別用來指定作業和節點動態優先級計算過程中需要考慮哪些因素,以及每種因素的權重等信息。管理員可以設置多個作業/節點優先級計算公式,并可在基本設置中隨時切換當前采用的計算公式。如果在基本設置中沒有指定作業/節點優先級計算公式,那么所有作業/節點的動態優先級都將為 0,且作業的調度順序和節點的分配順序不可預測,通過指定作業和節點動態優先級以及每種參數的權重等信息實現作業優先級管理。將所有影響因素分為若干組,然后針對每個組計算出一個優先級分量,再對所有組分量求加權和,組分量的計算同樣也采用加權和的方式。每種因素和每個組都可設置不同的權重。權重可以為 0,也可以為正或為負。權重為0時表示忽略相應的因素或組,取正值還是負值則取決于系統管理需要。例如,作業優先級計算公式中,如果給“資源需求”這個組賦予正的權重,那么,資源需求大的作業優先級高。經過重新調整作業優先級公式(如圖2所示),特別針對緊急作業設置了等待時間組權重。通過運用指數函數對等待時間進行精確換算,確保了高動態優先級的作業隊列能夠及時完成,從而有力保障了緊急科研項目的順利運行。這一舉措凸顯了調整優先級公式和設置權重的重要性,同時,指數函數的運用在優化等待時間換算過程中起到了關鍵作用。
(二)資源分配的優化
GeoJSF的資源分配遵循公平性、高效性、靈活性和可擴展性原則。系統確保每個作業都能獲得公平的資源分配,同時根據作業的優先級、計算量和緊急程度等因素進行動態調整,以實現資源的高效利用。但它與傳統作業調度系統區別是實現了與云計算平臺的無縫整合與聯動,從而為用戶帶來了全新的資源管理體驗。通過簡潔直觀的瀏覽器界面,用戶可實時掌握地震勘探數據系統的資源使用情況和10種作業狀態(如圖3所示)。GeoJSF的參數配置實現了圖形化,使操作更加便捷。針對地震資料數據處理項目需求,重新設計了用戶資源組和項目資源組,并實現了動態綁定。這一創新舉措不僅優化了資源配置,更實現了資源共享、數據集中、應用整合和管理統一。通過這種方式,GeoJSF有效地解決了用戶資源浪費和系統瓶頸現象,顯著提高了系統的資源利用率。值得一提的是,云計算平臺在GeoJSF的資源管理和配置中發揮著關鍵作用。通過與云計算平臺的深度融合,GeoJSF能夠充分利用云計算的優勢,實現彈性伸縮、高可用性和強大的擴展能力,為用戶提供更加穩定、高效的地震勘探數據處理服務。
(三)設置項目及作業隊列訪問控制
在項目實施過程中,分析該項目資料處理作業的類型和特點。配置基于優先級和負載均衡的隊列訪問限制規則。通過作業過濾表達式調整項目和作業的資源和隊列分配,提高該項目生產效率。限制規則分為作業類限制規則和節點類限制規則,分別用來對滿足特定條件的作業或節點施加若干限制。對于作業類限制規則,可以針對所有滿足條件的作業集合施加限制,也可以針對每個滿足條件的作業個體施加限制。對于節點類限制規則,只能針對每個滿足條件的節點個體施加限制。不同限制規則之間是“邏輯與”的關系,即如果一個作業或節點匹配了多條相應類別的限制規則,那么這些規則將同時發生作用。如圖4所示,設置了緊急項目“ndp_fangf”在“hw2”集群上運行,并且確保了其他項目無法占用“hw2”集群的資源。這一配置不僅保障了“ndp_fangf”項目的專屬資源,還優化了集群的整體使用效率,從而進一步提升了項目的生產效率。
四、應用效果
通過以上的調整優化,GeoJSF取得了顯著的效果。在資源利用方面,通過動態配置分組綁定資源,實現了資源的高效利用和節約,降低了勘探成本。此外,系統的實時監控與統計分析功能還提供了更全面的作業執行情況和資源利用情況的信息,幫助用戶更好地進行決策和管理。在數據處理效率方面顯著提高勘探數據的處理速度和質量,縮短了勘探周期,提高了勘探效率。以石油勘探地震數據處理流程中的反褶積為例,通過調整調度系統優先級過濾公式,作業運行時間由原來的24小時縮短到52分鐘(如圖5所示)。
五、現存問題和優化建議
在實際應用過程中,GeoJSF也暴露出一些問題。例如,調度算法在智能化方面有待提高,調度參數的設置相對復雜,需要專業人員根據不同勘探項目的需求進行手動設置,這無疑增加了操作難度和出錯的可能性,監控及數據分析功能簡單,系統接口程序穩定性及用戶體驗感方面有待改善。
為了進一步提升GeoJSF在石油勘探資料處理中的性能與效率,提出以下優化建議。
(一)作業調度算法的優化
針對現有算法[4]進行精細化調整,旨在更精確地評估作業的資源需求與優先級,以實現資源分配的最優化,有助于提升系統整體的運行效率,并確保高優先級作業得到優先處理。
(二)增強資源自動配置功能的智能化
通過引入先進的智能算法和技術,提升資源自動配置功能的智能化水平,使其能夠快速、準確地識別和配置所需資源,有效降低了人工干預的頻率,提高系統的自動化程度和穩定性。
(三)實時監控與統計分析功能的升級
對現有的實時監控與統計分析功能進行全面升級,提高數據的準確性和實時性。通過優化數據分析算法和界面設計,使管理者能夠更直觀地了解系統運行狀態和作業進度,為決策提供更有力的支持。
(四)及時更新系統補丁
對用戶使用中發現的功能性問題及時更新和完善系統補丁,保障系統高效可靠運行。
六、結語
本文深入研究了在地震勘探數據“兩寬一高”[5]處理技術持續進步和野外原始數據量激增的背景下,GeoJSF在海量數據處理中所展現出的高效管理與優化能力。經過系統地分析和實踐驗證得出結論:GeoJSF具備高效的作業管理與調度能力。該系統能夠有效地整合石油勘探過程中的各類資源,包括計算資源、存儲資源、數據資源等,實現作業的高效分配與調度,極大地提高了石油地震勘探數據處理的效率,縮短了數據處理周期,為勘探工作提供了有力的技術支撐。同時,GeoJSF在性能優化后表現出色,通過優化及參數配置,實現了作業的智能調度與負載均衡。未來,將繼續深入研究該系統,不斷推動其技術創新和應用拓展,為石油地震勘探數據處理提供更加高效、智能的解決方案。
參考文獻
[1]羅剛,陳繼紅,孫孝萍,等.大規模異構集群地震作業調度與資源管理系統的設計與實現[J].石油地球物理勘探,2017,52(S2):200-205+10.
[2]王小寧,肖海力,曹榮強.面向高性能計算環境的作業優化調度模型的設計與實現[J].計算機工程與科學,2017,39(04):619-626.
[3]孫震宇,石京燕,孫功星,等.大規模異構計算集群的雙層作業調度系統[J].計算機工程,2020,46(01):187-195.
[4]曾理寧,徐成,李仁發,等.一種基于動態需求邊界的混合關鍵級作業調度算法[J].軟件學報,2020,31(11):3657-3670.
[5]汪關妹,周賞,張宏偉,等.“兩寬一高”地震資料的斷層解釋技術[J].石油地球物理勘探,2017,52(S1):77-83+8.
作者單位:新疆油田勘探開發研究院
責任編輯:張津平、尚丹