基于強化學習的煤層氣井螺桿泵排采參數智能決策

檀朝東 蔡振華 鄧涵文 劉世界 秦鵬 王一兵 宋文容

1.中國石油大學(北京)；2.中海油能源發展股份有限公司工程技術分公司；3.新疆中泰集團有限公司；4.北京雅丹石油技術開發有限公司

煤層氣開采是通過持續排出煤層(或是侵入煤層)中的水，降低儲層壓力，使儲層壓力降低至甲烷的解吸壓力后，吸附在煤基質孔隙中的甲烷氣體解吸，經過擴散、滲流進入井筒中［1］。因此，煤層氣井排采要以井底流壓控制為核心，實現流壓平穩下降。流壓精細控制的主要目的是防止由于管理不善導致儲層煤粉傷害、速敏傷害或應力敏感性傷害，保持煤儲層滲透率，使壓降漏斗有效擴展［2］。在20世紀80年代中期，螺桿泵在美國首次用于煤層氣排采，并取得了良好效果。90年代中期，澳大利亞昆士蘭進行首次螺桿泵試驗［3］。螺桿泵用于煤層氣開采比其他人工舉升方式具有更多優勢：處理大量生產固體的能力、本身不會發生氣鎖、相對較高的系統效率等。由于螺桿泵有較高排水和處理煤粉的能力，其在中國的煤層氣開采中也有較廣的應用，如鄂爾多斯盆地韓城區塊有14%的井應用了螺桿泵，沁水盆地樊莊區塊有44口水平井應用了螺桿泵進行排采［4］。因此研究螺桿泵的排采機理，優化螺桿泵排采參數，對中國煤層氣井提高單井產量具有重要意義。

目前調整煤層氣井排采參數需要地質技術人員憑經驗對生產狀況進行動態分析，不定時進行人工現場調參，這種方法依賴于工程師的經驗知識，并受時間、地理位置及氣候的影響。機器學習可以預測煤層氣螺桿泵的運行壽命和優化運行參數，典型的機器學習(ML)算法需要數百萬個數據點才能成功發現和預測煤層氣螺桿泵排采優化模式［5］。但如果環境發生變化，不能迅速做出調整會使儲層受到不同程度的傷害，使解吸過程受到阻礙，排采效果降低。并且由于環境問題的多變和復雜，建立好的控制模型隨時面臨變化，經常需要進行更改以適應新環境，不符合智能控制的根本需求。

針對以上問題，應用機器學習中的強化學習方法，通過控制螺桿泵的轉速，建立煤層氣某生產周期內產氣量最大的強化學習模型。該方法通過與環境的交互式學習，對動態環境進行靈活的獎懲，實現智能體在復雜環境下智能決策和參數優化，在煤層氣井螺桿泵排采參數優化控制問題上具有實時調整參數設置、自適應環境變化和無需大數據進行訓練的優勢。該方法能提高螺桿泵排采效率，使煤層氣井按照生產規律長期、連續、高效地進行開采,并提高整體開發效果和經濟效益。

1 煤層氣井螺桿泵排采強化學習模型框架

從優化控制角度，利用套壓、動液面、井底流壓、產水量、產氣量的耦合關系，通過優化變頻器的頻率來調整它們之間的關系以得到一個合理的生產壓差，實現煤層氣井高產穩產的目標。

1.1 強化學習原理

強化學習的基本過程是一個馬爾科夫決策過程，馬爾科夫決策過程可以用狀態(State)、動作(Action)、狀態轉移概率(Possibility)、狀態轉移獎勵或回報(Reward)構成的四元組{s，a，p，r}表示［6］。對于離散時間MDP，狀態和動作的集合稱為狀態空間(State Space)和動作空間(Action Space)，分別用S和A表示，si∈S,ai∈A。根據第t步選擇的行動，狀態根據概率 P(st+1,st,at)從st轉移到st+1，在狀態轉移的同時,決策主體得到1個即時獎勵 R(st+1,st,at)；其中，st為t時刻的狀態，at為t時刻的動作。該過程結束時的累積獎勵(Reward)為

式中，Rt為時間t內累積的獎勵；γ為折扣因子(discount factor)，取值范圍在0~1之間，用于削減遠期決策對應的獎勵權重。決策的最終目標是在抵達目標狀態的同時實現累積獎勵最大化。

近年來，強化學習算法由于決策能力強、環境適應度高，被較多學者用于工業自動化領域［7］。采用Q學習等算法，可有效實現控制策略的在線學習和動態優化決策，實現信息共享、交互協作，可追蹤、協調自身行為，動作自尋優等［8-10］。

1.2 煤層氣井螺桿泵排采的強化學習模型框架

控制合理的生產壓差是煤層氣井排采控制的重要因素之一。煤層氣井的生產壓差與套壓、動液面、產氣速率、產水速率等參數緊密相關。如圖1所示，通過改變變頻器的頻率可以調整螺桿泵轉速進而改變產水速率，從而控制動液面高度；調節氣油嘴大小可以改變產氣速率進而改變套壓的大小，動液面和套壓最終決定著井底流壓的大小。

螺桿泵排采的強化學習模型架構如圖2所示。狀態st(state)是指煤層氣井螺桿泵排采系統的排采參數(如動液面高度、套壓、電參數)、產氣量、產水量、井底流壓等，在此次簡化模型中只考慮產氣量，在圖中用RTU 數據采集裝置表示；智能體(agent)可以理解為“神經中樞”，不僅能夠感知當前狀態以及在先前狀態選擇的動作效果，還具有調節頻率以及和環境交互的能力，智能體負責做出決策，如增大頻率、保持頻率不變、減小頻率等，即為模型中的動作at(actions)；變頻器在接收到智能體的動作信號后會及時調頻，反映在螺桿泵上就是使其轉速增大、減小或不變，在做出動作之后會得到環境的反饋，這里的環境是指包括儲層在內的整個排采系統；環境的功能是輸出執行動作后系統的狀態以及該動作產生的效果，比如頻率增大會使日產氣量增大，頻率減小會減緩儲層能量的衰減速度等，這些反饋數值量化之后，就是模型中的獎勵(rewards)。以上4個要素構成了煤層氣井螺桿泵排采系統的基本框架。

2 螺桿泵排采參數優化的強化學習模型

2.1 動作集

煤層氣井螺桿泵排采過程的主要控制量包括動液面和套壓，這2個量與電機頻率和油嘴的大小直接相關。由于在現場油嘴大小的改變不像變頻器一樣實時調整，因此研究只對單井的變頻器建模。設系統中一共有n口煤層氣井，控制動作設置為n維的列向量，其中第0 維到第n?1維的特征量分別井1到井n的變頻器頻率控制v1，v2，…，vn，即動作空間為

按照智能系統的調控方式，規定變頻器的動作特征量為(i =1,2,···,n)

每當智能體給1口井的變頻器1個反饋(1，0或?1)，則該井的變頻器會在原來的頻率上增加、不變、減少?v赫茲，則其中?v大小的設置應根據實際運行情況確定。參數過小會導致收斂速度緩慢，參數過大則會導致系統運行不穩、無法收斂等問題。

2.2 狀態集

該模型主要基于煤層氣產能最大化的目標，因此需要選擇與產量直接相關的屬性作為狀態空間，其中包括每口單井的產氣量q1，q2，…，qn。因此，煤層氣井螺桿泵排采系統的運行狀態量是一個n維的列向量，則狀態空間為

2.3 動作選擇策略

在與環境交互的初始階段，智能體對系統沒有清晰的認識，也不知道如何表現才能使獎勵最大化。因此，它應該在最初的回合中探索環境以獲得所需的知識和經驗，在訓練的最后回合，智能體有足夠的經驗去利用所獲得的知識。任何行動選擇策略都應該提供這種探索/利用權衡的特性。

2.3.1 玻爾茲曼分布(Boltzmann Distribution)策略

式中，p(at|st)為智能體在狀態st采用動作at的概率；Q(st,at)為 動作狀態的價值；A(st)′是狀態st下可做動作A(st)的一個子集，根據先前狀態st?1中選擇的動作at?1而確定。

該策略的含義是，動作值函數大的動作被選中的概率大，動作值函數小的動作被選中的概率小。在實際應用中，將任何一系列輸入動作應用于系統是不實際的，因此輸入值的推導應受到限制。因此，狀態st中選擇的動作，應位于動作at?1的附近，由集合A(st)′表示；而不是來自A(st)的任何動作。這里，利用溫度系數τ(τ>0)控制探索/利用特征。高溫導致更多的探索，動作選擇更加隨機。低溫導致更多的利用，動作選擇更加貪婪。也就是說低的溫度系數會使智能體選擇價值最高或相應獎勵最高的動作。此外，在每個回合的學習過程中，溫度系數都會按照以下更新規則進行更新。

式中，ζ為學習率，取值范圍在0~1之間，決定了智能體從環境探索到獲取經驗知識進行利用的速率。

在學習過程結束時，策略是完全貪婪的，在每個狀態下，智能體會選擇狀態-動作價值最高的動作。參數ζ決定了從環境探索到獲取經驗知識進行利用的過渡階段。ζ應以一種柔和的方式進行調整，使智能體在學習過程中有足夠的探索/利用的時間。

2.3.2ε-greedy 貪婪策略

式中，ε為貪婪因子，取值范圍在0~1之間，決定了模型隨機選擇一個動作來獲取獎勵的概率；argmaxQ(s,a)為在狀態s下價值最大的動作。

該策略的含義是，智能體在采取動作的時候，會有1?ε的概率選擇使得Q值最大的動作，隨著訓練時間變長，ε的值逐漸減小，在后期智能體選擇最大Q值對應的動作會增大。這種策略使模型將會有一定概率隨機選擇1個動作來獲取獎勵，保證模型更新的可行性。ε-greedy 是強化學習中最常見的隨機策略，研究將采用ε-greedy 作為動作選擇策略。

2.4 獎勵

煤層氣螺桿泵排采系統在一定的排采運行狀態下會對不同的動作產生反饋，這種反饋體現在對系統的獎勵或者懲罰上。系統的最終目標是通過對動作決策的優化，達到最大化獎勵的目的，實現最優化控制的效果，而獎勵的規則應使其最大值與主要問題的優化等價。

設定獎勵值R為控制動作a和煤層氣螺桿泵排采運行狀態s的函數為

式中，R(a,s)為控制動作a和煤層氣螺桿泵排采運行狀態s的函數。在每個回合的開始，將隨機產生一系列的狀態值si=1，si=2，…，si=n；每當走到i=n個時間步時，將環境產生的狀態值si=n'相同時間步長的隨機狀態序列的值進行對比，如果si=n'大于si=n，則智能體會給出一個正向的獎勵，R(a,s)=1；如果si=n'等于si=n，智能體給出的反饋是不獎勵也不懲罰；如果si=n'小于si=n，則R(a,s)=?1。獎勵值的設定不是既定的，可以根據實際問題進行調整。如果獎勵函數的設定不合理，則會導致模型不收斂等問題。

2.5 更新規則

不同強化學習方法主要根據不同的更新規則來區分，這些更新規則影響學習率、收斂率、穩定性和最優獲得獎勵等特性。例如，雖然大多數經典學習方法，如蒙特卡羅或時間差被認為是獎勵平均方法，但不同方法的平均過程中存在的差異會導致不同的特征以及不同的計算復雜度［11］。

采用Sarsa 機制進行更新。與Q學習相比，Sarsa機制無須對新狀態的動作價值函數(即Q值)做最大評估，而是直接利用當前選擇的策略執行，更適用于煤層氣螺桿泵排采的運作特征，具備較好的收斂性和反饋效果。設Q(s,a)是智能系統在狀態s下采用控制動作a的價值，Q0(s,a)為先前價值，Qn(s,a)為更新后的價值，Sarsa 采用的更新機制為

式中，Q0(s,a)為先前價值；Qr(s,a)為現實價值，即執行動作后的環境反饋；α為學習速率(learning rate)，取值范圍在0~1之間，決定了Q表更新的速率。

假設系統在狀態s1執行了控制動作a1，智能系統狀態由此轉移到狀態s2，之后系統執行動作a2，而現實價值Qr(s1,a1)是 獎懲值R(s1,a1)和先前價值Q0(s2,a2)的疊加作用為

其中，γ表示狀態s1采用控制動作a1的價值與下一狀態和動作(s2,a2)的關聯性衰減了。可以看出，系統每次執行控制動作，都可以對上一個狀態下的執行動作進行價值的更新。

3 煤層氣井螺桿泵排采的強化學習算法

3.1 Q 學習

Q學習是一種經典的基于價值的強化學習算法，Q即Q(s,a)，指的是動作效用函數(action-utility function)，用來評價特定狀態下采取某個動作的優劣，即為智能體在某一時刻的s狀態下采取動作a能夠獲得的“分數”。算法的主要思想就是將狀態與動作構建成一張Q表來存儲Q值(表1)。對于不同的狀態而言，采取不同動作會得到不同的結果，記錄某個狀態和動作二元組的分數能夠讓智能體在無數次試驗和錯誤后記住當前的最優決策，即最大Q值的決策。訓練到一定程度后，智能體會根據Q值來選取能夠獲得最大收益的動作。

表1 Q 表框架Table 1 Framework of Q meter

Q值的更新公式為

式中， maxQ(s′,a′)為在狀態s′下的最大價值。α學習速率越高，意味著保留過去記憶的程度越低；γ折扣因子越大，意味著m axQ(s′,a′)對結果的影響越大。

該公式的含義：智能體在狀態s下執行動作a后轉移到狀態s′,然后從狀態s′中選取最大的Q(s′,a′)乘以折扣因子γ加上獲得的獎勵，并將它作為Q現實，而根據過往Q表里面的Q(s,a)作為Q估計，而新的Q(s,a)就等于Q現實與Q估計的差值乘以學習率α再加上Q估計。綜上可得煤層氣井螺桿泵排采的Q學習算法流程如下。

(1) 初始化Q={}；

(2)While Q未收斂；

(3) 在螺桿泵變頻器頻率調節的閾值里隨機選擇一個頻率，并將該頻率下對應的產氣量作為初始狀態s，然后進行新一輪控制；

(4)While s!=控制結束/系統損壞；

(5) 使用基于ε-greedy 的策略π，獲得調頻動作a=π(s)；

(6) 使用調頻動作a進行控制，獲得系統的新狀態s′，與獎勵R(s,a)；

(7) 更新Q，Q(s,a)←Q(s,a)+α[R(s,a)+γmaxa′Q(s′,a′)?Q(s,a)]；

(8) 更新s，s←s′。

3.2 Sarsa 和Sarsa(lambda)

Sarsa 算法在Q學習的基礎上進行了改進，是相較于Q學習而言更為保守一種算法，Q學習和Sarsa 分別屬于離線學習(off-policy)和在線學習(on-policy)的范圍。在線學習是根據每一步決策進行優化，類似于說到做到的效果，而離線學習可以從過去的經驗和他人的決策中進行學習，不完全依賴于實時反饋的更新，所以兩者產生的效果也不同。

Sarsa 的更新Q表的公式為

鬼子軍官說聲有戲。揮手讓一個站著的鬼子端來把椅子，然后以手拄刀坐了，一邊用手在刀把打著拍子，一邊盯著汪處長幾個說，你們的什么的干活，自己說了的有。

煤層氣井螺桿泵排采的Sarsa 算法流程如下。

(1)初始化Q={}；

(2)While Q未收斂；

(3) 在螺桿泵變頻器頻率調節的閾值里隨機選擇一個頻率，并將該頻率下對應的產氣量作為初始狀態s，然后進行新一輪控制；

(4) 使用基于ε-greedy 的策略π，獲得智能體調頻動作a=π(s)；

(5)While s!=控制結束/系統損壞；

(6)使用調頻動作a進行控制，獲得系統的新狀態s′，與獎勵R(s,a)；(7) 使用基于ε-greedy 的策略π，獲得動作a′=π(s′)；(8)更新Q，Q(s,a)←Q(s,a)+α[R(s,a)+γQ(s′,a′)?Q(s,a)]；

可以看出Sarsa 的整個循環都在一個路徑上，取行動a后在s′估算的動作也是接下來一定執行的動作。而Q學習只會在s′觀察接下來的動作哪個獎勵最大，其實智能體的下個一個狀態-動作在算法更新時是不確定的。在實際中，如果比較在乎機器的損害，使用保守的Sarsa 算法在訓練時能減少損壞的次數。而Sarsa(lambda)算法與Sarsa 的不同則是它增加了矩陣E來保存在路徑中所經歷的每一步，引入λ來控制衰減幅度。煤層氣井螺桿泵的Sarsa(lambda)算法流程如下。

(1) 初始化Q={}；

(2)While Q未收斂；

(3) 初始化E={}；

(4) 在螺桿泵變頻器頻率調節的閾值里隨機選擇一個頻率，并將該頻率下對應的產氣量作為初始狀態s，然后進行新一輪控制；

(5) 使用基于ε-greedy 的策略π，獲得調頻動作

a=π(s)；

(6)While s!=結束；

(7) 使用調頻動作a進行控制，獲得系統的新狀態s′，與獎勵R(s,a)；

(8) 使用基于ε-greedy 的策略π，獲得動作a′=π(s′)；

(9) 更新δ，δ ←R(s,a)+γ[Q(s′,a′)?Q(s,a)]；

(10)更新E，E(s,a)←E(s,a)+1；

(11)對所有的s和a，更新Q和E；

(12)更新Q，Q(s,a)←Q(s,a)+αδE(s,a)；

(13)更新E，E(s,a)←γλE(s,a)；

(14)更新s和a，s←s′；a←a′。

其中，δ是中間變量，用來暫時存放Q現實和Q估計的差值；E(s,a)為關于s,a的矩陣，用于保存在路徑中所經歷的每一步，應用于Sarsa(lamda)算法中；λ為衰減系數，取值范圍在0~1之間，用于控制衰減幅度，應用于Sarsa(lamda)算法中。該算法使狀態優化變得平滑，越靠近獎勵的步驟越重要。這種改變使得智能體能夠更加快速有效地學習到最優策略。

4 煤層氣井排采的強化學習模型實驗分析

為驗證煤層氣井螺桿泵排采強化學習模型的可操作性，開展了編程和計算分析研究。實驗不直接對煤層氣的地層環境建模，而是通過產氣量的變化間接反映出儲層能量的變化規律。已知煤層氣產氣量的變化是一個先增加后減小、維持最大產氣量生產時間較短的過程，將依照此規律構建一個隨機環境。由于本文通過最簡單的強化學習思路來初步塑造煤層氣排采參數優化的結構，為了避免內部計算的復雜性，以單井為研究對象，只考慮變頻器的動作而不考慮氣嘴調節閥的動作，產氣量和生產周期的設定都被簡化，其值的大小只為了反映其變化趨勢。

4.1 實驗準備

(1) 先令生產周期T=365，時間步長?t=1，則T=[1,2,3,···,365]。令產氣量Q和T的關系滿足Q=?k(x?a)2+b這樣一種二次函數的關系，其中k,a,b等 3個系數的設定應使Q在T∈[1,160]恒定大于0。通過增加噪聲，使曲線的走向由平滑變成震蕩，使之更符合實際的變化趨勢。通過python 編程，可以得到產氣量和時間的變化趨勢，如圖3 所示。

圖3 Q 和T 的變化趨勢Fig.3 Change trend of Q and T

(2) 引入高斯函數，令每個T對應的Q為均值，隨機產生符合正太分布的n個數值，即當T1=1，令μ=Q1，δ=1，如圖4所示。

圖4以Q 為均值的正態分布Fig.4 Normal distribution with Q as the mean value

(3)實驗中令n=33，于是便產生了n×T個產氣量值。至此可以將環境構建成一個33×160的表格，每一列表示以Qn為均值產生的33個正態分布隨機數，以從小到大的順序放入格子，如圖5所示。

圖5格子環境Fig.5 Lattice environment

(4)每次智能體執行使螺桿泵頻率增大的動作后，環境反饋給智能體的狀態落在產氣量較大區間的概率更大，但是該動作也會增大地層能量的衰竭速率，因此引入一個衰減系數β，使智能體不會一直選擇使螺桿泵頻率增大的動作。衰減系數β取值范圍在0~1之間，使智能體不會一直選擇使螺桿泵頻率增大的動作不同的動作對應的β值不同，實驗的狀態空間a=[?1,0,1],β的取值應滿足 βa=?1<βa=0<βa=1。因此Q表更新公式變為

4.2 實驗結果分析

實驗開始時，令貪婪因子ε=0.1，使智能體每次選擇動作時，有90%的概率會選擇Q值最大的動作，10%的概率會隨機探索。令?t=1，即智能體每次從動作空間選出一個動作，則變頻器的頻率會相應的增加或減少1 Hz，或者保持原來的頻率不變。設變頻器的初始頻率為75 Hz，閾值為[60, 90]。經編程運行，基于Q學習的煤層氣螺桿泵優化控制模型的訓練獎勵值變化如圖6所示，其累積產氣量隨訓練輪數的變化曲線圖7所示。

圖6 RL 模型獎勵值變化曲線Fig.6 Reward of RL model

圖7產氣量變化曲線Fig.7 Gas production rate

圖6、圖7的橫軸表示總的訓練回合數，實驗一共訓練了500回合，縱坐標表示每一個回合累積的獎勵值。從圖中可以看出當訓練到400回合左右的時候，智能體已經學會了一系列控制動作，使得目標值達到最大。這也證明了基于Q學習強化學習模型在狀態空間較小的情況下可以較好的收斂。獎勵值變化曲線呈現一種震蕩的效果是因為，始終保持了一定的探索/利用概率。

為了具體反映智能體的學習過程，實驗做出了智能體動作選擇曲線以及相應變頻器頻率變化的曲線。如圖8所示，出當智能體進行400回合的學習后，智能體已經學到了如何選擇動作使得總產氣量最大，此時累積獎勵基本穩定。如圖9所示，該圖反映了智能體還在進行學習，Q表在構建過程中，很多動作—狀態的值還未被探索或更新，獎勵值還在增大。

圖8第100回合的學習曲線Fig.8 Learning curve of the 100th round

圖9第400回合的學習曲線Fig.9 Learning curve of the 400th round

5 結論

(1) 基于強化學習的煤層氣排采優化控制方法，通過自動優化變頻器的頻率來調整排采參數之間的關系可以得到一個合理的生產壓差，實現煤層氣井高產穩產的目標，解決了傳統方法不能根據環境變化迅速做出調整而降低排采效果的問題。

(2)采用強化學習模型框架和Q學習、Sarsa、Sarsa(lambda)等算法,可有效開展煤層氣螺桿泵排采控制策略的在線學習和動態優化決策，實現信息共享、交互協作，可追蹤協調自身行為，動作自尋優。實驗分析表明，應用Q學習模型可快速得到指定產氣量變化曲線的螺桿泵排采變頻控制的策略。

(3) 強化學習目前仍處于興起階段，屬于人工智能的新興研究領域，在石油工程領域擁有廣闊的發展空間和美好的應用前景。在后繼模型框架設計時，可以考慮結合基于大數據的神經網絡深度學習算法。通過多智能體框架可以增加模型復雜度，優化控制動作，增加狀態空間，優化獎勵設計機制，使排采控制更加智能、快捷、精準。