聚合物驅(qū)注采參數(shù)無梯度優(yōu)化新算法

謝曉慶

（1.海洋石油高效開發(fā)國家重點(diǎn)實(shí)驗(yàn)室，北京100028；2.中海油研究總院有限責(zé)任公司，北京100028）

0 引言

在對(duì)注聚參數(shù)進(jìn)行優(yōu)化設(shè)計(jì)時(shí)，傳統(tǒng)的做法通常是按照各注聚參數(shù)的不同取值設(shè)計(jì)一系列組合方案，然后利用油藏?cái)?shù)值模擬方法對(duì)所有組合方案進(jìn)行篩選［1-3］，但這種做法工作量巨大，需要耗費(fèi)很長時(shí)間［4-6］。油藏生產(chǎn)優(yōu)化經(jīng)歷了開發(fā)方式由簡單到復(fù)雜、控制變量由單一到多元、優(yōu)化解法由梯度算法到無梯度算法的發(fā)展過程，其本身也經(jīng)歷了由單次優(yōu)化到閉合優(yōu)化的轉(zhuǎn)變［7-9］。無梯度優(yōu)化算法［10-12］對(duì)最優(yōu)化算法理論研究很有意義，被應(yīng)用于許多實(shí)際問題的解決，在很多行業(yè)都得到了廣泛應(yīng)用。趙輝等［13-14］、萬琦［15］、張凱等［16］將無梯度算法應(yīng)用于油藏開發(fā)生產(chǎn)優(yōu)化。油藏開發(fā)生產(chǎn)優(yōu)化是通過求解描述油藏生產(chǎn)的最優(yōu)控制模型，優(yōu)化油水井的產(chǎn)出和注入控制參數(shù)［17-18］，使油藏開發(fā)處于最優(yōu)狀態(tài)，該問題屬于復(fù)雜的大系統(tǒng)動(dòng)態(tài)最優(yōu)控制問題，可以用無梯度優(yōu)化算法解決。

針對(duì)有限差分隨機(jī)逼近（FDSA）算法和同時(shí)擾動(dòng)隨機(jī)逼近（SPSA）算法的原理和優(yōu)缺點(diǎn)，提出一種有限差分梯度引導(dǎo)的同時(shí)擾動(dòng)隨機(jī)逼近（SPSA-FDG）算法，并將其應(yīng)用到聚合物驅(qū)注采參數(shù)優(yōu)化中，以期為化學(xué)驅(qū)注采參數(shù)的最優(yōu)控制提供新的思路。

1 聚合物驅(qū)生產(chǎn)優(yōu)化數(shù)學(xué)模型

在實(shí)際生產(chǎn)中，聚合物是分段塞注入的，因此，聚合物驅(qū)最優(yōu)控制即通過最優(yōu)化方法和油藏?cái)?shù)值模擬技術(shù)確定每個(gè)段塞的尺寸和最優(yōu)注入質(zhì)量濃度，以實(shí)現(xiàn)油田開發(fā)效果的最佳化。由于聚合物驅(qū)投資大、風(fēng)險(xiǎn)高，因此，通常采用增量累計(jì)凈現(xiàn)值作為性能指標(biāo)對(duì)該類項(xiàng)目的盈利水平進(jìn)行科學(xué)評(píng)價(jià)，其表達(dá)式為

增量年現(xiàn)金流入量為聚合物驅(qū)相對(duì)于水驅(qū)年增原油產(chǎn)量的銷售收入，增量年現(xiàn)金流出量為聚合物驅(qū)生產(chǎn)過程中的投資、稅費(fèi)以及生產(chǎn)成本。選取聚合物驅(qū)項(xiàng)目的增量累計(jì)凈現(xiàn)值作為最優(yōu)控制的性能指標(biāo)函數(shù)，同時(shí)選取聚合物注入質(zhì)量濃度和段塞尺寸作為聚合物驅(qū)最優(yōu)控制研究的優(yōu)化參數(shù)。在實(shí)際生產(chǎn)中，參數(shù)的選取會(huì)受到注入能力和聚合物價(jià)格的影響，故對(duì)聚合物注入質(zhì)量濃度和段塞尺寸要加以限制，即控制變量要滿足一定的約束條件，而邊界約束是最常見的約束形式［19-21］。結(jié)合最優(yōu)化問題的一般數(shù)學(xué)表達(dá)形式，建立聚合物驅(qū)最優(yōu)控制數(shù)學(xué)模型，即

式中：Qoi為年增油量，t；Po為原油價(jià)格，元/t；α 為原油商品率，%；Qpi為年注聚量，t；Cm為噸油增量操作費(fèi)用，元；Pp為聚合物價(jià)格，元/t；Rs為資源稅，元/t；R為綜合稅率，%；n為區(qū)塊等效井?dāng)?shù)，口；Is為單井增量投資費(fèi)用，元/口；ui為第i個(gè)控制變量；為控制變量ui的上約束；為控制變量ui的下約束；Nu為控制變量數(shù)，個(gè)。

聚合物驅(qū)最優(yōu)控制問題就是在控制變量滿足約束條件的情況下，計(jì)算性能指標(biāo)函數(shù)J的最大值及相應(yīng)的最優(yōu)控制變量u。

2 聚合物驅(qū)無梯度優(yōu)化求解算法

聚合物驅(qū)注采參數(shù)最優(yōu)控制是一類復(fù)雜的大規(guī)模最優(yōu)化問題，目前尚無有效方法計(jì)算聚合物驅(qū)的真實(shí)梯度，因此，采用無梯度優(yōu)化算法求解聚合物驅(qū)最優(yōu)控制模型。有限差分隨機(jī)逼近算法梯度近似程度高、收斂速度快，但每個(gè)迭代步的性能指標(biāo)函數(shù)計(jì)算量正比于控制變量維數(shù)，當(dāng)控制變量維數(shù)較高時(shí)，計(jì)算量非常大。SPSA-FDG算法對(duì)控制變量進(jìn)行同時(shí)擾動(dòng)，每個(gè)迭代步最少僅須計(jì)算一次性能指標(biāo)函數(shù)即可獲得迭代搜索方向，減少了每個(gè)迭代步的計(jì)算量，但同時(shí)該算法計(jì)算的梯度近似精度低，降低了收斂速度［16，22］。

針對(duì)上述問題，提出了一種由有限差分梯度引導(dǎo)的同時(shí)擾動(dòng)隨機(jī)逼近算法，該方法在迭代過程中根據(jù)性能指標(biāo)函數(shù)對(duì)各控制變量的敏感性變化，實(shí)時(shí)調(diào)整各控制變量擾動(dòng)步長的大小比例，以便使各控制變量所引起的性能指標(biāo)函數(shù)改變量近似相等，保證計(jì)算得到的各控制變量SPSA近似梯度大小比例與FDSA算法類似，從而提高收斂速度。

2.1 有限差分隨機(jī)逼近算法原理

基于有限差分隨機(jī)逼近算法，利用中心差分格式可以計(jì)算得到性能指標(biāo)函數(shù)對(duì)控制變量的近似梯度為

2.2 同時(shí)擾動(dòng)隨機(jī)逼近算法原理

同時(shí)擾動(dòng)隨機(jī)逼近算法獨(dú)立于具體的油藏?cái)?shù)值模擬器，而且能夠?qū)λ械膬?yōu)化控制變量進(jìn)行同時(shí)擾動(dòng)優(yōu)化，計(jì)算目標(biāo)函數(shù)對(duì)所有控制變量的近似梯度信息時(shí)僅須進(jìn)行2次油藏?cái)?shù)值模擬計(jì)算，而且計(jì)算次數(shù)不隨控制變量的增加而增多，因此，該方法尤其適合求解控制變量參數(shù)體系復(fù)雜的海上油田化學(xué)驅(qū)生產(chǎn)優(yōu)化問題。

式中：εl為第l個(gè)迭代計(jì)算步Nu維控制變量對(duì)應(yīng)的擾動(dòng)步長對(duì)角矩陣，其中εl，i為第l個(gè)迭代計(jì)算步第i個(gè)控制變量的擾動(dòng)步長為在第l個(gè)迭代計(jì)算步所獲得的最優(yōu)控制變量；Δl為Nu維隨機(jī)擾動(dòng)向量，其中所包含元素Δl，i(i=1，2，…，Nu)為服從參數(shù)為±1的對(duì)稱Bernoulli分布。

在獲得隨機(jī)擾動(dòng)梯度后，便可采用迭代法進(jìn)行優(yōu)化求解，在第l+1迭代計(jì)算步所獲得的控制變量為

式中：αl為迭代步長，為了保證當(dāng)l→∞時(shí)，ulopt能夠收斂到局部最優(yōu)解。

2.3 有限差分梯度引導(dǎo)的同時(shí)擾動(dòng)隨機(jī)逼近算法

由式（2）可知，性能指標(biāo)函數(shù)對(duì)控制變量ui和uj的FDSA近似梯度比值為

假設(shè)SPSA算法中各控制變量采用的擾動(dòng)步長取值與FDSA算法相同，則性能指標(biāo)函數(shù)對(duì)控制變量ui的SPSA近似梯度與FDSA近似梯度之間有如下關(guān)系

由式（7）可知，性能指標(biāo)函數(shù)對(duì)控制變量ui和uj的SPSA近似梯度比值為

若要使性能指標(biāo)函數(shù)對(duì)控制變量ui和uj的SPSA近似梯度大小比例與FDSA近似梯度大小比例相同，則要滿足

由于控制變量擾動(dòng)步長取值為非負(fù)數(shù)，將式（9）帶入式（6）可得，控制變量ui和uj的擾動(dòng)步長應(yīng)滿足

在第l個(gè)迭代計(jì)算步建立SPSA擾動(dòng)步長修正矩陣為

則第l個(gè)迭代計(jì)算步各控制變量的SPSA-FDG近似梯度為

式中：εl，max為根據(jù)能夠取得選取的適當(dāng)擾動(dòng)步長，常數(shù)；Ml，i為第l個(gè)迭代計(jì)算步第i個(gè)控制變量的擾動(dòng)步長修正系數(shù)。

由式（12）可知，當(dāng)采用SPSA-FDG算法時(shí)，如果每個(gè)迭代計(jì)算步都進(jìn)行擾動(dòng)步長修正，則類似于FDSA算法；如果從不進(jìn)行擾動(dòng)步長修正，則為SPSA算法。由此可見，SPSA-FDG算法是該類算法中相對(duì)一般的算法，F(xiàn)DSA算法和SPSA算法則為該類算法的2個(gè)特例。

3 聚合物驅(qū)生產(chǎn)優(yōu)化應(yīng)用實(shí)例

基于CMG油藏?cái)?shù)值模擬軟件建立了油藏?cái)?shù)值模擬模型，再利用SPSA-FDG算法開展了聚合物驅(qū)最優(yōu)控制研究，并將其優(yōu)化結(jié)果與FDSA算法和SPSA算法的優(yōu)化結(jié)果進(jìn)行了對(duì)比。

所建油藏?cái)?shù)值模擬模型劃分為7個(gè)模擬層（圖1），采用五點(diǎn)法井網(wǎng)，共包括4口注入井和9口生產(chǎn)井。各注采井組縱向非均質(zhì)性差異大，其中INJ-1井和INJ-3井所在井組縱向非均質(zhì)性弱，變異系數(shù)為0.18，INJ-2井和INJ-4井所在井組縱向非均質(zhì)性強(qiáng)，變異系數(shù)為0.86。油藏的平均滲透率為1 500 mD，地下原油黏度為60 mPa·s，孔隙體積為116.89萬m3，聚合物溶液的殘余阻力系數(shù)為1.8，可及孔隙體積為0.82，最大吸附體積質(zhì)量為0.3 kg/m3。

圖1 油藏?cái)?shù)值模擬模型Fig.1 Reservoir numerical simulation model

聚合物驅(qū)過程采用四段塞的注入方式，包括前置段塞、主段塞、副主段塞和后置段塞，本次聚合物驅(qū)最優(yōu)控制研究即通過最優(yōu)化方法確定每口井每個(gè)段塞的最佳注入質(zhì)量濃度和段塞尺寸，共包括32個(gè)控制變量。在優(yōu)化過程中，對(duì)各控制變量僅考慮邊界約束條件，其中注入質(zhì)量濃度考慮礦場聚合物驅(qū)實(shí)踐經(jīng)驗(yàn)和聚合物實(shí)際注入能力，上、下邊界分別設(shè)置為0 mg/L和2 300 mg/L，各階段段塞尺寸上、下邊界分別設(shè)置為0 PV和0.1 PV。

分別采用FDSA，SPSA和SPSA-FDG等3種算法求解聚合物驅(qū)最優(yōu)控制問題，均基于相同的初始估計(jì)。4口注聚井的初始狀態(tài)估計(jì)相同，其中前置段塞質(zhì)量濃度和尺寸分別為1 700 mg/L和0.012 5 PV；主段塞質(zhì)量濃度和尺寸分別為1 400 mg/L和0.037 5 PV；副主段塞質(zhì)量濃度和尺寸分別為1 200 mg/L和0.037 5 PV；后置段塞質(zhì)量濃度和尺寸分別為1 000 mg/L和0.012 5 PV。對(duì)于SPSA-FDG算法，當(dāng)基本SPSA算法進(jìn)行到第13，30，50次迭代計(jì)算時(shí)，分別引入FDG梯度對(duì)擾動(dòng)步長進(jìn)行修正。

從各優(yōu)化方法在不同迭代次數(shù)或數(shù)值模擬次數(shù)下的凈現(xiàn)值變化（圖2、表1）可以看出，優(yōu)化后最終凈現(xiàn)值均顯著增加。雖然SPSA-FDG算法梯度估計(jì)精度沒有FDSA算法高，但卻高于SPSA算法，同時(shí)又保留了SPSA算法每次迭代僅須進(jìn)行2次油藏?cái)?shù)值模擬計(jì)算的優(yōu)點(diǎn)，因此，在達(dá)到收斂時(shí)僅須進(jìn)行248次油藏?cái)?shù)值模擬計(jì)算，是3種方法中總體上計(jì)算量最小的，且收斂到的凈現(xiàn)值也略高于其他2種方法。綜上所述，SPSA-FDG算法收斂性要好于FDSA算法和SPSA算法，而且易于和任何油藏?cái)?shù)值模擬器相結(jié)合，能夠用來求解聚合物驅(qū)最優(yōu)控制問題。

圖2 各優(yōu)化方法不同迭代次數(shù)（a）或不同數(shù)值模擬次數(shù)（b）下的凈現(xiàn)值變化Fig.2 Net present value of under different iterative times（a）or different numerical simulation times（b）for each optimization method

表1 優(yōu)化方法收斂性對(duì)比Table1 Convergencecomparison of each optimization method

圖3為利用SPSA-FDG算法優(yōu)化后的聚合物驅(qū)調(diào)控圖。從圖3可以看出，各注入井聚合物驅(qū)前置段塞聚合物質(zhì)量濃度最高，用量中等，主要起到前緣調(diào)剖作用；主段塞及副主段塞聚合物質(zhì)量濃度較高，用量最多，是聚合物驅(qū)改善油水流度比、降水增油的關(guān)鍵部分；后置段塞為流度保護(hù)段塞，聚合物質(zhì)量濃度最低，用量最少，主要是為了防止后續(xù)水驅(qū)指進(jìn)破壞主段塞而影響開發(fā)效果。

圖3 利用SPSA-FDG算法優(yōu)化后的聚合物驅(qū)調(diào)控圖Fig.3 Polymer flooding control diagram after SPSA-FDG algorithm optimization

對(duì)利用各種優(yōu)化算法計(jì)算得到的各注入井聚合物配注量優(yōu)化結(jié)果（表2）進(jìn)行分析可知，在聚合物注入總量一定的情況下，注入井所在井組非均質(zhì)性強(qiáng)，聚合物配注量大；相反，若注入井所在井組非均質(zhì)性弱，則聚合物配注量小。為了進(jìn)一步討論各單井聚合物優(yōu)化配注對(duì)聚合物驅(qū)總體開發(fā)效果的影響，設(shè)計(jì)了各單井均勻注聚方案。均勻注聚方案的聚合物注入總量與SPSA-FDG算法優(yōu)化結(jié)果相同，為1 123 PV·mg/L，采用單段塞方式注入，段塞尺寸取SPSA-FDG算法優(yōu)化得到的各單井段塞尺寸的平均值，即0.652 PV，則聚合物注入質(zhì)量濃度為1 722.4 mg/L。

表2 各注入井聚合物配注量優(yōu)化結(jié)果Table 2 Optimization results of polymer injection of each injection well

圖4為分別采用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計(jì)算得到的油藏含水率及累積采出程度變化曲線。從圖4可看出，采用由SPSAFDG算法計(jì)算得到的優(yōu)化方案使開發(fā)效果得到明顯改善。這主要是因?yàn)榻?jīng)SPSA-FDG算法優(yōu)化后，位于強(qiáng)非均質(zhì)性井組的注入井聚合物配注量增大，且由于聚合物驅(qū)提高采收率幅度隨著油藏非均質(zhì)性的增強(qiáng)呈上升趨勢，因此，非均質(zhì)性較強(qiáng)的井組因聚合物配注量增大而增加的產(chǎn)油量大于非均質(zhì)性較弱的井組因相同聚合物配注量減小而減少的產(chǎn)油量，從而使得油藏總體采出程度得到提高。

圖4 含水率及累積采出程度變化曲線Fig.4 Curves of water cut and cumulative degreeof recovery

圖5 油藏剩余油飽和度分布Fig.5 Residual oil saturation distribution in reservoir

圖5 為分別利用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計(jì)算得到的第4層油藏模型剩余油飽和度分布。從圖5可以看出，采用由SPSAFDG算法計(jì)算得到的優(yōu)化方案進(jìn)行聚合物驅(qū)開發(fā)時(shí)，在聚合物注入總量一定的情況下，油藏波及系數(shù)增大，強(qiáng)非均質(zhì)性井組的剩余油飽和度明顯降低，弱非均質(zhì)性井組的剩余油飽和度變化不大，油藏剩余油分布更加均勻。這是由于重力作用和油層的正韻律性使得注入水向油層下部高滲層段竄流，以致隨著縱向變異系數(shù)增大而產(chǎn)生暴性水淹，導(dǎo)致水驅(qū)采收率急劇下降。

另外，對(duì)采用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計(jì)算得到的凈現(xiàn)值隨開發(fā)時(shí)間變化的關(guān)系曲線進(jìn)行對(duì)比和分析發(fā)現(xiàn)，在聚合物注入總量一定的情況下，采用SPSA-FDG算法優(yōu)化注聚方案，經(jīng)濟(jì)凈現(xiàn)值比均勻注聚方案提高了11.64%，且投資回收期比均勻注聚方案縮短。

4 結(jié)論

（1）本文提出的由有限差分梯度引導(dǎo)的同時(shí)擾動(dòng)隨機(jī)逼近（SPSA-FDG）算法與有限差分隨機(jī)逼近（FDSA）算法相比，數(shù)值模擬次數(shù)可以減少一半以上，與同時(shí)擾動(dòng)隨機(jī)逼近（SPSA）算法相比，迭代次數(shù)可以減少一半以上。

（2）注入井聚合物驅(qū)前置段塞聚合物質(zhì)量濃度最高，用量中等，主要起到前緣調(diào)剖作用；主段塞及副主段塞聚合物質(zhì)量濃度較高，用量最多，是聚合物驅(qū)改善油水流度比、降水增油的關(guān)鍵部分；后置段塞為流度保護(hù)段塞，聚合物質(zhì)量濃度最低，用量最少，主要是為了防止后續(xù)水驅(qū)指進(jìn)破壞主段塞而影響開發(fā)效果。

（3）與均勻注聚方案對(duì)比發(fā)現(xiàn)，采用SPSA-FDG算法計(jì)算得到的優(yōu)化方案，聚合物驅(qū)見效時(shí)間提前，含水下降漏斗加深，累積采出程度提高，油藏總體開發(fā)效果更好。

（4）SPSA-FDG算法能夠解決海上油田聚合物驅(qū)開發(fā)階段的注采最優(yōu)控制問題，可以最大限度地提高聚合物驅(qū)開發(fā)階段的經(jīng)濟(jì)效益，從而改善海上油田不同開發(fā)階段開發(fā)方式組合模式的總體開發(fā)效果。

致謝：在項(xiàng)目完成過程中，中海油研究總院教授級(jí)高級(jí)工程師康曉東和中國石油大學(xué)（華東）侯健教授、杜慶軍老師均給予了幫助，在此表示感謝！