中文題目：基于符號回歸和鉆井感知的實時優化多目標強化學習框架

論文題目：A multi-objective reinforcement learning framework for real-time drilling optimization based on symbolic regression and perception

錄用期刊/會議：Geoenergy Science and Engineering (中科院大類2區)

原文DOI：https://doi.org/10.1016/j.geoen.2024.213392

原文鏈接：https://www.sciencedirect.com/science/article/pii/S2949891024007620?via%3Dihub

錄用/見刊時間：2024年10月21日

作者列表：

1） 宋澤華 中國石油大學（北京）人工智能學院 人工智能 碩22

2） 宋   宇 中國石油大學（北京）人工智能學院 自動化系 教師

3） 楊   進 中國石油大學（北京）安全與海洋工程學院 海洋油氣工程系 教師

4） 劉寶生 中海石油（中國）有限公司天津分公司

5） 高炳震 中國石油大學（北京）安全與海洋工程學院 海洋油氣工程 碩22

6） 湯繼周 同濟大學海洋與地球科學學院 地球物理系 教師

摘要:

本文提出了一個多目標鉆井參數優化框架，結合符號回歸、時間序列網絡和馬爾可夫決策過程，以精確預測鉆進速度、地層條件，并實時優化鉆井參數。包括用于構建經驗方程的多群體進化符號回歸算法、用于數據預處理的變分模態分解和樣本熵的集成，以及用于提高預測準確性的多頭自注意力時間序列網絡。分位數回歸進一步估計鉆取參數調整的范圍。此外，還開發了一種鉆井參數優化深度確定性策略梯度算法來自動進行實時參數調整。對南海樂東10-1 區塊的實證分析表明，鉆井速度顯著改善：ROP 從 54.18 m/hr 增加到 122.17 m/hr，機械比能從 100.82 MPa 下降到 97.78 MPa，每英尺成本從 121.16 × 102 CNY /m 降低到 51.31 × 102 CNY/m。

背景與動機:

在全球能源轉型的背景下，優化深水油氣鉆井參數對確保安全和提高效率至關重要。傳統的鉆速經驗方程基于簡化的物理假設，無法全面描述復雜的鉆井過程。盡管神經網絡模型能夠捕獲復雜的非線性關系，但其不透明性限制了模型的可解釋性和泛化能力。此外，僅依賴隨鉆測井參數進行鉆井參數優化存在固有局限性。數據獲取通常在鉆井活動發生后，導致實時參數調整無法達到預期效果。這些方法未充分考慮鉆井作業中的滯后效應，亦未能動態適應不同鉆進階段的需求。鉆井過程中的多目標優化還面臨地質環境復雜性和不確定性的挑戰，使得優化問題高度動態且非線性。傳統算法難以及時響應地層變化，實時調整鉆井參數，導致計算效率低下和響應能力不足。這使得同時實現提高鉆速與優化能耗等多個目標變得具有挑戰性。

設計與實現:

 

圖1 工作流程

設計多進化符號回歸 （MESR-DS）算法旨在鉆井過程中構建鉆速方程，以最佳方式映射鉆井、泥漿錄井和隨鉆測井參數之間的復雜關系，提供對鉆井動態特性和各種參數之間相互作用的量化。

 

圖2 不同 ROP 預測模型對訓練井和鄰井性能對比

圖 2 比較了 FCNN 模型與兩種ROP 方程在訓練井和鄰井中的性能。結果顯示，FCNN 模型在訓練井中取得了最低的 MSE和最高的 R2，優于高復雜度的 MESR-DS 方程和經典的 Bourgoyne-Young 方程。這表明 FCNN 模型在準確性和數據擬合方面具有顯著優勢。盡管高復雜度 MESR-DS 方程未達到 FCNN 模型的性能，但在捕捉地質變異性方面明顯優于 Bourgoyne-Young 方程，后者因固定的參數設置而限制了對新地質條件的適應性。在預測鄰井的 ROP 時，FCNN 模型和高復雜度 MESR-DS 方程的 MSE 值顯著低于 Bourgoyne-Young 方程的 MSE 值。這表明高復雜度的經驗方程在泛化能力上與機器學習方法近似。

使用VMD-CNN-BiLSTM-MA 模型預測關鍵測井參數，此外，引入分位數回歸方法和分位數損失函數構建CNN-BiLSTM-MA-QA模型，用以預測關鍵鉆井參數潛在調整范圍，增強實時決策的適應性和響應性。使用南海樂東 10-1 區塊的某口井現場數據，評估了 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型在預測關鍵隨鉆測井參數（GR、SP 和 DT）以及鉆井參數（WOB、RPM、FLW、MwIN和 TemIN）方面的有效性。如圖3所示的預測結果提供了兩種模型性能的直觀比較，突出了它們在實際鉆井環境中的能力。

 

圖3 VMD-CNN-BiLSTM-MA 和 CNN-BiLSTM-MA-QA 模型預測 LWD 和鉆井參數調整范圍效果

為有效優化鉆井參數，采用高復雜度 MESR-DS 方程作為鉆速估計器，利用 VMD-CNN-BiLSTM-MA 模型作為環境估計器，構建馬爾可夫決策過程，從而設計了鉆井參數優化—深度確定性策略梯度（DPODDPG）算法。該算法以每英尺成本和機械比能作為獎勵函數，狀態空間由 CNN-BiLSTM-MA-QA 模型預測的關鍵鉆井參數潛在調整范圍動態定義。

 

圖4 DPODDPG 算法架構

 

圖5 865-870m 區間較軟地層的鉆井參數優化效果

圖5（a）–5（c）顯示 GR、SP 和 DT 顯著降低，表明鉆遇較軟地層。這些地質特征表明地層的強度和密度較低，這通常需要調整鉆井參數以適應地層特征。在此類地層中，優化的鉆井參數包括：降低 WOB、降低 FLW、提高 RPM 以及降低 MwIN 和 TemIN。圖5（d）–5（f） 說明了這些調整的效果。降低 WOB 有助于減少對較軟地層的過大壓力，防止鉆頭快速磨損，同時保持良好的切削效率。降低泵流速可最大限度地減少井壁的侵蝕，同時保持鉆井液的有效循環。提高 RPM 可以提高鉆頭的切削速度，以適應較軟的地層特性。降低泥漿密度和溫度有助于減少對井壁的壓力，保持泥漿性能，并減少對鉆頭的熱影響。上述調整反映了 DPODDPG 算法在優化較軟地層鉆井參數、提升鉆井過程穩定性和效率方面的有效性。

圖6 DPODDPG 和 MOPSO 算法在訓練井鉆井參數優化中性能對比

圖 6顯示，隨著鉆井深度的增加，特別是在超過中位數深度后，ROP的波動顯著減少。這表明 DPODDPG 算法成功優化了鉆井參數，降低了無效和過度的操作，從而最大限度地減少了資源浪費，提升了鉆井效率。ROP 的穩定性與分位數回歸提供的動態調整范圍密切相關，確保了 ROP 不會因極端操作而增加風險。相比之下，盡管 MOPSO 算法在整個鉆井過程中也實現了 ROP 的顯著提升，但由于缺乏動態調整約束，特別是在鉆井后期，其不合理的速度增加導致了操作風險的上升。MOPSO 算法的這種行為可能引發極端操作，尤其是在更深的鉆井深度，無法適應不斷變化的地質條件，進而可能導致安全事故或設備損壞。

 

圖7 鄰井全深度區間優化前后的鉆井參數對比

作者簡介:

宋宇，中國石油大學（北京）人工智能學院 副教授，主要研究方向是海洋油氣鉆井、智能控制和鉆井感知相關的研究工作?，F主持國家自然科學基金青年項目、重點研發計劃子課題等國家級課題5項，獨立承擔十余項企業橫向項目，參研973、國家自然科學重點項目、聯合基金項目、企業項目超30項。在JPSE、OE、FGCS、中國海上油氣、石油鉆采工藝等國內外主流期刊發表論文20余篇。