中文題目：深度可微符號回歸神經網絡

論文題目：Deep Differentiable Symbolic Regression Neural Network

錄用期刊/會議：Neurocomputing ，SCI一區，中科院大類二區，TOP期刊

原文DOI：10.1016/j.neucom.2025.129671

原文鏈接：https://doi.org/10.1016/j.neucom.2025.129671

錄用/見刊時間：2025.02

作者列表：

1）魯   強 中國石油大學（北京）人工智能學院 智能科學與技術系 副教授

2）羅元榛 中國石油大學（北京）人工智能學院 計算機科學與技術專業 碩21

3）李昊洋 中國石油大學（北京）人工智能學院 計算機科學與技術專業 碩23

4）Jake Luo  University of Wisconsin Milwaukee  Department of Health Informatics and Administration  Associate Professor

5）王智廣 中國石油大學（北京）人工智能學院 計算機科學與技術系 教授

摘要:

由于符號回歸問題的搜索空間是離散的，深度學習方法是不可微的，因此使用深度學習方法解決符號回歸問題會導致更長的訓練時間和收斂上的挑戰。本文為了解決這一問題，提出了一種名為深度可微符號回歸神經網絡（DDSR-NN）的新型網絡結構。DDSR-NN的每一層表示運算符的連續分布，相鄰層之間的連接表示這些運算符的系數，網絡整體可以表示為數學表達式的分布，通過在每一層上采樣來得到最終的結果表達式。為了提高運行效率和避免產生的表達式過于復雜，利用門掩碼對結果進行剪枝和規則掩碼減少搜索空間。此外，使用梯度下降和風險尋求策略梯度方法進行混合優化訓練，保證了DDSR-NN可以快速收斂到最小損失的數學表達式分布。為了驗證DDSR-NN的有效性，本文在兩種不同類型的35個基準數據集上進行了實驗。結果表明，DDSR-NN在準確性和可解釋性之間的平衡方面優于23種現有的符號回歸方法。并且，與三種基于神經網絡的符號回歸方法相比，DDSR-NN可以快速且穩定地收斂得到結果。

背景與動機:

符號回歸是指從數學表達式空間中發現與給定數據集擬合的表達式?；谘莼嬎愕姆柣貧w方法可以在龐大的搜索空間中找到符號回歸的近似解，但是在高維數據集上往往會消耗過多的計算資源，并產生過于復雜的結果。最近有許多深度學習算法被提出來解決符號回歸問題。然而，這些算法由于自身結構的不可微性，在訓練過程中往往會遇到訓練時間長、收斂困難、容易陷入局部最優等問題。因此，為了克服網絡結構的不可微挑戰，本文提出了深度可微符號回歸神經網絡（DDSR-NN）。

設計與實現:

深度可微符號回歸神經網絡（DDSR-NN）結構如圖1所示。DDSR-NN 由五部分組成：輸入層、分布層、輸出層、門掩碼和規則掩碼（如圖1（a）所示）。每個分布層由數學運算符（+,-,×,÷,sin,log,...），一對輸入結點和一個分布結點組成（如圖1（b）所示）。分布節點利用softmax激活函數來模擬運算符的分布。因此，分布層產生兩個不同的輸出：1)連續、可微的運算符分布。2)來源于上述分布的運算符，將用于后續的推理階段。DDSR-NN有兩種類型的邊，層與層之間的邊和分布層內部的邊。層與層之間的邊代表數學表達式的系數，分布層內部的邊代表分布中運算符的參數。門掩碼用于控制層與層之間的連接，類似于“dropout”層。規則掩碼用于避免復雜運算符的嵌套，如（sin(sin(x))）情況的產生。

圖1 深度可微符號回歸神經網絡(DDSR-NN)

實驗結果及分析:

在兩種不同類型基準數據集（Feynman和PMLB）的35個數據集上對DDSR-NN進行了實驗評估。結果表明，DDSR-NN在R²和模型大小方面優于其他算法，如圖2、圖3、圖4所示。在恢復率方面也有著較好的表現，如圖5所示。

 

圖2 Feynman數據集實驗結果

圖3 PMLB數據集實驗結果

 

圖4 R²和模型大小的帕累托前沿圖

圖5 恢復率實驗結果

同時對DDSR-NN進行了消融實驗，結果如圖6所示?？梢园l現本文提出的掩碼策略和風險尋求策略梯度優化方法均提高了網絡模型的性能。

 

圖6 消融實驗結果

結論:

本文設計了一種新的深度可微符號回歸神經網絡（DDSR-NN）。DDSR-NN采用門掩碼和規則掩碼兩種掩碼策略以及混合訓練方法，使其能夠同時學習和采樣，以發現最優的數學表達式。與其他基于神經網絡的符號回歸方法相比，DDSR-NN由于其可微的結構，能夠更有效地收斂到數學表達式的分布，從而產生更好的結果。此外，與基于演化計算和機器學習的符號回歸方法相比，DDSR-NN具有自動特征工程的能力，可以過濾掉不重要的特征，以防止生成過于復雜的數學表達式。實驗表明，DDSR-NN在準確性和可解釋性之間的平衡方面優于23種現有的符號回歸方法，同時可以快速且穩定地得到結果表達式。

通訊作者簡介:

魯強：副教授，博士生導師。目前主要從事演化計算和符號回歸、知識圖譜與智能問答、以及軌跡分析與挖掘等方面的研究工作。

聯系方式：luqiang@cup.edu.cn