神经网络的符号回归解释方法研究-文献详情-维普官网

文献检索

任意字段

文献信息

任意字段
主题词
篇关摘
篇名
关键词
摘要
作者
第一作者
作者单位
刊名
中图分类号
学科分类号
DOI
基金

智能检索

高级检索

检索历史

神经网络的符号回归解释方法研究认领

作者：

罗元榛

学位授予单位：

中国石油大学(北京)

摘要：

神经网络(Neural Networks,NNs)有着强大的通用近似能力和广泛的应用,但是神经网络是一个黑盒模型,内部复杂的运算机理使得人类无法直接理解与解释它的预测行为。现有的神经网络解释方法从特征重要性评估、规则生成和可视化等方面对神经网络的预测行为进行解释。但是这些方法依赖于简单的预定义模型,这些模型往往缺乏非线性表达能力,且无法给出能够解释预测行为的显式数学表达式。为了得到显式的数学表达式来解释神经网络的预测行为,本文以全连接神经网络、卷积神经网络为例,提出了神经网络的符号回归解释模型SRNet与SRNet-Modular,分别能够给出描述全连接和卷积神经网络预测行为的非线性数学表达式与偏微分方程。具体研究如下: (1)为了解释全连接神经网络,SRNet模型对训练后此网络模型中每一层的输入和输出进行符号回归,以得到能够描述网络层的数学表达式。在对每个网络层进行符号回归时,SRNet采用图结构笛卡尔遗传规划来生成描述网络层的通用数学表达式,同时使用线性映射编码来匹配网络层的多维输出结构。为了寻找到最优表达式,本文提出结合拟牛顿梯度法的演化策略来同时优化所有的网络层公式。在12个回归、5个分类基准数据集上的实验结果表明,SRNet能够找到不同全连接神经网络的可解释性公式。相比于经典的解释模型LIME与MAPLE,SRNet的预测输出具有非线性、平滑特征,且更加拟合神经网络的原始决策边界。 (2)由于SRNet仅能解释全连接神经网络,无法直接用于解释更复杂的深度卷积神经网络。为此本文提出SRNet-Modular模型,该模型首先将复杂的神经网络自动划分为少量的全连接模块与卷积模块,使得相似的模块能够共享同一个数学表达式结构;然后,SRNet-Modular将卷积图像数据抽象为时空动态系统的观测值,使用物理信息神经网络PINN结合方程学习器EQL建模得到能够描述卷积模块的偏微分方程,同时沿用SRNet的编码架构来解释全连接模块;最后,SRNet-Modular采用逐层精调结合整体微调的方式进行训练。解释12个深度全连接神经网络的实验结果表明,自动模块划分算法不仅能够提高SRNet的解释准确率,同时能够得到更为简洁的可解释性公式。在解释经典的卷积神经网络LeNet的实验上,SRNet-Modular能够找到准确描述卷积模块的偏微分方程。

摘要译文

关键词：

神经网络可解释性; 符号回归; 遗传规划; 偏微分方程

学位年度：

2024

学位类型：

硕士

学科专业：

计算机科学与技术

导师：

鲁强

中图分类号：

TP183[人工神经网络与计算]

学科分类号：

081205[人工智能];140501[智能基础理论];140502[人工智能];140503[智能系统与工程];140504[人工智能安全与治理];140506[人工智能应用]

D O I：

10.27643/d.cnki.gsybu.2024.001956