深度学习技术的不断发展,衍生出神经网络的广泛应用,如基于自然语言处理的Chat GPT对话模型。神经网络的可解释性成为热门研究课题。径向基神经网络(Radial Basis Function Neural Network,简称RBF神经网络)以结构简单、学习速度快、逼近效果好等优点,不断被运用于与人类息息相关的日常活动中,并逐渐成为神经网络不可或缺的一部分,对RBF神经网络的可解释性研究具有较大的现实意义。但是,当前RBF神经网络的可解释性研究存在诸如隐藏层神经元可解释性证明不足、模型的可解释性与性能不平衡等问题。
粗糙集理论是一种刻画不完全性、不确定性问题的数学工具,无需任何先验知识,能够从客观角度剖析数据,具备很强的可解释性。不同于传统的粗糙集,模糊决策粗糙集可以直接运用于数值型数据,具有较好的性能,其内在高斯核模糊T-等价关系与RBF神经网络内核的关联性提供了实现可解释性的基础。当前多数的粗糙集模型在结合各种神经网络时难以实现可解释性,这需要从更广阔的意义上对粗糙集模型进行扩展,探索粗糙集在不同维度下的定义,从而更好地解释各种神经网络。
针对上述问题,本文从粗糙集模型的视角出发探究RBF神经网络的可解释性,设计基于模糊决策粗糙集的RBF神经网络可解释性模型,提出RBF神经网络的规则提取算法和基于模糊决策粗糙集的RBF神经网络可解释性与优化算法,并细致探讨了当前粗糙集模型的信息损失问题与多阶定义。具体研究如下:
首先,定义可解释性因子,提出模糊决策粗糙集模型视角下对RBF神经网络可解释性研究的新方法。探索在粗糙集视角下RBF神经网络规则的可度量性,提出TEORBF算法获取神经网络知识集合,通过可解释性因子建立概念的高耦合,并提出FDRSIR解释性算法生成细粒度层级的解释,详细描述神经网络处理过程的决策行为。9组UCI数据集上的实验验证了该方法对神经元解释的有效性。
其次,提出了基于模糊决策粗糙集的RBF神经网络优化算法FDRS-OLS-RBF。将可解释性因子作为启发式信息引入神经元的训练过程,利用细粒度的解释性指标修正神经元权值,实现一种新的优化方式,提高神经网络模型的性能。在9组数据集上的实验结果表明了该方法有效性。
最后,提出了粗糙集模型信息损失的计算方法,继而提出了多阶粗糙集。为了将粗糙集模型更全面地扩展到神经网络可解释性研究,提出一种计算粗糙集模型信息损失的方法,根据信息损失不同将粗糙集模型分为3类:零阶粗糙集、一阶粗糙集和二阶粗糙集。给出了一阶粗糙集与二阶粗糙集及其属性约简的定义,探讨了各类属性约简之间的关系。研究结果为粗糙集实现更广泛的神经网络可解释性提供理论基础,也为粗糙集的研究提供新的视角。 摘要译文
神经网络可解释性; 径向基神经网络; 模糊决策粗糙集; 信息损失; 多阶粗糙集
081205[人工智能];140501[智能基础理论];140502[人工智能];140503[智能系统与工程];140504[人工智能安全与治理];140506[人工智能应用]
10.27464/d.cnki.gzsfu.2023.001026