面向人体骨架行为识别图神经网络的可解释性算法研究-文献详情-维普官网

文献检索

任意字段

文献信息

任意字段
主题词
篇关摘
篇名
关键词
摘要
作者
第一作者
作者单位
刊名
中图分类号
学科分类号
DOI
基金

智能检索

高级检索

检索历史

面向人体骨架行为识别图神经网络的可解释性算法研究认领

作者：

陈志远

学位授予单位：

深圳大学

摘要：

当前,人体行为识别已经成为计算机视觉领域中的研究热点,同时也已经广泛的应用于社会和工业生产等各个领域。但是由于其网络内部的“黑盒”属性,预测结果缺乏可解释性。如果不理解和无法推理预测背后的关系,这些模型就不能被理解和信任,这限制了人体行为识别技术的落地应用和进一步发展。因此研究人体行为识别神经网络模型的可解释性就十分必要了,已经引起了学术界和工业界浓厚的研究兴趣。为此,本文面向人体骨架行为识别的图神经网络模型,以人体骨架时序数据的解耦、节点间相互作用和边际贡献这两个角度切入,借助时间空间特征的扰动和节点权重的类激活映射为研究方法,对人体行为识别的图卷积神经网络的可解释性展开了深入的研究,希望从可视化和各项指标对比量化上对人体骨架行为识别模型的内部特征表达及逻辑决策进行解释,并保证提出的算法解释结果的有效性。本文完成的工作如下: 第一,提出了一种新的基于扰动的针对人体骨架行为识别的图神经网络可解释算法。本文以人体骨架行为识别的图神经网络为研究对象,现有的基于扰动的图网络可解释方法主要关注边、节点、以及节点特征层面,而人体骨架时空序列这类具有刚性结构的时序数据和人体骨架行为识别时空图网络则侧重于子图层面的解释。本文所提的算法通过将输入的骨架数据在时间空间上进行解耦,从时间维度和空间维度分别扰动,获得其各个维度上的重要信息。具体地,首先归纳设计了两阶段时空解耦进行可解释的概念;然后,在时间维度上,针对以子图作为扰动的可解释方法可能存在产生新的语义信息的问题,通过使用离散掩码进行切片来保证结构完整性的同时,使用子图互信息来衡量子图和原始预测之间的相关性;最后,在空间维度上,针对使用连续掩码会导致梯度消失或梯度爆炸的问题,提出使用近似离散掩码作为节点特征扰动的形式,掩码优化器不断迭代实现对重要特征保留的同时,也能抑制背景噪声。实验结果表明,本文提出的方法从可视化和定量分析中都取得了更加显著的效果。第二,在现有类激活图基础上,本文提出使用合作博弈理论来解决多变量合作分配的类激活图生成算法。现有的类激活图方法只是从梯度和特征得分的角度作为输入特征的权重度量,没有考虑到特征之间的相互作用和边际贡献,并不能准确的表达特征的语义信息在识别和分类任务中的真实贡献。这导致生成的显著性图并不能客观的反映网络模型对特征的学习。本文提出的算法通过计算节点特征的Shapley值和梯度作为网络模型做出判断的依据,生成更加准确表达特征权重的显著性图。具体地,首先针对Shapley值的指数级计算量,提出借助人体运动的先验知识对人体骨架划分联盟来有效降低计算量;接着,在双元博弈交互的基础上发展多变量合作分配的计算方法,利用蒙特卡洛采样法近似计算,对人为划分联盟的合理性进行验证;最后,为了进一步扩大划分联盟中的各个节点的区分度,与通过反向传播得到节点的梯度相结合,作为输入样本的整体显著性图。实验结果表明,本文提出的方法在可视化实验和定量分析中,相比于其他类激活图生成算法在各项指标上都有很大的提升。

摘要译文

关键词：

可解释性; 人体骨架行为识别; 特征扰动; 类激活图; 博弈论; 蒙特卡洛采样

学位年度：

2023

学位类型：

硕士

学科专业：

电子信息

导师：

张力

中图分类号：

TP391.41[图形图像识别];TP183[人工神经网络与计算]

学科分类号：

140502[人工智能];081103[系统工程];081104[模式识别与智能系统];081107[建模仿真理论与技术]

D O I：

10.27321/d.cnki.gszdu.2023.002455