- 首页
- 产品推荐个人精选服务科研辅助服务教育大数据服务行业精选服务学科系列服务产品服务
- 期刊大全
- 充值
- 会员
- 职称材料
- 首页
- 产品服务
- 知识脉络
- 期刊大全
- 充值
- 会员
- 职称材料
智能检索
二次检索
任意字段
在结果中检索
在结果中去除
暂无数据
共
129
条结果 ，以下是1
-
20条
1 / 7
已选:0 清除
批量下载
批量引用
相关度
摘要： 为解决深度卷积神经网络由于梯度消失而导致训练困难的问题,提出一种基于批归一化的直通卷积神经网络算法.首先对网络所有卷积层的激活值进行批归一化处理,然后利用可学习的重构参数对归一化后的数据进行还原,最后对重构参数进行训练.在CIFAR-10,CIFAR-100和MNIST这3个标准图像数据集上进行实验的结果表明,文中算法分别取得了94.53%,73.40%和99.74%的分类准确率,明显优于其他深度神经网络算法;该算法能够有效地克服传统卷积神经网络中梯度消失的问题.
关键词: 图像分类 ；深度学习 ；直通卷积神经网络 ；批归一化 ；梯度消失
被引量
66
摘要： 前导信号检测是水声通信的关键环节,只有检测成功才能唤醒接收机进行后续的通信数据处理,以完成通信。目前常用的归一化匹配滤波检测算法,实现简单、抗噪声性能好,但无法有效对抗多径效应,在信道结构比较复杂的情况下检测性能会明显降低。将近年来在图像分类领域取得极好效果的卷积神经网络(Convolutional Neural Network,CNN),应用于水声通信前导信号检测领域,在信道结构复杂的情况下仍能够实现高性能检测。但基于经典CNN的检测算法,运算量和参数量较大,难以满足水声通信的时效性和水下通信机低能耗的要求。因此,本文利用深度可分离卷积和全局平均池化技术,结合水声通信前导信号检测问题的具体特点,基于Lenet-5设计了一种用于水声通信前导信号检测的紧凑神经网络。并利用基于通道间独立性的过滤器剪枝技术和训练后量化技术,对训练后的紧凑网络进行进一步压缩,最终得到一个用于水声通信前导信号检测的轻量化神经网络。千岛湖实验结果表明,该轻量化神经网络的检测性能和经典CNN相差不大,能够有效对抗复杂信道环境,且其所需参数量和运算量相比于经典CNN大幅下降,能够很好地满足水声通信的时效性和水下通信机低能耗的要求。
关键词: 水声通信前导信号检测 ；卷积神经网络 ；网络压缩 ；轻量化神经网络
被引量
5
摘要： 针对光学相干层析视网膜图像进行人工分类诊断时存在漏检、效率低等问题,提出一种基于深度学习技术构建联合多层特征的卷积神经网络分类算法。首先通过均值漂移和数据归一化算法对视网膜图像进行预处理,并结合损失函数加权算法解决数据不平衡问题;其次使用轻量深度可分离卷积替代普通卷积层,降低模型参数量,采用全局平均池化替换全连接层,增加空间鲁棒性,并联合不同卷积层构建特征融合层,加强层间特征流通;最后使用SoftMax分类器进行图像分类。实验结果表明,该模型在准确率、精确率、召回率上分别达到97%、95%、97%,缩短了识别时长,所提方法在视网膜图像分类诊断中具有良好的性能。
关键词: 图像处理 ；卷积神经网络 ；视网膜图像 ；特征融合 ；加权损失函数
被引量
26
摘要： 针对传统卷积神经网络在处理图像分类的问题过程中,需要较长的训练时间、大量的存储空间和计算资源等问题,提出一种基于卷积神经网络迭代优化的图像分类算法。对卷积神经网络进行初始化,在训练网络的过程中,对每层网络单个特征图的输入进行BN(batch normalize)处理,得到归一化的数据后再输入到特征图中,采用迭代的方法调整卷积神经网络中的参数并删除低于阀值的连接。实验结果表明,在Mnist、Cifar-10数据集上,经过迭代优化后的卷积神经网络分别提高了0.33%和3.42%的准确率,有效降低了网络中参数的数量,相比原始卷积神经网络中的参数数量分别降低87.94%、85.91%,网络收敛速度更快,减小了网络的训练时间。
关键词: 卷积神经网络 ；特征图 ；网络连接 ；收敛 ；阈值
被引量
45
摘要： 为解决传统神经网络在CIFAR-10(Canadian Institute For Advanced Research)数据集上进行图像分类识别时,存在的模型准确率较低和训练过程易发生过拟合现象等问题,提出了一种将卷积神经网络和批归一化相结合的新神经网络结构构建方法。该方法首先对数据集进行数据增强和边界填充处理,其次对典型的CNN(Convolutional Neural Networks)网络结构进行改进,移除了卷积层组中的池化层,仅保留了卷积层和BN(Batch Normalization)层,并适量增加卷积层组。为了验证模型的有效性和准确性,设计了6组不同的神经网络结构对模型进行训练。实验结果表明,在相同训练周期数下,推荐使用的model-6模型表现最佳,测试准确率高达90.17%,突破了长期以来经典CNN在CIFAR-10数据集上难于达到90%准确率的瓶颈,为图像分类识别提供了新的解决方案和模型参考。
关键词: 图像分类识别 ；卷积神经网络 ；批归一化 ；数据增强 ；边界填充
【专利/发明】 • CN201910846314.6 • •
申请日：2019-09-09,
公开日：2020-04-10
申请人： 中国石油大学(华东)
公开（公告）号： CN110991459A
摘要： 本发明设计一种基于ARM‑LBP和卷积神经网络的行李图像分类算法，属于计算机视觉中的图像分类领域。其包括以下步骤：首先建立VGG‑16卷积神经网络，将预分类图像输入VGG‑16网络进行训练，选取最后一层全连接层的值作为图像的网络特征，然后提取图像的ARM‑LBP纹理特征，对图像的两种特征进行归一化处理后进行特征串联，最后用SVM分类器进行分类，输出图像的类别。本发明中ARM‑LBP算法能够提取更加丰富的图像纹理信息，对图像有更好的区分，与经典卷积神经网络结合，可以提高图像分类准确率，在实际应用中，使用ARM‑LBP和卷积神经网络的行李图像分类算法预测行李图像类别的运行时间在可接受范围内，分类效果最好。
摘要： 近年来出现了各类提供云服务的云平台,机器学习即服务(Machine Learning as a Service,MLaa S)旨在服务商通过云平台为客户提供机器学习预测服务,然而客户提供的数据中可能包含敏感信息。隐私保护深度学习(Privacy-Preserving Deep Learning,PPDL)将隐私保护技术与深度学习相结合,可以在保护数据隐私的情况下,使用深度学习预测数据,解决了MLaa S中客户隐私泄露问题。一般的加密方案只能将数据加密成密文,不能对密文进行任何的计算,否则会导致解密失败,而同态加密(Homomorphic Encryption,HE)可对密文进行计算,并能对计算结果正确解密。基于同态加密的PPDL将同态加密技术应用于深度学习领域,可对密文进行预测,既解决了客户计算能力有限的问题,又无需客户构建深度学习模型,同时保障了数据的隐私。然而,PPDL的发展仍面临诸多挑战,如加密时间长、推理延迟高、预测准确率低等,其性能有待提高,而图像分类是评估PPDL性能的最常见任务。本文针对上述问题开展研究,主要内容如下: 首先,针对预测准确率低的问题,本文对卷积神经网络的训练过程进行优化,在使用简单的CNN模型避免额外计算开销的情况下,提升模型性能。在训练卷积神经网络(Convolutional Neural Networks,CNN)时,本文使用Nadam优化器加速收敛,并对梯度裁剪,在卷积层使用L2正则化,通过Early Stopping提前停止训练防止过拟合。实验结果表明,通过上述改进,训练过程更加平稳,训练速度和收敛性方面显著提升,在损失下降方面显著提升,并且有效提升了分类准确率。 其次,针对推理效率低的问题,本文使用了单指令多数据(Single Instruction Multiple Data,SIMD)和Open Multi-Processing(Open MP)技术,并对网络层的构建和推理进行改进。本文使用SIMD时充分利用密文槽对密文打包,在构建卷积层和全连接层时,通过权重折叠将多个权重合并为一个权重,从而减少同态乘法次数,并对各网络层使用Open MP并行化,在并行化卷积操作前预计算滤波器窗口范围,将全连接层的加权和计算时拆分为两个阶段,使得每个阶段可以独立执行Open MP并行化,对卷积层和批量归一化层融合,在不设置更多的系数模数下使用批量归一化,减少计算开销。实验结果表明,使得保持CNN对密文的分类准确率较高的情况下,提升对密文的推理效率。 最后,针对加密效率低的问题,本文提出了基于改进编码和加密的CKKS(CKKS based on Improved Encoding and Encryption,IEE-CKKS)方案,IEE-CKKS方案改进了编码对多项式系数的处理和存储方式,并改进编码过程中的Barrett约简、快速数论变换(Number-theoretic transform,NTT)变换,在多项式加密过程中使用查表法代替SWAR算法计算汉明权重。为进一步提高对数据的加密效率,本文使用IEE-CKKS方案加密数据集时利用Open MP并行化外层循环加密。实验结果,以上改进使得加密效率大幅提升,促进全同态加密的实际应用。
关键词: 机器学习即服务 ；隐私保护 ；深度学习 ；同态加密
摘要： 随着经济的发展,人们的生活水平也会提高,但同时也造成了垃圾产量的迅速上涨,而垃圾对人类健康、环境以及经济发展的影响是不言而喻的。依靠人工手动分拣,时间长效果差,而利用深度学习的相关技术,让垃圾自动化处理成为了可能,通过技术手段可以有效提高垃圾处理的效率。垃圾处理的关键在于能对垃圾进行正确的识别分类,这样不仅可以提高垃圾综合处理效率,在环境得到保护的同时还可提高垃圾资源回收再利用的价值,所以对于垃圾图像进行分类任务是有意义的研究。本文经过对图像分类模型的分析后,目前的垃圾分类算法存在网络参数过多、计算量大、模型复杂且不便于移植到移动端和嵌入式的设备上等问题,使用轻量级卷积神经网络模型对垃圾进行识别和分类,实验结果取得了较好准确率和分类效果。本文主要研究内容:(1)对于垃圾分类模型的选择上,鉴于轻量级模型参数少、速度快的特性,本文选择Mobile Net V2作为主干网络对垃圾进行分类,在此基础上,引入了Adam优化器,选择了交叉熵损失函数,再采用反向传播算法对权重进行了更新。本文还建立了垃圾数据集包含245小类、共8万张的垃圾图像,并将其归一化、灰度化、降噪和增强处理,提高垃圾图像的质量。(2)为了提高模型的准确性,加强模型对有效特征的学习,同时摒弃无用的特征,在此基础上本文将注意力机制与训练好的Mobile Net V2相结合进行训练优化。将通过Mobile Net V2网络输出的特征图输入到CBAM模块中,使得模型在训练的过程中可以更好的学习到有用的、重要的特征,最后利用全局平均池化和Softmax方法对所获得的目标和特点进行分析,经过实验结果显示优化后的模型在准确率上确实有所提升。最后建立了垃圾分类系统,对模型的分类情况进行可视化展示。
关键词: 垃圾分类 ；注意力机制 ；MobileNet ；卷积神经网络
被引量
7
摘要： 随着深度学习技术不断的发展,卷积神经网络在各种复杂视觉挑战任务下都表现出了较好的性能,这使得以深度学习为基础,建立一整套的计算辅助诊断技术的目标变为了可能。与人工诊断相比,使用计算机辅助技术进行诊断具有成本低、效率高的特点。而医学领域中计算机诊断技术,往往对模型的准确度有着极高的要求。医学图像的分类按照数据类别大致可以分为2维图片分类和3维图片分类两种。在2维度图片分类的问题上,已经有很多不同的研究。为了提升网络的拟合能力,大多使用了多分枝的结构,要么是单枝网络、不同分辨率数据集形式,要么是多分支网络、单一数据集形式。这样导致了网络的结构臃肿,网络训练速度过慢,其次,传统的卷积神经网络大多使用最后一层的输出特征信息进行分类,忽略了对网络低层次语义信息的利用。本文针对医学图像中存在病灶区域小,正负样本区分度不明显的问题,设计了一种递进式的多尺度信息融合机制,并结合自然图像分类中的注意力机制,对现有的卷积神经网络结构进行改进,建立了端到端的图像自动识别模型。本文做的主要工作如下:利用残差神经网络中的跨层连接结构来进行网络的构建,对常见的分类网络的结构和效果进行了深入的研究。并分析了卷积神经网络中网络退化的现象产生的原因。使用跨层连接的方式可以避免网络退化现象的发生,使得搭建层数较大的卷积神经网络模型这一任务成为了可能,参数量和非线性变换的增多有助于网络泛化能力的提升,提高模型的准确度。同时参考了卷积神经网络中常见的优化方法,使用批归一化和1*1卷积的方式提高的网络收敛的速度。通过基于人体视觉系统建立的注意力机制可以对模型进行改进。在注意力机制中,首先对原特征图内的语义信息进行压缩,然后以前馈神经网络的结构对原特征图不同通道之间的相互关系进行运算,利用运算出的权重向量对原特征图进行调整,新的特征图中不同的局部特征所占的比重发生可变化,网络对关键区域的关注度得到提升,且注意力机制具备不改变网络输入维度的特点,可以在卷积神经网络中进行灵活的应用。针对多尺度特征融合中低层次语义信息利用问题、融合策略有效性问题、下采样信息丢失问题提出了相应的解决方案。首先以扩大化的跨层连接的方法对网络不同层次的语义信息进行融合,增加了对网络低层次信息的利用。然后对网络的层次进行划分,针对网络不同的层次,设计了不同的融合方案。最后在下采样的过程中使用了最大池化,选取池化区域中更具有意义的元素。结合三个问题设计了最终的多尺度信息融合机制本文以网络的层数、是否使用注意力机制、是否使用多尺度特征融合机制以及二则是否同时使用为基准设置了不同的对照。使用精度、查准率、查全率及F1值不同的评价指标对网络整体的性能进行描述。最优情况下网络的精度可以达到94.45%。实验结果证明了改进后的模型在时间和空间复杂度上的优越性以及本文使用的注意力机制和多尺度信息融合机制对浸润型肺结核图像识别任务准确率的提升性。同时对实验结果中一些有偏差的的数据进行分析,结合网络的结构对这些数据产生的原因进行探究。
关键词: 计算机应用技术 ；卷积神经网络 ；浸润性肺结核识别 ；注意力机制 ；多尺度信息融合机制
被引量
1
摘要： 图像超分辨率是一种改善已有的低分辨率图像视觉效果的图像处理技术。旨在从一幅或者多幅低分辨率观测图像中重建出具有较高质量的高分辨率图像。近几年,随着机器学习和模式识别技术的发展,基于样本学习的图像超分辨率算法得到了高度关注,其中,基于混合样本学习的超分辨率属于最新发展起来的方法,是目前能取得较好重建效果的算法中的一种。本文以外部样本与自样本的融合为切入点,利用混合样本的非冗余特性,分别结合稀疏表示理论和深度学习方法,研究基于非冗余信息学习的图像超分辨率算法。本文首先介绍了稀疏表示、字典学习与卷积神经网络理论,主要包括三方面的内容,第一部分介绍了图像退化模型,进而引出稀疏表示理论;第二部分介绍了浅层学习中的两种不同的字典学习方法:PCA分类字典学习方法和K-SVD字典学习方法,并分别总结其优缺点;最后一部分介绍了深度神经网络理论,包括卷积神经网络(CNN)和稀疏卷积神经网络(SRCNN)两种不用的网络。由于低分辨率图像产生过程中缺损信息繁杂以及降质模型未知等原因,导致图像超分辨率过程是严重不适定的病态问题。提出了基于混合样本和稀疏表示的图像超分辨率算法。首先介绍混合样本选择思想,根据混合样本的非冗余互补特性选择相应的训练方法。在字典训练阶段采用K-SVD字典训练方法对不同类的样本集训练得到多个紧凑的非冗余子字典。再利用正交匹配追踪(OMP)算法选择与每一个输入图像块最相似的子字典,并计算每个输入图像块的稀疏表示系数,用于重建高分辨率图像。大量实验结果验证了所提算法的有效性。针对浅层学习方法学习能力有限以及由浅层学习方法重建的高分辨率图像中缺失大量细节问题,提出了基于混合样本和深度卷积神经网络的图像超分辨率算法。采用残差学习策略学习高、低分辨率样本之间的残差,同时引入细节学习,对于网络的输入,提出了结合自样本与外部样本的混合样本,分类混合样本的加入增加了训练集的非冗余度,并加入细节分量约束。将批归一化和残差学习整合在一起,以加快训练过程并提高超分辨率性能。此外,大量的实验结果表明,所提出的方法在主观和客观上均能产生较好的图像超分辨率性能。
关键词: 图像超分辨率 ；非冗余互补信息 ；混合样本选择 ；稀疏表示 ；深度学习
被引量
3
摘要： 近年来随着计算机性能和互联网大数据技术的大幅度提升,深度神经网络模型在人工智能领域取得了巨大进展,其中在迁移学习和领域适应的图像分类方向吸引了国内外研究者的广泛关注。虽然目前深度学习的性能相较于传统的机器学习分类模型已经得到极大的提升,但是仍然具有巨大的提升空间和广阔的应用场景值得研究和探索。(1)当前无监督领域适应的发展主要集中于单源单目标场景和多源单目标场景下的特征学习,对于现实中更加常见的无源域标签的场景却缺乏相应的研究。(2)在多源域场景下,每个源域与目标域之间仍然存在数据偏移,若从相关性较低的域强制迁移会抑制目标模型的性能,导致“负迁移”问题。本文针对以上两种问题,主要研究内容如下:为解决无域标签场景下的无监督领域自适应问题,提出一种面向混合潜在域的细粒度领域自适应深层网络架构,通过自动发现图像数据集中的潜在域细粒度信息来学习稳健的目标分类器。该网络框架主要分为两个部分,一部分通过底层特征聚类与对抗学习相结合的方法实现自动发现潜在域并将其划分为若干个伪源域;另一部分不仅通过特定域的特征提取器分别对齐每对伪源域和目标域在多个特定的特征空间中的分布,而且联合多个域特定的分类器得出最优的分类结果。其中在特定域的分类器中使用局部最大均值差异,充分利用源域样本的类别标签细粒度信息,解决了潜在域自适应问题中相关子域特征对齐的问题。为解决多源场景下多源域与目标域之间数据偏移的问题,提出一种基于卷积网络和混合潜在空间多对齐的无监督多源域自适应算法。该算法联合利用网络中的域标签、数据结构和类别标签,并改进了域不变语义特征表示。具体而言,在利用现有领域对齐和分类结果对齐的基础上,提出了一种新的数据结构对齐方法,利用不同领域的固有特性。通过这种设计,既可以考虑潜在空间的类别一致性,又可以消除不同源域与目标域之间的域和结构差异。此外,为了提高深度神经网络的可移植性,使用匹配归一化层替代传统的批处理归一化层,使深度神经网络的潜在层进行对齐,从而获得进一步的提升。最后利用基于卷积神经网络和图卷积神经网络提取特征的类别对齐优化决策边界。本文所提方法均在公共数据集上进行了试验,并将本文所提方法的结果与已有的先进研究方法进行对比以示本文方法分类性能的提升。另外,本文可视化了实验过程中的特征直观展示网络模型的可解释性。大量的实验表明,本文提出的潜在域领域适应和潜在空间多对齐领域适应两个网络框架分别对多源域适应中的无域标签和“负迁移”问题提供了一定程度的解决办法。
关键词: 领域适应 ；潜在域 ；域结构对齐 ；卷积神经网络 ；图卷积网络
摘要： 卷积神经网络(CNN)近年来取得了重大发展,推动了计算机视觉领域的显著进步。然而,随着CNN的规模和复杂性不断增长,许多研究人员关注如何在保持高性能的同时减小模型规模和复杂性。模型参数剪枝已成为解决这些问题的有效方法。模型剪枝是一种机器学习技术,其主要功能是在不降低模型性能的前提下减小模型大小,实现模型稀疏化,增强模型的鲁棒性。许多剪枝工作使用基于量级的信息,将稀疏性引入网络模型中,以实现更高效、更节能的模型。为了使人工智能任务全场景覆盖,模型压缩方面的工作受到越来越多的关注。现有的模型剪枝算法普遍使用正则化方法来指导参数的修剪,硬性减去小于阈值的参数,剪枝操作在训练之后,无法在训练过程中进行动态的参数选择,并且引入正则化会改变参数的分布,需要模型参数满足特定分布才能得到较好的压缩后网络效果。值得一提的是,在模型修剪时只通过单层信息来决定参数的修剪与否,缺少上下层信息的辅助,使剪枝算法不够完善。为了让剪枝算法更有依据并且可以联系模型各层信息进行剪枝,本文提出两种剪枝算法:BNP和GAP。针对存在模型参数需满足特定分布和模型剪枝算法只考虑单层网络信息的问题,BNP进行通道剪枝的过程中,结合了产生该通道的过滤器以及该通道的信息。不需要对网络参数分布进行约束,通过集成来自CB(Convlutional和BatchNorm)模块的信息来指导参数修剪,利用批量归一化(BatchNorm,BN)层来分析特征之间的分布相似性,以实现更好的结构化修剪。与基于正则化规则的传统方法相比,该算法的性能更好。通过综合评估,BNP已经在CIFAR-10和ImageNet数据集上的现代CNN中得到了证明,在保证剪枝率的情况下,获得了图像分类任务中优秀的网络模型精确度。针对剪枝算法普遍引入正则化以及修剪时只根据单层信息,缺乏考虑网络结构整体信息的问题,GAP引入新型注意力机制,通过注意力机制产生的通道得分来判断该通道对于网络效果的贡献力度,并在全局的网络结构中筛选重要的通道。根据梯度大小、参数大小以及上一轮剪枝的特征,来进行打分,裁剪分数较低的通道,根据训练的反馈动态调整剪枝算法所保留的通道。让模型在剪枝中相互联系相互作用,使剪枝的模型能够取得更好的精度效果。在实验中,与传统方法相比,GAP实现实现了性能和效率之间的平衡。
关键词: 卷积神经网络 ；结构化剪枝 ；模型压缩 ；信息融合
摘要： 随着社会的发展,以深度学习为代表的人工智能技术近年来被广泛应用于科学技术的研究和日常生活的各个方面,如人脸识别、指纹识别、违章拍照和智能汽车自动驾驶等方面。由于人类很多信息来源于视觉,因此图像识别是深度学习领域的一个重要组成部分。如何进行图像识别是深度学习系统应用的关键问题之一。传统的图像识别是将图像的特征提取和图像分类分开操作的,这就使得对于图像的特征提取需要人为构建。这样做不仅仅加大了人的工作量,而且大大的降低了对图像特征提取的效率。在面临一些复杂图像的特征提取时,人们往往会忽略对大部分细节的处理,如图像的颜色、纹理和明暗度等一些浅层特征,这样也大大限制了传统图像识别的应用场景。近年来,卷积神经网络的应用开始普及,从2012年Alex Net卷积神经网络的出现直到Mask-rcnn算法,卷积神经网络开始变得实用化。卷积神经网络最大的特点在于特征提取和分类被整合到了一个单独的神经网络中。卷积神经网络是多层感知机的变体。它通过重新组织结构、减轻自身重量和在识别之前省去了复杂的图像特征提取过程,将特征提取功能集成到多层感知机中。在卷积神经网络中,层与层之间紧密的连接使其适用于对图像的处理和理解,同时它还可以自动从图像中提取一些丰富的相关特征。本文深入研究了卷积神经网络下的图像识别问题,研究主要内容包括:(1)改进Alex Net网络算法,并应用于大规模图像识别。通过修改网络框架、增加批量归一化算法、用最大均值池化核代替最大池化核和使用全局均值池化卷积核代替全连接层等方式对传统Alex Net卷积神经网络进行改进,成功的提升了原有基于Alex Net卷积神经网络对图像的识别效果。在图像识别领域能够提高识别精度无疑是重要的,因此本章的工作也就具备了一定的实际意义。(2)深入研究多帧VGGNet卷积神经网络,并应用于场景图像识别。多帧VGGNet卷积神经网络模型一方面能够保留住场景图像中的全局信息,另一方面也保留了场景图像中的详细信息。使用该网络模型对场景图像进行识别相比较传统单一的VGGNet卷积神经网络模型得到的识别精度更高,特征图像的提取效果也更好。(3)改进多帧VGGNet卷积神经网络算法,并应用于室内场景图像识别。首先基于多帧VGGNet卷积神经网络对场景图像进行识别,再对多帧VGG网络框架进行改进。通过在每一个卷积核后面增加批量归一化算法以及用max-avg池化核代替原有的max池化核,并用全局平均池化卷积层代替全连接层进行特征提取,最后使用双通道卷积技术对双帧网络进行耦合计算。利用数据集进行了训练和测试时我们使用增强数据的方式来防止模型的过拟合。本文的研究实现了多帧卷积神经网络和批量归一化算法的有效结合,对场景图像的识别具有很好的实践效果。
关键词: 深度学习 ；卷积神经网络 ；特征提取 ；图像识别 ；场景图像
被引量
8
摘要： 电子鼻作为新兴的嗅觉仿生技术已经取得了一定的进展,但在实际应用中仍然面临一些挑战。其中,气体响应早期阶段所暴露的特征不够充分,这导致在响应早期的识别率不高,从而限制了电子鼻在化工安全等快速响应场景中的应用。此外,气体传感器的输出受环境和老化等因素影响,从而出现传感器漂移现象,导致识别率下降。为应对这两个挑战,本研究从信号处理的角度运用深度学习技术进行深入探讨,提出了有效的解决策略,并取得了一定的研究成果。为了解决气体响应早期阶段识别率较低的问题,本研究以自建的电子鼻系统收集的工业污染气体检测数据集作为研究对象,从数据集扩充的角度来改善电子鼻系统工业污染气体响应早期检测的性能。首先,针对小数据集样本数量有限的情况,本研究提出了四种适用于传感器阵列样本的数据增强方法,即随机传感器失活、随机传感器响应时间平移以及整体响应时间平移和缩放,旨在从扩充数据源的角度提高后续分类算法的泛化性能。其次,在特征学习阶段,针对电子鼻多通道时序信号的空间无关性特点,本研究将格拉姆角场方法应用于电子鼻数据,将时序信号转化为二维图像,从而将气体识别问题转变为图像分类问题,为引入视觉领域相关方法创造条件。同时,该方法能更好地揭示时序信号上各点之间的关联性。第三,在模式识别阶段,本研究提出了卷积神经网络模型GAS-Net,该模型结合了Res Net和Inception两种网络模型的优点,使用残差连接和多尺度感受野的卷积核,整合视觉领域热门的注意力机制,并使用遗传算法来优化网络结构。实验结果表明,所使用方法显著提高了气体响应早期阶段的识别准确性,获得了与使用整个响应阶段时间序列信号进行识别相仿的效果。该研究拓展了电子鼻在工业生产安全等需要迅速响应的场景中的应用潜力。为了解决传感器漂移导致识别率下降的问题,本研究选择公开的传感器漂移数据集作为研究对象,提出了两种基于漂移因子和LSTM的自动漂移补偿模型。首先,针对传统LSTM网络训练过程中的梯度消失或梯度爆炸问题,也为了降低异常数据对分类效果的不良影响,本研究提出了一种改进的网络模型LN-LSTM。通过将层归一化技术融入传统LSTM网络,模型的收敛速度和泛化性能得到显著提升,实现了对传感器漂移一定程度的补偿。其次,为了更有针对性地增强网络的漂移补偿能力,本研究在LN-LSTM基础上将时间变量作为传感器响应的附加输入,并将多层感知机和二次函数整合到LSTM网络单元中,分别设计了基于多层感知机和二次函数的漂移补偿值估计,从而使得网络在训练过程中能够学习到补偿参数,实现对时间变量已知的响应自动完成实时的漂移补偿。经过实验对比,这些方法能够有效地解决传感器漂移问题,提高电子鼻气体识别的准确性。该研究的贡献在于提高了电子鼻在实际应用中的可靠性,同时也延长了其使用寿命。
关键词: 深度学习 ；电子鼻 ；机器嗅觉 ；气体识别 ；漂移补偿
被引量
4
摘要： 玉米在全世界被广泛种植,它不仅是我国的重要粮食来源之一,而且也是工农业生产中的重要原材料。然而,各种玉米病害的存在严重威胁着玉米的生长和产量,因此对玉米病害的快速准确识别变得尤其重要,长期以来,传统的玉米病害识别多数依靠人为方式进行判断,这种方式依赖于农民自身对玉米病害的识别经验,受主观因素影响较大且比较耗时,不能及时的对玉米病害进行高效诊断,带来了农业经济损失。近年来,随着计算机的不断发展,CNN网络在图像识别领域中取得不错的效果,在农业领域应用中得到了进一步的提升,本文利用卷积神经网络的自动学习病害特征能力应用于玉米病害任务中,引入迁移学习思想,提高玉米病害的识别准确率。本文主要做了以下研究:
本文研究的玉米病害种类包括玉米褐斑病、大斑病、纹枯病、叶斑病、小斑病、锈病,共有数据集2725张图片。通过对病害图像数据进行预处理操作,加快模型的训练速度,同时增加了样本多样性。构建一种基于改进AlexNet网络的玉米病害识别方法,对该模型结构进行简化,简化后的模型由4个卷积模块、3个全连接层模块组成,选择批归一化算法来加快模型的收敛速度,利用Dropout技术来优化网络模型,防止过拟合现象发生,采用随机梯度下降法(Stochastic Gradient Descent,SGD)结合数据增强技术对模型进行训练,通过Softmax分类器对玉米病害进行识别。该模型的验证准确率为91.97%,在此基础上,与其他模型进行对比测试,结果改进AlexNet模型在测试集上的测试准确率(91.76%)、高于LeNet模型(75.38)%和AlexNet模型(77.22%)。实验结果表明,该模型收敛速度快,泛化能力强且鲁棒性好,在精确率、召回率和调和均值评价指标上优于对比模型,具有更好的识别效果,为玉米病害的高效识别提供了新的方法。
针对卷积神经网络(Convolutional Neural Network,CNN)在小样本数据不足时所存在准确率低、精度不高的现状,提出了一种基于InceptionV3模型结合迁移学习方式提出了一种新的玉米病害识别模型,采用不冻结所有层的方式将InceptionV3模型在ImageNet库上作预训练,然后删除其全连接层,并重新设计全连接层结构,通过玉米病害数据集对新模型进行训练、验证及测试,分析了初始学习率、数据增强和迁移学习方式对模型性能的影响规律。实验结果表明:所提出的模型对6种病害的识别准确率高达97.76%,相较于传统模型,该模型具有收敛速度快、泛化能力强、准确率高等优势,并具有良好的鲁棒性。
为了提高玉米病害的识别准确率问题,基于迁移学习方法和VGG16模型提出了一种FT-VGG16模型。该模型在设计上继承了 VGG16预训练模型前层网络权重参数的最优解,在差异性较大的高层次网络上采取了参数微调处理,并根据分类对象特征重新设计了全连接层,使整个网络结构更利于图像特征信息的提取和分类识别。对FT-VGG16模型的可行性和综合性能进行了试验研究和对比分析,结果表明,在相同条件下,FT-VGG16模型的训练准确率为100%,测试准确率为98.53%,明显高于对比模型,且具有突出的收敛速度和鲁棒性能。
玉米病害识别系统实现。使用Flask框架搭建了一个玉米病害识别系统,通过用户上传的玉米病害图片进行快速准确识别,为玉米病害识别的智能化研究与应用提供重要支撑。
关键词: 玉米病害 ；卷积神经网络 ；迁移学习 ；深度学习 ；图像识别
摘要： 水果分级是水果商品化处理的关键步骤,落后的水果分级技术严重制约着水果产业的发展,目前我国水果分级以人工为主,劳动强度大,效率低,已经无法满足产业加工的需求。基于计算机视觉的水果分级以其高精度和高速度的特点得到了广泛的关注和研究。本文针对基于计算机视觉的水果分级关键技术进行了系统的研究,主要工作如下:(1)研究了图像分类的理论和方法,其中基于数字图像处理的图像分类技术主要介绍了图像分割、边缘检测、形态学处理等,阐述了其实现原理和步骤。重点介绍了基于深度学习的图像分类,包括卷积神经网络的模型结构和训练算法。(2)实现了传统基于数字图像处理的水果分级,以荔枝和苹果为实验对象,通过获取水果表面颜色、果径尺寸、缺陷面积等特征参数,建立了评价水果成熟度、大小、缺陷程度的模型;研究了深度网络的结构、训练过程,研究了经典的预训练模型VGG16的结构和特点,以VGG16作为预训练网络,利用较少的数据对目标网络的分类器进行微调,实现了基于经典分类模型VGG16的迁移学习水果分级,通过传统方法的水果分级和深度学习水果分级实验对比和分析,验证了深度学习算法的优越性能。(3)研究和阐述了深度学习网络的训练和优化方法,在网络训练层面,针对训练深度学习模型耗费资源以及数据集样本不足的问题,引入了迁移学习技术;在数据层面,引入了数据增强和批归一化的数据预处理操作,解决了数据不足和样本不均的问题;在网络结构设计层面,研究了VGG16各卷积层所提取特征的不同性质,结合水果分级数据的特点,改进了VGG16的网络结构,通过删除较高层的卷积模块,使网络可以获取到更多的局部信息和细节特征,提高了水果分级的准确率,并通过实验分析了各卷积层对水果分级准确率的影响。(4)微调VGG16的水果分级实验验证了网络对水果表面小范围的局部特征检测存在困难,针对VGG16网络层次加深会造成细节信息丢失的问题,提出了基于VGG改进的特征融合网络用于水果分级,对VGG16网络进行了改进,去掉网络的最高层卷积模块,增加了一个卷积层,融合网络多个层的特征,实验结果表明,改进的方法比微调VGG16网络具有更高的精度。本文的创新点主要有:(1)实现了基于深度学习的端到端的水果分级方法,相比传统的基于数字图像处理的水果分级,大大简化了水果分级的步骤,提高了分级的准确率;(2)提出了基于VGG改进的特征融合网络用于水果分级,在VGG16网络上增加了一个卷积层,用于融合网络中间层的特征,提升了图像局部特征的识别能力,提高了分类的准确率;
关键词: 水果分级 ；图像处理 ；特征提取 ；卷积神经网络 ；VGG16
被引量
9
摘要： 研究背景和目的胃上皮下病变是临床上内镜检查的常见疾病,由于其缺乏特异性的临床表现和实验室检查指标,常在患者进行胃镜检查时偶然发现。胃上皮下病变的病理组织学类型多样,一般可分为非肿瘤性病变和肿瘤性病变(包括良性肿瘤性病变、潜在恶性肿瘤性病变和恶性肿瘤性病变),其生物学行为表现差异极大。胃上皮下病变的胃镜下表现极其相似,通常表现为被覆正常组织粘膜的半球形或球形的隆起型病变。因而,仅仅依靠普通白光内镜检查难以对胃上皮下病变进行准确的诊断。超声内镜(endoscopic ultrasound,EUS)检查是临床上评估胃上皮下病变的最常用手段之一。通过白光内镜和超声的有效结合,EUS可以充分评估胃上皮下病变的病变部位、大小、起源层次、形状、边缘以及回声强度等情况。但EUS检查后无法获取病变的病理组织学标本,其对胃上皮下病变的诊断准确率仅能达到45.5%～66.3%。近年来,多种先进内镜技术如EUS引导下细针抽吸活检术(EUS-guided fine-needle aspiration,EUS-FNA)和EUS 引导下Trucut穿刺活检术(EUS-guided trucut biopsy,EUS-TCB),亦被广泛用于胃上皮下病变的诊断。这些内镜技术希望通过对病变的穿刺活检获取组织标本,从而实现对病变的病理组织学诊断,弥补EUS对胃上皮下病变形态学诊断的不足。然而,既往研究发现,EUS-FNA对胃上皮下病变的组织获取率为38%～82%,无法取得理想的病理组织学诊断;而EUS-TCB虽然可以获取更多的组织标本,但由于设备自身的缺陷(如穿刺组织所需的角度较大时,外切鞘管不易弹出),使得EUS-TCB具有较高的穿刺失败率。细针型共聚焦激光显微内镜(needle-based confocal laser endomicroscopy,nCLE)是近年来共聚焦激光显微内镜(confocal laser endomicroscopy,CLE)技术的新发展,不同于探头式CLE应用于消化道粘膜浅表性病变的诊断,nCLE能够在常规EUS检查的同时,经由19 G穿刺针穿刺进入病变部位(粘膜深层或深部脏器组织),在体实时显示病变组织的显微结构变化,从而对病变进行诊断,实现“光学活检”。目前已有将nCLE用于胰腺囊性病变、胰腺实性病变、恶性淋巴结诊断的研究报道,但该技术用于胃上皮下病变的诊断尚无相关研究。在CLE对病变进行成像诊断时,这种新型的内镜技术会成像出类似病理组织学图像的黑白影像结果,这种图像特征要求内镜医师必须具备一定的病理组织学知识才能更好地掌握CLE图像诊断。此外,内镜医师在长时间进行操作检查后容易发生视觉疲劳,也将可能导致漏诊和误诊的发生。因此,如何有效地减轻内镜医师对nCLE的学习负担,快速、准确地对nCLE图像进行诊断,将成为进一步临床应用nCLE诊断胃上皮下病变亟需考虑的问题。而随着计算机技术的不断革新和迅猛发展,基于深度学习的人工智能在图像识别方面展现出了广阔的应用前景。目前,已有多项临床研究致力于将深度学习应用于医学图像识别领域,如病理切片图像识别、影像学图像识别、消化内镜图像识别等。因此,本研究围绕胃上皮下病变的显微内镜诊断及其深度学习辅助诊断方面展开研究,主要研究目的如下所述:(1)探究nCLE在深部脏器组织中的成像特点,初步评估nCLE诊断应用的可行性;(2)通过对各类胃上皮下病变的nCLE图像和其相应的病理组织学图像的比对分析,总结各类胃上皮下病变的nCLE图像特征,建立胃上皮下病变nCLE诊断标准;利用上述制定的nCLE诊断标准,前瞻性评估nCLE实时诊断胃上皮下病变的诊断价值;同时系统地评估nCLE诊断胃上皮下病变的可行性、安全性和可靠性;(3)构建用于辅助内镜医师诊断胃上皮下病变nCLE图像的深度学习模型,评估深度学习模型诊断胃上皮下病变的应用价值。研究方法第一部分:细针型共聚焦激光显微内镜在体成像的动物实验研究选取健康日本大耳白兔为实验动物,实验兔经耳缘静脉推注3%戊巴比妥钠溶液(1 ml/kg)麻醉后取仰卧位固定于兔台上。沿实验兔腹部做正中切开,充分暴露腹腔脏器组织。利用构建的nCLE穿刺模型分别对实验兔的大网膜、肝脏、胰腺、腰大肌进行穿刺成像,观察各腹部脏器组织的nCLE成像特征并保存清晰的nCLE图像。待上述所有脏器组织nCLE成像结束后,留取nCLE穿刺成像部位的组织标本。由3名有经验的显微内镜医师与1名消化系统病理学专家组成专家小组对各扫描部位nCLE图像与相应部位组织标本的病理组织学图像进行非盲法比对分析,评估nCLE在各腹部脏器组织中的成像特点。第二部分:细针型共聚焦激光显微内镜在胃上皮下病变诊断中的临床应用研究本部分研究共分为2个研究阶段,分别为第一阶段先期临床研究和第二阶段临床验证研究。1)第一阶段先期临床研究2016年5月至2016年11月,根据纳入标准和排除标准,前瞻性纳入经胃镜检查发现胃上皮下病变(大小≥2 cm)拟行EUS检查的患者。由1名有经验的内镜医师首先对胃上皮下病变进行常规EUS检查并评估,然后行EUS引导下nCLE检查,同时图像采集系统采集完整nCLE视频信息。所有患者在全部内镜检查结束后均接受内镜治疗或外科手术治疗。所有病变的最终诊断以病理组织学结果为金标准。由3名有经验的显微内镜医师和1名消化系统病理学专家组成专家小组,通过对nCLE图像与相应病变组织标本的病理组织学图像进行非盲法比对分析,总结各类胃上皮下病变的nCLE图像特征,最终建立胃上皮下病变(包括胃肠间质瘤、异位胰腺、平滑肌瘤、癌)nCLE诊断标准。2)第二阶段临床验证研究2016年12月至2018年4月,根据纳入标准和排除标准,前瞻性纳入经胃镜检查发现胃上皮下病变(大小≥1 cm)拟行EUS检查的连续患者。由1名有经验的内镜医师首先对胃上皮下病变进行常规EUS检查并做出初步EUS诊断,然后根据第一阶段先期临床研究制定的nCLE诊断标准对胃上皮下病变进行nCLE实时诊断,同时图像采集系统采集完整nCLE视频信息。内镜检查结束后,评估操作相关的不良事件。以内镜切除或外科手术切除标本的病理组织学结果为金标准,评估nCLE对胃上皮下病变进行实时诊断的诊断效能。1个月后,该内镜医师再次对所有病变的nCLE视频进行事后诊断。为评估观察者间一致性和nCLE图像质量,所有nCLE视频被随机分配给3名未参与实时诊断的显微内镜医师进行盲法诊断和图像质量评分(5点量表评分法;图像质量差:1分;图像质量一般:2分;图像质量中等:3分;图像质量好:4分;图像质量极好:5分)。第三部分:深度学习模型在细针型共聚焦激光显微内镜诊断胃上皮下病变中的应用研究从山东大学齐鲁医院消化内镜中心图像数据库选取2016年3月至2018年6月期间的胃上皮下病变nCLE图像。将所选取的nCLE图像进一步分为训练集图像、验证集图像和测试集图像。3名有经验的显微内镜医师以病理组织学结果为金标准,结合胃上皮下病变nCLE诊断标准,将所有nCLE图像分成梭形细胞肿瘤(包括胃肠间质瘤和平滑肌瘤)、异位胰腺和癌3大类进行人工标注。算法工程师把标注好的nCLE图像进行图像裁剪、图像缩小、数据归一化、白化等一系列图像预处理,以便更好地展现nCLE图像特征。利用Inception ResNet V2卷积神经网络构建深度学习模型。训练集图像和验证集图像用于深度学习模型的训练。训练完成后,测试集图像用于测试经训练得到的深度学习模型,评估深度学习模型对nCLE图像分类的诊断效能。同时,邀请2名有经验的显微内镜医师分别独立地对上述同一测试集图像进行盲法分类诊断,并记录其完成所有测试集图像诊断所需的时间。研究结果第一部分:细针型共聚焦激光显微内镜在体成像的动物实验研究本部分研究共纳入5只实验兔(雄兔3只,雌兔2只),所有实验兔均成功完成nCLE成像。nCLE成像清晰显示了大网膜、肝脏、胰腺和腰大肌的细胞形态、腺体结构以及微血管等显微结构。各腹腔脏器组织的nCLE图像具有特征性表现,并与病理组织学图像保持良好的一致性,具体如下:1)大网膜:nCLE成像表现为大小一致、排列规则、较透亮、圆形或类圆形的细胞结构,细胞间因相互重叠而呈现出立体感,其间可见白色血管结构;2)肝脏:nCLE成像表现为规则放射状排列的黑色索状结构,其间可见白色条索样血管,血管内有黑色小颗粒样结构流动;3)胰腺:nCLE成像表现为腺泡形态饱满,呈圆形或多边形,大小一致,排列规则;黑色腺泡结构间可见网状结构血管;4)腰大肌:nCLE成像在纵切面中肌纤维呈宽度一致、黑色、长条带状结构,肌纤维间可见白色血管结构;而在横切面中肌纤维呈粗细均匀、排列规则的类圆形或多边形结构,可见黑色线性轮廓。第二部分:细针型共聚焦激光显微内镜在胃上皮下病变诊断中的临床应用研究1)第一阶段先期临床研究本阶段研究最终纳入33名患者(男/女:14/19;平均年龄:55.6±11.2岁),共有33处胃上皮下病变(平均大小:3.9±3.1 cm)。所有患者均成功进行EUS引导下nCLE检查。在内镜检查结束后,20例病变经内镜治疗完整切除;其余13例病变进行外科手术切除。最终病理组织学诊断结果显示,胃肠间质瘤14例(极低或低风险9例,中等或高风险5例)、异位胰腺8例、平滑肌瘤6例、癌5例(低分化腺癌[内镜活检阴性的可疑革囊胃]4例,转移癌1例)。专家小组通过对nCLE图像与相应病变组织标本的病理组织学图像进行比对分析,制定出胃上皮下病变nCLE诊断标准,如下所述:1)a,胃肠间质瘤(极低或低风险):致密、浅灰的束状结构,无腺体成分;血管增多伴轻度荧光素钠渗漏;b,胃肠间质瘤(中等或高风险):异质性的束状结构;扩张迂曲的血管伴异质性荧光素钠渗漏;2)异位胰腺:规则的黑色小叶状结构,呈“咖啡豆样”外观;规则的网状结构血管;3)平滑肌瘤:均质、疏松、深灰色交织或束状结构,无腺体成分;血管增多,无荧光素钠渗漏;4)癌:异型腺体/不规则、黑色细胞聚集;扩张迂曲的血管伴异质性荧光素钠渗漏。2)第二阶段临床验证研究本阶段研究最终纳入61名患者(男/女:25/36;平均年龄:54.1±11.0岁),共有61处胃上皮下病变(平均大小3.0±2.6 cm)。除1名患者因穿刺失败而无法进行nCLE成像外,60名患者成功完成EUS引导下nCLE检查,且无操作相关不良事件发生。以内镜切除(35例)或外科手术切除(26例)标本的病理组织学诊断为金标准,61例胃上皮下病变中包括胃肠间质瘤19例(极低或低风险13例,中等或高风险6例)、异位胰腺17例、平滑肌瘤13例、癌12例。在12例癌中,8例为内镜活检阴性的可疑革囊胃(最终病理组织学诊断为低分化腺癌),2例为隆起型病变表现的低分化腺癌,2例为隆起型病变表现的转移癌。根据第一阶段先期临床研究制定的胃上皮下病变nCLE诊断标准,nCLE对胃肠间质瘤实时诊断和事后诊断的敏感性、特异性和准确度分别为73.7%vs.84.2%、95.1%vs.95.1%和88.3%vs.91.7%;对异位胰腺实时诊断和事后诊断的敏感性、特异性和准确度分别为100.0%vs.100.0%、97.7%vs.100.0%和98.3%vs.100.0%;对平滑肌瘤实时诊断和事后诊断的敏感性、特异性和准确度分别为91.7%vs.83.3%、93.8%vs.93.8%和93.3%vs.91.7%;对癌实时诊断和事后诊断的敏感性、特异性和准确度分别为83.3%vs.100.0%、95.8%vs.97.9%和93.3%vs.98.3%;其比较结果均无统计学差异(P>0.05)。此外,nCLE实时诊断在诊断各类胃上皮下病变的准确度以及总体准确度方面均显著高于EUS诊断,其比较结果具有统计学差异(胃肠间质瘤,88.3%vs.70.0%,,P=0.01;异位胰腺,98.3%vs.81.7%,P<0.0l;平滑肌瘤,93.3%vs.75.0,P=0.0 1;癌,93.3%vs.80.0%,P=0.03;总体准确度,86.7%vs.51.7%,P<0.01)。根据5点量表评分法,
关键词: 细针型共聚焦激光显微内镜 ；胃上皮下病变 ；深度学习 ；诊断
摘要： 当前,卷积神经网络(Convolutional Neural Network,CNN)被广泛应用在图像分类、目标检测等领域,嵌入式计算平台是较为常见的应用设备之一。由于单一计算资源难以有效应对较为复杂的计算任务,异构多核逐渐成为目前较为主流的嵌入式处理器架构。但相较于高性能计算机,嵌入式计算平台始终存在存储和计算资源有限的问题,CNN部署于此类平台后,其计算速度往往有所下降。 一方面,CNN算法的复杂度与参数量与日俱增,在落地部署时会出现参数冗余的问题,占用过多计算资源;另一方面,嵌入式异构多核平台会将CNN计算流程中的预处理、推理、后处理任务分配给不同的处理器核心执行,凭借AI加速器适配于卷积运算的硬件设计与并行计算框架,推理部分的计算速度相对较快,但预处理和后处理通常在并行度较低的CPU上进行,因此二者的计算速度受到限制,其耗时甚至远远超出推理用时。 针对应用于异构多核计算平台的图像处理技术,本文考虑采用轻量化策略以解决CNN算法参数冗余的问题,并充分利用硬件平台异构多核架构的特点,整合计算资源,实现图像预处理、后处理以及整体处理流程的并行计算,寻求从各处理阶段到整体流程的多层次计算加速优化。主要研究工作总结如下: (1)CNN算法轻量化:以YOLOv5为例,采取剪枝、量化、主干网络替换等轻量化策略对部署的CNN算法进行推理计算加速。选用Min Max量化、KL散度量化作为主要使用的量化方法;设计通道剪枝,选取批量归一化层的缩放因子作为重要性评估标准,通过L1正则化进行稀疏化训练;选取两种轻量化网络结构进行主干网络替换与模块化设计;最后通过实验证明了轻量化方法的有效性。 (2)并行计算加速设计:基于Yulong810A的异构多核架构特点,对于图像预处理,结合NEON指令集、Open MP在CPU上进行加速,结合Open VX并行计算框架在GPU上进行加速,对于图像后处理,使用Open MP对简单循环结构作并行加速。最后,对上述方法进行实验验证,实验结果表明,各方法均有效起到加速作用,其中GPU的加速效果最为明显。 (3)多线程方案设计:将预处理-推理-后处理的整体流程分解为各个单独线程,并创建多个相同结构的Graph,各线程流水线式获取Graph执行对应阶段的计算任务,利用不同任务线程在不同处理器核心上同时执行的时间重叠性以缩短耗时。最后整合各阶段的加速方法,通过实验检测多线程处理在不同组合下的加速效果,实验结果验证了该加速方案的有效性。
关键词: 异构多核 ；嵌入式平台 ；卷积神经网络 ；轻量化 ；并行计算加速
摘要： 随着5G和物联网技术的崛起,边缘计算和人工智能的结合逐渐成为研究热点,从而催生出了“边缘智能”。边缘计算使得计算能力更接近用户或数据源,显著减少了计算延迟和通信开销并保护了用户隐私。神经网络技术在图像识别、语音识别等领域广泛应用,效果优异。因此,在手机、相机等边缘设备上部署神经网络以完成各项推理任务已经开始普及。然而,由于环境影响导致边缘推理任务精度下降的问题、传输延迟和用户隐私的问题使得在边缘设备上进行神经网络训练的需求变得迫切。解决这一问题的方法就是在边缘设备上对神经网络进行重训练。在边缘进行神经网络训练的挑战在于,边缘设备通常具有严格的功耗和片上资源限制。并且训练比推理更加复杂,计算量更大,所需存储更多。作为第二代神经网络的卷积神经网络和第三代神经网络脉冲神经网络多被广泛应用于各类识别任务且表现优异。它们各有特点。卷积神经网络能够完成较为复杂的识别任务,如图像分类中、关键点检测和实例分割等。但是其计算量和存储开销都比较大。因此在边缘只能支持轻量级的网络训练。与之相比,脉冲神经网络的计算量和存储开销都比较小。但是它目前暂时缺乏普遍高效的学习算法。因而其表现略逊于卷积神经网络。两种网络各自有其可取之处。本文主要针对卷积神经网络和脉冲神经网络训练中不同计算需求和特点,提出了对应的加速器体系结构设计、实现和存储优化方法,以便将其训练部署于边缘计算场景下。本文主要贡献如下:1)面向卷积神经网络片上训练的加速器体系结构设计与实现。针对具有计算密集型特点的卷积神经网络训练,本文提出使用二维脉动阵列来支持训练的前向传播和反向传播中的卷积和矩阵乘运算;基于硬件友好的范围批处理归一化算法,本文提出了批处理归一化阵列来支持批处理归一化计算并加速训练的收敛速度;针对反向传播算法,本文提出了反向传播引擎来支持训练反向传播中误差计算、梯度计算和权值更新。除此之外,本文还提出了脉动阵列与批处理归一化阵列之间的协同机制优化方法,进一步减少了硬件实现开销并提升了计算效率。2)面向液体状态机片上训练的类脑处理器体系结构设计与实现。针对液体状态机这种脉冲神经网络的计算特点,本文提出了一种采用移位寄存器进行脉冲发送的类脑处理器。针对处理器需要传输大量初始化数据的问题,本文提出了压缩传输,解压缩使用的方法,以加快初始化过程,同时保证数据的准确性。除此之外,基于对液体状态机在时间上的稀疏性的特性分析,本文提出了跳零机制这一优化方法来进一步提升加速器的处理性能。3)面向液体状态机的类脑处理器片上存储压缩机制设计与实现。基于对液体状态机鲁棒性和空间稀疏性的特性分析,本文提出了一种压缩稀疏组相联缓存的有损存储压缩方式。该方式能够在不降低网络精度、降低处理器性能很小的条件下,实现网络中权值存储的压缩,从而降低处理器功耗。本文提出的卷积神经网络片上训练加速器在FPGA ZYNQ-Z1上实现。实验表明,其功耗为0.346W,工作频率为50MHz。与CPU I5-7500相比,它能带来3.3×的性能提升和8.9×的能效提升。本文提出的液体状态机片上训练类脑处理器使用ASIC 40nm工艺实现。其功耗为4.9W,工作频率为400MHz,芯片面积为18.49mm2。与CPU I7-7700H相比,在MNIST,N-MNIST,FSDD数据集上的训练能达到80.7×-91.3×的性能提升。除此之外,使用跳零机制比不使用带来5.23×-5.48×的性能提升。本文提出的采用压缩稀疏组相联缓冲这种压缩方式,在不同的权值位宽下,可以为面向液体状态机的类脑处理器带来14%-55%的存储削减和5%-46%的功耗降低。本文提出的两款加速器设计分别支持卷积神经网络和脉冲神经网络的片上训练,因此都可以应用于边缘计算场景,为神经网络的训练提供底层硬件支撑。
关键词: 边缘计算 ；卷积神经网络 ；脉冲神经网络 ；片上训练
摘要： 随着工业的快速发展,人们对产品的质量要求也越来越关注。产品表面缺陷检测作为生产过程中最重要的工序之一,它直接影响到产品质量以及用户体验。产品在生产过程中往往会出现一些缺陷,这些缺陷具有一定的随机性,缺陷类型、形状大小各异。传统的人工检测虽然方法简单,有些缺陷的特征不够明显,利用人眼难以识别,检测误差较大,并且效率低下;现有的机器视觉方法能够实现自动检测,但其核心算法需要人工提取特征,存在选取特征不合适、算法不通用等诸多问题。基于此,本文结合图像的特点,对深度卷积神经网络应用于锂电池面板表面的缺陷检测进行研究。针对数据样本不足的问题,本文使用数据增强扩充锂电池面板数据集,并建立了不同数量的数据集来验证卷积神经网络模型的泛化性能。此外,本文提出一种结合CycleGAN的算法扩充数据集,将已有的缺陷样本和正常样本进行了充分利用,通过训练生成对抗网络学习正常样本与缺陷样本的特征分布,实现图像跨域转换。网络可以将缺陷样本的特征迁移到正常样本中生成新的缺陷样本,同时也可以生成自身学习到的正常样本和缺陷样本。实验结果表明该方法生成图像逼真,能有效提高算法的识别精度。针对传统的表面缺陷检测算法精度不高,需要手工提取特征等问题,本文对卷积神经网络应用于锂电池面板分类进行研究。卷积神经网络能够自动提取图像中的特征,无需人为干预,它的局部连接、权值共享等技术能够有效减少模型的参数量,具有很强的泛化能力。其中影响缺陷分类准确率的关键因素在于卷积神经网络模型的设计,本文综合考虑了模型的复杂度和构建方式,主要从网络的深度、宽度方面进行探索,利用批归一化、残差结构、Inception分支、Senet等设计不同类型的卷积神经网络模型应用在锂电池面板缺陷检测。分别进行实验验证不同复杂度的网络模型的识别效果,对比不同的数据集对结果产生的影响。实验结果表明本文设计的最佳深度卷积神经网络模型识别准确率达到99.44%,模型参数量适中。
关键词: 深度学习 ；表面缺陷检测 ；卷积神经网络 ；生成对抗网络
被引量
5
已选:0 清除
批量下载
批量引用
- 1
- 2
- 3
- 4
- 5
- 6
- 7