国际癌症研究机构发布的全球癌症统计数据显示,2020年全球乳腺癌新增人数高达226万,已经超过肺癌成为全球第一大癌症。自2008年以来,全球乳腺癌发病率增加了 20%以上。2020年中国新发癌症病例总数约为457万,其中乳腺癌发病人数超过41万,占中国女性新发癌症病例总数的19.9%,是中国女性发病人数最多的癌症。
乳腺癌早期筛查已经被证明是控制乳腺癌的有效手段之一,早期发现并介入治疗可以有效提高乳腺癌患者的生存率和生存周期。由于乳腺X光检查是一种无创的检测手段,痛苦相对较小,简便易行,分辨率高,且不受年龄、体形限制,乳腺X光检查已经成为乳腺癌早期筛查最广泛的手段之一。然而,随着乳腺X光筛查的普及也产生了如下问题:(1)相较于庞大的早期筛查人数,经验丰富的放射科医生的数量非常有限;(2)由于病变特征不明显以及诊断的主观性,在一些情况下放射科医生无法给出一致且肯定的结论;(3)相对于发达地区,偏远地区医疗条件落后,医生水平普遍较低。这些因素都在不同程度上制约着医生通过乳腺X光图像诊断乳腺癌的效率和准确性。
计算机辅助诊断系统能够通过分析医学图像数据中的潜在规律来辅助医生进行决策,可以在降低医生工作量的同时有效提高疾病的检出率和筛查的准确性。早期的乳腺X光图像分析算法依赖于传统图像处理技术。然而,该类方法必须根据具体的数据特点精心设计手工特征,使得这类方法在理论上就存在诸如可移植性差等的一些缺陷。深度神经网络可以以数据驱动的方式自动地从目标数据中提取特征,具有强大的特征提取能力、特征表达能力和特征泛化能力。
目前,已有多种基于深度神经网络的乳腺X光图像智能诊断方法相继被提出。然而,不同于自然图像前景目标较为清晰、不同类别差别明显、目标辨识度较高等特点,乳腺X光图像具有病灶区域小,病灶形状多变;局部特征受全局特征影响大,多视角数据关联、互补性强;高精度标签稀缺等特点。现有的乳腺X光图像智能诊断方法并未充分考虑到乳腺X光图像的特点,同时也忽略了临床医生的实际诊断过程,存在准确率不高,假阳率、假阴率偏高等问题。本文针对乳腺X光图像智能诊断领域存在问题和挑战,结合乳腺X光图像数据自身的特点和临床实际诊断流程,重点研究了基于局部特征表达的乳腺X光图像智能诊断方法,以期构造更加适合乳腺X光图像智能诊断的特征表达,并完成乳腺X光图像智能诊断过程中三个阶段的关键技术研究,即乳腺X光图像整图分类关键技术研究、多实例乳腺X光图像分类关键技术研究和乳腺X光图像弱监督目标定位关键技术研究。本文的创新点和主要贡献如下:
1.提出基于卷积特征描述符选择的乳腺X光图像分类模型
针对乳腺X光图像的特点,本文聚焦于深度特征描述符选择,设计了一种基于卷积特征描述符选择的乳腺X光图像分类模型。该方法使用深度特征描述符选择来代替使用精确标签进行病灶检测/分割的操作,并设计了一种新颖的卷积特征描述符选择结构来自适应地选择具有判别性的深度特征描述符,以得到图像的判别性特征表达。消融实验和可视化分析表明,该方法可以使模型更容易学习到恶性和良性/正常病变之间的差异。两个乳腺X光图像公开数据集上的实验结果表明,本文提出的方法可以实现最先进的乳腺X光图像整图分类性能。
2.提出基于区域标签分配策略的多实例乳腺X光图像分类模型
基于卷积神经网络的方法在乳腺X光图像智能诊断方面取得了突破性的进展。然而,这些方法大多数都忽略了乳腺X光图像整体和局部特征之间以及患者不同视角图像之间的关联性。本文设计了一种新颖的基于区域标签分配策略的多实例乳腺X光图像分类方法,通过构建乳腺X光图像的多实例特征表达,使分类器充分利用病例多视角图像之间的关联信息,更好地将细微的病变区域与复杂的全局信息区分开来。该方法只需要病例级的分类标签就可以监督网络训练,相对于现有整图分类方法需要图像级别的分类标签,进一步降低了对标注的需求。另外,由于乳腺X光图像数据集总是存在类别不平衡问题,本文设计了一种基于受试者工作特征曲线下面积的优化方法以提升模型在类别不平衡数据集上的性能。在本文构建的乳腺X光图像数据集和两个公开数据集上的实验结果表明,与目前最先进的乳腺X图像分类器相比,所提出的方法表现令人满意。
3.提出了一种基于特征融合的乳腺X光图像弱监督目标定位模型
结合卷积神经网络对局部信息的敏感性和Vision Transformer网络在长距离语义关联性方面的优势,本文提出了一种新颖的基于特征融合的乳腺X光图像弱监督目标定位方法,通过构建更细粒度的特征表达提升乳腺X光图像弱监督目标定位的精度。此外,考虑到乳腺X光图像中病灶区域通常占比较小,本文设计了一种尺寸约束损失函数,使定位结果更加符合乳腺X光图像病灶的特点。乳腺X光图像公开数据集上的实验结果表明本文提出的方法可以实现最先进的乳腺X光图像弱监督目标定位性能。
4.提出基于对比学习的双分支类别不可知图像弱监督目标定位模型
为了进一步将本文提出的弱监督定位方法泛化到自然图像数据集,本文提出一种新颖的基于对比学习的类别无关双分支弱监督目标定位方法。该方法首先将基于卷积神经网络的局部特征和基于Vision Transformer的全局特征进行逐层交互式融合,得到图像的增强特征表达,然后通过本文提出的一种新颖的基于聚类的跨图像前景-背景对比学习损失函数,迫使网络使用类别无关的激活图来解耦图像中的前景目标和背景区域。两个基准数据集上的实验结果验证了该方法的有效性和泛化性。
综上所述,论文针对乳腺X光图像智能诊断领域存在问题和挑战,结合乳腺X光图像数据自身的特点和临床实际诊断过程,以局部特征表达为主要研究点,从乳腺X光图像整图分类、乳腺X光图像多实例分类、乳腺X光图像弱监督目标定位等方面展开算法研究,通过构造更加适合乳腺X光图像的特征表达,提升了乳腺X光图像智能诊断模型的准确性和可解释性,为乳腺X光图像智能分析研究走向临床实践提供了有力的技术支持。 摘要译文