医学影像数据是疾病诊断的关键信息源,传统的影像诊断手段因人为因素易产生误诊和漏诊的问题。因此,人工智能辅助诊断的需求日益迫切。对于脑部疾病,特别是阿尔茨海默病(AD)和帕金森病(PD)等神经退行性疾病,这些疾病的诊断主要依赖于CT、MRI、PET等影像检查,这些检查能提供脑部结构和功能的详细信息。由于脑疾患类型多样且诊断流程复杂,因此整合多模态影像数据成为提升诊断精确度与全面性的关键环节。一方面,现行的多模态影像融合策略在一定程度上忽视了医学信息与影像特征间的内在关联性,倾向于简单套用自然图像融合技术,这种局限性在脑疾病诊断中限制了其实际效能。因此,本研究旨在从耦合医学信息与影像特征出发探究多模态融合技术新方法,增强对脑疾病诊断的准确性和医学可解释性。
另一方面,尽管现阶段基于医学影像数据的智能辅助诊断技术已取得了显著进步,但在很大程度上仍受制于对单一模态影像数据的过分依赖,以及忽略了其他潜在的诊断信息,这导致某些潜在的诊断线索可能被忽略。与此相比,基于医学影像组学的智能辅助诊断方法则展现出填补这一空白的潜力,它能够为临床医生提供更为精准的诊断依据,并有助于实现疾病的早期筛查,从而显著改善患者的预后。医学影像组学作为一门新兴的交叉研究领域,正在经历从传统的手工设计特征到特征学习的转型。深度学习方法的兴起赋予了医学影像组学全新的研究动能,使得模型能够直接从医学影像中发掘有价值的信息特征。本研究旨在通过人工智能和影像组学的综合应用,结合机器学习和深度学习技术,对脑肿瘤、AD和PD的多模态医学数据进行智能辅助诊断。本研究立足临床实际需求,紧紧围绕着基于医学影像组学的智能辅助诊断算法研究,主要开展了以下工作:
(1)针对现有的大多医学影像融合方法没有考虑医学影像的医学语义信息的问题,本文提出了一种基于医学语义信息引导的医学影像融合方法(MsgFusion)。首先在多模态脑影像的关键医学语义信息和影像特征之间建立关系,接着引导使用两个分支的特征提取和影像融合框架的设计。其中,在融合过程中使用了一种基于分层分类的策略,用于重建融合影像,以保持和增强反映解剖结构和功能代谢的突出的医学语义信息。相对现有的一些方法,本文提出的方法在6/7个客观评估指标上和30位临床医生主观评估上均占据优势。
(2)因磁共振成像与正电子发射断层成像的融合,可以将生物解剖信息和生理代谢信息结合起来,对临床诊断和病变定位具有重要意义。因此,本文提出一种多维特征的自适应线性融合方法(MdAFuse)。在特征提取阶段,构建三维特征独立的提取模块,可以有效地利用结构信息。在融合阶段,建立多维特征的仿射映射函数,以保持特征之间恒定的几何关系。此外,本文提出的方法中还含有关键特征可视化增强部分,旨在观察脑病变的动态生长,这可以促进脑肿瘤的早期诊断和治疗。实验结果表明,本文的方法得到了临床医生的高度评价和统计数据的支持。其中,本文提出的方法在SSIM和VIF指标上分别提升了 5.61%和13.76%。
(3)针对绝大多数基于神经网络的分类方法都只能提取局部特征,感受野有限的问题,本文提出一种有效扩大感受野的小波卷积单元。另外,细粒度分类对于认知障碍的准确诊断和正确治疗具有重要意义。本文进一步设计小波卷积单元网络(WCU-Net)。并成功应用于AD的细粒度多分类任务,在基于AD的脑DTI数据上首次实现了细粒度三分类。在细粒度三分类的实验中,均能获得超过95%的精确度。另外,在细粒度四(AD、NC、EMCI、LMCI)分类中,获得了 93.79%的精确度,比现有的SOTA方法提高了 1.19%。
(4)基于PD分类预测的研究,本文综合分析了国内外PD分类预测的智能辅助诊断技术,并梳理了利用机器学习模型进行辅助PD早期检测的研究工作,以指导早期干预和防止病情进展。首次尝试将帕金森病(PD)的诊断与疾病进展区分开来,不仅仅局限于简单的分类预测。另外,探讨了帕金森病预测领域的最新研究趋势,并统计了PubMed数据库中相关主题的文献数量。结合实际临床需求,概述了帕金森病预测的未来发展方向,这为智能辅助诊断提供了有价值的见解。
(5)随着对评估和跟踪帕金森病进展的动态监测变得越来越重要,本文提出了一种基于跨模态数据融合的PD进展预测新方法(CMFP)。该方法的独特之处在于采用纵向数据研究方法,结合机器学习技术,建立了早期PD进展预测模型。CMFP方法对PD进展的预测达到77.91%的AUC。与仅使用临床数据、DTI数据和DAT数据的预测相比,AUC分别提升了 24.48%、30.78%和32.7%。研究结果显示,跨模态数据融合显著提升了单模态预测的准确度,并且也说明了 DTI数据与临床结合更有助于提高预测PD进展的性能,可辅助临床诊断。
本研究充分利用影像组学(多模态和异构数据),以机器学习或深度学习为基础,充分发挥人工智能在医疗领域的潜力,以辅助医生的临床决策。通过为医疗团队提供更加精准详实的数据分析及丰富的临床洞见,旨在为患者提供更个性化和有效的治疗方案,从而提升患者的生存质量、延长生存期。 摘要译文