近日，华南农业大学崔金荣副教授在IEEE Transactions on Medical Imaging期刊发表题为“Adjacent-aware Modality Recovery based on Incomplete Multi-Modal Brain Disease Diagnosis”的研究论文。崔金荣副教授为第一作者，2023级计算机科学与技术硕士研究生叶伟浩、南京航空航天大学朱旗教授和哈尔滨工业大学（深圳）文杰教授为论文合作作者。
多模态医学影像学习技术是实现脑疾病精准诊断的重要基础。现有多模态脑疾病诊断方法通常依赖完整的多模态数据输入，但在实际临床数据采集过程中，由于设备限制、成本因素或患者条件等原因，医学影像数据常常存在模态缺失问题，这不仅会降低多模态模型的诊断性能，也限制了其在真实临床环境中的应用。近年来，一些研究尝试通过模态恢复或跨模态表示学习来缓解模态缺失带来的影响，但这些方法往往忽略了样本之间潜在的邻域语义关系，导致恢复模态的质量仍然有限。
针对这一问题，该研究提出了一种邻域感知蒸馏恢复框架（ADRNet），用于解决不完整多模态脑影像学习问题。该框架通过利用标签引导的邻域信息挖掘样本之间的语义关系，以生成更加符合真实分布的恢复模态特征。同时，引入知识蒸馏机制对模态生成器进行优化，以提高生成模态的稳定性和表达能力。在此基础上，模型进一步联合模态恢复与多模态表示学习，实现端到端的不完整多模态脑疾病诊断。实验结果表明，在癫痫和阿尔茨海默病数据集上的多种模态缺失设置下，本文方法均取得了优于现有方法的诊断性能，验证了所提出方法在不完整多模态脑影像分析中的有效性与鲁棒性。
