李楠,张宏立.基于多模态融合的2D MR脑肿瘤图像分割算法研究[J].光电子激光,2023,(8):890~896
基于多模态融合的2D MR脑肿瘤图像分割算法研究
Research on 2D MR brain tumor image segmentation algorithm based on multimodal fusion
投稿时间:2022-05-21  修订日期:2022-07-28
DOI:
中文关键词:  脑肿瘤分割  U-net网络  多模态融合  通道交叉注意力机制
英文关键词:brain tumor segmentation  U-net  multimodal fusion  channel cross transformer (CCT)
基金项目:国家自然科学基金(62162058)资助项目
作者单位
李楠 (新疆大学 电气工程学院新疆 乌鲁木齐 830004) 
张宏立 (新疆大学 电气工程学院新疆 乌鲁木齐 830004) 
摘要点击次数: 335
全文下载次数: 0
中文摘要:
      针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks,CNNs) 提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer,CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。
英文摘要:
      Aiming at the differences in tumor status presented by different modalities of MR brain tumor images and the limitations of feature extraction by convolutional neural networks (CNNs),a method of brain tumor image segmentation based on multimodal fusion is proposed.The segmentation model is based on the U-net network,which innovate a multimodal image fusion approach to enhance the feature extraction capability,while a channel cross transformer (CCT) module is introduced instead of the jump connection structure in the U-net to further the deep and shallow feature disparity and spatial dependency,fusing the multi-scale features effectively and enhancing the tumor segmentation capability.The results of multi-objective segmentation are verified on the BraTS dataset.Quantitative analysis and comparison of frontier network segmentation results shows that the proposed method has good segmentation performance.The Dice coefficients of three tumor regions are 80%,74% and 71% respectively.
查看全文    下载PDF阅读器
关闭

版权所有:《光电子·激光》编辑部  津ICP备12008651号-1
主管单位:天津市教育委员会 主办单位:天津理工大学 地址:中国天津市西青区宾水西道391号
技术支持:北京勤云科技发展有限公司