基于显微成像技术的肿瘤分级对于乳腺癌诊断和预后有着重要的意义,且诊断结果需具备高精度和可解释性。目前,集成Attention的CNN模块深度网络归纳偏差能力较强,但可解释性较差;而基于ViT块的深度网络其可解释性较好,但归纳偏差能力较弱...基于显微成像技术的肿瘤分级对于乳腺癌诊断和预后有着重要的意义,且诊断结果需具备高精度和可解释性。目前,集成Attention的CNN模块深度网络归纳偏差能力较强,但可解释性较差;而基于ViT块的深度网络其可解释性较好,但归纳偏差能力较弱。本文通过融合ViT块和集成Attention的CNN块,提出了一种端到端的自适应模型融合的深度网络。由于现有模型融合方法存在负融合现象,无法保证ViT块和集成Attention的CNN块同时具有良好的特征表示能力;另外,两种特征表示之间相似度高且冗余信息多,导致模型融合能力较差。为此,本文提出一种包含多目标优化、自适应特征表示度量和自适应特征融合的自适应模型融合方法,有效地提高了模型的融合能力。实验表明本文模型的准确率达到95.14%,相比ViT-B/16提升了9.73%,比FABNet提升了7.6%;模型的可视化图更加关注细胞核异型的区域(例如巨型核、多形核、多核和深色核),与病理专家所关注的区域更加吻合。整体而言,本文所提出的模型在精度和可解释性上均优于当前最先进的(state of the art)模型。展开更多
文摘基于显微成像技术的肿瘤分级对于乳腺癌诊断和预后有着重要的意义,且诊断结果需具备高精度和可解释性。目前,集成Attention的CNN模块深度网络归纳偏差能力较强,但可解释性较差;而基于ViT块的深度网络其可解释性较好,但归纳偏差能力较弱。本文通过融合ViT块和集成Attention的CNN块,提出了一种端到端的自适应模型融合的深度网络。由于现有模型融合方法存在负融合现象,无法保证ViT块和集成Attention的CNN块同时具有良好的特征表示能力;另外,两种特征表示之间相似度高且冗余信息多,导致模型融合能力较差。为此,本文提出一种包含多目标优化、自适应特征表示度量和自适应特征融合的自适应模型融合方法,有效地提高了模型的融合能力。实验表明本文模型的准确率达到95.14%,相比ViT-B/16提升了9.73%,比FABNet提升了7.6%;模型的可视化图更加关注细胞核异型的区域(例如巨型核、多形核、多核和深色核),与病理专家所关注的区域更加吻合。整体而言,本文所提出的模型在精度和可解释性上均优于当前最先进的(state of the art)模型。
基金sponsored by the National Natural Science Foundation of China(No.41274129)National Science and Technology Major Project(No.2016ZX05026001-004)+2 种基金Key Research and Development Program of Sichuan Province(No.2020YFG0157)the 2018 Central Supporting Local Coconstruction Fund(No.80000-18Z0140504)the Construction and Development of Universities in 2019-Joint Support for Geophysics(Double First-Class center,80000-19Z0204).
