为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利...为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利用Wald协议退化生成不同尺寸图像时会造成信息损失;另一方面,受到网络结构和单一注意力的限制,无法同时利用全局和局部特征。为解决以上问题,本文提出了基于联合注意力的渐进式网络(Pan-sharpening based on multi-attention progressive network),称为MAPNet。在该网络中,首先采用多阶段训练以减小尺寸变化带来的光谱和细节损失。其次设计联合注意力模块,将自注意力、空间注意力和通道注意力结合,实现对全局特征和局部特征、空间特征和通道特征的多模态分析,进一步提高MAPNet对纹理细节的保留能力。在高分二号卫星上进行大量对比实验和消融实验,定性和定量结果表明,本文方法融合效果优于其他10种方法,能够改善光谱失真和细节纹理丢失等问题。展开更多
目的现有场景分类方法主要面向高空间分辨率图像,但这些图像包含极为有限的光谱信息,且现有基于卷积神经网络(convolutional neural network,CNN)的方法由于卷积操作的局部性忽略了远程上下文信息的捕获。针对上述问题,提出了一种面向...目的现有场景分类方法主要面向高空间分辨率图像,但这些图像包含极为有限的光谱信息,且现有基于卷积神经网络(convolutional neural network,CNN)的方法由于卷积操作的局部性忽略了远程上下文信息的捕获。针对上述问题,提出了一种面向高光谱场景分类的空—谱模型蒸馏网络(spatial-spectral model distillation network for hyperspectral scene classification,SSMD)。方法选择基于空—谱注意力的ViT方法(spatial-spectral vision Transformer,SSViT)探测不同类别的光谱信息,通过寻找光谱信息之间的差异性对地物进行精细分类。利用知识蒸馏将教师模型SSViT捕获的长距离依赖信息传递给学生模型VGG16(Visual Geometry Group 16)进行学习,二者协同合作,教师模型提取的光谱信息和全局信息与学生模型提取的局部信息融合,进一步提升学生分类性能并保持较低的时间代价。结果实验在3个数据集上与10种分类方法(5种传统CNN分类方法和5种较新场景分类方法)进行了比较。综合考虑时间成本和分类精度,本文方法在不同数据集上取得了不同程度的领先。在OHID-SC(Orbita hyperspectral image scene classification dataset)、OHS-SC(Orbita hyperspectral scene classification dataset)和HSRS-SC(hyperspectral remote sensing dataset for scene classification)数据集上的精度,相比于性能第2的模型,分类精度分别提高了13.1%、2.9%和0.74%。同时在OHID-SC数据集中进行的对比实验表明提出的算法有效提高了高光谱场景分类精度。结论提出的SSMD网络不仅有效利用高光谱数据目标光谱信息,并探索全局与局部间的特征关系,综合了传统模型和深度学习模型的优点,使分类结果更加准确。展开更多
文摘为发挥遥感图像在国防军事、公共安全、环境监测等领域的重要作用,如何融合已配准的高分辨率全色图像与低分辨率多光谱图像的互补信息成为当前研究的重点。尽管近年来全色锐化方法已取得较大进步,但大多数方法仍受到以下限制:一方面,利用Wald协议退化生成不同尺寸图像时会造成信息损失;另一方面,受到网络结构和单一注意力的限制,无法同时利用全局和局部特征。为解决以上问题,本文提出了基于联合注意力的渐进式网络(Pan-sharpening based on multi-attention progressive network),称为MAPNet。在该网络中,首先采用多阶段训练以减小尺寸变化带来的光谱和细节损失。其次设计联合注意力模块,将自注意力、空间注意力和通道注意力结合,实现对全局特征和局部特征、空间特征和通道特征的多模态分析,进一步提高MAPNet对纹理细节的保留能力。在高分二号卫星上进行大量对比实验和消融实验,定性和定量结果表明,本文方法融合效果优于其他10种方法,能够改善光谱失真和细节纹理丢失等问题。
文摘目的现有场景分类方法主要面向高空间分辨率图像,但这些图像包含极为有限的光谱信息,且现有基于卷积神经网络(convolutional neural network,CNN)的方法由于卷积操作的局部性忽略了远程上下文信息的捕获。针对上述问题,提出了一种面向高光谱场景分类的空—谱模型蒸馏网络(spatial-spectral model distillation network for hyperspectral scene classification,SSMD)。方法选择基于空—谱注意力的ViT方法(spatial-spectral vision Transformer,SSViT)探测不同类别的光谱信息,通过寻找光谱信息之间的差异性对地物进行精细分类。利用知识蒸馏将教师模型SSViT捕获的长距离依赖信息传递给学生模型VGG16(Visual Geometry Group 16)进行学习,二者协同合作,教师模型提取的光谱信息和全局信息与学生模型提取的局部信息融合,进一步提升学生分类性能并保持较低的时间代价。结果实验在3个数据集上与10种分类方法(5种传统CNN分类方法和5种较新场景分类方法)进行了比较。综合考虑时间成本和分类精度,本文方法在不同数据集上取得了不同程度的领先。在OHID-SC(Orbita hyperspectral image scene classification dataset)、OHS-SC(Orbita hyperspectral scene classification dataset)和HSRS-SC(hyperspectral remote sensing dataset for scene classification)数据集上的精度,相比于性能第2的模型,分类精度分别提高了13.1%、2.9%和0.74%。同时在OHID-SC数据集中进行的对比实验表明提出的算法有效提高了高光谱场景分类精度。结论提出的SSMD网络不仅有效利用高光谱数据目标光谱信息,并探索全局与局部间的特征关系,综合了传统模型和深度学习模型的优点,使分类结果更加准确。
