当前场景分类任务大多面向高分辨率遥感图像,由于缺乏光谱信息限制了它的场景鉴别能力,而高光谱遥感图像具有“空谱合一”的特性,在场景分类问题上具有独特优势。针对高光谱遥感图像中地物分布复杂,以及高光谱图像中维度高、存在冗余等...当前场景分类任务大多面向高分辨率遥感图像,由于缺乏光谱信息限制了它的场景鉴别能力,而高光谱遥感图像具有“空谱合一”的特性,在场景分类问题上具有独特优势。针对高光谱遥感图像中地物分布复杂,以及高光谱图像中维度高、存在冗余等问题,本文提出一种高光谱场景分类流形蒸馏网络(hyperspectral scene classification manifold distillation network,HSCMDNet),有效提高了分类性能。对于遥感图像地物分布复杂问题,HSCMDNet模型使用基于移位窗口的层次化视觉Transformer(hierarchical vision transformer using shifted windows,SwinT)作为教师网络来充分挖掘高光谱图像的长距离依赖信息,捕获不同波段之间的关系。在此基础上,在教师网络与ResNet-18学生网络之间设计流形蒸馏损失,通过在流形空间中匹配学生和教师的中间层输出特征实现教师模型的知识更有效地向轻量化学生模型转移,缓解了高光谱图像中维数高导致的高计算复杂性问题。在欧比特高光谱图像场景分类数据集(Orbita hyperspectral image scene classification dataset,OHID-SC)及天宫二号遥感图像自然场景分类数据集(natural scene classification with Tiangong-2 remotely sensed imagery,NaSC-TG2)上,所提出的HSCMDNet网络的最佳分类精度分别达到了93.60%和94.55%。展开更多
文摘点云分类与分割在机器人导航、虚拟现实以及自动驾驶领域应用广泛,大多面向点云处理的深度学习方法采用共享权重的多层感知机(MultiLayer Perceptron,MLP)以及单一的池化来聚合点云的局部特征,难以准确地描述排列复杂的点云结构信息。针对上述问题,提出一种点云形状自适应的局部特征编码方法,以有效表征形状多样的点云结构信息,提升点云分类和分割性能。该方法首先引入一种自适应特征增强模块,采用差分和可学习的调节因子对特征进行增强,弥补共享权重MLP描述能力不足的问题。在此基础上,设计了一种特征聚合模块,利用点云的绝对空间距离赋予不同点不同权重以适应形状多变的点云结构信息,突出有代表性的点集,更加准确地描述点云的局部结构信息。在3个大型公开点云数据集上进行实验,结果表明,在ModelNet40数据集上取得了93.9%的总体实例分类精度,在分割数据集ShapeNet和S3dis上分别取得了85.9%,59.7%的总体实例平均交并比(mean Intersection over Union,mIoU),本文提出的方法在点云分类和分割任务上表现优秀。
文摘当前场景分类任务大多面向高分辨率遥感图像,由于缺乏光谱信息限制了它的场景鉴别能力,而高光谱遥感图像具有“空谱合一”的特性,在场景分类问题上具有独特优势。针对高光谱遥感图像中地物分布复杂,以及高光谱图像中维度高、存在冗余等问题,本文提出一种高光谱场景分类流形蒸馏网络(hyperspectral scene classification manifold distillation network,HSCMDNet),有效提高了分类性能。对于遥感图像地物分布复杂问题,HSCMDNet模型使用基于移位窗口的层次化视觉Transformer(hierarchical vision transformer using shifted windows,SwinT)作为教师网络来充分挖掘高光谱图像的长距离依赖信息,捕获不同波段之间的关系。在此基础上,在教师网络与ResNet-18学生网络之间设计流形蒸馏损失,通过在流形空间中匹配学生和教师的中间层输出特征实现教师模型的知识更有效地向轻量化学生模型转移,缓解了高光谱图像中维数高导致的高计算复杂性问题。在欧比特高光谱图像场景分类数据集(Orbita hyperspectral image scene classification dataset,OHID-SC)及天宫二号遥感图像自然场景分类数据集(natural scene classification with Tiangong-2 remotely sensed imagery,NaSC-TG2)上,所提出的HSCMDNet网络的最佳分类精度分别达到了93.60%和94.55%。
