针对基于关系边界框提取的谓词特征粒度相对较粗的问题,提出区域敏感的场景图生成(region-sensitive scene graph generation,RS-SGG)方法。谓词特征提取模块将关系边界框分为4个区域,基于自注意力机制抑制关系边界框中与关系分类无关...针对基于关系边界框提取的谓词特征粒度相对较粗的问题,提出区域敏感的场景图生成(region-sensitive scene graph generation,RS-SGG)方法。谓词特征提取模块将关系边界框分为4个区域,基于自注意力机制抑制关系边界框中与关系分类无关的背景区域。关系特征解码器在进行关系预测时不仅考虑了物体对的视觉特征和语义特征,也考虑了物体对的位置特征。在视觉基因组(visual genome,VG)数据集上分别计算了RS-SGG方法针对场景图生成、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率,并与主流的场景图生成方法进行了比较。实验结果表明,RS-SGG的图约束召回率和无图约束召回率均优于主流方法。此外,可视化实验结果也进一步证明了所提出方法的有效性。展开更多
为解决目前基于节点采样的图池化方法中所存在的评估节点重要性的策略过于简单以及子结构特征信息大量丢失等问题,提出了基于节点采样的子结构代表层次池化模型(sub-structure representative hierarchical pooling model based on node...为解决目前基于节点采样的图池化方法中所存在的评估节点重要性的策略过于简单以及子结构特征信息大量丢失等问题,提出了基于节点采样的子结构代表层次池化模型(sub-structure representative hierarchical pooling model based on node sampling,SsrPool)。该模型主要包括子结构代表节点选择模块和子结构代表节点特征生成模块2个部分。首先,子结构代表节点选择模块同时考虑了节点特征信息以及结构信息,利用不同方法评估节点重要性并通过不同重要性分数协作产生鲁棒的节点排名以指导节点选择。其次,子结构代表节点特征生成模块通过特征融合保留局部子结构特征信息。通过将SsrPool与现有神经网络相结合,在不同规模公共数据集上的图分类实验结果证明了SsrPool的有效性。展开更多
文摘针对基于关系边界框提取的谓词特征粒度相对较粗的问题,提出区域敏感的场景图生成(region-sensitive scene graph generation,RS-SGG)方法。谓词特征提取模块将关系边界框分为4个区域,基于自注意力机制抑制关系边界框中与关系分类无关的背景区域。关系特征解码器在进行关系预测时不仅考虑了物体对的视觉特征和语义特征,也考虑了物体对的位置特征。在视觉基因组(visual genome,VG)数据集上分别计算了RS-SGG方法针对场景图生成、场景图分类和谓词分类3个子任务的图约束召回率和无图约束召回率,并与主流的场景图生成方法进行了比较。实验结果表明,RS-SGG的图约束召回率和无图约束召回率均优于主流方法。此外,可视化实验结果也进一步证明了所提出方法的有效性。
文摘为解决目前基于节点采样的图池化方法中所存在的评估节点重要性的策略过于简单以及子结构特征信息大量丢失等问题,提出了基于节点采样的子结构代表层次池化模型(sub-structure representative hierarchical pooling model based on node sampling,SsrPool)。该模型主要包括子结构代表节点选择模块和子结构代表节点特征生成模块2个部分。首先,子结构代表节点选择模块同时考虑了节点特征信息以及结构信息,利用不同方法评估节点重要性并通过不同重要性分数协作产生鲁棒的节点排名以指导节点选择。其次,子结构代表节点特征生成模块通过特征融合保留局部子结构特征信息。通过将SsrPool与现有神经网络相结合,在不同规模公共数据集上的图分类实验结果证明了SsrPool的有效性。
