为应对高速列车零部件知识复杂、海量且多层级的特点,提高高速列车零部件知识图谱智能问答的效果,提出了一种基于情景感知和分类模型的高速列车零部件知识图谱智能问答知识子图匹配模型。该模型通过情景模型进行情景特征提取及向量转换...为应对高速列车零部件知识复杂、海量且多层级的特点,提高高速列车零部件知识图谱智能问答的效果,提出了一种基于情景感知和分类模型的高速列车零部件知识图谱智能问答知识子图匹配模型。该模型通过情景模型进行情景特征提取及向量转换;再将词向量和情景向量相融合,输入到BERT(Bidirectional Encoder Representation from Transformers)模型中,进行用户问句的所属知识域分类,分类结果即为知识子图匹配的结果。经试验证明,所提模型与其他主流分类模型相比,各项性能指标更优。展开更多
鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention...鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。展开更多
文摘为应对高速列车零部件知识复杂、海量且多层级的特点,提高高速列车零部件知识图谱智能问答的效果,提出了一种基于情景感知和分类模型的高速列车零部件知识图谱智能问答知识子图匹配模型。该模型通过情景模型进行情景特征提取及向量转换;再将词向量和情景向量相融合,输入到BERT(Bidirectional Encoder Representation from Transformers)模型中,进行用户问句的所属知识域分类,分类结果即为知识子图匹配的结果。经试验证明,所提模型与其他主流分类模型相比,各项性能指标更优。
文摘鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。
