基于注意力机制和提示学习联合训练的上下位关系识别研究

1

作者 白宇 王新哲 《计算机科学》 CSCD 北大核心 2024年第S01期199-203,共5页

专利术语间的上下位关系是一种重要的语义关系,专利文本中术语间的上下位关系识别在专利检索、查询扩展、知识图谱构建等多个领域发挥着重要作用。然而,专利文本领域的多样性、语言表述的复杂性使得术语间的上下位关系识别仍然面临许多... 专利术语间的上下位关系是一种重要的语义关系,专利文本中术语间的上下位关系识别在专利检索、查询扩展、知识图谱构建等多个领域发挥着重要作用。然而,专利文本领域的多样性、语言表述的复杂性使得术语间的上下位关系识别仍然面临许多挑战。文中提出一种融合提示学习和注意力机制的术语上下位关系识别方法,该方法基于远程监督框架,将术语之间的最短依存路径作为辅助特征融入提示模板,使用图神经网络将术语间的共现信息融入提示学习和注意力机制联合训练过程。在专利文本测试数据集上的实验结果表明,所提方法的AUC值、F1值达到94.94%和89.33%,相较于PARE模型分别提升了3.82%和3.17%。该方法有效地去除了使用远程监督方法标注的数据集的噪声,避免了掩码语言模型的训练目标和下游任务的不匹配问题,充分利用了预训练语言模型中存在的语言知识信息。 展开更多

关键词 术语关系识别 远程监督 提示学习 注意力机制 上下位关系

下载PDF 职称材料

基于混合专家模型的词语上下位关系判别方法

2

作者 曾楠 谢志鹏 《计算机科学》 CSCD 北大核心 2023年第2期285-291,共7页

词语的上下位关系判别是自然语言处理中一项基础且具有挑战性的任务。传统的有监督方法通常采用单个模型在整个语义空间中对所有上下位词对进行全局建模,并取得了一定的效果。然而,上下位关系的分布式语义表征具有相当的复杂性,在语义... 词语的上下位关系判别是自然语言处理中一项基础且具有挑战性的任务。传统的有监督方法通常采用单个模型在整个语义空间中对所有上下位词对进行全局建模,并取得了一定的效果。然而,上下位关系的分布式语义表征具有相当的复杂性,在语义空间的不同区域中往往具有不同的表现,使得全局模型难以学习。针对此问题,文中提出了基于混合专家的上下位关系判别方法。该模型基于分而治之的策略,将语义空间划分为多个子空间,每个子空间对应一个局部专家(模型),局部专家(模型)关注它们自己的子空间,并采用门控机制决定空间的分割和专家的混合。实验结果表明,这种专家混合模型在公开数据集上的性能优于传统的全局模型。 展开更多

关键词 上下位关系判别 混合专家 局部模型

下载PDF 职称材料

基于多通道特征融合的上下位关系抽取方法

3

作者 靖琦东 翟值楚 +1 位作者 周在龙 杨松柏 《通信技术》 2023年第6期744-749,共6页

上下位关系抽取是知识图谱构建的关键环节,目前常用的基于模板和分布式的方法存在可移植性差、召回率低等不足。针对这些问题,提出了一种基于多通道特征融合的上下位关系抽取方法,通过预训练词嵌入、双向LSTM和依存句法树结果编码三个... 上下位关系抽取是知识图谱构建的关键环节,目前常用的基于模板和分布式的方法存在可移植性差、召回率低等不足。针对这些问题,提出了一种基于多通道特征融合的上下位关系抽取方法,通过预训练词嵌入、双向LSTM和依存句法树结果编码三个通道来构建模型编码器。首先,提出了上下位关系抽取整体框架,包括数据挖掘与标注模块、特征抽取模块、候选句打分模块及结果排序模块。然后,针对特征抽取模块,提出了融合句法依存关系、上下文特征以及预训练特征的自适应编码方法;针对句子打分模块,提出了包含编解码器结构的网络模型。最后,通过对准确率、召回率、查全率进行消融实验,表明所提出的模型具有较好的有效性和更好的可解释性。 展开更多

关键词 上下位关系抽取 多通道特征融合 图卷积网络 依存句法树

下载PDF 职称材料

基于混合特征的上下位关系验证方法 被引量：4

4

作者 刘磊 曹存根 《计算机工程》 CAS CSCD 北大核心 2008年第14期12-13,16,共3页

上下位关系的自动验证是知识获取中的一个关键问题。提出一种基于混合特征的迭代上下位关系验证方法,从语义、语境、空间结构角度,给出一组上下位关系特征,根据抽样数据分析,将所有特征转化为用于验证的产生式规则,利用这些规则对基于... 上下位关系的自动验证是知识获取中的一个关键问题。提出一种基于混合特征的迭代上下位关系验证方法,从语义、语境、空间结构角度,给出一组上下位关系特征,根据抽样数据分析,将所有特征转化为用于验证的产生式规则,利用这些规则对基于模式获取的上下位关系进行循环迭代验证。实验结果说明了该方法的有效性。 展开更多

关键词 上下位关系 关系获取 知识获取 上下位关系验证

下载PDF 职称材料

概念空间中上下位关系的意义识别研究 被引量：14

5

作者 刘磊 曹存根 +1 位作者 张春霞 田国刚 《计算机学报》 EI CSCD 北大核心 2009年第8期1651-1661,共11页

针对上下位关系在分类层级结构建立阶段遇到的多义性问题,给出一种概念空间中上下位关系意义识别的方法.单个概念的意义识别问题被转换为概念空间中上下位关系的意义识别.首先利用并列语境解决语境稀疏问题,获取上下位关系意义的语境.... 针对上下位关系在分类层级结构建立阶段遇到的多义性问题,给出一种概念空间中上下位关系意义识别的方法.单个概念的意义识别问题被转换为概念空间中上下位关系的意义识别.首先利用并列语境解决语境稀疏问题,获取上下位关系意义的语境.然后利用《同义词词林》对每个语境进行词义修正,以三种特征计算特征词权重,构建"关系-词"的高维向量空间,然后通过潜在语义分析降维,获取上下位关系意义的潜在语义,最后组平均聚类后得到关系的意义划分.在实验中,给出了聚类阈值自动调整函数,分析了词林和潜在语义分析的作用,实验结果证实了方法的有效性. 展开更多

关键词 知识获取 上下位关系 潜在语义分析 关系获取 概念空间 意义聚类

下载PDF 职称材料

利用上下位关系的中文短文本分类 被引量：38

6

作者 王盛 樊兴华 陈现麟 《计算机应用》 CSCD 北大核心 2010年第3期603-606,611,共5页

针对短文本长度短、描述信号弱的特点,提出了一种利用上下位关系的中文短文本分类框架。该框架首先利用"知网"确定训练文本中概念对的上下位关系,进而确定词语对的上下位关系,再将其用于扩展测试文本的特征向量,从而实现对测... 针对短文本长度短、描述信号弱的特点,提出了一种利用上下位关系的中文短文本分类框架。该框架首先利用"知网"确定训练文本中概念对的上下位关系,进而确定词语对的上下位关系,再将其用于扩展测试文本的特征向量,从而实现对测试文本的分类。实验表明:利用上下位关系能够改善短文本的分类性能。 展开更多

关键词 短文本 知网 上下位关系 特征扩展

下载PDF 职称材料

本体概念间上下位关系抽取研究 被引量：11

7

作者 汤青 吕学强 李卓 《微电子学与计算机》 CSCD 北大核心 2014年第6期68-71,共4页

以匹配"是一个"模式的句子作为研究对象,提出了一种基于句法分析与规则匹配相结合的上下位关系抽取方法.针对结构复杂的句子中下位概念抽取困难的问题,借助句法分析的结果,给出了下位概念中心词的获取方法;结合中心词位置信... 以匹配"是一个"模式的句子作为研究对象,提出了一种基于句法分析与规则匹配相结合的上下位关系抽取方法.针对结构复杂的句子中下位概念抽取困难的问题,借助句法分析的结果,给出了下位概念中心词的获取方法;结合中心词位置信息和概念边界信息,设计了合适的下位概念抽取规则.实验结果具有较高的准确率和召回率,证实了方法的有效性. 展开更多

关键词 上下位关系 本体概念 “是一个”模式 句法分析 概念中心词

下载PDF 职称材料

藏文语义本体中的上下位关系模式匹配算法 被引量：8

8

作者 邱莉榕 翁彧 赵小兵 《中文信息学报》 CSCD 北大核心 2011年第4期45-49,共5页

语义本体是共享概念模型显示的形式化规范说明,其目标是将杂乱无章的信息源转变为有序易用的知识源。目前语义本体还主要依赖于手工创建模式。上下位关系是一种基本的语义关系,常用于语义本体中概念的自动获取和验证。该文首先描述了藏... 语义本体是共享概念模型显示的形式化规范说明,其目标是将杂乱无章的信息源转变为有序易用的知识源。目前语义本体还主要依赖于手工创建模式。上下位关系是一种基本的语义关系,常用于语义本体中概念的自动获取和验证。该文首先描述了藏文语义本体的创建方法,进而给出了藏文中的上下位关系模式以及模式匹配算法。上下位关系的模式可以辅助进行概念扩充,也可以作为建立和维护本体的辅助工具,这在一定程度上降低了创建和维护本体的成本。 展开更多

关键词 知识获取 语义本体 概念获取 上下位关系

下载PDF 职称材料

一种基于条件随机场的领域术语上下位关系获取方法 被引量：5

9

作者 黄毅 王庆林 刘禹 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第S2期355-359,共5页

提出一种基于条件随机场的领域术语上下位关系获取方法。首先,结合百科名片中结构化、制式化的语言表达形式,通过统计分析,提炼出适用于通用模型的特征词词典。然后,在词和词性特征的基础上,结合特征词词典内容和标点符号信息,利用CRF... 提出一种基于条件随机场的领域术语上下位关系获取方法。首先,结合百科名片中结构化、制式化的语言表达形式,通过统计分析,提炼出适用于通用模型的特征词词典。然后,在词和词性特征的基础上,结合特征词词典内容和标点符号信息,利用CRF机器学习技术对术语间上下位关系的内在规律进行学习,得到其表达方式和存在环境的概率模型。最后,通过实验对模型的准确性进行验证,并提出了改进。实验结果表明:该方法抽取上下位关系的准确率达到73.50%。 展开更多

关键词 条件随机场 上下位关系发现 机器学习 本体学习 知识挖掘

下载PDF 职称材料

结合语境与布朗聚类特征的上下位关系验证 被引量：1

10

作者 张志昌 陈松毅 +1 位作者 刘鑫 马慧芳 《计算机工程》 CAS CSCD 北大核心 2015年第2期145-150,共6页

对海量文本语料进行上下位语义关系自动抽取是自然语言处理的重要内容,利用简单模式匹配方法抽取得到候选上下位关系后,对其进行验证过滤是难点问题。为此,分别通过对词汇语境相似度与布朗聚类相似度计算,提出一种结合语境相似度和布朗... 对海量文本语料进行上下位语义关系自动抽取是自然语言处理的重要内容,利用简单模式匹配方法抽取得到候选上下位关系后,对其进行验证过滤是难点问题。为此,分别通过对词汇语境相似度与布朗聚类相似度计算,提出一种结合语境相似度和布朗聚类相似度特征对候选下位词集合进行聚类的上下位关系验证方法。通过对少量已标注训练语料的语境相似度和布朗聚类相似度进行计算,得到验证模型和2种相似度的结合权重系数。该方法无需借助现有的词汇关系词典和知识库,可对上下位关系抽取结果进行有效过滤。在CCF NLP&2012词汇语义关系评测语料上进行实验,结果表明,与模式匹配和上下文比较等方法相比,该方法可使F值指标得到明显提升。 展开更多

关键词 上下位关系 语境相似度 布朗聚类相似度 点互信息 模式匹配 聚类验证

下载PDF 职称材料

基于图对比的上下位关系检测

11

作者 张雅丽 方全 +3 位作者 王允鑫 胡骏 钱胜胜 徐常胜 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2022年第8期1480-1486,共7页

上下位关系是自然语言处理(NLP)下游任务的基础,因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量,不能很好地捕获上下位关系不对称和可传递的特性,且现有模型没有充分利用预测向量与真实... 上下位关系是自然语言处理(NLP)下游任务的基础,因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量,不能很好地捕获上下位关系不对称和可传递的特性,且现有模型没有充分利用预测向量与真实投影之间关系的局限性,提出了一种基于图对比学习的上下位关系检测(HyperCL)方法。引入图对比学习进行数据增强,基于最大化局部和全局表示的互信息,学习具有鲁棒性的词特征表示。所提方法学习了将下位词的词向量投影到上位词和非上位词,同时能够更好地区分嵌入空间中的上位词和非上位词,从而提高了检测精度。在2个基准数据集上的实验结果表明,所提模型比现有方法在准确率上提升了0.03以上。 展开更多

关键词 自然语言处理(NLP) 上下位关系检测 图对比学习 数据增强 词嵌入

原文传递

结合词向量和Bootstrapping的领域实体上下位关系获取与组织 被引量：6

12

作者 马晓军 郭剑毅 +3 位作者 线岩团 毛存礼 严馨 余正涛 《计算机科学》 CSCD 北大核心 2018年第1期67-72,共6页

实体上下位关系是构建领域知识图谱不可或缺的一种重要的语义关系,传统抽取上下位关系的方法大多不考虑关系的组织。提出一种结合词向量和Bootstrapping的方法来实现领域实体上下位关系的获取与组织。首先,选取旅游领域的种子语料集;然... 实体上下位关系是构建领域知识图谱不可或缺的一种重要的语义关系,传统抽取上下位关系的方法大多不考虑关系的组织。提出一种结合词向量和Bootstrapping的方法来实现领域实体上下位关系的获取与组织。首先,选取旅游领域的种子语料集;然后,采用基于词向量的相似度计算方法对种子集中包含的上下位关系模式进行聚类,筛选出置信度高的模式并对未标注语料进行上下位关系识别,得到候选关系实例,同时选择置信度高的关系实例加入到种子集中,进行下一轮的迭代,直到得到所有的关系实例;最后,根据领域实体上下位关系对的向量偏移并结合领域实体层级关系的特点,采用映射的学习方法进行领域实体层级关系组织。实验结果表明,与传统的方法相比,所提方法的F值提高了近10%。 展开更多

关键词 上下位关系 关系抽取 Bootstrapping方法 词向量 映射学习 层级关系组织

下载PDF 职称材料

基于词模式嵌入的词语上下位关系分类 被引量：10

13

作者 孙佳伟 李正华 +1 位作者 陈文亮 张民 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2019年第1期1-7,共7页

提出一种基于词模式的上下位关系分类方法,可以有效地缓解传统的基于模式的分类方法存在的稀疏问题,提高了关系分类的召回率。进一步地,通过词模式嵌入,将基于模式的方法与基于词嵌入的方法进行有效的融合。为了验证方法的有效性,标注... 提出一种基于词模式的上下位关系分类方法,可以有效地缓解传统的基于模式的分类方法存在的稀疏问题,提高了关系分类的召回率。进一步地,通过词模式嵌入,将基于模式的方法与基于词嵌入的方法进行有效的融合。为了验证方法的有效性,标注一个包含12000个汉语词语对的数据集。实验结果表明,该词模式嵌入方法是有效的, F1值可以达到95.36%。 展开更多

关键词 上下位关系分类 词模式 词嵌入 词模式嵌入

下载PDF 职称材料

基于CCRF的领域本体概念上下位关系抽取 被引量：3

14

作者 莫媛媛 郭剑毅 +2 位作者 余正涛 蒋年树 线岩团 《计算机工程》 CAS CSCD 2014年第6期138-141,共4页

现有领域本体概念上下位关系抽取方法受到手工标注和特定模式的限制。针对该问题,提出一种基于层叠条件随机场的领域本体概念上下位关系抽取方法。以自由文本为抽取对象,采用两层条件随机场算法,将训练数据处理成条件随机场能识别的线... 现有领域本体概念上下位关系抽取方法受到手工标注和特定模式的限制。针对该问题,提出一种基于层叠条件随机场的领域本体概念上下位关系抽取方法。以自由文本为抽取对象,采用两层条件随机场算法,将训练数据处理成条件随机场能识别的线性结构。低层条件随机场模型考虑词之间的长距离依赖,对词进行建模,识别出领域概念并对概念进行顺序组合,结合模板定义特征得到概念对;高层模型对成对概念进行上下位语义标注,识别出领域本体概念之间的上下位关系。采用真实语料进行实验,结果表明,该方法具有较好的识别效果。 展开更多

关键词 层叠条件随机场 领域本体概念 上下位关系 概念对 关系抽取

下载PDF 职称材料

面向上下位关系预测的词嵌入投影模型 被引量：9

15

作者 汪诚愚 何晓丰 +1 位作者 宫学庆 周傲英 《计算机学报》 EI CSCD 北大核心 2020年第5期868-883,共16页

上下位关系是自然语言处理领域中的重要概念,用于描述概念之间的从属关系.上下位关系的精准预测,有助于挖掘概念之间的内在层次结构,是构建大规模语义网络、知识本体、知识图谱等知识密集型系统的重要基石.传统上下位关系的预测算法大... 上下位关系是自然语言处理领域中的重要概念,用于描述概念之间的从属关系.上下位关系的精准预测,有助于挖掘概念之间的内在层次结构,是构建大规模语义网络、知识本体、知识图谱等知识密集型系统的重要基石.传统上下位关系的预测算法大多依赖较为固定的语言模式,因而具有低覆盖度、高人工干预等缺陷.此外,语言模式与语言本身的特性高度相关,在中文等表述灵活的语言中预测精度较低.随着深度学习技术在自然语言处理领域迅猛发展,词嵌入技术被广泛应用于建模词之间的语义关系.特别地,词嵌入投影模型学习如何将下位词的词向量投影到上位词的词向量,显式地建模了上下位关系的关系表示.基于已有经典研究以及最新成果,本文详细论述了词嵌入投影模型的发展过程和最新研究进展,包括基于迭代学习、转导学习、对抗学习等深度学习技术在词嵌入投影模型上的改进.在实验中,我们对多个词嵌入投影模型在中文和英文的公开数据集上进行充分详细的评测,探讨了不同的词嵌入投影模型在不同学习场景下的优缺点.最后,在面向特定领域和长尾上下位关系抽取等问题上探讨了未来的研究展望. 展开更多

关键词 上下位关系 词嵌入 词嵌入投影模型 关系抽取 中文语言特性

下载PDF 职称材料

汉语上下位关系分类数据集构建和基准方法比较 被引量：2

16

作者 陆凯华 李正华 张民 《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2020年第6期1004-1010,共7页

针对目前缺少较大规模的高质量上下位关系数据集以支持充分的模型训练和评价的问题,提出了一个完整、系统的上下位关系标注规范,并在此规范基础上标注了一个包含15024个汉语词对的高质量上下位关系数据集.所有数据均采用独立双人标注和... 针对目前缺少较大规模的高质量上下位关系数据集以支持充分的模型训练和评价的问题,提出了一个完整、系统的上下位关系标注规范,并在此规范基础上标注了一个包含15024个汉语词对的高质量上下位关系数据集.所有数据均采用独立双人标注和专家不一致审核,双人标注一致性达94.20%.并且基于该数据集,对前人提出的几种典型分类方法进行了对比和分析,其中融合多特征的依存路径表示模型的F1值达到91.95%. 展开更多

关键词 上下位关系 标注规范 数据标注 依存路径

下载PDF 职称材料

基于特征向量的本体概念上下位关系验证 被引量：1

17

作者 田晓丹 王庆林 李原 《中南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第S2期351-354,共4页

提出一种基于概念对的语义特征和语境特征的特征向量来验证概念之间是否具有上下位关系的方法。从概念对的构词、共现、特征词出现数量、概念对在句中位置的距离出发,构建概念对上下位关系的特征向量,并使用支持向量机(SVM)进行训练和预... 提出一种基于概念对的语义特征和语境特征的特征向量来验证概念之间是否具有上下位关系的方法。从概念对的构词、共现、特征词出现数量、概念对在句中位置的距离出发,构建概念对上下位关系的特征向量,并使用支持向量机(SVM)进行训练和预测,从而实现本体关系的抽取。 展开更多

关键词 本体学习 上下位关系 特征向量 SVM

下载PDF 职称材料

一种基于语义的上下位关系抽取方法 被引量：9

18

作者 陈金栋 肖仰华 《计算机应用与软件》 北大核心 2019年第2期216-221,共6页

分类体系主要由上下位关系组成,传统的基于模板的上下位关系抽取方法分为两类:第一类方法只使用高质量的模板导致低召回率;第二类方法使用所有可用的模板导致低精度。根据模板的质量将其分为更细粒度的强句法模板和弱句法模板。为了提... 分类体系主要由上下位关系组成,传统的基于模板的上下位关系抽取方法分为两类:第一类方法只使用高质量的模板导致低召回率;第二类方法使用所有可用的模板导致低精度。根据模板的质量将其分为更细粒度的强句法模板和弱句法模板。为了提高弱模板的精度,将弱模板和概念/实体结合构建语义模板。结合强句法模板和语义模板,提出一套新颖的框架从语料中抽取上下位关系,具有高精度和召回率的特点。在中英文语料上进行的实验,实验结果证明了框架的有效性。 展开更多

关键词 知识图谱 分类体系 关系抽取 上下位关系 句法模板

下载PDF 职称材料

基于症状构成成分的上下位关系自动抽取方法 被引量：1

19

作者 王婷 王祺 +2 位作者 黄越圻 殷亦超 高炬 《计算机应用》 CSCD 北大核心 2017年第10期2999-3005,共7页

针对症状间上下位关系具有较强结构特性的问题,提出一种基于症状构成成分的上下位关系自动抽取方法。首先,通过观察症状实体,发现症状可以切分为原子症状词、修饰词等八种成分,且成分的构成序列满足一定的规则。然后,利用词法分析系统... 针对症状间上下位关系具有较强结构特性的问题,提出一种基于症状构成成分的上下位关系自动抽取方法。首先,通过观察症状实体,发现症状可以切分为原子症状词、修饰词等八种成分,且成分的构成序列满足一定的规则。然后,利用词法分析系统和条件随机场模型对症状进行切分和成分标注。最后,把症状之间的关系抽取看作一个分类问题,选取症状成分的构成特征、词典特征以及通用特征作为分类算法的特征;基于多种分类算法训练模型,将症状间的关系分为上下位关系和非上下位关系。实验结果表明,当选用支持向量机算法,同时选用三类特征时,取得了最好的效果,准确率、召回率和F1值分别达到了82.68%、82.13%和82.40%。在此基础上,使用所提出的关系抽取算法,抽取了20 619条上下位关系,构建了具有上下位关系的症状知识库。 展开更多

关键词 上下位关系 症状构成成分 条件随机场 关系分类 支持向量机 决策树 朴素贝叶斯

下载PDF 职称材料

基于模板的中文上下位关系抽取方法 被引量：2

20

作者 章岳 黄赛豪 +1 位作者 陆凯华 李正华 《计算机应用与软件》 北大核心 2022年第1期126-134,共9页

基于模板的上下位关系抽取是上下位关系自动获取的重要方法。目前学术界通常采用两类模板,但目前中文上下位关系抽取研究尚缺乏对这两类模板的客观比较。针对这一问题,提出基于大规模语料的匹配抽取和高质量人工标注,以实现对两类模板... 基于模板的上下位关系抽取是上下位关系自动获取的重要方法。目前学术界通常采用两类模板,但目前中文上下位关系抽取研究尚缺乏对这两类模板的客观比较。针对这一问题,提出基于大规模语料的匹配抽取和高质量人工标注,以实现对两类模板的优劣进行客观对比和评价,为上下位关系自动获取提供坚实基础。对于四种主流的上下位相关句型,在3800万句中文语料上进行匹配抽取,并人工标注2800个随机抽取的上下位候选词对。实验结果表明,依存句法模板的准确度比词法模板高出9.07百分点,而召回度则略低了0.32百分点。 展开更多

关键词 上下位关系 词法模板 依存句法模板

下载PDF 职称材料