自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在...自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在其中融入了预训练模型,增强了其提取特征的能力;之后又分别对分类模型和条件值模型进行了改进:在分类模型中增加了LSTM进一步捕捉特征,在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明,本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果.展开更多
在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语...在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语义理解能力,辅助GNN构建全面、准确的动态企业异构知识图谱,从而解决静态数据引起的信息失真问题。在此基础上,针对GNN在深度和语义表达能力上的不足,设计一个基于知识的语义结构挖掘模块,并结合Qwen2大模型增强节点表示的语义精准性。此外,提出一体化图(IOG)模块将节点分类与图分类任务统一为对“关注节点”的预测。通过统一预测机制,实现对不同图结构类型的预测,从而显著提升模型在不同数据集上的泛化能力。基于该框架构建的IOG-CIQAN(In One Graph with Collective Intelligence and Qwen2 Assistance Network)模型在劳工、财务、行政这3个风险分析数据集上的准确率均超过了87%,优于胶囊网络(CapsNet)等多种基线模型。展开更多
随着人工智能技术的飞速发展,图神经网络(Graph Neural Networks,GNN)在处理图数据方面展现出卓越的性能,而大语言模型(Large Language Model,LLM)在自然语言处理领域也取得了显著成就。文章旨在探索GNN与LLM的融合策略,以增强模型对复...随着人工智能技术的飞速发展,图神经网络(Graph Neural Networks,GNN)在处理图数据方面展现出卓越的性能,而大语言模型(Large Language Model,LLM)在自然语言处理领域也取得了显著成就。文章旨在探索GNN与LLM的融合策略,以增强模型对复杂场景的理解与处理能力。文章分析了图结构的特点和GNN的工作原理,介绍了LLM的核心架构和预训练策略。在此基础上,文章提出了多种融合策略,包括将LLM作为特征增强器、结构编码器、预测生成器、多模态对齐器和知识融合器,阐述了实现这些角色的具体技术,如特征嵌入融合、跨模态注意力机制、联合训练框架等。通过融合策略,模型不仅能够整合图的结构特征与文本的语义信息,还能够有效处理跨模态数据,提升模型的泛化能力,在推荐系统、知识图谱和生物信息学等领域展现出显著的应用价值。文章认为,这种融合策略对于提升人工智能处理复杂数据和实现通用智能的重要性不容忽视。展开更多
目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARC...目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的 F 1 值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.展开更多
文摘自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在其中融入了预训练模型,增强了其提取特征的能力;之后又分别对分类模型和条件值模型进行了改进:在分类模型中增加了LSTM进一步捕捉特征,在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明,本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果.
文摘在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语义理解能力,辅助GNN构建全面、准确的动态企业异构知识图谱,从而解决静态数据引起的信息失真问题。在此基础上,针对GNN在深度和语义表达能力上的不足,设计一个基于知识的语义结构挖掘模块,并结合Qwen2大模型增强节点表示的语义精准性。此外,提出一体化图(IOG)模块将节点分类与图分类任务统一为对“关注节点”的预测。通过统一预测机制,实现对不同图结构类型的预测,从而显著提升模型在不同数据集上的泛化能力。基于该框架构建的IOG-CIQAN(In One Graph with Collective Intelligence and Qwen2 Assistance Network)模型在劳工、财务、行政这3个风险分析数据集上的准确率均超过了87%,优于胶囊网络(CapsNet)等多种基线模型。
文摘随着人工智能技术的飞速发展,图神经网络(Graph Neural Networks,GNN)在处理图数据方面展现出卓越的性能,而大语言模型(Large Language Model,LLM)在自然语言处理领域也取得了显著成就。文章旨在探索GNN与LLM的融合策略,以增强模型对复杂场景的理解与处理能力。文章分析了图结构的特点和GNN的工作原理,介绍了LLM的核心架构和预训练策略。在此基础上,文章提出了多种融合策略,包括将LLM作为特征增强器、结构编码器、预测生成器、多模态对齐器和知识融合器,阐述了实现这些角色的具体技术,如特征嵌入融合、跨模态注意力机制、联合训练框架等。通过融合策略,模型不仅能够整合图的结构特征与文本的语义信息,还能够有效处理跨模态数据,提升模型的泛化能力,在推荐系统、知识图谱和生物信息学等领域展现出显著的应用价值。文章认为,这种融合策略对于提升人工智能处理复杂数据和实现通用智能的重要性不容忽视。
文摘目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的 F 1 值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.
