为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后...为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后续的稠密检索提供领域数据集;其次,在生成过程中采用零样本学习的方法,将领域知识拼接在问题之前或之后,并与检索文档结合,输入到大语言模型中;最后,在医疗领域和法律领域数据集上使用大语言模型ChatGLM2-6B、Baichuan2-7B-chat进行多次实验,并进行性能评估。结果表明:基于领域知识的检索增强生成方法能够有效提高大语言模型生成答案的领域相关度,并且零样本学习方法相较于微调方法表现出更好的效果;采用零样本学习方法时,融入领域知识的稀疏检索和领域知识前置方法在ChatGLM2-6B上取得了最佳提升效果,与基线方法相比,ROUGE-1、ROUGE-2和ROUGE-L评分分别提高了3.82、1.68、4.32个百分点。所提方法能够提升大语言模型生成答案的准确性,为开放域问答的研究和应用提供重要参考。展开更多
近年来,通过整合外部知识库来提高大语言模型(LLM)的性能,检索增强生成(RAG)取得了显著的成功。通过引用外部知识库,RAG可以完善LLM输出,从而有效解决幻觉、缺乏领域特定知识和过时信息等问题。然而,数据库中不同实体之间复杂的关系结...近年来,通过整合外部知识库来提高大语言模型(LLM)的性能,检索增强生成(RAG)取得了显著的成功。通过引用外部知识库,RAG可以完善LLM输出,从而有效解决幻觉、缺乏领域特定知识和过时信息等问题。然而,数据库中不同实体之间复杂的关系结构带来了挑战。对此,GraphRAG利用实体之间的结构化信息来实现更精确和全面的检索,捕捉关系知识并促进与上下文相关的更准确的生成。本文概述了GraphRAG相关技术和技术原理,研究了GraphRAG的下游任务、应用领域和评估标准,最后探讨了GraphRAG的未来研究方向,对未来的技术发展趋势进行了展望。In recent years, Retrieval-Augmented Generation (RAG) has achieved remarkable success in enhancing the performance of large language models (LLMs) by integrating external knowledge bases. By referencing external knowledge bases, RAG can refine the outputs of LLMs, effectively addressing issues such as hallucinations, lack of domain-specific knowledge, and outdated information. However, the complex relational structures among different entities in the databases pose challenges. In response, GraphRAG utilizes the structured information between entities to achieve more precise and comprehensive retrieval, capturing relational knowledge and facilitating more accurate context-related generation. This paper outlines the related technologies and technical principles of GraphRAG, examines its downstream tasks, application domains, and evaluation criteria, and finally explores future research directions for GraphRAG, offering insights into the future trends of technological development.展开更多
基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成...基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成(MSRAG)方法。首先,根据用户输入的查询特点自适应地匹配检索模型来召回相关文本;其次,利用文本过滤器提取出能够回答问题的关键文本片段;再次,使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写,并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索;最后,合并能够回答问题的关键文本片段和问题,并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明,MSRAG方法在军事领域数据集(Military)和Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见,MSRAG方法具备较强的通用性和可移植性,能够缓解非必要查询改写导致的语义漂移现象,有效帮助大模型生成更准确的答案。展开更多
探讨大语言模型(Large Language Model,LLM)作为一种新型辅助教学的技术,在数据库课程教学中的应用,基于多模态与检索增强生成(Retrieval Augmented Generation,RAG)技术阐述数据库知识问答系统开发及模块构建过程,最后介绍系统功能演...探讨大语言模型(Large Language Model,LLM)作为一种新型辅助教学的技术,在数据库课程教学中的应用,基于多模态与检索增强生成(Retrieval Augmented Generation,RAG)技术阐述数据库知识问答系统开发及模块构建过程,最后介绍系统功能演示应用。展开更多
当今通用人工智能(AGI)发展火热,各大语言模型(LLMs)层出不穷。大语言模型的广泛应用大大提高了人们的工作水平和效率,但大语言模型也并非完美的,同样伴随着诸多缺点。如:敏感数据安全性、幻觉性、时效性等。同时对于通用大语言模型来讲...当今通用人工智能(AGI)发展火热,各大语言模型(LLMs)层出不穷。大语言模型的广泛应用大大提高了人们的工作水平和效率,但大语言模型也并非完美的,同样伴随着诸多缺点。如:敏感数据安全性、幻觉性、时效性等。同时对于通用大语言模型来讲,对于一些专业领域问题的回答并不是很准确,这就需要检索增强生成(RAG)技术的支持。尤其是在智慧医疗领域方面,由于相关数据的缺乏,不能发挥出大语言模型优秀的对话和解决问题的能力。本算法通过使用Jieba分词,Word2Vec模型对文本数据进行词嵌入,计算句子间的向量相似度并做重排序,帮助大语言模型快速筛选出最可靠可信的模型外部的医疗知识数据,再根据编写相关的提示词(Prompt),可以使大语言模型针对医生或患者的问题提供令人满意的答案。Nowadays, general artificial intelligence is developing rapidly, and major language models are emerging one after another. The widespread application of large language models has greatly improved people’s work level and efficiency, but large language models are not perfect and are also accompanied by many shortcomings. Such as: data security, illusion, timeliness, etc. At the same time, for general large language models, the answers to questions in some professional fields are not very accurate, which requires the support of RAG technology. Especially in the field of smart medical care, due to the lack of relevant data, the excellent conversation and problem-solving capabilities of the large language model cannot be brought into play. This algorithm uses Jieba word segmentation and the Word2Vec model to embed text data, calculate the vector similarity between sentences and reorder them, helping the large language model to quickly screen out the most reliable and trustworthy medical knowledge data outside the model, and then write relevant prompts to enable the large language model to provide satisfactory answers to doctors or patients’ questions.展开更多
铁路领域的知识问答具有高度的专业性和复杂性,通用大模型在应对该领域的专业问题时表现出能力不足,因此检索增强生成(RAG)架构逐渐成为应对复杂专业知识查询的主流方法。针对现有RAG方法在引入固定知识段落时常伴随噪声信息导致生成答...铁路领域的知识问答具有高度的专业性和复杂性,通用大模型在应对该领域的专业问题时表现出能力不足,因此检索增强生成(RAG)架构逐渐成为应对复杂专业知识查询的主流方法。针对现有RAG方法在引入固定知识段落时常伴随噪声信息导致生成答案的准确性受限问题,提出1种基于知识过滤的检索增强生成(KFRAG)架构。首先,生成与查询高度相关的上下文信息,为后续的知识筛选提供准确的指导;其次对检索到的知识段落进行句子级别的切分,通过计算每个句子与查询上下文的相关性得分来识别并过滤掉关联度较低的句子,减少无关信息对生成答案的干扰;最后将筛选后的关键句子与原始查询合并输入到生成模型中,以生成更为精确的答案。实验结果表明,与传统RAG方法相比,KFRAG在铁路领域问答任务中的表现更为优异,有效减少了知识噪声干扰,并在Exact Match (EM)指标和F1 Score指标上提高近10%性能,显示出在复杂专业领域中的应用潜力和推广价值。展开更多
文摘为了提高当前大语言模型(large language model,LLM)在利用检索文档生成答案时的准确性,提出一种基于领域知识的检索增强生成(retrieval-augmented generation,RAG)方法。首先,在检索过程中通过问题和领域知识进行第1层的稀疏检索,为后续的稠密检索提供领域数据集;其次,在生成过程中采用零样本学习的方法,将领域知识拼接在问题之前或之后,并与检索文档结合,输入到大语言模型中;最后,在医疗领域和法律领域数据集上使用大语言模型ChatGLM2-6B、Baichuan2-7B-chat进行多次实验,并进行性能评估。结果表明:基于领域知识的检索增强生成方法能够有效提高大语言模型生成答案的领域相关度,并且零样本学习方法相较于微调方法表现出更好的效果;采用零样本学习方法时,融入领域知识的稀疏检索和领域知识前置方法在ChatGLM2-6B上取得了最佳提升效果,与基线方法相比,ROUGE-1、ROUGE-2和ROUGE-L评分分别提高了3.82、1.68、4.32个百分点。所提方法能够提升大语言模型生成答案的准确性,为开放域问答的研究和应用提供重要参考。
文摘近年来,通过整合外部知识库来提高大语言模型(LLM)的性能,检索增强生成(RAG)取得了显著的成功。通过引用外部知识库,RAG可以完善LLM输出,从而有效解决幻觉、缺乏领域特定知识和过时信息等问题。然而,数据库中不同实体之间复杂的关系结构带来了挑战。对此,GraphRAG利用实体之间的结构化信息来实现更精确和全面的检索,捕捉关系知识并促进与上下文相关的更准确的生成。本文概述了GraphRAG相关技术和技术原理,研究了GraphRAG的下游任务、应用领域和评估标准,最后探讨了GraphRAG的未来研究方向,对未来的技术发展趋势进行了展望。In recent years, Retrieval-Augmented Generation (RAG) has achieved remarkable success in enhancing the performance of large language models (LLMs) by integrating external knowledge bases. By referencing external knowledge bases, RAG can refine the outputs of LLMs, effectively addressing issues such as hallucinations, lack of domain-specific knowledge, and outdated information. However, the complex relational structures among different entities in the databases pose challenges. In response, GraphRAG utilizes the structured information between entities to achieve more precise and comprehensive retrieval, capturing relational knowledge and facilitating more accurate context-related generation. This paper outlines the related technologies and technical principles of GraphRAG, examines its downstream tasks, application domains, and evaluation criteria, and finally explores future research directions for GraphRAG, offering insights into the future trends of technological development.
文摘基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成(MSRAG)方法。首先,根据用户输入的查询特点自适应地匹配检索模型来召回相关文本;其次,利用文本过滤器提取出能够回答问题的关键文本片段;再次,使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写,并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索;最后,合并能够回答问题的关键文本片段和问题,并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明,MSRAG方法在军事领域数据集(Military)和Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见,MSRAG方法具备较强的通用性和可移植性,能够缓解非必要查询改写导致的语义漂移现象,有效帮助大模型生成更准确的答案。
文摘当今通用人工智能(AGI)发展火热,各大语言模型(LLMs)层出不穷。大语言模型的广泛应用大大提高了人们的工作水平和效率,但大语言模型也并非完美的,同样伴随着诸多缺点。如:敏感数据安全性、幻觉性、时效性等。同时对于通用大语言模型来讲,对于一些专业领域问题的回答并不是很准确,这就需要检索增强生成(RAG)技术的支持。尤其是在智慧医疗领域方面,由于相关数据的缺乏,不能发挥出大语言模型优秀的对话和解决问题的能力。本算法通过使用Jieba分词,Word2Vec模型对文本数据进行词嵌入,计算句子间的向量相似度并做重排序,帮助大语言模型快速筛选出最可靠可信的模型外部的医疗知识数据,再根据编写相关的提示词(Prompt),可以使大语言模型针对医生或患者的问题提供令人满意的答案。Nowadays, general artificial intelligence is developing rapidly, and major language models are emerging one after another. The widespread application of large language models has greatly improved people’s work level and efficiency, but large language models are not perfect and are also accompanied by many shortcomings. Such as: data security, illusion, timeliness, etc. At the same time, for general large language models, the answers to questions in some professional fields are not very accurate, which requires the support of RAG technology. Especially in the field of smart medical care, due to the lack of relevant data, the excellent conversation and problem-solving capabilities of the large language model cannot be brought into play. This algorithm uses Jieba word segmentation and the Word2Vec model to embed text data, calculate the vector similarity between sentences and reorder them, helping the large language model to quickly screen out the most reliable and trustworthy medical knowledge data outside the model, and then write relevant prompts to enable the large language model to provide satisfactory answers to doctors or patients’ questions.
文摘铁路领域的知识问答具有高度的专业性和复杂性,通用大模型在应对该领域的专业问题时表现出能力不足,因此检索增强生成(RAG)架构逐渐成为应对复杂专业知识查询的主流方法。针对现有RAG方法在引入固定知识段落时常伴随噪声信息导致生成答案的准确性受限问题,提出1种基于知识过滤的检索增强生成(KFRAG)架构。首先,生成与查询高度相关的上下文信息,为后续的知识筛选提供准确的指导;其次对检索到的知识段落进行句子级别的切分,通过计算每个句子与查询上下文的相关性得分来识别并过滤掉关联度较低的句子,减少无关信息对生成答案的干扰;最后将筛选后的关键句子与原始查询合并输入到生成模型中,以生成更为精确的答案。实验结果表明,与传统RAG方法相比,KFRAG在铁路领域问答任务中的表现更为优异,有效减少了知识噪声干扰,并在Exact Match (EM)指标和F1 Score指标上提高近10%性能,显示出在复杂专业领域中的应用潜力和推广价值。
