生成式大模型支撑下的高中编程教学AI课堂优化策略研究

1

作者 於亚军 《中国现代教育装备》 2025年第4期9-10,21,共3页

将AI融入教育教学,已成为教育领域研究的热点。以生成式大模型为技术支持,剖析以往编程教育中存在的问题,分析AI课堂实施的可行性,解析AI课堂的优势,提出AI课堂教学模型,探索生成式大模型支撑下的高中编程教学AI课堂优化策略,旨在提高... 将AI融入教育教学,已成为教育领域研究的热点。以生成式大模型为技术支持,剖析以往编程教育中存在的问题,分析AI课堂实施的可行性,解析AI课堂的优势,提出AI课堂教学模型,探索生成式大模型支撑下的高中编程教学AI课堂优化策略,旨在提高高中编程教学质量。 展开更多

关键词 AI 生成式大模型 AI课堂 编程

下载PDF 职称材料

生成式大模型承载网络架构与关键技术探索 被引量：1

2

作者 唐宏 武娟 +1 位作者 徐晓青 张宁 《中兴通讯技术》 北大核心 2024年第2期50-55,共6页

生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输... 生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。 展开更多

关键词 生成式大模型 RDMA 网络拥塞控制 网络负载均衡

下载PDF 职称材料

生成式大模型与新文科建设 被引量：1

3

作者 米加宁 吴佳正 《新文科教育研究》 2024年第2期72-92,143,共22页

新文科旨在通过技术手段拓宽人文社会科学的研究视野与方法论。生成式大模型在促进知识生成、创新学术方法论、重塑学科边界及界定学科身份等方面起到了关键作用,揭示了新文科在促进学科融合、推动学术创新和响应社会变革中的独特价值... 新文科旨在通过技术手段拓宽人文社会科学的研究视野与方法论。生成式大模型在促进知识生成、创新学术方法论、重塑学科边界及界定学科身份等方面起到了关键作用,揭示了新文科在促进学科融合、推动学术创新和响应社会变革中的独特价值。生成式大模型引领下的学术方法论变革,展示了传统知识生成范式如何被重塑,以及这些技术如何促进跨学科的知识融合与创新。深度分析学科边界的重塑与融合,阐述了新文科在整合技术创新与学术传统中的策略和实践,新文科教育体系的必要变革旨在培养能够跨学科工作并充分利用新技术的学者和研究者。新文科建设不仅要求学术界对传统学科进行深刻反思和创新性重构,更要求在技术革新的驱动下,探索和建立一种新的学术工作模式和生态系统,以实现知识的深度发展和社会实践的广泛应用。新文科的发展展现了学术传统与技术革新的融合可能,为理解和解决当代社会的复杂问题提供了新的视角和工具,标志着一个全新学术研究时代的来临。 展开更多

关键词 新文科 生成式大模型 方法论变革 学科边界重塑 技术与学术融合

原文传递

生成式大模型训练数据的法律规制——以比例原则为分析视角

4

作者 钟海燕 黄运康 《信息安全与通信保密》 2024年第7期99-108,共10页

依赖大量数据训练的生成式人工智能大模型正处于蓬勃发展时期,但其在训练数据收集、处理和输出过程中,存在的潜在的数据合规、数据偏见、数据泄露等风险不仅会威胁技术本身的发展,还会对社会相关利益群体产生一定的威胁,需要通过法律对... 依赖大量数据训练的生成式人工智能大模型正处于蓬勃发展时期,但其在训练数据收集、处理和输出过程中,存在的潜在的数据合规、数据偏见、数据泄露等风险不仅会威胁技术本身的发展,还会对社会相关利益群体产生一定的威胁,需要通过法律对其进行规制。首先,基于平衡人工智能发展与保障人类权益的目的,对生成式大模型训练数据过程中的风险进行分析,根据比例原则基本原理构建风险治理的框架,即对数据获取的来源与目的加以限制,充分平衡各方权利人的利益;其次,对数据内容与算法技术进行正当性管控,以使对各方的损害达到最小范围;最后,从执行数据收集最小化原则、增强合规数据使用和明确相关主体责任义务3个途径降低数据泄露风险。 展开更多

关键词 生成式大模型 训练数据 数据风险治理 比例原则

下载PDF 职称材料

基于生成式大模型的医学高职智慧校园网络安全架构设计

5

作者 赵洁 《中国宽带》 2024年第8期13-15,共3页

随着医学高职院校智慧校园建设的推进,网络安全问题日益突出。传统的网络安全架构已无法适应复杂多变的校园网络环境,因此,基于生成式大模型的网络安全架构应运而生。生成式大模型具有强大的数据学习与生成能力,能够识别潜在的网络安全... 随着医学高职院校智慧校园建设的推进,网络安全问题日益突出。传统的网络安全架构已无法适应复杂多变的校园网络环境,因此,基于生成式大模型的网络安全架构应运而生。生成式大模型具有强大的数据学习与生成能力,能够识别潜在的网络安全威胁并预测新型攻击行为。本研究提出了一种基于生成式大模型的智慧校园网络安全架构设计,通过感知层、分析层和响应层的多层次防护机制,有效提升了校园网络的安全性。本文详细探讨了生成式大模型的原理、特点及其在智慧校园中的应用,包括模型训练、优化及部署过程,最终实现了智能化的网络安全防护体系。运而生。生成式大模型具有强大的数据学习与生成能力,能够识别潜在的网络安全威胁并预测新型攻击行为。本研究提出了一种基于生成式大模型的智慧校园网络安全架构设计,通过感知层、分析层和响应层的多层次防护机制,有效提升了校园网络的安全性。本文详细探讨了生成式大模型的原理、特点及其在智慧校园中的应用,包括模型训练、优化及部署过程,最终实现了智能化的网络安全防护体系。 展开更多

关键词 生成式大模型 网络安全 智慧校园 架构设计 数据学习 动态响应

下载PDF 职称材料

生成式大模型的数据安全风险与法律治理 被引量：6

6

作者 刘羿鸣 林梓瀚 《网络安全与数据治理》 2023年第12期27-33,共7页

生成式大模型具有广泛的应用前景。大模型的训练和运行均需要海量数据的支撑,极有可能引发数据安全风险。认知风险是化解风险的前提,需要从静态、动态两个视角建立起大模型应用数据安全风险的认知体系。结合欧盟、美国等大模型的治理经... 生成式大模型具有广泛的应用前景。大模型的训练和运行均需要海量数据的支撑,极有可能引发数据安全风险。认知风险是化解风险的前提,需要从静态、动态两个视角建立起大模型应用数据安全风险的认知体系。结合欧盟、美国等大模型的治理经验,针对我国大模型数据安全风险治理存在的不足,建议建立基于数据安全风险的分类监管路径、完善基于大模型运行全过程的数据安全责任制度、探索基于包容审慎监管的创新监管机制,为实现大模型应用的可信未来提供充分的法治保障。 展开更多

关键词 生成式大模型 数据安全风险 ChatGPT 风险分类分级

下载PDF 职称材料

基于高效参数微调的生成式大模型领域适配技术 被引量：8

7

作者 丁鑫 邹荣金 潘志庚 《人工智能》 2023年第4期1-9,共9页

在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量... 在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量微调”生成式大模型以实现领域适配不再具有可行性。接着,针对以上问题,本文介绍了一种“轻量化”的大模型领域适配技术——高效参数微调,并对三类主流算法进行综述,分析了算法的主要思想和优缺点。最后,本文借助两个成功案例展示了高效参数微调技术在生成式语言/视觉大模型上的应用效果,证明了高效参数调参技术仅需训练少量额外参数即可近似达到“全量微调”的领域适配效果。 展开更多

关键词 高效参数微调 生成式大模型 领域适配 有限算力

下载PDF 职称材料

生成式人工智能大模型技术探析

8

作者 李瑞昌 宋学坤 +1 位作者 朱红磊 吴瑞红 《数字技术与应用》 2025年第2期16-18,共3页

生成式人工智能大模型是深度学习、神经网络等众多理论和技术的集大成者。它融合了复杂的算法架构、大规模的数据处理以及高效的优化策略,其发展不断突破人类对于人工智能能力边界的认知。生成式人工智能大模型代表着人工智能技术向更... 生成式人工智能大模型是深度学习、神经网络等众多理论和技术的集大成者。它融合了复杂的算法架构、大规模的数据处理以及高效的优化策略,其发展不断突破人类对于人工智能能力边界的认知。生成式人工智能大模型代表着人工智能技术向更高层次、更复杂功能的演进。基于此,本文以生成式大模型为研究对象,分析了生成式大模型的构建要点,探讨了生成式人工智能大模型技术应用的问题及发展思路,旨在为相关领域研究人员提供有效参考。 展开更多

关键词 生成式人工智能大模型 神经网络 算法架构 优化策略 人工智能能力边界 生成式大模型 发展思路

下载PDF 职称材料

大模型时代:知识的生成式“涌现” 被引量：31

9

作者 米加宁 董昌其 《学海》 CSSCI 北大核心 2024年第1期81-96,214,215,共18页

随着计算能力的提高和数据的爆炸性增长,生成式大模型逐渐成为知识生产的核心力量,并深刻改变了人类知识的生产方式。本文系统探讨了从古典学术到现代信息科技的知识生产历程,将传统知识生产方式归纳为个体的知识涌现。与之相对应的大... 随着计算能力的提高和数据的爆炸性增长,生成式大模型逐渐成为知识生产的核心力量,并深刻改变了人类知识的生产方式。本文系统探讨了从古典学术到现代信息科技的知识生产历程,将传统知识生产方式归纳为个体的知识涌现。与之相对应的大模型时代,知识生产方式则可称为生成式的知识涌现,从而造就了新的知识高原。大模型时代生成式知识涌现的机理,表现为知识结构和生成逻辑两方面的转变。虽然生成式大模型在文本生成、数据分析等领域设立了一种难以超越的“基线”,但人类在创造、批判思考和情感判断上的独特能力仍然不可或缺。结合人机协同的哲学和技术探索,本文为未来知识生产的新时代提供了一个全面而深入的视角,并在此基础上勾画人机协同共创知识高峰的路径。 展开更多

关键词 生成式大模型 知识生产 大数据 人机协同 人工智能

下载PDF 职称材料

对大模型生成式AI介入艺术创作的拉康式分析

10

作者 袭靖雯 《艺术研究(哈尔滨师范大学艺术学报)》 2025年第2期156-158,共3页

ChatGPT等大模型生成式AI介入艺术创作引发了艺术领域的新一轮变革,主要体现为创作主体的分裂。在人机双主体交互创作模式下,人类将创作职能让渡给AI,却遭遇AI背后隐秘大他者的凝视。大他者以AI为中介呈示生成式艺术作品,捕捉并异化人... ChatGPT等大模型生成式AI介入艺术创作引发了艺术领域的新一轮变革,主要体现为创作主体的分裂。在人机双主体交互创作模式下,人类将创作职能让渡给AI,却遭遇AI背后隐秘大他者的凝视。大他者以AI为中介呈示生成式艺术作品,捕捉并异化人类的欲望,阉割艺术创作过程的享乐,将艺术进一步引上资本意识形态的能指链。本文从拉康式精神分析的角度,尝试剖析大模型生成式AI介入后艺术创作的变化,并探讨AI时代艺术生产良性发展的可能路径。 展开更多

关键词 大模型生成式AI 艺术创作 精神分析 拉康 大他者

下载PDF 职称材料

生成式大模型赋能职业教育教师数字化教学资源开发能力研究

11

作者 谭志娇 张帆 《教育思想理论研究》 2025年第4期147-149,共3页

随着职业教育的数字化转型,教师在开发数字化教学资源方面面临许多挑战。本文首先分析了职业教育教师在资源开发中的现状和需求,指出了教师在技术应用、教学设计及资源整合方面的不足,并探讨了数字化教学资源开发的关键能力和创新趋势... 随着职业教育的数字化转型,教师在开发数字化教学资源方面面临许多挑战。本文首先分析了职业教育教师在资源开发中的现状和需求,指出了教师在技术应用、教学设计及资源整合方面的不足,并探讨了数字化教学资源开发的关键能力和创新趋势。其次,介绍了生成式大模型在职业教育教师数字化教学资源开发中的应用步骤,包括需求分析与资源设计、模型训练与数据预处理、资源生成与评估以及教师能力提升与资源优化。通过有效运用生成式大模型,教师能够提高资源开发效率、优化教学内容,并持续提升教学质量和教师的专业能力。最终,生成式大模型的应用将推动职业教育的数字化发展,提升教育质量和教师能力。 展开更多

关键词 职业教育 数字化教学资源 生成式大模型

下载PDF 职称材料

生成式人工智能大模型助推实体经济高质量发展:理论机理、实践基础与政策路径 被引量：15

12

作者 范德志 于水 《云南民族大学学报（哲学社会科学版）》 CSSCI 北大核心 2024年第1期152-160,共9页

让现代数字技术赋能社会经济发展与治理,以培育新动能、发展新产业、塑造新模式,是实现高质量发展、推进中国式现代化的重要引擎。以ChatGPT为代表的生成式人工智能大模型在自然语言处理和生成等方面展现出强大能力,为新动能、新产业和... 让现代数字技术赋能社会经济发展与治理,以培育新动能、发展新产业、塑造新模式,是实现高质量发展、推进中国式现代化的重要引擎。以ChatGPT为代表的生成式人工智能大模型在自然语言处理和生成等方面展现出强大能力,为新动能、新产业和新模式开辟了新的发展道路。研究以“宏观—中观—微观”为分析框架,从提高生产效率、传统产业转型和变革商业模式等角度阐述了生成式人工智能大模型推进实体经济高质量发展的理论机理,并从大模型的核心技术、产业发展及其政策规划等方面考察了大模型推动高质量发展的实践基础。最后从完善顶层设计和统筹、加快人工智能新型基础设施建设、完善融资市场支撑环境及其发挥数字政府平台优势等方面助推实体经济高质量发展。 展开更多

关键词 生成式人工智能大模型 ChatGPT 实体经济 高质量发展

下载PDF 职称材料

生成式财务大模型在财务报告体系中的应用探索 被引量：2

13

作者 张志国 张真 +1 位作者 张树辉 吉发浚 《财政监督》 2024年第6期99-104,共6页

在数字技术的飞速进步中,人工智能(AI)领域的一个重要分支——生成式AI,正以前所未有的速度蓬勃发展。这种技术通过深度学习、机器学习等方法,对海量的数据集进行高效的学习和模式识别,进而具备了创造性产出的能力。它能够模仿人类智慧... 在数字技术的飞速进步中,人工智能(AI)领域的一个重要分支——生成式AI,正以前所未有的速度蓬勃发展。这种技术通过深度学习、机器学习等方法,对海量的数据集进行高效的学习和模式识别,进而具备了创造性产出的能力。它能够模仿人类智慧,以创新的方式自动生成文本、图像、音频等多种类型的内容。生成式AI在财务领域的应用不仅提高了决策质量和决策效率,还进一步推动了财务管理及金融服务行业向智能化、自动化的方向发展,帮助分析师和投资者更好地理解和解释财务数据,提供更全面的信息。 展开更多

关键词 生成式财务大模型 财务管理 财务报告体系

下载PDF 职称材料

生成式人工智能辅助英语读后续写教学初探 被引量：2

14

作者 张静 赵杰 王鹏 《英语学习》 2024年第8期32-36,共5页

生成式人工智能技术快速演进,其教育应用潜能广受关注。本研究从读后续写教学中的难点出发,尝试在生成式人工智能辅助下重构读后续写教学策略。实证研究发现,生成式大模型在提供精准反馈、辅助以学定教、支持人机协同创作、促进师生合... 生成式人工智能技术快速演进,其教育应用潜能广受关注。本研究从读后续写教学中的难点出发,尝试在生成式人工智能辅助下重构读后续写教学策略。实证研究发现,生成式大模型在提供精准反馈、辅助以学定教、支持人机协同创作、促进师生合作评价、优化作业设计等方面有明确的提质和增效作用。 展开更多

关键词 生成式人工智能 生成式大模型 读后续写 以学定教 人机协同创作

下载PDF 职称材料

生成式人工智能大模型嵌入社会治理:赋能场景、风险样态与规制路径

15

作者 谭新雨 《暨南学报(哲学社会科学版)》 CSSCI 北大核心 2024年第12期97-111,共15页

中国式现代化进程中,生成式人工智能大模型(AI大模型)持续深入地嵌入社会治理体系中,推动了政府组织嬗变与治理模式革新,但也难免衍生出一些问题。本研究基于技术—社会、技术—组织互构理论对AI大模型嵌入社会治理的赋能场景、风险样... 中国式现代化进程中,生成式人工智能大模型(AI大模型)持续深入地嵌入社会治理体系中,推动了政府组织嬗变与治理模式革新,但也难免衍生出一些问题。本研究基于技术—社会、技术—组织互构理论对AI大模型嵌入社会治理的赋能场景、风险样态、规制路径展开分析。其中,AI大模型嵌入社会治理后使官僚决策从情感决策转向理性决策;部门关系从碎片分割转向协同联动;服务提供从刚性分配转向需求计算;治理模式从人工治理转向智慧治理。但与此同时,AI大模型治理模式也带来了道德/责任判定障碍,威胁公共伦理责任;带来了科学技术异化风险,威胁人类主体地位;带来了社会刻板偏见风险,威胁公平正义理念;带来了公民权利受损风险,威胁民主自由价值。由此,未来AI大模型治理体系应融入科技向善导向、人本主义理念、公共价值目标、协同治理模式等。 展开更多

关键词 生成式人工智能大模型 社会治理 互构理论 风险样态 AI治理

下载PDF 职称材料

生成式大模型对商业银行的影响及建议 被引量：4

16

作者 龚新宇 江瀚 《新金融》 北大核心 2023年第10期32-37,共6页

伴随着人工智能(AI)的发展,以ChatGPT为代表的人工智能生成式大模型将给商业银行带来深远影响。本文采用逻辑分析方法,基于人工智能生成式大模型创新的视角,研究了商业银行运用生成式大模型的可能与影响。本文研究发现,将传统生成式大... 伴随着人工智能(AI)的发展,以ChatGPT为代表的人工智能生成式大模型将给商业银行带来深远影响。本文采用逻辑分析方法,基于人工智能生成式大模型创新的视角,研究了商业银行运用生成式大模型的可能与影响。本文研究发现,将传统生成式大模型训练成为多模态金融大模型之后,在商业银行的业务领域具有广泛的应用前景,可以有效提升商业银行风险管理水平,优化商业银行的投资决策和投资组合,强化客户关系管理和客户维护能力,从而真正提升商业银行经营效率、优化风险管理效能、驱动数智化转型。但同时也面临着一些难点与挑战,如数据安全、人员培训、监管合规、算力与能耗储备等,只有有效应对这些难点,用好生成式大模型,才能更好地推动商业银行的转型发展。 展开更多

关键词 商业银行 人工智能 生成式大模型 数智化转型

原文传递

基于生成式AI大模型的图情文本摘要能力分析

17

作者 范钟秀 《贵图学苑》 2024年第4期60-64,72,共6页

[目的/意义]本研究旨在评估生成式AI大模型在图书情报领域中生成摘要的性能及其影响。[方法/过程]研究选取了图书情报的10个主题领域,并应用了ChatGPT3.5、ChatGPT4.0、ChatGLM4.0和ERNIEBot3.5等多种大模型进行全文和片段摘要的生成实... [目的/意义]本研究旨在评估生成式AI大模型在图书情报领域中生成摘要的性能及其影响。[方法/过程]研究选取了图书情报的10个主题领域,并应用了ChatGPT3.5、ChatGPT4.0、ChatGLM4.0和ERNIEBot3.5等多种大模型进行全文和片段摘要的生成实验。同时,通过提示工程实验分析了零样本和少样本学习对模型表现的影响。实验结果通过ROUGE、BERTScore、G-EVAL和FactCC等自动评估指标和人工评估指标进行了详细分析。[结果/结论]结果表明,ChatGPT4.0在多数任务中表现最为优异,其次为ChatGLM4.0和ERNIEBot3.5。此外,大模型在全文摘要任务中的表现往往优于片段摘要,有效地提示工程能够显著提升模型的能力,显著补充大型语言模型的不足,全面发挥其潜力将极大提高图书情报工作的效率。 展开更多

关键词 生成式AI大模型 自动摘要生成 提示工程 图书情报

下载PDF 职称材料

大语言模型在摘要结构功能识别上的应用研究

18

作者 翁梦娟 王晓光 +2 位作者 桂恒 刘文斌 石佛波 《现代情报》 北大核心 2025年第4期36-48,共13页

[目的/意义]测试GPT等生成式大模型在摘要结构功能识别这一判别式任务上的可行性及应用潜力,为基于生成式大语言模型构建高质量结构化数据提供参考。[方法/过程]采用单轮、零样本提示的方式基于GPT 4.0、Qwen 1.5和ERNIE 4.0实现结构功... [目的/意义]测试GPT等生成式大模型在摘要结构功能识别这一判别式任务上的可行性及应用潜力,为基于生成式大语言模型构建高质量结构化数据提供参考。[方法/过程]采用单轮、零样本提示的方式基于GPT 4.0、Qwen 1.5和ERNIE 4.0实现结构功能分类任务,根据领域、语种、时间划分构建不同的测试子集,以P、R、F1和准确率为评估指标,以单因素方差分析结果衡量不同测试子集间的性能差异程度。[结果/结论]大语言模型的输出不完全与提示中的约束一致,说明使用生成式模型解决判别式任务时,输出结果存在不可控风险,但符合提示的输出比例较高说明使用生成式模型解决判别式任务基本可用。不同大语言模型的性能表现不同,GPT 4.0和ERNIE 4.0在不同结构功能类别样本的所有指标、不同领域样本的R和准确率、不同语种样本的P和F1均表现出0.01水平显著性,其他则无显著差异。未来基于生成式大语言模型解决判别式任务时应着重关注输出结果的可控性、领域自适应等问题。 展开更多

关键词 结构功能识别 生成式大模型 大语言模型 结构化摘要 语步识别

下载PDF 职称材料

基于轨迹生成的群体异常行为检测

19

作者 王俊玖 裴中阳 杨帆 《人民公交》 2024年第24期46-49,共4页

随着城市化进程的加快,地铁乘客骚动行为日益成为地铁运营安全和乘客体验的挑战。本文提出了一种基于生成式大模型的地铁车厢乘客轨迹预测方法,以识别和预警群体异常行为。通过采集和分析鱼眼相机视角下的乘客轨迹数据,并结合时空注意... 随着城市化进程的加快,地铁乘客骚动行为日益成为地铁运营安全和乘客体验的挑战。本文提出了一种基于生成式大模型的地铁车厢乘客轨迹预测方法,以识别和预警群体异常行为。通过采集和分析鱼眼相机视角下的乘客轨迹数据,并结合时空注意力预测模型,本研究实现了对乘客未来轨迹的精确预测。同时,通过比较预测轨迹与实际轨迹,结合平均位移误差和最终位移误差作为评价指标,有效识别了群体异常行为。实验结果表明,该方法在多种场景下均表现出较高的预测精度和实用性。本文的研究不仅为地铁车厢内群体异常行为的识别提供了新的技术支持,也展示了生成式大模型在公共交通领域应用的广阔前景。 展开更多

关键词 地铁安全 生成式大模型 行人轨迹预测 群体异常行为 时空注意力机制

下载PDF 职称材料

基于奇异值分解的适应微调

20

作者 林志鹏 郭峥嵘 +1 位作者 张伟志 郭躬德 《计算机系统应用》 2025年第1期276-284,共9页

大语言模型的兴起对自然语言处理领域产生了深远影响.随着计算资源的增长和模型规模的扩大,大语言模型在自然语言处理中的应用潜力日益显现.然而,广泛使用的低秩适应微调方法在面对模型规模增大时,遇到了微调效率和存储成本等方面的挑战... 大语言模型的兴起对自然语言处理领域产生了深远影响.随着计算资源的增长和模型规模的扩大,大语言模型在自然语言处理中的应用潜力日益显现.然而,广泛使用的低秩适应微调方法在面对模型规模增大时,遇到了微调效率和存储成本等方面的挑战.为了解决这一问题,本文提出了一种基于奇异值分解的适应微调方法.该方法只需将奇异值分解得到的对角矩阵和缩放向量作为可训练参数,从而在降低训练成本的同时,实现了在多个自然语言处理任务上的性能提升.实验结果显示,基于奇异值分解的适应微调方法在GLUE和E2E基准测试中的性能超越了同等数量级的方法.通过与常用的参数高效微调方法进行比较,发现基于奇异值分解的适应微调方法在减少可训练参数数量和提高微调效率方面具有显著优势,并在可训练参数微调效率实验中实现了最高的性能增益.在未来的研究中,将专注于进一步优化基于奇异值分解的适应微调方法,在更广泛的任务和更大规模的模型中实现更高效的微调. 展开更多

关键词 参数高效微调 生成式大模型 深度学习 领域适配 有限算力

下载PDF 职称材料