期刊导航
期刊开放获取
重庆大学
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于prompt tuning的中文文本多领域情感分析研究
1
作者
赵文辉
吴晓鸰
+1 位作者
凌捷
HOON Heo
《计算机工程与科学》
CSCD
北大核心
2024年第1期179-190,共12页
不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的...
不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。
展开更多
关键词
多领域情感分析
提示微调
预训练语言模型
T5
下载PDF
职称材料
鹏程·盘古:大规模自回归中文预训练语言模型及应用
被引量：
3
2
作者
曾炜
苏腾
+2 位作者
王晖
田永鸿
高文
《中兴通讯技术》
2022年第2期33-43,共11页
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从...
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。
展开更多
关键词
大规模预训练语言模型
鹏城云脑Ⅱ
大规模分布式训练
中文理解与生成
提示微调
学习
下载PDF
职称材料
题名
基于prompt tuning的中文文本多领域情感分析研究
1
作者
赵文辉
吴晓鸰
凌捷
HOON Heo
机构
广东工业大学计算机学院
三星电机
出处
《计算机工程与科学》
CSCD
北大核心
2024年第1期179-190,共12页
基金
广东省国际科技合作领域项目(2019A050513010)
工业装备质量大数据工业和信息化部重点实验室开放课题(2021-1EQBD-02)。
文摘
不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。
关键词
多领域情感分析
提示微调
预训练语言模型
T5
Keywords
multi-domain sentiment analysis
prompt tuning
pre-trained language model
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
鹏程·盘古:大规模自回归中文预训练语言模型及应用
被引量：
3
2
作者
曾炜
苏腾
王晖
田永鸿
高文
机构
鹏城实验室
北京大学
华为技术有限公司
鹏城实验室网络智能部开源所
鹏城实验室网络智能部
出处
《中兴通讯技术》
2022年第2期33-43,共11页
基金
广东省重点领域研发计划“新一代人工智能”重大专项(2021B0101400002)。
文摘
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。
关键词
大规模预训练语言模型
鹏城云脑Ⅱ
大规模分布式训练
中文理解与生成
提示微调
学习
Keywords
large-scale pre-trained language models
Pengcheng cloud brainⅡ
large-scale distributed training
Chinese language under⁃standing and generation
tip fine-tuning learning
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于prompt tuning的中文文本多领域情感分析研究
赵文辉
吴晓鸰
凌捷
HOON Heo
《计算机工程与科学》
CSCD
北大核心
2024
0
下载PDF
职称材料
2
鹏程·盘古:大规模自回归中文预训练语言模型及应用
曾炜
苏腾
王晖
田永鸿
高文
《中兴通讯技术》
2022
3
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
