甘南第一勇士
05
18
大语言模型(LLM)微调方法总结 大语言模型(LLM)微调方法总结
大语言模型(LLM)微调方法总结一、引言$\quad$在预训练后,大模型可以获得解决各种任务的通用能力。然而,越来越多的研究表明,大语言模型的能力可以根据特定目标进一步调整。降低大模型微调成本,由于模型规模的增大,传统微调的方法变得难以实现
2023-05-18
04
16
基于生成式的UIE方法阅读笔记 基于生成式的UIE方法阅读笔记
基于生成式的UIE方法一、引言1.1 信息抽取任务$\quad$ 信息抽取(Information extraction,IE)旨在从无结构的自然语言文本中抽取出结构化的信息,但是不同的信息抽取任务都有不同的结构,且差异较大。如下图1所示:
2023-04-16
08
SELF-INSTRUCT:将语言模型与自生成指令对齐 SELF-INSTRUCT:将语言模型与自生成指令对齐
一、引言$\quad$随着大规模语言模型(LLM)的能力范围越来越广,其中有两个关键的组成部分: 大型预训练语言模型(LM) 和人类书写的指令数据。然而,①现有指令微调严重依赖于人编写的指令数据,这些数据在规模、多样性和创造性等方面都受限,
2023-04-08
08
总结GPT系列以及ChatGPT训练步骤 总结GPT系列以及ChatGPT训练步骤
总结GPT系列以及ChatGPT训练步骤一、引言$\quad$ 近期ChatGPT在大众眼里的热度越来越热,它Prompt出了我的焦虑,于是最近一直在补大模型相关的工作。另外,北京市经济和信息化局在北京人工智能产业创新发展大会上,其中提到支
2023-04-08
s's