SELF-INSTRUCT：将语言模型与自生成指令对齐
一、引言$\quad$随着大规模语言模型(LLM)的能力范围越来越广，其中有两个关键的组成部分: 大型预训练语言模型(LM) 和人类书写的指
阅读更多
基于Llama的藏文增量预训练及模型开源共享
一、ChatGPT简要技术回顾为何出圈：不再是传统意义的人机对话系统，而是以自然语言为交互方式的通用语言处理平台。
技术有突破：基础数据+核心模型+优化算法
应用接地气：几乎可以完成所有语言相关的功能
效果超预期：相比于先前系统效果产生
2024-04-14
基于safetensors.index.json.
2024-04-14
大模型应用的平民化
一、任务 使用llama.cpp量化部署：以llama.cpp工具为例，介绍模型量化并在本地部署的详细步骤。Windows则可能需要cmake等编译工具的安装。本地快速部署体验推荐使用经过指令精调的
2024-04-14
面向大语言模型的藏语指令数据集构建
面向大语言模型的藏语指令数据集构建
论文题目：面向大语言模型的藏语指令数据集构建
作者机构：北方工业大学；百度网讯科技有限公司；北京理工大学
1. 摘要
指令微调被认为是增强大语言模型（LL
2024-04-14
大语言模型(LLM)微调方法总结
大语言模型(LLM)微调方法总结一、引言$\quad$在预训练后，大模型可以获得解决各种任务的通用能力。然而，越来越多的研究表明，大语言模型的能力可以根据特定目标进一步调整。降低大模型微调成本，由于模型规模的增大，传统微调的方法变得难以实现
2023-05-18
基于生成式的UIE方法阅读笔记
基于生成式的UIE方法一、引言1.1 信息抽取任务$\quad$ 信息抽取(Information extraction,IE)旨在从无结构的自然语言文本中抽取出结构化的信息，但是不同的信息抽取任务都有不同的结构，且差异较大。如下图1所示：
2023-04-16
SELF-INSTRUCT：将语言模型与自生成指令对齐
一、引言$\quad$随着大规模语言模型(LLM)的能力范围越来越广，其中有两个关键的组成部分: 大型预训练语言模型(LM) 和人类书写的指令数据。然而，①现有指令微调严重依赖于人编写的指令数据，这些数据在规模、多样性和创造性等方面都受限，
2023-04-08
总结GPT系列以及ChatGPT训练步骤
总结GPT系列以及ChatGPT训练步骤一、引言$\quad$ 近期ChatGPT在大众眼里的热度越来越热，它Prompt出了我的焦虑，于是最近一直在补大模型相关的工作。另外，北京市经济和信息化局在北京人工智能产业创新发展大会上，其中提到支
2023-04-08
无参数机器翻译遇上对比学习效率和性能我全都要
非参数方法最近已成功应用于语言建模和问答系统。非参数的方法具有如下优势：
表达能力强，因为它们可以在测试时使用任意数量的数据
适应能力强，因为预测可以通过改变数据存储来控制
可解释性强，因为用来进行预测的数据可以直接检查
1 信息
论
2022-12-20
构建基于医学领域的藏语命名实体识别数据集
今天小编为大家告知一篇关于构建基于医学领域的藏语命名实体识别数据集。
一、获取中文医学命名实体识别(CMeEE)数据集首先，从中文医疗信息处理挑战榜CBLUE数据集下载中文医学命名实体识别(CMeEE)数据集，此数据集含有9个实体类别，具体
2022-10-04
vsCode在线与离线安装remote-ssh插件搭建远程开发环境
介绍VSCode是微软的一个开源项目，目前非常受欢迎的一款轻量级代码编辑器(配合插件还可以进行调试、编译等操作)，各种插件可以满足你的日常开发所需。Remote-ssh是微软发布的用于远程开发的一款插件，如果你是像我一样不习惯使用vim作为
2022-08-01
超详细Hexo+Github绚丽博客搭建小白教程
Github 部署演示示例
这是一个采用 Material Design 和响应式设计的 Hexo 博客主题。
特性
简单漂亮，文章内容美观易读
Material Design 设计
响应式设计，博客在桌面端、平板、手机等设备上均能很好
2022-07-16