Firefly 是一个开源的大语言模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Qwen2、Yi-1.5、Llama3、Gemma、Qwen1.5、MiniCPM、MiniCPM3、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom等。 本项目支持全量参数训练、LoRA、QLoRA高效训练，支持预训练、SFT、DPO。结合了最新的 Deepspeed 技术，简单易用，方便学习，微调训练显存需求小，因此被很多大佬推荐从 Firefly 入手训练模型。

官方项目地址：https://github.com/yangjianxin1/Firefly

现在趋动云上已经配置好该项目环境，可以免费试用

注册链接：https://growthdata.virtaicloud.com/t/xK

登陆后进入项目链接（有详细使用说明）：

https://open.virtaicloud.com/web/project/detail/575337624752263168

点击右上角运行一下，确定克隆项目到自己空间，点击立即运行，启动开发环境后点右上角进入开发环境。

双击打开左侧的项目介绍文件，按顺序运行代码块即可完成示例演示中的对 Qwen2 1.5b 模型做 Lora 微调训练，来提升模型输出新闻摘要的效果：

测试用到的 Qwen2-1.5B 模型已下载并放在了云服务器 /gemini/code/fine-tuning-main/Qwen2-1.5B 目录下，默认配置即可满足演示需求，如显存不够用可以根据自己的需求情况再换个大点的实例配置。

测试用到的新闻摘要数据集位于 /gemini/code/fine-tuning-main/data/summary/ 目录下，其中 sum_train_2048.json 是训练数据集，summary_test.jsonl 是测试数据集，训练完成后，可以用测试数据集来评分看看效果。

具体操作可以参考视频：

工具调用数据集位于 /gemini/code/fine-tuning-main/data/tools/ 目录下，其中 glaive_toolcall_zh_1k_train.jsonl 是训练数据集，glaive_toolcall_zh_1k_test.jsonl 是测试数据集。

其他微调任务可以参考这两个示例来整理数据集和修改代码来训练模型。