Firefly Bloom 1b4

🚀 Firefly(流萤): 中文对话式大语言模型

Firefly（流萤）是一个开源的中文对话式大语言模型，使用指令微调技术在中文数据集上进行调优。它采用了词表裁剪、ZeRO、张量并行等技术，有效降低显存消耗并提高训练效率。该模型构造了许多与中华文化相关的数据，旨在提升在对联、作诗、文言文翻译等方面的表现，为中文NLP开源社区贡献力量。

🚀 快速开始

模型使用

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-1b4'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.85, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

✨ 主要特性

• 数据集优质：使用firefly-train-1.1M 高质量数据集，包含1.1M中文多任务指令微调数据，涵盖23种常见中文NLP任务。
• 模型裁剪高效：运用LLMPruner：大语言模型裁剪工具 对多语种大语言模型进行词表裁剪，减少参数量，提高训练效率。
• 多参数规模模型：基于bloom-1b4-zh 和bloom-2b6-zh 进行指令微调，获得firefly-1b4 和firefly-2b6（待训练结束后分享） 两种参数规模的中文模型。
• 训练策略丰富：开源训练代码，支持张量并行、ZeRO、Gemini异构内存空间管理等大模型训练策略。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-1b4'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.85, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

高级用法

文档未提供高级用法示例，暂不展示。

📚 详细文档

模型裁剪

本项目首先使用LLMPruner项目 对原始的Bloom模型进行词表裁剪，仅取出常用的中英文词表，大大降低了模型参数量，然后再对其进行指令微调。

Bloom是个多语言模型，由于需要兼容多语言，所以词表有25w之多，在中文领域中，大部分词表并不会被用到。我们通过删减冗余的词表，从多语言模型中提取常用的中英文词表，最终词表从25w减少到46145，缩减为原来的18.39%，在保留预训练知识的同时，有效减少参数量，提高训练效率。

我们在bloom-1b4-zh 与bloom-2b6-zh 的基础上，进行指令微调，获得两种参数规模的中文模型：firefly-1b4 和firefly-2b6（待训练结束后分享）

数据集

我们收集了23个常见的中文数据集，对于每个任务，由人工书写若干种指令模板，保证数据的高质量与丰富度，数据量为115万，形成训练集firefly-train-1.1M 。数据分布如下图所示： 在此基础上，我们添加了Belle-train_0.5M_CN ，最终得到165万的训练数据。每条数据的格式如下，包含任务类型、输入、目标输出：

{
  "kind": "ClassicalChinese", 
  "input": "将下面句子翻译成现代文：\n石中央又生一树，高百余尺，条干偃阴为五色，翠叶如盘，花径尺余，色深碧，蕊深红，异香成烟，著物霏霏。",
  "target": "大石的中央长着一棵树，一百多尺高，枝干是彩色的，树叶有盘子那样大，花的直径有一尺宽，花瓣深蓝色，花中飘出奇异的香气笼罩着周围，如烟似雾。"
}

训练数据集的token长度分布如下图所示，绝大部分数据的长度都小于600：

训练细节

在训练时，对于每条样本，我们将input与target处理成如下格式，然后输出模型中。

<s>input</s></s>target</s>

我们将模型的最大输入设置为512，input部分不参与计算loss，只计算target部分的损失函数。训练的超参数设置如下表所示。

🔧 技术细节

文档未提供更详细的技术细节，暂不展示。

📄 许可证

文档未提供许可证信息，暂不展示。

⚠️ 重要提示

经过词表裁剪后，我们的模型参数量仅为1.4B和2.6B，参数量远远小于ChatGPT和LLaMA等上百亿上千亿的模型，甚至远远小于当前主流如Belle、ChatGLM等7B左右的模型。所以在效果上仍存在以下问题：

• 对于事实性知识，容易产生错误的回复。
• 由于未经过无害化微调，可能会产生歧视、危害、违背伦理道德的言论。
• 在代码、推理上的能力仍有欠缺。

基于以上模型的局限性，我们要求本项目的代码、数据、模型等仅用于学术研究，不得用于商业用途，且不得用于对社会造成危害的用途。

📖 引用

若使用本项目的数据、代码或模型，请引用本项目。

@misc{Firefly,
  author = {Jianxin Yang},
  title = {Firefly(流萤): 中文对话式大语言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yangjianxin1/Firefly}},
}

👀 关注我们

🎉 生成效果

下面展示的是firefly-1b4的部分生成效果。

下面是Firefly模型更具特色的一些例子，Firefly对于文言文、诗词、对联、武侠小说、散文、歌词、文案生成、情感分析等中文任务具有非常优秀的表现。