Firefly Bloom 1b4

🚀 Firefly(流螢): 中文對話式大語言模型

Firefly（流螢）是一個開源的中文對話式大語言模型，使用指令微調技術在中文數據集上進行調優。它採用了詞表裁剪、ZeRO、張量並行等技術，有效降低顯存消耗並提高訓練效率。該模型構造了許多與中華文化相關的數據，旨在提升在對聯、作詩、文言文翻譯等方面的表現，為中文NLP開源社區貢獻力量。

🚀 快速開始

模型使用

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-1b4'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.85, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

✨ 主要特性

• 數據集優質：使用firefly-train-1.1M 高質量數據集，包含1.1M中文多任務指令微調數據，涵蓋23種常見中文NLP任務。
• 模型裁剪高效：運用LLMPruner：大語言模型裁剪工具 對多語種大語言模型進行詞表裁剪，減少參數量，提高訓練效率。
• 多參數規模模型：基於bloom-1b4-zh 和bloom-2b6-zh 進行指令微調，獲得firefly-1b4 和firefly-2b6（待訓練結束後分享） 兩種參數規模的中文模型。
• 訓練策略豐富：開源訓練代碼，支持張量並行、ZeRO、Gemini異構內存空間管理等大模型訓練策略。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-1b4'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.85, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

高級用法

文檔未提供高級用法示例，暫不展示。

📚 詳細文檔

模型裁剪

本項目首先使用LLMPruner項目 對原始的Bloom模型進行詞表裁剪，僅取出常用的中英文詞表，大大降低了模型參數量，然後再對其進行指令微調。

Bloom是個多語言模型，由於需要兼容多語言，所以詞表有25w之多，在中文領域中，大部分詞表並不會被用到。我們通過刪減冗餘的詞表，從多語言模型中提取常用的中英文詞表，最終詞表從25w減少到46145，縮減為原來的18.39%，在保留預訓練知識的同時，有效減少參數量，提高訓練效率。

我們在bloom-1b4-zh 與bloom-2b6-zh 的基礎上，進行指令微調，獲得兩種參數規模的中文模型：firefly-1b4 和firefly-2b6（待訓練結束後分享）

數據集

我們收集了23個常見的中文數據集，對於每個任務，由人工書寫若干種指令模板，保證數據的高質量與豐富度，數據量為115萬，形成訓練集firefly-train-1.1M 。數據分佈如下圖所示： 在此基礎上，我們添加了Belle-train_0.5M_CN ，最終得到165萬的訓練數據。每條數據的格式如下，包含任務類型、輸入、目標輸出：

{
  "kind": "ClassicalChinese", 
  "input": "將下面句子翻譯成現代文：\n石中央又生一樹，高百餘尺，條幹偃陰為五色，翠葉如盤，花徑尺餘，色深碧，蕊深紅，異香成煙，著物霏霏。",
  "target": "大石的中央長著一棵樹，一百多尺高，枝幹是彩色的，樹葉有盤子那樣大，花的直徑有一尺寬，花瓣深藍色，花中飄出奇異的香氣籠罩著周圍，如煙似霧。"
}

訓練數據集的token長度分佈如下圖所示，絕大部分數據的長度都小於600：

訓練細節

在訓練時，對於每條樣本，我們將input與target處理成如下格式，然後輸出模型中。

<s>input</s></s>target</s>

我們將模型的最大輸入設置為512，input部分不參與計算loss，只計算target部分的損失函數。訓練的超參數設置如下表所示。

🔧 技術細節

文檔未提供更詳細的技術細節，暫不展示。

📄 許可證

文檔未提供許可證信息，暫不展示。

⚠️ 重要提示

經過詞表裁剪後，我們的模型參數量僅為1.4B和2.6B，參數量遠遠小於ChatGPT和LLaMA等上百億上千億的模型，甚至遠遠小於當前主流如Belle、ChatGLM等7B左右的模型。所以在效果上仍存在以下問題：

• 對於事實性知識，容易產生錯誤的回覆。
• 由於未經過無害化微調，可能會產生歧視、危害、違背倫理道德的言論。
• 在代碼、推理上的能力仍有欠缺。

基於以上模型的侷限性，我們要求本項目的代碼、數據、模型等僅用於學術研究，不得用於商業用途，且不得用於對社會造成危害的用途。

📖 引用

若使用本項目的數據、代碼或模型，請引用本項目。

@misc{Firefly,
  author = {Jianxin Yang},
  title = {Firefly(流螢): 中文對話式大語言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yangjianxin1/Firefly}},
}

👀 關注我們

🎉 生成效果

下面展示的是firefly-1b4的部分生成效果。

下面是Firefly模型更具特色的一些例子，Firefly對於文言文、詩詞、對聯、武俠小說、散文、歌詞、文案生成、情感分析等中文任務具有非常優秀的表現。