Firefly Bloom 1b4

🚀 Firefly(流萤): 中国語対話型大規模言語モデル

Firefly（流萤）は、中国語の対話型大規模言語モデルです。このモデルは、指令微調整（Instruction Tuning）を用いて中国語データセットで最適化されています。また、語彙表の裁剪、ZeRO、テンソル並列などの技術を採用することで、メモリ消費を効果的に削減し、訓練効率を向上させています。訓練においては、より少ないモデルパラメータと計算資源を使用しています。

本プロジェクトでは、中国文化に関連する多くのデータを構築し、モデルのこの方面での性能を向上させています。例えば、対聯、詩作り、文言文翻訳、散文、金庸小説などです。

「流螢」は中国の伝統文化の象徴です。「腐草為螢」という言葉には悲しみを含んでいますが、螢の光は小さいながらも、夜空を照らすことができます。このプロジェクトの名前は杜牧の「秋夕」から取られています。「銀燭秋光冷画屏、軽羅小扇撲流螢」。このプロジェクトが流螢のように微かな光を放ち、中国語NLPのオープンソースコミュニティに少しでも貢献できることを願っています。

《詠螢火》 
 唐・李白
雨打灯難滅、
風吹色更明。
若飛天上去、
定作月邊星。

🚀 クイックスタート

プロジェクトのアドレスはこちらです：Firefly（流萤）: 中国語対話型大規模言語モデル。もしこのモデルが役に立ったと思ったら、GitHubのプロジェクトでスターをつけていただけると幸いです。

✨ 主な機能

• データセット：firefly-train-1.1M は、110万の中国語多タスク指令微調整データセットです。23種類の一般的な中国語NLPタスクの指令データを含んでいます。各タスクについて、人工的にいくつかの指令テンプレートを作成し、データの質と豊富さを保証しています。
• モデル裁剪：LLMPruner：大規模言語モデル裁剪ツール を使用して、語彙表の裁剪技術で多言語大規模言語モデルの重みを裁剪します。事前学習の知識を保持したまま、モデルのパラメータ数を効果的に減らし、訓練効率を向上させます。また、裁剪後のさまざまなパラメータ規模のBloomモデルの重みを共有しています。
• 重み共有：bloom-1b4-zh と bloom-2b6-zh をベースに指令微調整を行い、2種類のパラメータ規模の中国語モデル firefly-1b4 と firefly-2b6（訓練終了後に共有予定） を取得します。
• 訓練コード：オープンソースの訓練コードで、テンソル並列、ZeRO、Gemini異種メモリ空間管理などの大規模モデル訓練戦略をサポートしています。1枚のGPUで1B - 2Bのパラメータ規模のモデルを訓練できます（整理後にオープンソース予定）。

📦 インストール

本プロジェクトのインストールに関する具体的な手順は、まだ提供されていません。

💻 使用例

基本的な使用法

from transformers import BloomTokenizerFast, BloomForCausalLM
device = 'cuda'
path = 'YeungNLP/firefly-1b4'

tokenizer = BloomTokenizerFast.from_pretrained(path)
model = BloomForCausalLM.from_pretrained(path)
model.eval()
model = model.to(device)
text = input('User：')
while True:
    text = '<s>{}</s></s>'.format(text)
    input_ids = tokenizer(text, return_tensors="pt").input_ids
    input_ids = input_ids.to(device)
    outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_p=0.85, temperature=0.35,
                             repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
    rets = tokenizer.batch_decode(outputs)
    output = rets[0].strip().replace(text, "").replace('</s>', "")
    print("Firefly：{}".format(output))
    text = input('User：')

📚 ドキュメント

モデル裁剪

本プロジェクトでは、まず LLMPrunerプロジェクト を使用して、元のBloomモデルの語彙表を裁剪します。常用の中国語と英語の語彙表のみを取り出し、モデルのパラメータ数を大幅に削減した後、指令微調整を行います。

Bloomは多言語モデルで、多言語に対応するために語彙表が25万もあります。中国語の分野では、大部分の語彙表は使われません。私たちは冗長な語彙表を削減し、多言語モデルから常用の中国語と英語の語彙表を抽出しました。最終的に語彙表は25万から46145に減少し、元の18.39%に縮小されました。事前学習の知識を保持したまま、パラメータ数を効果的に減らし、訓練効率を向上させました。

私たちは bloom-1b4-zh と bloom-2b6-zh をベースに指令微調整を行い、2種類のパラメータ規模の中国語モデル firefly-1b4 と firefly-2b6（訓練終了後に共有予定） を取得しました。

データセット

私たちは23の一般的な中国語データセットを収集し、各タスクについて人工的にいくつかの指令テンプレートを作成し、データの質と豊富さを保証しました。データ量は115万で、訓練セット firefly-train-1.1M を形成しました。データの分布は以下の図の通りです。

このデータセットに Belle-train_0.5M_CN を追加し、最終的に165万の訓練データを得ました。各データの形式は以下の通りで、タスクタイプ、入力、目標出力を含んでいます。

{
  "kind": "ClassicalChinese", 
  "input": "将下面句子翻译成现代文：\n石中央又生一树，高百余尺，条干偃阴为五色，翠叶如盘，花径尺余，色深碧，蕊深红，异香成烟，著物霏霏。",
  "target": "大石的中央长着一棵树，一百多尺高，枝干是彩色的，树叶有盘子那样大，花的直径有一尺宽，花瓣深蓝色，花中飘出奇异的香气笼罩着周围，如烟似雾。"
}

訓練データセットのトークン長の分布は以下の図の通りで、大部分のデータの長さは600未満です。

訓練の詳細

訓練時には、各サンプルの入力と目標を以下の形式に処理してからモデルに入力します。

<s>input</s></s>target</s>

モデルの最大入力を512に設定し、入力部分は損失関数の計算には含まれず、目標部分の損失関数のみを計算します。訓練のハイパーパラメータ設定は以下の表の通りです。

🔧 技術詳細

本プロジェクトでは、指令微調整（Instruction Tuning）を用いて中国語データセットでモデルを最適化しています。また、語彙表の裁剪、ZeRO、テンソル並列などの技術を採用することで、メモリ消費を効果的に削減し、訓練効率を向上させています。

📄 ライセンス

本プロジェクトのコード、データ、モデルなどは学術研究のみに使用することができ、商業目的や社会に危害をもたらす目的には使用できません。

引用

本プロジェクトのデータ、コード、モデルを使用する場合は、以下のように引用してください。

@misc{Firefly,
  author = {Jianxin Yang},
  title = {Firefly(流萤): 中文对话式大语言模型},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/yangjianxin1/Firefly}},
}

フォロー

生成結果

以下はfirefly-1b4の一部の生成結果です。

以下はFireflyモデルのより特色ある例です。Fireflyは文言文、詩詞、対聯、武侠小説、散文、歌詞、コピーライティング生成、感情分析などの中国語タスクに非常に優れた性能を発揮します。