BELLE 7B 2M

🚀 モデルIDのモデルカード

BELLEは、Bloomz - 7b1 - mtをベースに、200万件の中国語データとオープンソースのStanford - Alpacaからの5万件の英語データを組み合わせてファインチューニングされた言語モデルです。中国語の命令理解と応答生成能力に優れています。

🚀 クイックスタート

もしこのモデルが役に立ったと感じたら、このモデルを「いいね」して、https://github.com/LianjiaTech/BELLE のGitHubリポジトリをスターしてください！

✨ 主な機能

BELLEは、Bloomz - 7b1 - mtをベースに、200万件の中国語データと5万件の英語データを用いてファインチューニングされ、優れた中国語命令理解と応答生成能力を備えています。

中国語データ生成コードやその他の詳細情報は、GitHubプロジェクトリポジトリ: https://github.com/LianjiaTech/BELLE で確認できます。

異なるサイズ（20万、60万、100万、200万サンプル）のデータセットを用いて命令学習を行い、以下のような異なるモデルバージョンを得ました。

📦 インストール

特に明示的なインストール手順は記載されていません。モデルを使用するには、以下のコード例を参考にしてください。

💻 使用例

基本的な使用法

# 入力は、「訓練」と「推論」の両方で以下の形式にする必要があります。
Human: {input} \n\nAssistant:

# BELLEはAutoModelForCausalLMで簡単にロードできます。
from transformers import AutoTokenizer, AutoModelForCausalLM
import sys

model_path = "./" # ローカルモデルを保存するパスを変更できます
model =  AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
print("Human:")
line = input()
while line:
        inputs = 'Human: ' + line.strip() + '\n\nAssistant:'
        input_ids = tokenizer(inputs, return_tensors="pt").input_ids
        outputs = model.generate(input_ids, max_new_tokens=200, do_sample = True, top_k = 30, top_p = 0.85, temperature = 0.35, repetition_penalty=1.2)
        rets = tokenizer.batch_decode(outputs, skip_special_tokens=True)
        print("Assistant:\n" + rets[0].strip().replace(inputs, ""))
        print("\n------------------------------------------------\nHuman:")
        line = input()

高度な使用法

上記の例では、会話の前のターンのコンテキストを利用していません。多ターンの対話理解を行いたい場合は、会話の前のターンを Human:{input}\n\nAssistant:{output} の形式で結合して、generate 関数に入力することができます。

📚 ドキュメント

学習ハイパーパラメータ

制限事項

現在のベースモデルとデータで訓練されたモデルには、いくつかの問題が残っています。

1. 事実関連の命令に対して、事実に反する誤った回答を生成することがあります。
2. 有害な命令をうまく識別できず、有害な応答を生成することがあります。
3. 推論やコーディングのシチュエーションでの能力はまだ向上が必要です。

モデルにはまだ制限があるため、開発者はオープンソースのコード、データ、モデル、およびこのプロジェクトで生成された他のアーティファクトを研究目的のみに使用することを要求します。商業利用やその他の有害な利用は許可されていません。

いくつかの使用例

🔧 技術詳細

モデルの学習に使用されたハイパーパラメータは以下の通りです。

📄 ライセンス

このモデルはApache - 2.0ライセンスの下で提供されています。

引用

このプロジェクトのコード、データ、またはモデルを使用する場合は、以下のように引用してください。

@misc{BELLE,
  author = {Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Baochang Ma, Xiangang Li},
  title = {BELLE: Bloom-Enhanced Large Language model Engine },
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}

また、元のBLOOM論文、Stanford Alpaca、Self - Instruct論文も引用してください。