Vicuna Baichuan 13b Chat

🚀 Vicuna Baichuan-13Bモデル

Baichaun-13B-chatをベースにしたVicuna微調整対話モデルです。

shibing624/vicuna-baichuan-13b-chatで評価テストデータを評価します。

モデルのQA テストにおける全体的なパフォーマンス：

このモデルは、中国語のオープンテストセットで優れた性能を発揮しており、2つの面での優位性を引き継いでいます。 1）微調整トレーニングのベースモデルはbaichuan-inc/Baichuan-13B-Chatで、強力な中英ベースモデルです。 2）微調整には、高品質の10万件の多言語GPT4対話データセットを使用しています。微調整後のモデルは、一般的な対話、特に医療分野の回答能力がトップレベルで、一般的な質問に対する回答能力はBaichuan-13B-Chatに劣りません。

🚀 クイックスタート

このモデルは、Baichaun-13B-chatをベースに微調整されたVicuna対話モデルで、中国語のオープンテストセットで優れた性能を示しています。以下に、モデルの使用方法やトレーニングの詳細を説明します。

✨ 主な機能

• 高性能：中国語のオープンテストセットで優れた性能を発揮し、一般的な対話や医療分野の回答能力が高い。
• 多言語対応：高品質の多言語GPT4対話データセットを使用して微調整されている。

📦 インストール

textgenライブラリを使用する場合

pip install -U textgen

HuggingFace Transformersを使用する場合

pip install transformers 

💻 使用例

textgenライブラリを使用する場合

from textgen import GptModel

def generate_prompt(instruction):
    return f"""A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.USER: {instruction} ASSISTANT: """

model = GptModel("baichuan", "shibing624/vicuna-baichuan-13b-chat")
predict_sentence = generate_prompt("一岁宝宝发烧能吃啥药?")
r = model.predict([predict_sentence])
print(r) # ["1、首先大多数小儿退热药中含有解热镇痛成分阿司匹林或布洛芬等，这类药品虽然副作用较少..."]

HuggingFace Transformersを使用する場合

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig


model = AutoModelForCausalLM.from_pretrained("shibing624/vicuna-baichuan-13b-chat", device_map='auto', torch_dtype=torch.float16, trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained("shibing624/vicuna-baichuan-13b-chat", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("shibing624/vicuna-baichuan-13b-chat", trust_remote_code=True)
device = torch.device(0) if torch.cuda.is_available() else torch.device("cpu")

def generate_prompt(instruction):
    return f"""A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.USER: {instruction} ASSISTANT: """


sents = ['一岁宝宝发烧能吃啥药', "who are you?"]
for s in sents:
    q = generate_prompt(s)
    inputs = tokenizer(q, return_tensors="pt")
    inputs = inputs.to(device)

    generate_ids = model.generate(
        **inputs,
        max_new_tokens=512, 
    )

    output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True)[0]
    print(output)
    print()

推論例

📚 ドキュメント

モデルファイルの構成

vicuna-baichuan-13b-chat
├── config.json
├── configuration_baichuan.py
├── generation_config.json
├── modeling_baichuan.py
├── pytorch_model-00001-of-00003.bin
├── pytorch_model-00002-of-00003.bin
├── pytorch_model-00003-of-00003.bin
├── pytorch_model.bin.index.json
├── quantizer.py
├── special_tokens_map.json
├── tokenization_baichuan.py
├── tokenizer_config.json
└── tokenizer.model

推論に必要なGPUメモリ

• 27G

🔧 技術詳細

トレーニングの詳細

トレーニングのパラメータは以下の通りです。

{"per_device_train_batch_size": 2,
"per_device_eval_batch_size": 2,
"gradient_accumulation_steps": 1, 
"learning_rate": 2e-05, 
"num_train_epochs": 3.0,
"max_steps": -1,
"lr_scheduler_type": "linear",
"warmup_ratio": 0.0,
"warmup_steps": 50, 
"save_strategy": "steps",
"save_steps": 500,
"save_total_limit": 13,
"seed": 42,
"bf16": true,
"fp16": false, 
"eval_steps": 50,
"remove_unused_columns": false,
"load_best_model_at_end": true,
"metric_for_best_model": "loss", 
"optim": "paged_adamw_32bit",
"report_to": ["tensorboard"], 
}

• トレーニング損失：1.3209
• 評価損失：1.4953

トレーニング中に使用されたbitsandbytesの量子化設定は以下の通りです。

• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: True
• bnb_4bit_compute_dtype: bfloat16

📄 ライセンス

このプロジェクトは、Apache License 2.0の下でライセンスされています。