Vicuna Baichuan 13b Chat

🚀 Vicuna Baichuan-13B模型

基於Baichaun-13B-chat的Vicuna微調對話模型，在中文開放測試集中表現優異，繼承了強大中英文底座模型的優勢，且在通用對話，尤其是醫療行業答覆能力上達到領先水平。

🚀 快速開始

本項目開源在以下github倉庫：

• shibing624/textgen
• shibing624/MedicalGPT

使用textgen庫：textgen，可調用Baichuan/LLaMA模型。

✨ 主要特性

• 強大底座：微調訓練的底座是 baichuan-inc/Baichuan-13B-Chat 模型，是較強的中英文底座模型。
• 高質量數據集微調：使用高質量10萬條多語言GPT4對話數據集進行微調，在通用對話，包括醫療行業答覆能力達到領先水平，在通用問題上的答覆能力不弱於Baichuan-13B-Chat。

📦 安裝指南

使用textgen庫

pip install -U textgen

使用HuggingFace Transformers

pip install transformers 

💻 使用示例

基礎用法（使用textgen庫）

from textgen import GptModel

def generate_prompt(instruction):
    return f"""A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.USER: {instruction} ASSISTANT: """

model = GptModel("baichuan", "shibing624/vicuna-baichuan-13b-chat")
predict_sentence = generate_prompt("一歲寶寶發燒能吃啥藥?")
r = model.predict([predict_sentence])
print(r) # ["1、首先大多數小兒退熱藥中含有解熱鎮痛成分阿司匹林或布洛芬等，這類藥品雖然副作用較少..."]

高級用法（使用HuggingFace Transformers）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig


model = AutoModelForCausalLM.from_pretrained("shibing624/vicuna-baichuan-13b-chat", device_map='auto', torch_dtype=torch.float16, trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained("shibing624/vicuna-baichuan-13b-chat", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("shibing624/vicuna-baichuan-13b-chat", trust_remote_code=True)
device = torch.device(0) if torch.cuda.is_available() else torch.device("cpu")

def generate_prompt(instruction):
    return f"""A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.USER: {instruction} ASSISTANT: """


sents = ['一歲寶寶發燒能吃啥藥', "who are you?"]
for s in sents:
    q = generate_prompt(s)
    inputs = tokenizer(q, return_tensors="pt")
    inputs = inputs.to(device)

    generate_ids = model.generate(
        **inputs,
        max_new_tokens=512, 
    )

    output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True)[0]
    print(output)
    print()

輸出示例

一歲寶寶發燒能吃啥藥
孩子的身體是很脆弱的，如果不注意保護好自己就會出現各種疾病。有些家長在看到孩子生病後都非常著急，想要立刻給他們用藥治療，但其實並沒有那麼簡單，因為每個人對於藥物的敏感度和耐受性都是不同的，所以我們需要根據具體情況來選擇合適的方法進行治療才可以達到最佳效果。1、首先大多數小兒退熱藥中含有解熱鎮痛成分阿司匹林或布洛芬等，這類藥品雖然副作用較少，但也存在過量使用引起胃腸道損傷甚至消化道潰瘍出血的風險；2、還有部分小兒退熱藥中含有撲爾敏等抗組胺藥，它們本身屬於處方藥，應該嚴格按照醫囑服用，切勿擅自加減劑量或者延長用藥時間;3、此外，某些小兒退熱藥中含有維生素C及葡萄糖酸鈣等營養補充劑，只有當患兒伴隨脫水症狀（如口渴、尿色深）時才考慮添加，否則容易造成電解質紊亂。

📚 詳細文檔

模型評估

shibing624/vicuna-baichuan-13b-chat 評估測試數據，模型在問答 測試 中的整體表現如下：

推理示例

模型文件組成

vicuna-baichuan-13b-chat
├── config.json
├── configuration_baichuan.py
├── generation_config.json
├── modeling_baichuan.py
├── pytorch_model-00001-of-00003.bin
├── pytorch_model-00002-of-00003.bin
├── pytorch_model-00003-of-00003.bin
├── pytorch_model.bin.index.json
├── quantizer.py
├── special_tokens_map.json
├── tokenization_baichuan.py
├── tokenizer_config.json
└── tokenizer.model

推理GPU要求

• Inference GPU: 27G

🔧 技術細節

訓練參數

{"per_device_train_batch_size": 2,
"per_device_eval_batch_size": 2,
"gradient_accumulation_steps": 1, 
"learning_rate": 2e-05, 
"num_train_epochs": 3.0,
"max_steps": -1,
"lr_scheduler_type": "linear",
"warmup_ratio": 0.0,
"warmup_steps": 50, 
"save_strategy": "steps",
"save_steps": 500,
"save_total_limit": 13,
"seed": 42,
"bf16": true,
"fp16": false, 
"eval_steps": 50,
"remove_unused_columns": false,
"load_best_model_at_end": true,
"metric_for_best_model": "loss", 
"optim": "paged_adamw_32bit",
"report_to": ["tensorboard"], 
}

訓練損失

• train loss: 1.3209
• evaluate loss: 1.4953

量化配置

訓練期間使用了以下 bitsandbytes 量化配置：

• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: True
• bnb_4bit_compute_dtype: bfloat16

訓練數據集

• 10萬條多語言ShareGPT GPT4多輪對話數據集：shibing624/sharegpt_gpt4

訓練腳本

CUDA_VISIBLE_DEVICES=0,1,2 torchrun --nproc_per_node 3 supervised_finetuning.py \
    --model_type baichuan \
    --model_name_or_path baichuan-inc/Baichuan-13B-Chat \
    --train_file_dir path_of_sharegpt_gpt4 \
    --validation_file_dir data/finetune/ \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --template_name vicuna \
    --do_train \
    --do_eval \
    --use_peft True --bf16 \
    --max_train_samples -1 \
    --max_source_length 1024 --max_target_length 1024 \
    --max_eval_samples 50 \
    --num_train_epochs 3 \
    --learning_rate 2e-5 \
    --warmup_ratio 0.05 \
    --weight_decay 0.05 \
    --logging_strategy steps \
    --logging_steps 10 \
    --eval_steps 50 \
    --evaluation_strategy steps \
    --save_steps 1000 \
    --save_strategy steps \
    --save_total_limit 13 \
    --preprocessing_num_workers 10 \
    --output_dir outputs-sft--baichuan-v3-production \
    --overwrite_output_dir \
    --ddp_timeout 300000 \
    --logging_first_step True \
    --target_modules all \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --torch_dtype bfloat16 --optim paged_adamw_32bit \
    --device_map auto \
    --report_to tensorboard \
    --ddp_find_unused_parameters False \
    --gradient_checkpointing True --qlora True --cache_dir ./cache

訓練機器及時間

• 機器：3*A100(40G)
• 時間：36hours

📄 許可證

本項目採用 apache-2.0 許可證。

📖 引用

@software{textgen,
  author = {Ming Xu},
  title = {textgen: Implementation of language model finetune},
  year = {2023},
  url = {https://github.com/shibing624/textgen},
}