Llama3 Chinese 8B Instruct Agent V1

🚀 魔搭Llama3 8b中文Agent智能體模型

本模型使用Llama3 - 8b - instruct基模型進行訓練，適配中文通用場景，且支持ReACT格式的Agent調用，為中文自然語言處理提供了強大支持。

🚀 快速開始

模型使用

推理

# 安裝依賴
pip install ms-swift -U

# 推理
swift infer --model_type llama3-8b-instruct --model_id_or_path swift/Llama3-Chinese-8B-Instruct-Agent-v1

# 部署
swift deploy --model_type llama3-8b-instruct --model_id_or_path swift/Llama3-Chinese-8B-Instruct-Agent-v1

本模型可以聯合ModelScopeAgent框架使用，請參考： ModelScopeAgent使用文檔

✨ 主要特性

• 框架支持：基於Pytorch框架構建。
• 許可證：使用Llama3許可證。
• 任務類型：支持文本生成任務。

📦 安裝指南

在推理部分已包含安裝依賴的命令：

pip install ms-swift -U

📚 詳細文檔

模型訓練信息

為了適配中文及Agent場景，我們針對語料進行了一定混合配比，訓練Llama3使用的語料如下：

• COIG - CQIA：該數據集包含了中國傳統知識、豆瓣、弱智吧、知乎等中文互聯網信息
• 魔搭通用Agent訓練數據集: 數據集鏈接
• alpaca - en: 數據集鏈接
• ms - bench魔搭通用中文問答數據集: 數據集鏈接

訓練使用的超參數如下：

模型訓練命令

NPROC_PER_NODE=8 \
swift sft \
  --model_type llama3-8b-instruct \
  --dataset ms-agent-for-agentfabric-default alpaca-en ms-bench ms-agent-for-agentfabric-addition coig-cqia-ruozhiba coig-cqia-zhihu coig-cqia-exam coig-cqia-chinese-traditional coig-cqia-logi-qa coig-cqia-segmentfault coig-cqia-wiki \
  --batch_size 2 \
  --max_length 2048 \
  --use_loss_scale true \
  --gradient_accumulation_steps 16 \
  --learning_rate 5e-5 \
  --use_flash_attn true \
  --eval_steps 500 \
  --save_steps 500 \
  --train_dataset_sample -1 \
  --dataset_test_ratio 0.1 \
  --val_dataset_sample 10000 \
  --num_train_epochs 2 \
  --check_dataset_strategy none \
  --gradient_checkpointing true \
  --weight_decay 0.01 \
  --warmup_ratio 0.03 \
  --save_total_limit 2 \
  --logging_steps 10 \
  --sft_type lora \
  --lora_target_modules ALL \
  --lora_rank 8 \
  --lora_alpha 32

模型評測信息

GSM8K英文數學能力下降了8個點左右，經過消融實驗我們發現去除alpaca - en語料會導致GSM8K下降至少十個點以上。

📄 許可證

本模型使用Llama3許可證。