🚀 鈴雀ORPO（Suzume ORPO）
鈴雀ORPO（Suzume ORPO）是基於lightblue/suzume-llama-3-8B-multilingual模型，使用lightblue/mitsu數據集，通過ORPO方法微調得到的模型。本項目旨在提升模型在多語言任務上的表現，為自然語言處理領域提供更強大的工具。
[論文] [數據集]
🚀 快速開始
本模型是基於lightblue/suzume-llama-3-8B-multilingual模型微調而來。我們使用ORPO方法訓練了多個版本的模型，建議使用測試中表現最佳的模型lightblue/suzume-llama-3-8B-multilingual-orpo-borda-half。
需要注意的是，由於我們使用了Command R和Command R+模型來生成訓練數據（lightblue/mitsu），因此該模型採用非商業許可。我們目前正在開發可商業使用的模型，請持續關注！
✨ 主要特性
模型列表
我們使用lightblue/mitsu數據集的不同比例，通過ORPO方法訓練了以下模型：
模型結果
我們比較了4個ORPO訓練模型以及一些基線模型在6種語言上的MT-Bench分數：
| MT-Bench語言 |
meta-llama/Meta-Llama-3-8B-Instruct |
Nexusflow/Starling-LM-7B-beta |
gpt-3.5-turbo |
lightblue/suzume-llama-3-8B-multilingual |
lightblue/suzume-llama-3-8B-multilingual-orpo-borda-full |
lightblue/suzume-llama-3-8B-multilingual-orpo-borda-top75 |
lightblue/suzume-llama-3-8B-multilingual-orpo-borda-half |
lightblue/suzume-llama-3-8B-multilingual-orpo-borda-top25 |
| 中文 🇨🇳 |
NaN |
6.97 |
7.55 |
7.11 |
7.65 |
7.77 |
7.74 |
7.44 |
| 英文 🇺🇸 |
7.98 |
7.92 |
8.26 |
7.73 |
7.98 |
7.94 |
7.98 |
8.22 |
| 法文 🇫🇷 |
NaN |
7.29 |
7.74 |
7.66 |
7.84 |
7.46 |
7.78 |
7.81 |
| 德文 🇩🇪 |
NaN |
6.99 |
7.68 |
7.26 |
7.28 |
7.64 |
7.7 |
7.71 |
| 日文 🇯🇵 |
NaN |
6.22 |
7.84 |
6.56 |
7.2 |
7.12 |
7.34 |
7.04 |
| 俄文 🇷🇺 |
NaN |
8.28 |
7.94 |
8.19 |
8.3 |
8.74 |
8.94 |
8.81 |
與基礎模型相比，我們可以看到在大多數語言上都有顯著的提升。我們還發現，在多種語言中，我們的ORPO模型在所有評估模型中取得了最高分。
📚 詳細文檔
訓練數據
我們使用lightblue/mitsu_full_borda數據集訓練了這個模型。
訓練配置
查看Axolotl配置
Axolotl版本：0.4.0
base_model: lightblue/suzume-llama-3-8B-multilingual
model_type: LlamaForCausalLM
tokenizer_type: AutoTokenizer
load_in_8bit: false
load_in_4bit: false
strict: false
rl: orpo
orpo_alpha: 0.1
remove_unused_columns: false
chat_template: chatml
datasets:
- path: lightblue/mitsu_top75_borda
type: orpo.chat_template
conversation: llama-3
dataset_prepared_path: /workspace/llm_training/axolotl/llama3-multilingual-orpo/prepared_mitsu_top75_borda
val_set_size: 0.02
output_dir: /workspace/llm_training/axolotl/llama3-multilingual-orpo/output_mitsu_top75_borda
sequence_len: 8192
sample_packing: false
pad_to_sequence_len: true
use_wandb: true
wandb_project: axolotl
wandb_entity: peterd
wandb_name: mitsu_top75_borda
gradient_accumulation_steps: 8
micro_batch_size: 1
num_epochs: 1
optimizer: paged_adamw_8bit
lr_scheduler: cosine
learning_rate: 8e-6
train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: false
gradient_checkpointing: true
gradient_checkpointing_kwargs:
use_reentrant: false
early_stopping_patience:
resume_from_checkpoint:
logging_steps: 1
xformers_attention:
flash_attention: true
warmup_steps: 10
evals_per_epoch: 20
eval_table_size:
saves_per_epoch: 1
debug:
deepspeed: /workspace/axolotl/deepspeed_configs/zero3_bf16.json
weight_decay: 0.0
special_tokens:
pad_token: <|end_of_text|>
模型評估
這個模型是lightblue/suzume-llama-3-8B-multilingual在None數據集上的微調版本。它在評估集上取得了以下結果：
訓練過程
訓練超參數
訓練過程中使用了以下超參數：
- 學習率：8e-06
- 訓練批次大小：1
- 評估批次大小：1
- 隨機種子：42
- 分佈式類型：多GPU
- 設備數量：4
- 梯度累積步數：8
- 總訓練批次大小：32
- 總評估批次大小：4
- 優化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
- 學習率調度器類型：餘弦
- 學習率調度器熱身步數：10
- 訓練輪數：1
訓練結果
| 訓練損失 |
輪數 |
步數 |
驗證損失 |
| 7.6309 |
0.02 |
1 |
7.7104 |
| 3.9307 |
0.06 |
4 |
2.3582 |
| 0.1361 |
0.13 |
8 |
0.1163 |
| 0.1072 |
0.19 |
12 |
0.1045 |
| 0.1087 |
0.26 |
16 |
0.1007 |
| 0.1109 |
0.32 |
20 |
0.0971 |
| 0.1015 |
0.39 |
24 |
0.0908 |
| 0.1032 |
0.45 |
28 |
0.0872 |
| 0.0996 |
0.52 |
32 |
0.0968 |
| 0.1107 |
0.58 |
36 |
0.0982 |
| 0.1079 |
0.65 |
40 |
0.0911 |
| 0.1011 |
0.71 |
44 |
0.0893 |
| 0.1251 |
0.78 |
48 |
0.0866 |
| 0.1008 |
0.84 |
52 |
0.0863 |
| 0.0948 |
0.91 |
56 |
0.0863 |
| 0.0936 |
0.97 |
60 |
0.0863 |
框架版本
- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.0
📄 許可證
本模型採用CC BY-NC 4.0許可證。
🔖 引用方式
@article{devine2024sure,
title={Are You Sure? Rank Them Again: Repeated Ranking For Better Preference Datasets},
author={Devine, Peter},
journal={arXiv preprint arXiv:2405.18952},
year={2024}
}
👨💻 開發者
Peter Devine - (ptrdvn)
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 支持多種語言