🚀 Dolphin 2.9.1 Yi 1.5 34b 🐬
このモデルは、Eric Hartford、Lucas Atkins、Fernando Fernandes、および Cognitive Computationsによって選定され、訓練されました。
これは、これまでで最も素晴らしい成果です。FFT、すべてのパラメータ、16bit。34bで77.4 MMLUを達成し、まるで夢のような会話ができます。
最大位置埋め込みは4kですが、rope thetaには1000000.0を使用し、シーケンス長8kで訓練を行いました。今後の32kバージョンでも訓練を行う予定です。
Discord: https://discord.gg/cognitivecomputations
Dolphin 2.9.1のスポンサーに感謝します。
このモデルは、Yi-1.5-34bをベースにしており、Apache 2.0ライセンスの下で提供されています。
ベースモデルのコンテキストは4kですが、rope thetaに1000000.0を使用し、全重み微調整をシーケンス長8kで行いました。
Dolphin 2.9.1は、ChatMLプロンプトテンプレート形式を使用しています。
🔍 モデル情報
| 属性 |
详情 |
| モデルタイプ |
微調整された言語モデル |
| 訓練データ |
cognitivecomputations/Dolphin-2.9、teknium/OpenHermes-2.5、m-a-p/CodeFeedback-Filtered-Instruction、cognitivecomputations/dolphin-coder、cognitivecomputations/samantha-data、microsoft/orca-math-word-problems-200k、Locutusque/function-calling-chatml、internlm/Agent-FLAN |
✨ 主要特性
- Dolphin-2.9.1には、さまざまな命令、会話、およびコーディングスキルが備わっています。また、初期的なエージェント機能も備えており、関数呼び出しをサポートしています。
- Dolphinは無検閲です。データセットからアライメントとバイアスを取り除くためにフィルタリングされています。これにより、モデルがより適合しやすくなっています。ただし、このモデルをサービスとして公開する前に、独自のアライメントレイヤーを実装することをお勧めします。このモデルは、倫理的でない要求を含むあらゆる要求に高度に適合する可能性があります。無検閲モデルに関するブログ記事をご覧ください。https://erichartford.com/uncensored-models このモデルを使用して作成したコンテンツについては、あなた自身が責任を負う必要があります。責任を持って楽しんでください。
💻 使用例
基本的な使用法
<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
🏋️♀️ 評価
🔧 訓練詳細
Axolotlの設定を表示
Axolotlのバージョン: 0.4.0
base_model: 01-ai/Yi-1.5-34B
model_type: LlamaForCausalLM
tokenizer_type: LlamaTokenizer
trust_remote_code: true
datasets:
- path: /workspace/datasets/dolphin-2.9/dolphin201-sharegpt2.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/dolphin-coder-translate-sharegpt2.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/dolphin-coder-codegen-sharegpt2.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/m-a-p_Code-Feedback-sharegpt-unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/m-a-p_CodeFeedback-Filtered-Instruction-sharegpt-unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/not_samantha_norefusals.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/Orca-Math-resort-unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/agent_instruct_react_unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/toolbench_instruct_j1s1_3k_unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/toolbench_negative_unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/toolbench_react_10p_unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/toolbench_tflan_cot_30p_unfiltered.jsonl
type: sharegpt
conversation: chatml
- path: /workspace/datasets/dolphin-2.9/openhermes200k_unfiltered.jsonl
type: sharegpt
conversation: chatml
chat_template: chatml
dataset_prepared_path: yi34b
val_set_size: 0.01
output_dir: ./out-yi
sequence_len: 8192
sample_packing: true
pad_to_sequence_len: true
wandb_project: dolphin-2.9-yi-34b
wandb_watch:
wandb_run_id:
wandb_log_model:
gradient_accumulation_steps: 8
micro_batch_size: 1
num_epochs: 3
optimizer: adamw_8bit
lr_scheduler: cosine
learning_rate: 1e-5
train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: true
gradient_checkpointing: true
gradient_checkpointing_kwargs:
use_reentrant: false
early_stopping_patience:
logging_steps: 1
xformers_attention:
flash_attention: true
warmup_steps: 10
evals_per_epoch: 4
eval_table_size:
saves_per_epoch: 4
save_total_limit: 2
save_steps:
debug:
deepspeed: /workspace/axolotl/deepspeed_configs/zero3_bf16.json
weight_decay: 0.05
fsdp:
fsdp_config:
special_tokens:
bos_token: "<|startoftext|>"
eos_token: "<|im_end|>"
pad_token: "<unk>"
unk_token: "<unk>"
tokens:
- "<|im_start|>"
out-yiについて
このモデルは、01-ai/Yi-1.5-34BをNoneデータセットで微調整したバージョンです。評価セットでは、以下の結果を達成しています。
🔬 訓練手順
訓練ハイパーパラメータ
訓練中に使用されたハイパーパラメータは次のとおりです。
- 学習率: 1e-05
- 訓練バッチサイズ: 1
- 評価バッチサイズ: 1
- シード: 42
- 分散タイプ: マルチGPU
- デバイス数: 8
- 勾配累積ステップ: 8
- 総訓練バッチサイズ: 64
- 総評価バッチサイズ: 8
- オプティマイザ: Adam（ベータ=(0.9,0.999)、イプシロン=1e-08）
- 学習率スケジューラタイプ: コサイン
- 学習率スケジューラウォームアップステップ: 10
- エポック数: 3
訓練結果
| 訓練損失 |
エポック |
ステップ |
検証損失 |
| 0.6265 |
0.0 |
1 |
0.6035 |
| 0.4674 |
0.25 |
327 |
0.4344 |
| 0.4337 |
0.5 |
654 |
0.4250 |
| 0.4346 |
0.75 |
981 |
0.4179 |
| 0.3985 |
1.0 |
1308 |
0.4118 |
| 0.3128 |
1.23 |
1635 |
0.4201 |
| 0.3261 |
1.48 |
1962 |
0.4157 |
| 0.3259 |
1.73 |
2289 |
0.4122 |
| 0.3126 |
1.98 |
2616 |
0.4079 |
| 0.2265 |
2.21 |
2943 |
0.4441 |
| 0.2297 |
2.46 |
3270 |
0.4427 |
| 0.2424 |
2.71 |
3597 |
0.4425 |
フレームワークバージョン
- Transformers 4.40.0.dev0
- Pytorch 2.2.2+cu121
- Datasets 2.15.0
- Tokenizers 0.15.0
📄 ライセンス
このモデルは、Apache 2.0ライセンスの下で提供されています。商用を含むあらゆる用途が許可されています。Dolphinは、GPT4などの他のモデルから生成されたデータで訓練されています。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Transformers 複数言語対応