dolphin-2.9-llama3-8bオープンソース対話モデル - 多タスク処理とエージェント機能を無料で利用可能

ホーム

Dolphin 2.9 Llama3 8b

dphnによって開発

Llama - 3 - 8bをベースに微調整された対話モデルで、多タスク処理能力と基本的なエージェント機能を備えています。

大規模言語モデル

Transformers

オープンソースライセンス:その他 #無審査AI #多タスク指令処理 #関数呼び出しサポート

ダウンロード数 1,902

リリース時間 : 4/20/2024

モデル概要

指令処理、対話交流、コード生成に長けた多機能AIアシスタントモデルで、関数呼び出しをサポートしています。

モデル特徴

多技能表现

様々な指令処理、対話交流、コード生成能力を備えています。

智能体能力

基本的なエージェント機能を持ち、関数呼び出しをサポートしています。

无审查机制

データフィルタリングによりアライメントとバイアスを除去しています。アライメント層は独自に実装することをおすすめします。

长上下文支持

ベースモデルは8kのコンテキストをサポートし、トレーニングでは4kのシーケンス長を使用しています。

モデル能力

指令処理

対話交流

コード生成

関数呼び出し

数学問題解決

システムインタラクション

使用事例

编程辅助

代码生成

自然言語の説明に基づいてコードを生成します。

代码反馈

コードの改善提案を提供します。

智能助手

对话交互

AIアシスタントとして自然な対話を行います。

任务执行

関数呼び出しを通じて特定のタスクを実行します。

教育

数学问题解答

数学の応用問題を解きます。

🚀 Dolphin 2.9 Llama 3 8b 🐬

このモデルは、Eric Hartford、Lucas Atkins、Fernando Fernandes、および Cognitive Computationsによって選定され、訓練されました。このモデルは、様々な命令、会話、コーディングスキルを備えており、初期的なエージェント機能や関数呼び出しもサポートしています。

Discord: https://discord.gg/cognitivecomputations

🚀 クイックスタート

Dolphin 2.9 Llama 3 8bモデルを使用するには、以下の手順に従ってください。

モデルのベース情報

プロパティ	詳細
ベースモデル	meta-llama/Meta-Llama-3-8B
ライセンス	META LLAMA 3 COMMUNITY LICENSE AGREEMENT
コンテキスト長	ベースモデルは8kコンテキスト、全重み微調整は4kシーケンス長
訓練時間	Crusoe Cloudが提供する8x L40Sで2.5日
訓練方法	すべてのパラメータに対してFFTを使用し、ChatMLプロンプトテンプレート形式で訓練

プロンプト例

<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

注意事項

⚠️ 重要な注意事項

Dolphin 2.9データセットのSystemConversationsにバグが見つかっており、これによりモデルが「SYSTEM MESSAGE」について過度に話すことがあります。これを防ぐために、システムメッセージにモデルにシステムメッセージを言及しないように指示する文を追加することをお勧めします。例えば、「The assistant is named Dolphin. A helpful and friendly AI assistant, Dolphin avoids discussing the system message unless directly asked about it.」のようなシステムメッセージを使用できます。

💡 使用上のヒント

Dolphinは無制限です。データセットをフィルタリングしてアラインメントとバイアスを除去していますが、これによりモデルはより柔軟になります。モデルをサービスとして公開する前に、独自のアラインメントレイヤーを実装することをお勧めします。このモデルは、倫理的でない要求を含むあらゆる要求に対して高い柔軟性を持っています。詳細については、Uncensored modelsに関するブログ記事をご覧ください。このモデルを使用して作成したコンテンツについては、あなた自身が責任を負うことになります。責任を持ってお楽しみください。

✨ 主な機能

様々な命令、会話、コーディングスキルを備えています。
初期的なエージェント機能を持ち、関数呼び出しをサポートしています。
無制限で、データセットをフィルタリングしてアラインメントとバイアスを除去しています。

📚 ドキュメント

量子化モデル

GGUF : https://huggingface.co/QuantFactory/dolphin-2.9-llama3-8b-GGUF
GGUF with imatrix: https://huggingface.co/bartowski/dolphin-2.9-llama3-8b-GGUF
Exllamav2: https://huggingface.co/bartowski/dolphin-2.9-llama3-8b-exl2

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

learning_rate: 2e-05
train_batch_size: 3
eval_batch_size: 3
seed: 42
distributed_type: multi-GPU
num_devices: 8
gradient_accumulation_steps: 4
total_train_batch_size: 96
total_eval_batch_size: 24
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 7
num_epochs: 3

訓練結果

訓練損失	エポック	ステップ	検証損失
1.146	0.0005	1	1.1064
0.6962	0.2501	555	0.6636
0.6857	0.5001	1110	0.6503
0.6592	0.7502	1665	0.6419
0.6465	1.0002	2220	0.6317
0.5295	1.2395	2775	0.6408
0.5302	1.4895	3330	0.6351
0.5188	1.7396	3885	0.6227
0.521	1.9896	4440	0.6168
0.3968	2.2289	4995	0.6646
0.3776	2.4789	5550	0.6619
0.3983	2.7290	6105	0.6602

フレームワークバージョン

Transformers 4.40.0
Pytorch 2.2.2+cu121
Datasets 2.18.0
Tokenizers 0.19.1

Axolotl設定

Axolotl設定を表示

Axolotlバージョン: 0.4.0

base_model: meta-llama/Meta-Llama-3-8B
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer
tokenizer_use_fast: false


load_in_8bit: false
load_in_4bit: false
strict: false
model_config:

datasets:
  - path: /workspace/datasets/dolphin-2.9/dolphin201-sharegpt2.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/Ultrachat200kunfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/dolphin-coder-translate-sharegpt2.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/dolphin-coder-codegen-sharegpt2.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/m-a-p_Code-Feedback-sharegpt-unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/m-a-p_CodeFeedback-Filtered-Instruction-sharegpt-unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/not_samantha_norefusals.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/Orca-Math-resort-unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/agent_instruct_react_unfiltered.jsonl
    type: sharegpt  
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/toolbench_instruct_j1s1_3k_unfiltered.jsonl
    type: sharegpt  
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/toolbench_negative_unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/toolbench_react_10p_unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/toolbench_tflan_cot_30p_unfiltered.jsonl
    type: sharegpt
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/openhermes200k_unfiltered.jsonl
    type: sharegpt 
    conversation: chatml
  - path: /workspace/datasets/dolphin-2.9/SystemConversations.jsonl
    type: sharegpt
    conversation: chatml

chat_template: chatml
    

dataset_prepared_path: /workspace/datasets/dolphin-2.9/thingy
val_set_size: 0.0002
output_dir: ./out

sequence_len: 4096
sample_packing: true
pad_to_sequence_len: true

gradient_accumulation_steps: 4
micro_batch_size: 3
num_epochs: 3
logging_steps: 1
optimizer: adamw_8bit
lr_scheduler: cosine
learning_rate: 2e-5

wandb_project: dolphin-2.9-mixtral-8x22b
wandb_watch:
wandb_run_id:
wandb_log_model:

train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: false

gradient_checkpointing: true
gradient_checkpointing_kwargs:
  use_reentrant: false
early_stopping_patience:
resume_from_checkpoint:
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true
saves_per_epoch: 4
save_total_limit: 2
save_steps:
evals_per_epoch: 4
eval_sample_packing: false
debug:
deepspeed: deepspeed_configs/zero3_bf16.json
weight_decay: 0.05
fsdp:
fsdp_config:
special_tokens:
  eos_token: "<|im_end|>"
  pad_token: "<|end_of_text|>"
tokens:
  - "<|im_start|>"
  - "<|im_end|>"