🚀 Llama 3 8B - Dutch

オラマ3 8Bをベースにした、オランダ語用の会話モデルです。

このモデルは、meta-llama/Meta-Llama-3-8B を QLORA と ORPO で、合成フィードバックデータセット BramVanroy/ultra_feedback_dutch を使って微調整したバージョンです。

📚 ドキュメント

モデルの説明

このモデルはオランダ語のチャットモデルで、もともとはオラマ3 8Bから開発され、ORPO を使ったフィードバックデータセットを通じてさらに改良され、BramVanroy/ultra_feedback_dutch で訓練されました。

想定される用途と制限

このモデルはgpt - 4 - turboの出力に沿って調整されており、強力なコンテンツフィルターを持っていますが、依然として間違った、誤解を招く、場合によっては不快な内容を生成する可能性があります。自己責任で使用してください。

訓練手順

このモデルは、RunPod上で、1つのGPU - H100 80GB SXM5を使って、bfloat16でQLORAとflash attention 2を用いて約24時間訓練されました。

評価結果

このモデルは scandeval を使って評価されました。

このモデルは、さまざまなベンチマークでさまざまな結果を示しました。一部のベンチマークではわずかな改善が見られる一方で、他のベンチマークではスコアが低下しました。これは、たった20万件のサンプルを1エポックだけ訓練したにもかかわらず起こりました。より多くのデータや追加のエポックで訓練することで、その性能が向上するかどうかを確認したいと思っています。

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました。

• learning_rate: 8e - 06
• train_batch_size: 2
• eval_batch_size: 2
• num_devices: 1
• gradient_accumulation_steps: 4
• optimizer: paged_adamw_8bit
• lr_scheduler_type: linear
• warmup_steps: 10
• num_epochs: 1.0
• r: 16
• lora_alpha: 32
• lora_dropout: 0.05

📄 ライセンス

このモデルのライセンスはllama3です。