🚀 Fietje 2 Chat

オランダ語向けのオープンで効率的な大規模言語モデル

このモデルは、Fietjeのチャットバージョンです。DPO（Direct Preference Optimization）で微調整され、命令型バージョンを基にしています。Fietjeは、microsoft/phi - 2を改変したモデルで、280億トークンでオランダ語のテキスト生成に特化しています。パラメータ数が27億と小規模で効率的ですが、GEITje 7B Ultraのような2倍のパラメータ数を持つ強力なオランダ語LLMとほぼ同等の性能を発揮します。

Fietjeの作成と評価の詳細な説明や使用例は、このGitHubリポジトリにあります。

👱‍♀️ Base version - 🤖 Instruct version - 💬 Chat version (this one) - 🚀 GGUF of Chat

Chat with Fietje here!

📚 詳細ドキュメント

引用

FietjeまたはCulturaX + Wikipedia filtered subsetをあなたの研究で使用する場合は、以下の論文を引用してください。

@misc{vanroy2024fietjeopenefficientllm,
      title={Fietje: An open, efficient LLM for Dutch}, 
      author={Bram Vanroy},
      year={2024},
      eprint={2412.15450},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.15450}, 
}

想定用途と制限

phi - 2と同様の制限があり、一般的なLLMの問題も存在します。LLMは幻覚を起こし、誤りを犯すことがあり、信頼できるものではありません。自己責任で使用してください！

学習と評価データ

Fietje 2 Chatは、命令型モデルをベースに、以下のデータセットで微調整されました。各データセットの学習サンプル数を括弧内に示し、合計で18,653サンプルです。

• BramVanroy/ultra_feedback_dutch_cleanedのサブセット dpo_hq：BramVanroy/ultra_feedback_dutchのクリーン版 (9186)
• BramVanroy/orca_dpo_pairs_dutch_cleanedのサブセット dpo_all：BramVanroy/orca_dpo_pairs_dutchのクリーン版 (9467)

多くの異なる学習率、beta、バッチサイズを調査し、収束する組み合わせを探しました。詳細はW&B runsで確認できます。

学習手順

このプロジェクトを実現するための計算資源を提供してくれたFlemish Supercomputer Center (VSC)に感謝します。ジョブの待機時間を含め、1回の学習にはA100 80GBを1台使用して約9時間かかりました。

学習は、素晴らしいalignment - handbookを使用し、DeepSpeedをバックエンドとして行われました。正確な学習レシピとSLURMスクリプトは、GitHubリポジトリに記載されています。

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• beta: 0.2
• learning_rate: 2e - 06
• train_batch_size: 8
• eval_batch_size: 4
• seed: 42
• distributed_type: multi - GPU
• gradient_accumulation_steps: 2
• total_train_batch_size: 16
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e - 07
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 1.0

学習結果

フレームワークバージョン

• Transformers 4.39.1
• Pytorch 2.1.2+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。