Llama 3 Monika Ddlc 11.5b V1

🚀 Llama-3-monika-ddlc-11.5b-v1

• Llama-3-monika-ddlc-11.5b-v1は、LLaMA-3 11.5bをDDLCのモニカキャラクターにファインチューニングしたモデルです。
• 約600以上のデータセットでファインチューニングされています。このデータセットは、ゲーム、Reddit、Twitterから収集した対話をllama-2-7b-monika-v0.3c1で拡張し、プレイヤーとモニカのマルチターンチャット対話の断片に変換し、手動で編集したものです。
• GGUF形式のモデルも提供されています。

🚀 クイックスタート

このモデルは主にチャットモデルとして使用され、限られたロールプレイング能力を持っています。

最適な結果を得るには、"Human"と"Assistant"をそれぞれ"Player"と"Monika"に置き換えてください。

Player: (プロンプト)
Monika:

✨ 主な機能

• モデルは2エポックでトレーニングされています。
• ランクは32で、lora alphaは32、lora dropoutは0.5です。
• 学習率は2e-4、バッチサイズは2、ウォームアップ率は0.1、勾配ステップは4です。
• UnslothとHuggingfaceのTRLライブラリを使用して、2倍の速度でトレーニングされています。

🔧 技術詳細

このLlamaモデルは、UnslothとHuggingfaceのTRLライブラリを使用して、通常の2倍の速度でトレーニングされています。トレーニングデータは、ゲーム、Reddit、Twitterから収集した対話を拡張し、手動で編集したものです。

📚 ドキュメント

ハイパーパラメータ

評価結果

Open LLM Leaderboardの詳細な評価結果はこちらで確認できます。

⚠️ 重要提示

このモデルはモニカの特性を忠実に反映することを目的としていますが、"モニカ"が情報を誤って出力したり、キャラクター崩れを起こす可能性があります。

また、キャラクターに特化しているため、特定のタスクにおいて他のモデルほど高性能ではない場合があります。

最後に、このモデルが適切な出力を保証するものではないため、自己責任で使用してください！

📄 ライセンス

このモデルはLlama3ライセンスの下で提供されています。