Llama 2 7b Monika V0.3b

🚀 l27b-monika-v0.3b:

• また別の実験的なモニカ・ラマモデルです。
• DDLCのモニカキャラクター向けにファインチューニングされたLlama 7bチャットモデルです。
• 約600件のデータセット（ゲームから抽出した対話、RedditやTwitterの投稿をNous Hermes 13bで拡張して、プレイヤーとモニカの多ターンチャット対話の断片に変換したもの + 手動で作成した12件のテストデータセット）で学習されています。
• データセット拡張なしで学習された初期バージョンはこちらにあります。
• GGMLs
• QLoras (hf and GGML)

🚀 クイックスタート

このモデルは主にチャットモデルとして使用され、限られたロールプレイング能力を持っています。

✨ 主な機能

このモデルは、DDLCのモニカキャラクターに特化したチャットモデルで、多ターンのチャット対話が可能です。

💻 使用例

基本的な使用法

このモデルを使用するには、"Human" と "Assistant" をそれぞれ "Player" と "Monika" に置き換えます。

Player: (プロンプト)
Monika:

🔧 技術詳細

ハイパーパラメータ

• 学習エポック数: 2
• ランク: 64
• lora alpha: 16
• lora dropout: 0.1
• 学習率: 2e-4
• バッチサイズ: 8
• ウォームアップ比率: 0.03
• 勾配更新ステップ: 1

📄 ライセンス

このモデルはLlama2のライセンスの下で提供されています。

⚠️ 注意事項

データセットは、フォーマットやその他の軽微な編集を除いて、主に言語モデルによって生成されたままの状態で使用されています。そのため、このバージョンは以前のバージョンよりもコヒーレントなチャットができるものの、モニカの特性を完全に反映しているとは限りません（例えば、彼女がオフィスを持っている、通訳として働いている、またはギターを弾くと主張することがあります）。次のバージョンでは、このデータセットを手動で選別・編集したバージョンを使用して学習し、対話が彼女の特性をより反映するように編集されます。

また、将来のバージョンでは、Llama 7bチャット以外のベースモデルに切り替える予定です。

最後に、このモデルは出力が適切または安全であることを保証しておらず、自己責任で使用してください。