Jamet 8B L3 MK.V Blackroot

🚀 JAMETSSS

このモデルは、UltimateAnjirモデルをベースにした このモデル を基に構築されており、同じく創造的で明るく前向きな傾向を持っています。その後、Llama 3 Instructとマージされました。

Backyard AI が提供する GGUF と、mradermacher が提供する ANOTHER GGUF が利用可能です。

異なるベースモデルと方法を使用しています（モデルのストックマージは行っていません。少なくとも私にとっては良い結果が得られず、温度0で繰り返し文や単語が出る問題がありました。これはHalu Blackrootでも同様でした）。このモデルはAnjirモデルに似ている可能性があります。

このモデルは長い旅を重ねてきました。私は約9種類のバリエーションを持っており、すべてをQ4_K_Mでテストした結果、この7番目のバリエーションをリリースすることにしました。

前のモデルに対するすべてのフィードバックに感謝します。大きな助けになりました。（ドイツ語に関する問題は解決できませんでした。私はドイツ語が話せないのでどう解決すれば良いか分からず、実は英語も苦手です。）

✨ 主な機能

モデルの構築過程

• まず、UltimateAnjirモデルをベースにしたモデルをLlama 3 Instructとマージしました。
• 次に、DPOを適用して明るさ、絵文字、前向きさを減らしました。（これは Jamet MK.II Feedback の前向きさに関するフィードバックに基づいています。）Alpacaから約1,000のプロンプトを使用してQLoraを学習させ、データセットを生成しました。絵文字が含まれるものを選択し、正規表現を使用して絵文字を削除し、絵文字がないものを選択したものに、絵文字が含まれる応答を拒否したものに移動させました。（unslothを使用）
• その後、Abomination Lora from Blackroot を適用しました。
• 次に、Anjir Adapter （Alphaを減らした64ランクバージョン）を適用して、以前のLoraの影響を維持しながらフォーマットを改善しました。（これはAnjirのフィードバックに基づいており、Anjirの方がHalu Blackrootよりもフォーマットが良いとされています。）
• 最後に、Anjritモデルとマージしました。（Anjritモデルは長いコンテキストで苦戦するため、リリースはしません。私はその拒否しないストーリーテリング能力にのみ興味がありますが、モデルの概要は私の Anjir model ページで見ることができます。）

📚 ドキュメント

注意事項

• 私は何にも責任を負いません。
• これはRPとストーリーテリング用のモデルです。
• フィードバックはディスカッションで書いていただければ、モデルを改善することができます。
• 以前のモデルと同様に、温度を高くすると結果がまとまりがなくなります。0.85 - 1.05程度を使用することをおすすめします。（Halu Blackroot以来この問題を解決しようとしていますが、あまり成功していません。ベースをLlama 3 Instructとマージすることでかなり改善したと思います。）

画像例

📄 ライセンス

このモデルはLlama 3のライセンスの下で提供されています。