Razorback 12B V0.2

🚀 Razorback 12B v0.2

ビジョン機能を備えたUnslopNemo！

このモデルは、TheDrummerのUnslopNemo v3をPixtral 12Bにマージする試みで、より堅牢な結果を得ています。これまでのテストでは非常に安定しており、どのサンプラーが適しているか、適さないかを判断するためにさらなるテストが必要です。このモデルは、両者の良いところを兼ね備えており、不確かさが少なく、魅力的なコンテンツを生成し、適切な知性と視覚理解能力を備えています。

✨ 主な機能

• 多言語対応：英語（en）、フランス語（fr）、ドイツ語（de）、スペイン語（es）、イタリア語（it）、ポルトガル語（pt）、ロシア語（ru）、中国語（zh）、日本語（ja）に対応。
• 画像とテキストからテキストへの変換：image-text-to-textのパイプラインタグを持ち、画像とテキストを入力としてテキストを出力します。

📦 インストール

ドキュメントに具体的なインストール手順が記載されていないため、このセクションは省略されています。

💻 使用例

基本的な使用法

これまでのテストでは、温度（temp）を約0.7、最小確率（min p）を0.03に設定すると非常に安定しています。また、含まれるチャットテンプレート（Mistral）を使用します。現在、ChatMLのサポートはありません。

# 具体的なコード例はドキュメントに記載されていないため、ここでは省略

📚 ドキュメント

マージアプローチ

まず、Pixtral 12B BaseとMistral Nemo Baseをロードし、それらのパラメータの違いを比較しました。L2ノルムと相対的な差分値を見ることで、Pixtral 12Bのどの部分がMistral Nemoと大きく異なっているかを特定することができました。両者の言語モデルアーキテクチャは同じですが、Pixtralの言語モデルには多くの視覚理解能力が学習されており、簡単に破壊される可能性があります。

その後、各パラメータに対して指数関数的な減衰を使用してマージウェイトを計算しました。差分が小さいほど、ウェイトが高くなります。

このレシピをPixtral Instruct（Pixtral-12B-2409）とTheDrummerのUnslopNemo-12B-v3に適用しました。目標は、視覚入力を損なうことなく、できるだけ多くのDrummerの良さを取り入れることです。そして、それがうまくいったようです！

🔧 技術詳細

📄 ライセンス

このモデルは、otherのライセンスで提供されています。

クレジット

• Mistralによるmistralai/Pixtral-12B-2409
• Unslothによるunsloth/Pixtral-12B-2409 のtransformers変換
• TheDrummerによるTheDrummer/UnslopNemo-12B-v3