Chupacabra 7B V2

🚀 Chupacabra 7B v2

Chupacabra 7B v2は、MistralベースのモデルをSLERPマージ手法でマージしたテキスト生成モデルです。様々なデータセットで優れた性能を発揮し、自然なテキスト生成が可能です。

🚀 クイックスタート

モデルを使い始めるには、以下のコードを使用します。

<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

{system}にはシステムプロンプトを、{prompt}にはプロンプト命令を入力してください。

✨ 主な機能

• SLERPマージ手法の活用：SLERP（Spherical Linear Interpolation）マージ手法を用いて、モデルの特性をスムーズに補間し、親モデルの良いところを生かしたモデルを生成します。
• 最先端の学習手法：直接的な嗜好最適化（DPO）や教師付き微調整（SFT）、強化学習などの最新の学習手法を用いて訓練されています。
• 多様なデータセットでの評価：AI2 Reasoning Challenge、HellaSwag、MMLUなどの様々なデータセットで評価され、高い性能を示しています。

📦 インストール

このセクションでは、原ドキュメントに具体的なインストール手順が記載されていないため、省略します。

💻 使用例

基本的な使用法

<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

{system}にはシステムプロンプトを、{prompt}にはプロンプト命令を入力してください。

高度な使用法

高度な使用法に関する具体的なコード例が原ドキュメントに記載されていないため、省略します。

📚 ドキュメント

モデルの説明

このモデルは、MistralベースのモデルをSLERPマージ手法でマージして作成されました。SLERPマージ手法の利点は以下の通りです。

• スムーズな補間：SLERPは、モデルのパラメータ間のスムーズな遷移を保証します。これは、高次元ベクトル間の補間を行う際に特に重要です。
• 特性の保持：重み平均とは異なり、SLERPは高次元空間での両方のモデルの曲率と特性を保持します。
• 緻密なブレンド：SLERPは、ベクトル空間内のモデルの幾何学的および回転特性を考慮し、両方の親モデルの特性を反映したブレンドをもたらします。

目的

Mistralモデルから最も性能の高いモデルの重みを、直接的な嗜好最適化（DPO）や教師付き微調整（SFT）、強化学習などの最先端の学習手法を用いてマージすることを目的としています。

プロンプトテンプレート

{system}をシステムプロンプトに、{prompt}をプロンプト命令に置き換えて使用します。

<|im_start|>system
{system}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

バグ修正

• 生成とモデル重みの問題を修正：モデルの重みを修正し、生成が正常に動作するようになりました。GGUF形式のモデルをGGUFリポジトリに再アップロードし、AWQバージョンも更新しました。
• トークナイザーの停止問題を修正：トークナイザーが正しく停止しない問題を修正し、プロンプトテンプレートを変更しました。
• 新しいマージモデルの重みをアップロード：新しくマージしたモデルの重みをアップロードしました。

その他の情報

🔧 技術詳細

このセクションでは、原ドキュメントに具体的な技術詳細が記載されていないため、省略します。

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。

評価結果

詳細な結果はこちらで確認できます。