Pixtral Large Instruct 2411

🚀 Pixtral-Large-Instruct-2411 🖼️

このプロジェクトは、Pixtral-Large-Instruct-2411 のTransformers実装です。画像とテキストを入力としてテキストを出力するモデルで、多様な言語に対応しています。

サポート言語

ライセンス情報

2024年12月21日の更新

このモデルを使って実験し学ぶのはとても楽しいです。このリポジトリに過去1週間で加えられた変更に合わせて、モデルカードを更新しました。

🔧 Pixtral 12Bとのアーキテクチャの違い

Pixtral 12Bは、マルチモーダルプロジェクターレイヤーにバイアスキーがありますが、Pixtral Largeにはありません。この変換では、低/ゼロ値でのバイアスキーを含めず、Mistralからの元のPixtral Largeアップロードに存在するキーと一致させています。モデルのconfig.jsonファイルには、"multimodal_projector_bias": false が含まれています。もしコミュニティ内でゼロ値でこれらのキーを初期化する方が良いことが確認されたら、除外せずに再アップロードします。

📚 トークナイザー

このモデルは、Mistral v7m1トークナイザーの変換版を使用しています。Pixtral 12BとLargeは異なる語彙サイズの異なるトークナイザーを使用しているため、正しいトークナイザーを使用するようにしてください。

💬 プロンプト / チャットテンプレート

含まれているchat_template.jsonは、Mistralが定義したすべての機能をサポートし、独自の追加機能も備えています。この実装は、モデルを使用する際にかなりの柔軟性を提供し、私のテストではうまく機能しました。

基本的な使用法

<s>[SYSTEM_PROMPT] <システムプロンプト>[/SYSTEM_PROMPT]  
[INST] [IMG]<ユーザーメッセージ>  
[AVAILABLE_TOOLS] [<ツール定義>][/AVAILABLE_TOOLS][/INST]  
[IMG]<アシスタント応答>  
[TOOL_CALLS] [<ツール呼び出し>][/TOOL_CALLS]  
[TOOL_RESULTS] <画像を含むツール結果>[/TOOL_RESULTS]  
</s>[INST] <ユーザーメッセージ>[/INST]

システムプロンプト

役割が "system" のメッセージは、チャット履歴のどこにあっても [SYSTEM_PROMPT] <内容>[/SYSTEM_PROMPT] として解析されます。これは、様々な深さで追加の指示を渡すのに非常にうまく機能し、指示を会話から分離して保持します。

非交互的な役割の許可

連続した複数のユーザーメッセージを提供することができ、各メッセージは [INST][/INST] で区切られます。これは、グループ会話の設定や、モデルを呼び出す前に複数のユーザーメッセージを提供できる環境でうまく機能する可能性があります。各メッセージを [/INST] で区切ることで、モデルが以前のすべてのメッセージに応答する必要があると考えるのを防ぎ、最後のメッセージに焦点を当てることができます。

どこでも画像入力

画像は、ユーザー、アシスタント、およびツール結果メッセージで送信することができます。実際に機能することが確認されています。例えば、会話の10 - 15メッセージ前のアシスタントの返信に画像を含め、アシスタントに以前送信した画像を思い出すように依頼すると、正確に説明することができました。この柔軟性により、興味深いアプリケーションが可能になります。

💻 使用例

Transformersでモデルをロードする際には、ビジョン入力を適切に処理するために、mmprojバイアスがないことを考慮した処理を追加する必要があります。私のほとんどのテストは、TabbyAPIとExLlamaV2（開発ブランチ）を使用して行われ、ビジョン入力が正常に機能しました。

📦 量子化

EXL2量子化モデルは、こちら で異なるサイズで利用可能です。ビジョン入力を使用するには、ExLlamaV2 の開発ブランチを使用する必要があります。