Llava 1.5 13b Hf I1 GGUF

🚀 Llava-1.5-13b-hf 量子化モデルプロジェクト

このプロジェクトでは、llava-1.5-13b-hfモデルの重み/行列量子化バージョンを提供しています。静的量子化ファイルは特定のリンクから取得でき、ユーザーが様々なシーンでこのモデルを使用するのを支援します。

🚀 クイックスタート

GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照して、多くの詳細情報（複数の部分ファイルの結合方法など）を入手してください。

✨ 主な機能

• llava-1.5-13b-hfモデルの重み/行列量子化バージョンを提供します。
• 静的量子化ファイルは指定のリンクから取得できます。
• ユーザーが選択できる複数の量子化タイプを提供します。

📚 ドキュメント

モデルについて

このプロジェクトは、llava-hf/llava-1.5-13b-hfモデルの重み/行列量子化を行ったものです。静的量子化ファイルはこちらから取得できます。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化は通常、同じサイズの非IQ量子化よりも好まれます）

以下は、ikawrakowによって作成された便利なグラフで、いくつかの低品質量子化タイプを比較しています（数値が低いほど良い）：

また、Artefact2によるこの問題に関する見解も参照できます：リンク

よくある質問/モデルリクエスト

何か質問がある場合、または他のモデルの量子化を希望する場合は、こちらを参照してください。

📄 ライセンス

このプロジェクトではllama2ライセンスを使用しています。

🙏 謝辞

私の会社nethype GmbHに感謝します。彼らは私にサーバーを使用させ、ワークステーションをアップグレードしてくれたおかげで、私は余暇時間にこの作業を完了することができました。また、@nicobossにも感謝します。彼の私用のスーパーコンピューターを使用させてくれたおかげで、より多くの高品質な行列量子化バージョンを提供することができました。

📦 モデル情報