Smolvlm2 2.2B Instruct I1 GGUF

🚀 SmolVLM2-2.2B-Instruct

このプロジェクトは、HuggingFaceTB/SmolVLM2-2.2B-Instructモデルに関連する重みの量子化バージョンを提供します。複数のデータセットを使用して訓練され、video-text-to-textのタスクに対応しています。

🚀 クイックスタート

このモデルの量子化バージョンを使用するには、下記の情報を参考にしてください。

📚 ドキュメント

モデル情報

概要

https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct のweighted/imatrix量子化バージョンです。静的量子化データは https://huggingface.co/mradermacher/SmolVLM2-2.2B-Instruct-GGUF で入手できます。

使用方法

GGUFファイルの使用方法がわからない場合は、TheBloke's READMEs を参照してください。ここには、マルチパートファイルの結合方法も含まれています。

提供される量子化バージョン

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ量子化は同サイズの非IQ量子化よりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（値が低い方が良い）：

また、Artefact2によるこの問題に関する考察もあります： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーを使用させていただき、ワークステーションのアップグレードを提供してくれたことに感謝します。また、@nicoboss が私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことにも感謝します。これにより、私は通常よりもはるかに高品質の多くのimatrix量子化を提供することができました。

📄 ライセンス

このプロジェクトは、apache - 2.0ライセンスの下で提供されています。