Spaceqwen2.5 VL 3B Instruct GGUF

🚀 SpaceQwen2.5-VL-3B-Instruct の静的量子化モデル

このプロジェクトは、SpaceQwen2.5-VL-3B-Instruct モデルの静的量子化バージョンを提供します。量子化されたモデルは、メモリ使用量を削減し、推論速度を向上させることができます。

🚀 クイックスタート

このモデルは、https://huggingface.co/remyxai/SpaceQwen2.5-VL-3B-Instruct の静的量子化バージョンです。重み付け/imatrix 量子化は、https://huggingface.co/mradermacher/SpaceQwen2.5-VL-3B-Instruct-i1-GGUF で利用可能です。

📚 ドキュメント

概要

• ベースモデル: remyxai/SpaceQwen2.5-VL-3B-Instruct
• データセット: remyxai/OpenSpaces
• 言語: en
• ライブラリ名: transformers
• ライセンス: apache - 2.0
• 量子化者: mradermacher
• タグ: remyx, vqasynth, spatial - reasoning, multimodal, vlm, vision - language, robotics, distance - estimation, embodied - ai, quantitative - spatial - reasoning

使用方法

GGUF ファイルの使用方法がわからない場合は、TheBloke's READMEs を参照してください。これには、マルチパートファイルの結合方法も含まれています。

提供される量子化モデル

（サイズでソートされており、必ずしも品質を反映しているわけではありません。IQ 量子化は、同じサイズの非 IQ 量子化よりも優れていることが多いです）

ikawrakow による、一部の低品質量子化タイプを比較した便利なグラフがあります（数値が低いほど良い）:

また、Artefact2 のこの問題に関する考察もあります: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH には、サーバーを使用させていただき、ワークステーションをアップグレードしてくれたことに感謝します。これにより、私は余暇時間にこの作業を行うことができました。また、@nicoboss には、私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりもはるかに高品質の多くの imatrix 量子化を提供することができました。

📄 ライセンス

このプロジェクトは、Apache 2.0 ライセンスの下で提供されています。詳細については、Apache 2.0 ライセンス を参照してください。