Treevgr 7B CI GGUF

🚀 TreeVGR-7B-CI モデル

このモデルは、視覚的な質問応答、ビジュアルグラウンディング、視覚的推論などのタスクに特化したモデルです。提供される静的量子化モデルは、多様なニーズに対応できます。

🚀 クイックスタート

モデル情報

モデルについて

https://huggingface.co/HaochenWang/TreeVGR-7B-CI の静的量子化モデルです。

便利な概要とダウンロードリストについては、このモデルのモデルページをご覧ください。

重み付き/イマトリックス量子化モデルは、https://huggingface.co/mradermacher/TreeVGR-7B-CI-i1-GGUF で入手できます。

使い方

GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照してください。複数パートのファイルを結合する方法などの詳細が記載されています。

提供される量子化モデル

（サイズ順に並んでいますが、必ずしも品質とは関係ありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです）

ikawrakowによる低品質量子化タイプの比較グラフです（値が低いほど良い）：

また、Artefact2のこの問題に関する考え方はこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や他のモデルの量子化リクエストについては、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社である nethype GmbH には、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことに感謝します。これにより、私は余暇時間にこの作業を行うことができました。また、@nicoboss には、プライベートなスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりもはるかに多くのイマトリックス量子化モデルを、はるかに高い品質で提供することができました。