鳥居門（ToriiGate）-v0.4-7B-i1-GGUFオープンソースモデル - 様々な量子化オプションで様々なニーズに応える

ホーム

Toriigate V0.4 7B I1 GGUF

mradermacherによって開発

これはMinthy/ToriiGate-v0.4-7Bモデルに対して重み/重要度行列量子化を施したバージョンで、様々なニーズに対応する複数の量子化オプションを提供します。

画像生成テキスト英語オープンソースライセンス:Apache-2.0 #マルチモーダル視覚理解 #画像テキスト生成 #低リソース量子化

ダウンロード数 410

リリース時間 : 3/4/2025

モデル概要

ToriiGate-v0.4-7Bはマルチモーダルモデルで、視覚と画像テキストからテキストへのタスクをサポートします。このGGUFバージョンは、様々なハードウェアと性能要件に適した複数の量子化オプションを提供します。

モデル特徴

複数量子化オプション

IQ1からQ6_Kまでの様々な量子化バージョンを提供し、異なるハードウェアと性能要件に対応します。

マルチモーダルサポート

視覚と画像テキストからテキストへのタスクをサポートし、様々なアプリケーションシナリオに適しています。

効率的な推論

量子化技術によりモデルサイズと推論速度を最適化し、リソースが限られた環境に適しています。

モデル能力

画像テキストからテキストへ

マルチモーダル処理

効率的な推論

使用事例

画像理解

画像説明生成

入力画像に基づいて記述テキストを生成します。

マルチモーダルインタラクション

視覚的質問応答

画像とテキスト入力を組み合わせて質問に答えます。

🚀 ToriiGate-v0.4-7B モデル

Minthy/ToriiGate-v0.4-7B モデルの量子化バージョンで、多モーダル、ビジョン、画像 - テキスト変換などの機能を提供します。

🚀 クイックスタート

このドキュメントでは、ToriiGate-v0.4-7B モデルの量子化バージョンについて説明します。以下のセクションで、モデルの概要、使用方法、提供される量子化バージョンなどを紹介します。

📚 ドキュメント

モデル情報

属性	詳情
ベースモデル	Minthy/ToriiGate-v0.4-7B
言語	en
ライブラリ名	transformers
ライセンス	apache-2.0
量子化者	mradermacher
タグ	multimodal、vision、image-text-to-text

概要

https://huggingface.co/Minthy/ToriiGate-v0.4-7B の weighted/imatrix 量子化バージョンです。静的量子化データは https://huggingface.co/mradermacher/ToriiGate-v0.4-7B-GGUF で利用可能です。

使用方法

GGUF ファイルの使い方がわからない場合は、TheBloke's READMEs を参照してください。ここには、多分割ファイルの結合方法などの詳細が記載されています。

提供される量子化バージョン

（サイズ順にソートされており、必ずしも品質順ではありません。IQ 量子化は同程度のサイズの非 IQ 量子化よりも優れていることが多いです。）

リンク	タイプ	サイズ (GB)	備考
GGUF	i1-IQ1_S	2.0	非常に必要な場合
GGUF	i1-IQ1_M	2.1	多くの場合必要
GGUF	i1-IQ2_XXS	2.4
GGUF	i1-IQ2_XS	2.6
GGUF	i1-IQ2_S	2.7
GGUF	i1-IQ2_M	2.9
GGUF	i1-Q2_K_S	2.9	非常に低品質
GGUF	i1-Q2_K	3.1	IQ3_XXS の方が良い可能性があります
GGUF	i1-IQ3_XXS	3.2	低品質
GGUF	i1-IQ3_XS	3.4
GGUF	i1-Q3_K_S	3.6	IQ3_XS の方が良い可能性があります
GGUF	i1-IQ3_S	3.6	Q3_K* より優れています
GGUF	i1-IQ3_M	3.7
GGUF	i1-Q3_K_M	3.9	IQ3_S の方が良い可能性があります
GGUF	i1-Q3_K_L	4.2	IQ3_M の方が良い可能性があります
GGUF	i1-IQ4_XS	4.3
GGUF	i1-IQ4_NL	4.5	IQ4_XS を選択することをおすすめします
GGUF	i1-Q4_0	4.5	高速だが低品質
GGUF	i1-Q4_K_S	4.6	サイズ、速度、品質のバランスが良い
GGUF	i1-Q4_K_M	4.8	高速で推奨
GGUF	i1-Q4_1	5.0
GGUF	i1-Q5_K_S	5.4
GGUF	i1-Q5_K_M	5.5
GGUF	i1-Q6_K	6.4	静的 Q6_K とほぼ同じ

ikawrakow による低品質量子化タイプの比較グラフです（数値が低いほど良い）：

Artefact2 の関連コメントはこちら： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や他のモデルの量子化を希望する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

この作業を可能にするために、私の会社 nethype GmbH にサーバーの使用とワークステーションのアップグレードを許可していただき、感謝しています。また、@nicoboss にプライベートスーパーコンピューターへのアクセスを許可していただき、通常よりも高品質で多くの imatrix 量子化バージョンを提供できるようになりました。ありがとうございます。