ritrieve_zh_v1-GGUFオープンソースモデル - 静的量子化によりストレージと計算の要件を削減し、性能を保証

Ritrieve Zh V1 GGUF

mradermacherによって開発

このプロジェクトでは、richinfoai/ritrieve_zh_v1 モデルの静的量子化バージョンを提供しています。量子化処理により、記憶領域と計算リソースの要件を削減し、一定のパフォーマンスを維持します。

ダウンロード数 212

リリース時間 : 4/25/2025

モデル概要

ritrieve_zh_v1 の静的量子化バージョンで、中国語をサポートし、効率的な実行が必要な検索シナリオに適しています。

静的量子化

モデルに静的量子化処理を行い、記憶領域と計算リソースの要件を削減します。

複数データセットのサポート

BAAI/Infinity-Instruct や opencsg/chinese-fineweb-edu などのデータセットを基にトレーニングされています。

多言語サポート

中国語をサポートし、中国語テキスト検索タスクに適しています。

中国語テキスト検索

効率的な推論

情報検索

中国語ドキュメント検索

中国語ドキュメント内の関連情報を迅速に検索するために使用します。

このプロジェクトは、richinfoai/ritrieve_zh_v1モデルの静的量子化バージョンを提供します。量子化により、モデルのメモリ使用量を削減し、推論速度を向上させることができます。

この量子化モデルを使用する前に、GGUFファイルの使い方がわからない場合は、TheBlokeのREADMEを参照してください。ここには、マルチパートファイルの結合方法などの詳細が記載されています。

本READMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

本READMEには具体的なコード例が記載されていないため、このセクションは省略されます。

属性	詳細
ベースモデル	richinfoai/ritrieve_zh_v1
データセット	BAAI/Infinity-Instruct、opencsg/chinese-fineweb-edu
言語	中国語
ライブラリ名	transformers
量子化担当者	mradermacher
ライセンス	MIT

https://huggingface.co/richinfoai/ritrieve_zh_v1 の静的量子化バージョンです。重み付き/インマトリックス量子化データは、こちらから入手できます。

（サイズ順に並べられており、必ずしも品質の順ではありません。IQ量子化は、同じサイズの非IQ量子化よりも優れていることが多いです。）

リンク	タイプ	サイズ (GB)	備考
GGUF	Q2_K	0.2
GGUF	Q3_K_S	0.3
GGUF	Q3_K_M	0.3	低品質
GGUF	IQ4_XS	0.3
GGUF	Q3_K_L	0.3
GGUF	Q4_K_S	0.3	高速、おすすめ
GGUF	Q4_K_M	0.3	高速、おすすめ
GGUF	Q5_K_S	0.3
GGUF	Q5_K_M	0.3
GGUF	Q6_K	0.4	非常に良い品質
GGUF	Q8_0	0.4	高速、最高品質
GGUF	f16	0.8	16 bpw、過剰