Qwen-encoder-0.5B-GGUFオープンソーステキストエンコーディングモデル - 無料デプロイでテキストエンコーディングタスクをサポート

Home

Qwen Encoder 0.5B GGUF

Developed by mradermacher

これはknowledgator/Qwen-encoder-0.5Bモデルに基づく静的量子化バージョンで、主にテキストエンコーディングタスクに使用されます。

大規模言語モデル EnglishOpen Source License:Apache-2.0 #量子化エンコーダ #軽量LLM #静的量子化

Downloads 175

Release Time : 3/20/2025

Model Overview

このモデルはQwenアーキテクチャに基づく0.5Bパラメータのエンコーダモデルで、量子化処理によりモデルサイズを縮小し推論効率を向上させています。複数の量子化バージョンをサポートし、分類、固有表現認識、質問応答などのタスクに適しています。

Model Features

複数量子化バージョン

Q2_KからQ8_0までの複数量子化バージョンを提供し、様々なシナリオでの性能と精度のニーズに対応します。

効率的な推論

量子化されたモデルはサイズが小さく、推論速度が速いため、リソースが限られた環境に適しています。

高品質なエンコーディング

Qwenアーキテクチャに基づき、テキストエンコーディングタスクで優れた性能を発揮します。

Model Capabilities

テキストエンコーディング

テキスト分類

固有表現認識

質問応答システム

Use Cases

自然言語処理

テキスト分類

感情分析、トピック分類など、テキストを分類します。

固有表現認識

テキスト内の人名、地名、組織名などの実体を認識します。

質問応答システム

ユーザーの質問に答える質問応答システムを構築します。

🚀 Qwen-encoder-0.5B 静的量子化モデル

このプロジェクトはknowledgator/Qwen-encoder-0.5Bの静的量子化モデルを提供します。

📚 ドキュメント

モデル情報

属性	详情
ベースモデル	knowledgator/Qwen-encoder-0.5B
データセット	wikimedia/wikipedia
言語	en
ライブラリ名	transformers
ライセンス	apache-2.0
量子化担当者	mradermacher
タグ	LLM2Vec、encoder、LLM、classification、NER、question-answering

概要

https://huggingface.co/knowledgator/Qwen-encoder-0.5B の静的量子化モデルです。重み付き/imatrix量子化データは、https://huggingface.co/mradermacher/Qwen-encoder-0.5B-i1-GGUF で入手可能です。

使用方法

GGUFファイルの使い方がわからない場合は、TheBlokeのREADME を参照してください。複数パートのファイルを結合する方法も含め、詳細な情報が記載されています。

提供される量子化モデル

（サイズ順に並べられており、必ずしも品質順ではありません。IQ量子化モデルは、同じサイズの非IQ量子化モデルよりも優れていることが多いです）

リンク	タイプ	サイズ (GB)	備考
GGUF	Q3_K_S	0.4
GGUF	Q2_K	0.4
GGUF	IQ4_XS	0.5
GGUF	Q3_K_M	0.5	低品質
GGUF	Q3_K_L	0.5
GGUF	Q4_K_S	0.5	高速、推奨
GGUF	Q4_K_M	0.5	高速、推奨
GGUF	Q5_K_S	0.5
GGUF	Q5_K_M	0.5
GGUF	Q6_K	0.6	非常に良い品質
GGUF	Q8_0	0.6	高速、最高品質
GGUF	f16	1.1	16 bpw、過剰

ikawrakowによる低品質量子化タイプの比較グラフです（数値が低いほど良い）：

Artefact2によるこの問題に関する考察： https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

よくある質問 / モデルリクエスト

質問に対する回答や、他のモデルの量子化を依頼する場合は、https://huggingface.co/mradermacher/model_requests を参照してください。

謝辞

私の会社 nethype GmbH には、サーバーの使用を許可し、ワークステーションのアップグレードを提供してくれたことに感謝します。また、@nicoboss には、私に彼のプライベートスーパーコンピューターへのアクセスを許可してくれたことに感謝します。これにより、私は通常よりもはるかに多くのimatrix量子化モデルを、より高い品質で提供することができました。