Qwen3 Embedding 8B GGUF

🚀 Qwen/Qwen3-Embedding-8B GGUFモデル

Qwen/Qwen3-Embedding-8B GGUFモデルは、テキスト埋め込みとランキングタスクに特化したモデルです。Transformerアーキテクチャをベースに構築され、多言語対応や高い精度での埋め込み生成が可能です。

🚀 クイックスタート

このモデルを使用する前に、必要なライブラリをインストールする必要があります。詳細なインストール手順や使用方法は以下のセクションを参照してください。

✨ 主な機能

• 多言語対応：100以上の言語をサポートし、多言語やクロスリンガル、コード検索に強力な機能を提供します。
• 高い汎用性：下流の様々なアプリケーション評価で最先端の性能を達成しています。
• 柔軟性：埋め込みモデルは全次元で柔軟なベクトル定義が可能で、埋め込みと再ランキングモデルはユーザー定義の命令をサポートします。

📦 インストール

このモデルを使用するには、transformers と sentence-transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers>=4.51.0 sentence-transformers>=2.7.0

💻 使用例

基本的な使用法

# Requires transformers>=4.51.0
# Requires sentence-transformers>=2.7.0

from sentence_transformers import SentenceTransformer

# Load the model
model = SentenceTransformer("Qwen/Qwen3-Embedding-8B")

# We recommend enabling flash_attention_2 for better acceleration and memory saving,
# together with setting `padding_side` to "left":
# model = SentenceTransformer(
#     "Qwen/Qwen3-Embedding-8B",
#     model_kwargs={"attn_implementation": "flash_attention_2", "device_map": "auto"},
#     tokenizer_kwargs={"padding_side": "left"},
# )

# The queries and documents to embed
queries = [
    "What is the capital of China?",
    "Explain gravity",
]
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun.",
]

# Encode the queries and documents. Note that queries benefit from using a prompt
# Here we use the prompt called "query" stored under `model.prompts`, but you can
# also pass your own prompt via the `prompt` argument
query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

# Compute the (cosine) similarity between the query and document embeddings
similarity = model.similarity(query_embeddings, document_embeddings)
print(similarity)
# tensor([[0.7493, 0.0751],
#         [0.0880, 0.6318]])

高度な使用法

# Requires vllm>=0.8.5
import torch
import vllm
from vllm import LLM
def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'
# Each query must come with a one-sentence instruction that describes the task
task = 'Given a web search query, retrieve relevant passages that answer the query'
queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# No need to add instruction for retrieval documents
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents
model = LLM(model="Qwen/Qwen3-Embedding-8B", task="embed")
outputs = model.embed(input_texts)
embeddings = torch.tensor([o.outputs.embedding for o in outputs])
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())
# [[0.7482624650001526, 0.07556197047233582], [0.08875375241041183, 0.6300010681152344]]

📚 ドキュメント

モデル生成の詳細

このモデルは、llama.cpp のコミット 1f63e75f で生成されました。

適切なモデル形式の選択

正しいモデル形式の選択は、ハードウェア能力 と メモリ制約 に依存します。

BF16 (Brain Float 16) – BF16アクセラレーションが利用可能な場合に使用

• 高速な計算を目的とした16ビット浮動小数点数形式で、良好な精度を維持します。
• FP32と同様のダイナミックレンジを提供しながら、メモリ使用量を削減します。
• ハードウェアがBF16アクセラレーションをサポートしている場合に推奨されます。
• FP32に比べてメモリ使用量を削減した高性能な推論に最適です。

BF16を使用する場合：

• ハードウェアがネイティブのBF16サポートを持っている場合（例：新しいGPU、TPU）。
• メモリを節約しながらより高い精度が必要な場合。
• モデルを別の形式に再量子化する予定がある場合。

BF16を避ける場合：

• ハードウェアがBF16をサポートしていない場合（FP32にフォールバックし、低速になる可能性があります）。
• BF16最適化を持たない古いデバイスとの互換性が必要な場合。

F16 (Float 16) – BF16よりも広くサポートされています

• 16ビット浮動小数点数形式で、高い精度を持ちながら、BF16よりも値の範囲が狭いです。
• FP16アクセラレーションをサポートするほとんどのデバイスで動作します（多くのGPUや一部のCPUを含む）。
• BF16よりもわずかに数値精度が低いですが、一般的に推論には十分です。

F16を使用する場合：

• ハードウェアがFP16をサポートしているが、BF16をサポートしていない場合。
• 速度、メモリ使用量、精度のバランスが必要な場合。
• FP16計算に最適化されたGPUまたは他のデバイスで実行している場合。

F16を避ける場合：

• デバイスがネイティブのFP16サポートを持っていない場合（予想よりも低速になる可能性があります）。
• メモリ制限がある場合。

ハイブリッド精度モデル (例: bf16_q8_0, f16_q4_K) – 両方の良いところを兼ね備えたモデル

これらの形式は、重要でないレイヤーを選択的に量子化しながら、重要なレイヤー（例：アテンションと出力レイヤー）をフル精度で保持します。

• bf16_q8_0 のように命名されています（フル精度のBF16コアレイヤー + 量子化されたQ8_0の他のレイヤーを意味します）。
• メモリ効率と精度のバランスを取り、完全に量子化されたモデルよりも改善され、BF16/F16の全メモリを必要としません。

ハイブリッドモデルを使用する場合：

• 量子化のみのモデルよりも高い精度が必要で、すべての場所でフルBF16/F16を使用できない場合。
• デバイスが混合精度推論をサポートしている場合。
• 制約のあるハードウェア上の本番グレードのモデルのトレードオフを最適化したい場合。

ハイブリッドモデルを避ける場合：

• ターゲットデバイスが混合またはフル精度アクセラレーションをサポートしていない場合。
• 超厳格なメモリ制限の下で動作している場合（この場合は完全に量子化された形式を使用してください）。

量子化モデル (Q4_K, Q6_K, Q8など) – CPUと低VRAM推論用

量子化は、可能な限り精度を維持しながら、モデルサイズとメモリ使用量を削減します。

• 低ビットモデル (Q4_K) – 最小限のメモリ使用量に最適ですが、精度が低い可能性があります。
• 高ビットモデル (Q6_K, Q8_0) – より高い精度を提供しますが、より多くのメモリを必要とします。

量子化モデルを使用する場合：

• CPUで推論を実行し、最適化されたモデルが必要な場合。
• デバイスのVRAMが低く、フル精度モデルをロードできない場合。
• 適度な精度を維持しながら、メモリ使用量を削減したい場合。

量子化モデルを避ける場合：

• 最大の精度が必要な場合（フル精度モデルの方が適しています）。
• ハードウェアに高い精度の形式（BF16/F16）に十分なVRAMがある場合。

超低ビット量子化 (IQ3_XS, IQ3_S, IQ3_M, Q4_K, Q4_0)

これらのモデルは、非常に高いメモリ効率を目的として最適化されており、低電力デバイスまたはメモリが重要な制約となる大規模な展開に最適です。

• IQ3_XS：超低ビット量子化（3ビット）で、非常に高いメモリ効率を持ちます。
  • 使用例：Q4_Kでさえ大きすぎる超低メモリデバイスに最適です。
  • トレードオフ：高ビット量子化に比べて精度が低いです。
• IQ3_S：最大のメモリ効率のための小さなブロックサイズ。
  • 使用例：IQ3_XSが過度に制限的な低メモリデバイスに最適です。
• IQ3_M：IQ3_Sよりも精度が高い中ブロックサイズ。
  • 使用例：IQ3_Sが制限的すぎる低メモリデバイスに適しています。
• Q4_K：ブロック単位の最適化により、精度が向上した4ビット量子化。
  • 使用例：Q6_Kが大きすぎる低メモリデバイスに最適です。
• Q4_0：純粋な4ビット量子化で、ARMデバイス用に最適化されています。
  • 使用例：ARMベースのデバイスまたは低メモリ環境に最適です。

超超低ビット量子化 (IQ1_S IQ1_M IQ2_S IQ2_M IQ2_XS IQ2_XSS)

• 超超低ビット量子化（1 2ビット）で、非常に高いメモリ効率を持ちます。
  • 使用例：非常に制約のあるメモリにモデルを収める必要がある場合に最適です。
  • トレードオフ：非常に低い精度。期待通りに機能しない可能性があります。使用前に十分にテストしてください。

モデル形式選択の概要表

Qwen3 Embeddingシリーズモデルリスト

⚠️ 重要提示

• MRLサポート は、埋め込みモデルが最終的な埋め込みのカスタム次元をサポートしているかどうかを示します。
• 命令対応 は、埋め込みまたは再ランキングモデルが異なるタスクに応じて入力命令をカスタマイズできるかどうかを示します。
• 私たちの評価によると、ほとんどの下流タスクでは、命令（instruct）を使用すると、使用しない場合に比べて通常1％から5％の改善が見られます。したがって、開発者は自分のタスクやシナリオに合わせたカスタム命令を作成することをお勧めします。多言語環境では、モデルのトレーニング中に使用されたほとんどの命令が英語で書かれていたため、ユーザーにも英語で命令を書くことをお勧めします。

評価

MTEB (多言語)

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。