Qwen3 Embedding 4B GGUF

🚀 Qwen3-Embedding-4B GGUFモデル

Qwen3-Embedding-4B GGUFモデルは、テキスト埋め込みとランキングタスクに特化した最新のモデルです。多言語対応や高性能な推論能力を備え、様々なダウンストリームタスクで優れた性能を発揮します。

🚀 クイックスタート

このモデルを使用するには、transformersバージョン4.51.0以上が必要です。以下に、sentence-transformersとtransformersを使用した基本的な使い方を示します。

💻 使用例

基本的な使用法

# Requires transformers>=4.51.0

from sentence_transformers import SentenceTransformer

# Load the model
model = SentenceTransformer("Qwen/Qwen3-Embedding-4B")

# We recommend enabling flash_attention_2 for better acceleration and memory saving,
# together with setting `padding_side` to "left":
# model = SentenceTransformer(
#     "Qwen/Qwen3-Embedding-4B",
#     model_kwargs={"attn_implementation": "flash_attention_2", "device_map": "auto"},
#     tokenizer_kwargs={"padding_side": "left"},
# )

# The queries and documents to embed
queries = [
    "What is the capital of China?",
    "Explain gravity",
]
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun.",
]

# Encode the queries and documents. Note that queries benefit from using a prompt
# Here we use the prompt called "query" stored under `model.prompts`, but you can
# also pass your own prompt via the `prompt` argument
query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

# Compute the (cosine) similarity between the query and document embeddings
similarity = model.similarity(query_embeddings, document_embeddings)
print(similarity)
# tensor([[0.7534, 0.1147],
#         [0.0320, 0.6258]])

高度な使用法

# Requires transformers>=4.51.0
import torch
import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def last_token_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
    if left_padding:
        return last_hidden_states[:, -1]
    else:
        sequence_lengths = attention_mask.sum(dim=1) - 1
        batch_size = last_hidden_states.shape[0]
        return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]


def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'

# Each query must come with a one-sentence instruction that describes the task
task = 'Given a web search query, retrieve relevant passages that answer the query'

queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# No need to add instruction for retrieval documents
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents

tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-Embedding-4B', padding_side='left')
model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-4B')

# We recommend enabling flash_attention_2 for better acceleration and memory saving.
# model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-4B', attn_implementation="flash_attention_2", torch_dtype=torch.float16).cuda()

max_length = 8192

# Tokenize the input texts
batch_dict = tokenizer(
    input_texts,
    padding=True,
    truncation=True,
    max_length=max_length,
    return_tensors="pt",
)
batch_dict.to(model.device)
outputs = model(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())
# [[0.7534257769584656, 0.1146894246339798], [0.03198453038930893, 0.6258305311203003]]

✨ 主な機能

• 卓越した汎用性：埋め込みモデルは、幅広いダウンストリームアプリケーション評価で最先端の性能を達成しています。8Bサイズの埋め込みモデルは、MTEB多言語リーダーボードで1位（2025年6月5日現在、スコア70.58）を獲得しています。
• 包括的な柔軟性：Qwen3 Embeddingシリーズは、埋め込みモデルと再ランキングモデルの両方に0.6Bから8Bまでの全スペクトルのサイズを提供し、効率と効果を重視するさまざまなユースケースに対応しています。
• 多言語対応：Qwen3モデルの多言語機能により、Qwen3 Embeddingシリーズは100以上の言語をサポートしています。これにはさまざまなプログラミング言語も含まれ、強力な多言語、クロス言語、コード検索機能を提供します。

📦 インストール

このモデルを使用するには、transformersバージョン4.51.0以上が必要です。以下のコマンドでインストールできます。

pip install transformers>=4.51.0

📚 ドキュメント

モデル生成の詳細

このモデルは、llama.cpp のコミット 1f63e75f を使用して生成されました。

IMatrixを超えた量子化

新しい量子化方法をテストしており、重要なレイヤーを標準のIMatrixが使用する以上に向上させるルールを使用しています。標準のIMatrixは、低ビット量子化やMOEモデルではあまり良い性能を発揮しないことがわかりました。そのため、llama.cppの --tensor-type を使用して選択したレイヤーを強化しています。詳細は Layer bumping with llama.cpp を参照してください。

適切なモデル形式の選択

正しいモデル形式の選択は、ハードウェア能力とメモリ制約に依存します。以下に、各モデル形式の特徴と推奨ユースケースを示します。

モデル概要

Qwen3-Embedding-4B は以下の特徴を持っています。

詳細なベンチマーク評価、ハードウェア要件、推論性能については、ブログ と GitHub を参照してください。

Qwen3 Embeddingシリーズモデルリスト

⚠️ 重要提示

• MRLサポート は、埋め込みモデルが最終的な埋め込みのカスタム次元をサポートするかどうかを示します。
• 命令対応 は、埋め込みまたは再ランキングモデルが異なるタスクに応じて入力命令をカスタマイズできるかどうかを示します。
• ほとんどのダウンストリームタスクでは、命令（instruct）を使用すると、使用しない場合に比べて1％から5％の改善が見られます。したがって、開発者は自分のタスクやシナリオに合わせたカスタム命令を作成することをお勧めします。多言語環境では、モデルのトレーニング中に使用されたほとんどの命令が英語で書かれているため、命令を英語で書くこともお勧めします。

評価

MTEB（多言語）

⚠️ 重要提示：比較対象のモデルのスコアは、MTEBのオンライン リーダーボード から取得されています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。