Qwen3 Embedding 8B Auto

🚀 Qwen3-Embedding-8B

Qwen3 Embedding 模型系列是通义家族的最新自研模型，专为文本嵌入和排序任务设计。该系列基于通义千问 3 系列的稠密基础模型，提供了多种不同规模（0.6B、4B 和 8B）的文本嵌入和重排序模型。它继承了基础模型出色的多语言能力、长文本理解和推理能力，在文本检索、代码检索、文本分类、文本聚类和双语挖掘等多个文本嵌入和排序任务中取得了显著进展。

🚀 快速开始

Qwen3 Embedding 模型系列是通义家族的最新自研模型，专为文本嵌入和排序任务设计。它提供了多种不同规模的模型，继承了基础模型的多语言能力、长文本理解和推理能力，在多个文本嵌入和排序任务中表现出色。

✨ 主要特性

卓越的通用性

嵌入模型在广泛的下游应用评估中达到了最先进的性能。8B 规模的嵌入模型在 MTEB 多语言排行榜上排名第一（截至 2025 年 6 月 5 日，得分70.58），而重排序模型在各种文本检索场景中表现出色。

全面的灵活性

Qwen3 Embedding 系列为嵌入和重排序模型提供了全范围的规模（从 0.6B 到 8B），满足了对效率和效果有不同优先级的各种用例。开发人员可以无缝组合这两个模块。此外，嵌入模型允许在所有维度上灵活定义向量，并且嵌入和重排序模型都支持用户定义的指令，以提高特定任务、语言或场景的性能。

多语言能力

由于通义千问 3 模型的多语言能力，Qwen3 Embedding 系列支持 100 多种语言，包括各种编程语言，并提供强大的多语言、跨语言和代码检索能力。

Qwen3-Embedding-8B 的特性

更多详细信息，包括基准评估、硬件要求和推理性能，请参考我们的 博客、GitHub。

📦 Qwen3 Embedding 系列模型列表

⚠️ 重要提示

• 是否支持 MRL 表示嵌入模型是否支持最终嵌入的自定义维度。
• 是否支持自定义指令 表示嵌入或重排序模型是否支持根据不同任务自定义输入指令。
• 我们的评估表明，对于大多数下游任务，使用指令（instruct）通常比不使用指令的性能提高 1% 到 5%。因此，我们建议开发人员根据自己的任务和场景创建定制的指令。在多语言环境中，我们也建议用户用英语编写指令，因为模型训练过程中使用的大多数指令最初都是用英语编写的。

💻 使用示例

基础用法

Sentence Transformers 使用示例

# Requires transformers>=4.51.0

from sentence_transformers import SentenceTransformer

# Load the model
model = SentenceTransformer("Qwen/Qwen3-Embedding-8B")

# We recommend enabling flash_attention_2 for better acceleration and memory saving,
# together with setting `padding_side` to "left":
# model = SentenceTransformer(
#     "Qwen/Qwen3-Embedding-8B",
#     model_kwargs={"attn_implementation": "flash_attention_2", "device_map": "auto"},
#     tokenizer_kwargs={"padding_side": "left"},
# )

# The queries and documents to embed
queries = [
    "What is the capital of China?",
    "Explain gravity",
]
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun.",
]

# Encode the queries and documents. Note that queries benefit from using a prompt
# Here we use the prompt called "query" stored under `model.prompts`, but you can
# also pass your own prompt via the `prompt` argument
query_embeddings = model.encode(queries, prompt_name="query")
document_embeddings = model.encode(documents)

# Compute the (cosine) similarity between the query and document embeddings
similarity = model.similarity(query_embeddings, document_embeddings)
print(similarity)
# tensor([[0.7493, 0.0751],
#         [0.0880, 0.6318]])

Transformers 使用示例

# Requires transformers>=4.51.0

import torch
import torch.nn.functional as F

from torch import Tensor
from transformers import AutoTokenizer, AutoModel


def last_token_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
    if left_padding:
        return last_hidden_states[:, -1]
    else:
        sequence_lengths = attention_mask.sum(dim=1) - 1
        batch_size = last_hidden_states.shape[0]
        return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]


def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'

# Each query must come with a one-sentence instruction that describes the task
task = 'Given a web search query, retrieve relevant passages that answer the query'

queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# No need to add instruction for retrieval documents
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents

tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-Embedding-8B', padding_side='left')
model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-8B')

# We recommend enabling flash_attention_2 for better acceleration and memory saving.
# model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-8B', attn_implementation="flash_attention_2", torch_dtype=torch.float16).cuda()

max_length = 8192

# Tokenize the input texts
batch_dict = tokenizer(
    input_texts,
    padding=True,
    truncation=True,
    max_length=max_length,
    return_tensors="pt",
)
batch_dict.to(model.device)
outputs = model(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])

# normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())
# [[0.7493016123771667, 0.0750647559762001], [0.08795969933271408, 0.6318399906158447]]

💡 使用建议

我们建议开发人员根据具体场景、任务和语言自定义 instruct。我们的测试表明，在大多数检索场景中，查询端不使用 instruct 会导致检索性能下降约 1% 到 5%。

📚 评估

MTEB（多语言）

⚠️ 重要提示

对于对比模型，分数是从 2025 年 5 月 24 日的 MTEB 在线 排行榜 获取的。

MTEB（英语 v2）

C-MTEB（MTEB 中文）

📄 许可证

本项目采用 Apache-2.0 许可证。

📖 引用

如果您觉得我们的工作有帮助，请引用：

@misc{qwen3-embedding,
    title  = {Qwen3-Embedding},
    url    = {https://qwenlm.github.io/blog/qwen3/},
    author = {Qwen Team},
    month  = {May},
    year   = {2025}
}