Bce Reranker Base V1

🚀 BCEmbedding：用于RAG的双语和跨语种嵌入模型

BCEmbedding是由网易有道开发的双语和跨语种语义表征算法模型库，包含EmbeddingModel和RerankerModel两类基础模型。它能在单语、双语和跨语种场景中表现卓越，为RAG任务提供强大支持，广泛应用于有道的众多产品中。

🚀 快速开始

安装

首先，创建并激活一个conda环境：

conda create --name bce python=3.10 -y
conda activate bce

然后进行最小化安装BCEmbedding：

pip install BCEmbedding==0.1.1

或者从源代码安装：

git clone git@github.com:netease-youdao/BCEmbedding.git
cd BCEmbedding
pip install -v -e .

快速上手

1. 基于BCEmbedding

使用EmbeddingModel，默认使用cls pooler：

from BCEmbedding import EmbeddingModel

# 句子列表
sentences = ['sentence_0', 'sentence_1', ...]

# 初始化嵌入模型
model = EmbeddingModel(model_name_or_path="maidalun1020/bce-embedding-base_v1")

# 提取嵌入向量
embeddings = model.encode(sentences)

使用RerankerModel计算相关分数并重新排序：

from BCEmbedding import RerankerModel

# 你的查询和对应的段落
query = 'input_query'
passages = ['passage_0', 'passage_1', ...]

# 构建句子对
sentence_pairs = [[query, passage] for passage in passages]

# 初始化重排模型
model = RerankerModel(model_name_or_path="maidalun1020/bce-reranker-base_v1")

# 方法0：计算句子对的分数
scores = model.compute_score(sentence_pairs)

# 方法1：对段落进行重排
rerank_results = model.rerank(query, passages)

注意： 在RerankerModel.rerank方法中，当“passages”非常长时，我们提供了一种在生产中使用的高级预处理方法来构建sentence_pairs。

2. 基于transformers

对于EmbeddingModel：

from transformers import AutoModel, AutoTokenizer

# 句子列表
sentences = ['sentence_0', 'sentence_1', ...]

# 初始化模型和分词器
tokenizer = AutoTokenizer.from_pretrained('maidalun1020/bce-embedding-base_v1')
model = AutoModel.from_pretrained('maidalun1020/bce-embedding-base_v1')

device = 'cuda'  # 如果没有GPU，设置为 "cpu"
model.to(device)

# 获取输入
inputs = tokenizer(sentences, padding=True, truncation=True, max_length=512, return_tensors="pt")
inputs_on_device = {k: v.to(device) for k, v in inputs.items()}

# 获取嵌入向量
outputs = model(**inputs_on_device, return_dict=True)
embeddings = outputs.last_hidden_state[:, 0]  # cls pooler
embeddings = embeddings / embeddings.norm(dim=1, keepdim=True)  # 归一化

对于RerankerModel：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# 初始化模型和分词器
tokenizer = AutoTokenizer.from_pretrained('maidalun1020/bce-reranker-base_v1')
model = AutoModelForSequenceClassification.from_pretrained('maidalun1020/bce-reranker-base_v1')

device = 'cuda'  # 如果没有GPU，设置为 "cpu"
model.to(device)

# 获取输入
inputs = tokenizer(sentence_pairs, padding=True, truncation=True, max_length=512, return_tensors="pt")
inputs_on_device = {k: v.to(device) for k, v in inputs.items()}

# 计算分数
scores = model(**inputs_on_device, return_dict=True).logits.view(-1,).float()
scores = torch.sigmoid(scores)

3. 基于sentence_transformers

对于EmbeddingModel：

from sentence_transformers import SentenceTransformer

# 句子列表
sentences = ['sentence_0', 'sentence_1', ...]

# 初始化嵌入模型
## sentence-transformers有新更新。因此，首先清理 "`SENTENCE_TRANSFORMERS_HOME`/maidalun1020_bce-embedding-base_v1" 或 "～/.cache/torch/sentence_transformers/maidalun1020_bce-embedding-base_v1" 以下载新版本。
model = SentenceTransformer("maidalun1020/bce-embedding-base_v1")

# 提取嵌入向量
embeddings = model.encode(sentences, normalize_embeddings=True)

对于RerankerModel：

from sentence_transformers import CrossEncoder

# 初始化重排模型
model = CrossEncoder('maidalun1020/bce-reranker-base_v1', max_length=512)

# 计算句子对的分数
scores = model.predict(sentence_pairs)

RAG框架集成

1. 在langchain中使用

from langchain.embeddings import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_community.vectorstores.utils import DistanceStrategy

query = 'apples'
passages = [
        'I like apples', 
        'I like oranges', 
        'Apples and oranges are fruits'
    ]
  
# 初始化嵌入模型
model_name = 'maidalun1020/bce-embedding-base_v1'
model_kwargs = {'device': 'cuda'}
encode_kwargs = {'batch_size': 64, 'normalize_embeddings': True, 'show_progress_bar': False}

embed_model = HuggingFaceEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
  )

# 示例 #1. 提取嵌入向量
query_embedding = embed_model.embed_query(query)
passages_embeddings = embed_model.embed_documents(passages)

# 示例 #2. langchain检索器示例
faiss_vectorstore = FAISS.from_texts(passages, embed_model, distance_strategy=DistanceStrategy.MAX_INNER_PRODUCT)

retriever = faiss_vectorstore.as_retriever(search_type="similarity", search_kwargs={"score_threshold": 0.5, "k": 3})

related_passages = retriever.get_relevant_documents(query)

2. 在llama_index中使用

from llama_index.embeddings import HuggingFaceEmbedding
from llama_index import VectorStoreIndex, ServiceContext, SimpleDirectoryReader
from llama_index.node_parser import SimpleNodeParser
from llama_index.llms import OpenAI

query = 'apples'
passages = [
        'I like apples', 
        'I like oranges', 
        'Apples and oranges are fruits'
    ]

# 初始化嵌入模型
model_args = {'model_name': 'maidalun1020/bce-embedding-base_v1', 'max_length': 512, 'embed_batch_size': 64, 'device': 'cuda'}
embed_model = HuggingFaceEmbedding(**model_args)

# 示例 #1. 提取嵌入向量
query_embedding = embed_model.get_query_embedding(query)
passages_embeddings = embed_model.get_text_embedding_batch(passages)

# 示例 #2. RAG示例
llm = OpenAI(model='gpt-3.5-turbo-0613', api_key=os.environ.get('OPENAI_API_KEY'), api_base=os.environ.get('OPENAI_BASE_URL'))
service_context = ServiceContext.from_defaults(llm=llm, embed_model=embed_model)

documents = SimpleDirectoryReader(input_files=["BCEmbedding/tools/eval_rag/eval_pdfs/Comp_en_llama2.pdf"]).load_data()
node_parser = SimpleNodeParser.from_defaults(chunk_size=512)
nodes = node_parser.get_nodes_from_documents(documents[0:36])
index = VectorStoreIndex(nodes, service_context=service_context)
query_engine = index.as_query_engine()
response = query_engine.query("What is llama?")

✨ 主要特性

• 双语和跨语种能力：基于有道翻译引擎的强大能力，具备强大的中英双语和跨语种语义表征能力，支持中英日韩四个语种，未来还将支持更多语言。
• RAG适配：面向RAG做了针对性优化，可以适配大多数相关任务，如翻译、摘要、问答等。此外，针对问题理解（query understanding）也做了针对性优化，详见基于LlamaIndex的RAG评测指标。
• 高效且精确的语义检索：EmbeddingModel采用双编码器，可在第一阶段实现高效的语义检索；RerankerModel采用交叉编码器，可在第二阶段实现更高精度的语义顺序精排。
• 更好的领域泛化性：为了在更多场景实现更好的效果，收集了多种多样的领域数据。
• 用户友好：语义检索时不需要特殊指令前缀，无需为各种任务设计指令前缀。
• 有意义的重排序分数：RerankerModel可以提供有意义的语义相关性分数（不仅仅是排序），可用于过滤无意义文本片段，提高大模型生成效果。
• 产品化检验：BCEmbedding已经在有道的众多真实产品中得到验证。

📦 安装指南

创建并激活conda环境

conda create --name bce python=3.10 -y
conda activate bce

最小化安装

pip install BCEmbedding==0.1.1

从源代码安装

git clone git@github.com:netease-youdao/BCEmbedding.git
cd BCEmbedding
pip install -v -e .

💻 使用示例

基础用法

# 使用EmbeddingModel提取嵌入向量
from BCEmbedding import EmbeddingModel

sentences = ['sentence_0', 'sentence_1', ...]
model = EmbeddingModel(model_name_or_path="maidalun1020/bce-embedding-base_v1")
embeddings = model.encode(sentences)

高级用法

# 使用RerankerModel进行重排
from BCEmbedding import RerankerModel

query = 'input_query'
passages = ['passage_0', 'passage_1', ...]
sentence_pairs = [[query, passage] for passage in passages]
model = RerankerModel(model_name_or_path="maidalun1020/bce-reranker-base_v1")
rerank_results = model.rerank(query, passages)

📚 详细文档

模型列表

最新更新

• 2024-01-03：模型发布 - bce-embedding-base_v1 和 bce-reranker-base_v1 已发布。
• 2024-01-03：RAG评测数据 [CrosslingualMultiDomainsDataset] - 基于LlamaIndex的RAG评测数据已发布。
• 2024-01-03：跨语种语义表征评测数据 [详情] - 基于MTEB的跨语种评测数据已发布。

有道BCEmbedding API

对于那些更喜欢直接调用API的用户，有道提供方便的BCEmbedding调用API。该方式是一种简化和高效的方式，将BCEmbedding集成到您的项目中，避开了手动设置和系统维护的复杂性。更详细的API调用接口说明详见有道BCEmbedding API。

微信交流群

欢迎大家扫码加入官方微信交流群。

引用

如果在您的研究或任何项目中使用本工作，烦请按照下方进行引用，并打个小星星～

@misc{youdao_bcembedding_2023,
    title={BCEmbedding: Bilingual and Crosslingual Embedding for RAG},
    author={NetEase Youdao, Inc.},
    year={2023},
    howpublished={\url{https://github.com/netease-youdao/BCEmbedding}}
}

许可证

BCEmbedding采用Apache 2.0许可证。

相关链接

• 网易有道 - QAnything
• FlagEmbedding
• MTEB
• C_MTEB
• LLama Index | LlamaIndex博客

🔧 技术细节

基于MTEB评估语义表征

嵌入模型评估

运行以下命令在双语和跨语种（如["en", "zh", "en-zh", "zh-en"]）模式下评估your_embedding_model（如maidalun1020/bce-embedding-base_v1）：

python BCEmbedding/tools/eval_mteb/eval_embedding_mteb.py --model_name_or_path maidalun1020/bce-embedding-base_v1 --pooler cls

评测包含 "Retrieval"、 "STS"、 "PairClassification"、 "Classification"、 "Reranking" 和 "Clustering" 这六大类任务的共 114个数据集。

重排模型评估

运行以下命令在双语和跨语种（如["en", "zh", "en-zh", "zh-en"]）模式下评估your_reranker_model（如maidalun1020/bce-reranker-base_v1）：

python BCEmbedding/tools/eval_mteb/eval_reranker_mteb.py --model_name_or_path maidalun1020/bce-reranker-base_v1

评测包含 "Reranking" 任务的 12个数据集。

指标可视化工具

我们提供了embedding和reranker模型的指标可视化一键脚本，输出一个markdown文件，详见Embedding模型指标汇总和Reranker模型指标汇总。

python BCEmbedding/evaluation/mteb/summarize_eval_results.py --results_dir {your_embedding_results_dir | your_reranker_results_dir}

基于LlamaIndex评估RAG

指标定义

• 命中率（Hit Rate）：计算在检索的前k个文档中找到正确答案的查询所占的比例，该指标越大越好。
• 平均倒数排名（Mean Reciprocal Rank，MRR）：对于每个查询，通过查看最高排名的相关文档的排名来评估系统的准确性，是所有查询中这些排名的倒数的平均值，该指标越大越好。

复现LlamaIndex博客结果

为了公平起见，运行以下脚本复现LlamaIndex博客的结果，将BCEmbedding与其他embedding和reranker模型进行对比分析：

# 至少需要两个可用的GPU
CUDA_VISIBLE_DEVICES=0,1 python BCEmbedding/tools/eval_rag/eval_llamaindex_reproduce.py

然后，通过以下命令汇总评估结果：

python BCEmbedding/tools/eval_rag/summarize_eval_results.py --results_dir results/rag_reproduce_results

复现结果详见LlamaIndex RAG评测结果复现，可以看出：

• 在WithoutReranker设置下，bce-embedding-base_v1比其他embedding模型效果都要好。
• 在固定embedding模型设置下，bce-reranker-base_v1比其他reranker模型效果都要好。
• bce-embedding-base_v1和bce-reranker-base_v1组合表现SOTA。

多领域适应性评估

为了评测算法模型的领域泛化性、双语和跨语种能力，我们构建了多领域（计算机科学、物理学、生物学、经济学、数学、量化金融等）的双语种、跨语种评测数据CrosslingualMultiDomainsDataset，采用OpenAI的gpt-4-1106-preview保证数据质量。 首先，运行以下命令评估最流行和强大的嵌入和重排模型：

# 至少需要两个可用的GPU
CUDA_VISIBLE_DEVICES=0,1 python BCEmbedding/tools/eval_rag/eval_llamaindex_multiple_domains.py

然后，运行以下脚本汇总评估结果：

python BCEmbedding/tools/eval_rag/summarize_eval_results.py --results_dir results/rag_results

多领域评估总结详见多领域场景。

排行榜

MTEB语义表征评估

嵌入模型

要点：

• 对比其他开源的相同规模的嵌入模型，bce-embedding-base_v1 表现最好，效果比最好的large模型稍差。
• 评测包含 "Retrieval"、 "STS"、 "PairClassification"、 "Classification"、 "Reranking" 和 "Clustering" 这六大类任务的共 114个数据集。
• 我们开源的跨语种语义表征评测数据属于Retrieval任务。
• 更详细的评测结果详见Embedding模型指标汇总。

重排模型

要点：

• bce-reranker-base_v1 优于其他开源重排模型。
• 评测包含 "Reranking" 任务的 12个数据集。
• 更详细的评测结果详见Reranker模型指标汇总。

LlamaIndex RAG评估

多领域场景

要点：

• 评测在["en", "zh", "en-zh", "zh-en"]设置下进行。
• 在WithoutReranker设置下，bce-embedding-base_v1优于其他嵌入模型，包括开源和闭源。
• 在固定嵌入模型设置下，bce-reranker-base_v1比其他重排模型效果都要好，包括开源和闭源。
• bce-embedding-base_v1和bce-reranker-base_v1组合表现SOTA。

📄 许可证

BCEmbedding采用Apache 2.0许可证。