Bloomz 560m Reranking

🚀 Bloomz-560m 重排序模型

Bloomz-560m 重排序模型旨在衡量问题（查询）与上下文之间的语义对应关系。它基于 cmarkea/bloomz-560m-dpo-chat 模型构建，通过归一化评分，能够有效过滤开放域问答（ODQA）中检索器输出的查询/上下文匹配结果，并以更高效的建模方式对结果进行重新排序。不过，由于计算成本较高，该模型不适用于直接的数据库搜索。此外，该模型具有语言无关性，支持法语和英语，可在跨语言环境中进行有效评分，且不受单语言（英语或法语）环境下表现的影响。

✨ 主要特性

• 基于特定模型构建，可衡量查询与上下文的语义对应关系。
• 支持法语和英语，具备跨语言处理能力。
• 能有效过滤和重排序检索结果。

📦 安装指南

文档未提及安装步骤，暂不展示。

💻 使用示例

基础用法

from transformers import pipeline

reranker = pipeline(
    task='text-classification',
    model='cmarkea/bloomz-560m-reranking',
    top_k=None
)

query: str
contexts: List[str]

similarities = reranker(
    [
        dict(
            text=context, # the model was trained with context in `text`
            text_pair=query # and query in `text_pair` argument.
        )
        for context in contexts
    ]
)

score_label_1 = [
    next(item['score'] for item in entry if item['label'] == 'LABEL_1') 
    for entry in similarities
]
contexts_reranked = sorted(
    zip(score_label_1, contexts),
    key=lambda x: x[0],
    reverse=True
)

score, contexts_cleaned = zip(
    *filter(
        lambda x: x[0] >= 0.8,
        contexts_reranked
    )
)

📚 详细文档

数据集

训练数据集由 mMARCO 数据集和 SQuAD 数据集的“train”分割数据组成。mMARCO 数据集包含查询/正样本/难负样本三元组，SQuAD 数据也被处理成相同的三元组形式。为 SQuAD 生成难负样本时，我们选择与查询主题相同但来自不同查询集的上下文。最终，三元组被扁平化处理，得到查询/上下文句子对，若为查询/正样本对则标签为 1，若为查询/负样本对则标签为 0。在每对元素（查询和上下文）中，法语或英语的语言选择是随机且均匀的。

评估

为评估重排序器的性能，我们使用 SQuAD 数据集的“validation”分割数据。从每个段落中选择第一个问题，以及该段落作为上下文，在理想建模情况下，该上下文应排在首位。评估语料库包含 1204 对需要排序的查询/上下文。

单语言评估（法语/法语）

跨语言评估（法语/英语）

从评估结果可以看出，跨语言环境对模型性能的影响并不显著。如果在重排序和过滤搜索的前 K 个结果的场景中使用该模型，可以应用 0.8 的阈值来过滤检索器输出的上下文，从而减少 RAG 类型应用中上下文中存在的噪声问题。

📄 许可证

本项目使用的许可证为 bigscience-bloom-rail-1.0。

📖 引用

@online{DeBloomzReranking,
  AUTHOR = {Cyrile Delestre},
  ORGANIZATION = {Cr{\'e}dit Mutuel Ark{\'e}a},
  URL = {https://huggingface.co/cmarkea/bloomz-3b-reranking},
  YEAR = {2024},
  KEYWORDS = {NLP ; Transformers ; LLM ; Bloomz},
}