Polish Reranker Roberta V2

🚀 波蘭重排器RoBERTa v2

這是一個基於 sdadas/polish-roberta-large-v2 的重排器改進版本，它在一個大型文本對數據集上使用 RankNet損失 進行訓練。該模型的訓練方式和使用的數據與 sdadas/polish-reranker-large-ranknet 相同，但有以下改進：

• 我們使用 BAAI/bge-reranker-v2.5-gemma2-lightweight 的預測結果進行蒸餾，而非 unicamp-dl/mt5-13b-mmarco-100k。
• 我們使用了支持Flash Attention 2的RoBERTa模型的自定義實現。如果您想使用這些特性，請使用參數 trust_remote_code=True 和 attn_implementation="flash_attention_2" 加載模型。

我們的重排器在PIRB基準測試中取得了接近 BAAI/bge-reranker-v2.5-gemma2-lightweight 的結果，甚至在某些數據集上超越了它。同時，它的參數規模比後者小21倍多 —— 分別為4.35億和92.4億。

🚀 快速開始

本模型可通過Huggingface Transformers庫使用，以下是具體的使用方法。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import numpy as np

query = "Jak dożyć 100 lat?"
answers = [
    "Trzeba zdrowo się odżywiać i uprawiać sport.",
    "Trzeba pić alkohol, imprezować i jeździć szybkimi autami.",
    "Gdy trwała kampania politycy zapewniali, że rozprawią się z zakazem niedzielnego handlu."
]

model_name = "sdadas/polish-reranker-roberta-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="cuda"
)
texts = [f"{query}</s></s>{answer}" for answer in answers]
tokens = tokenizer(texts, padding="longest", max_length=512, truncation=True, return_tensors="pt").to("cuda")
output = model(**tokens)
results = output.logits.detach().cpu().float().numpy()
results = np.squeeze(results)
print(results.tolist())

📚 詳細文檔

評估結果

該模型在波蘭信息檢索基準測試的重排器類別中實現了 NDCG@10 為 65.30 的成績。詳細結果請參考 PIRB排行榜。

引用信息

@article{dadas2024assessing,
  title={Assessing generalization capability of text ranking models in Polish}, 
  author={Sławomir Dadas and Małgorzata Grębowiec},
  year={2024},
  eprint={2402.14318},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

📄 許可證

本項目採用gemma許可證。

📦 模型信息