Ko Reranker V1.1

🚀 模型卡片：sigridjineth/ko-reranker-v1.1

該模型基於 Alibaba-NLP/gte-multilingual-reranker-base 進行微調，目前仍在開發中。隨著我們對其性能的不斷優化和改進，模型可能會有進一步的變化。模型使用 A100 x 8 進行了 12 小時的訓練。

🚀 快速開始

你可以按照以下步驟使用該模型：

環境要求

• transformers 版本需大於等於 4.36.0

代碼示例

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = "sigridjineth/ko-reranker-v1.1-preview"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path, 
    trust_remote_code=True,
    torch_dtype=torch.float16
)
model.eval()

pairs = [
    ["중국의 수도는","베이징"], 
    ["2024년 대한민국 대통령은?", "대한민국 대통령은 윤석열이다"], 
    ["파이썬에서 퀵 소트를 구현하기","quick sort로 코테 1등 먹어보자"]
]

with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)
# 示例輸出:
# tensor([1.2315, 0.5923, 0.3041])

使用 Infinity 部署

Infinity 是一個遵循 MIT 許可證的推理 REST API 服務器，可以輕鬆託管和服務模型。示例命令如下：

docker run --gpus all -v $PWD/data:/app/.cache -p "7997":"7997" \
michaelf34/infinity:0.0.68 \
v2 --model-id Alibaba-NLP/gte-multilingual-reranker-base --revision "main" \
--dtype bfloat16 --batch-size 32 --device cuda --engine torch --port 7997

✨ 主要特性

困難負樣本挖掘

集成了 BAAI/bge-m3 來挖掘具有挑戰性的負樣本。這種方法增強了模型區分細微差異的能力，提高了模型的魯棒性和排序質量。

師生蒸餾

利用 BAAI/bge-reranker-v2.5-gemma2-lightweight 作為教師模型。學生重排器從教師提供的正/負得分中學習，加速了收斂過程並實現了更好的最終性能。

📦 安裝指南

此部分未提供具體安裝命令，暫不展示。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = "sigridjineth/ko-reranker-v1.1-preview"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path, 
    trust_remote_code=True,
    torch_dtype=torch.float16
)
model.eval()

pairs = [
    ["중국의 수도는","베이징"], 
    ["2024년 대한민국 대통령은?", "대한민국 대통령은 윤석열이다"], 
    ["파이썬에서 퀵 소트를 구현하기","quick sort로 코테 1등 먹어보자"]
]

with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)
# 示例輸出:
# tensor([1.2315, 0.5923, 0.3041])

高級用法

此部分未提供高級使用場景的代碼示例，暫不展示。

📚 詳細文檔

預期用途

• 搜索與信息檢索：改善韓語搜索查詢的文檔排序。
• 問答系統（QA）：通過重新排序候選答案來提高問答管道的相關性。
• 內容推薦：優化依賴文本信號的推薦引擎，提供更準確的建議。

侷限性與未來工作

• 預覽版本：該模型仍處於優化階段，預計未來的更新將提高其穩定性、泛化能力和性能。
• 評估需求：開發和標準化通用韓語檢索任務（特別是重排器）的基準將是一項持續的工作。

評估

AutoRAG Benchmark 既作為評估數據集，也作為報告這些指標的工具包。

模型：sigridjineth/ko-reranker-v1.1-preview

模型：Alibaba-NLP/gte-multilingual-reranker-base

模型：dragonkue/bge-reranker-v2-m3-ko

評估結果 (k=1,3,5,10):
  準確率@1:  0.8070
  F1值@1:        0.8070
  召回率@1:    0.8070
  精確率@1: 0.8070
  準確率@3:  0.9211
  F1值@3:        0.4605
  召回率@3:    0.9211
  精確率@3: 0.3070
  準確率@5:  0.9474
  F1值@5:        0.3158
  召回率@5:    0.9474
  精確率@5: 0.1895
  準確率@10:  0.9737
  F1值@10:        0.1770
  召回率@10:    0.9737
  精確率@10: 0.0974

總推理時間 (所有查詢): 142.64 秒
平均推理時間 (每個查詢): 1.2512 秒

🔧 技術細節

此部分未提供具體的技術實現細節，暫不展示。

📄 許可證

本模型使用 Apache-2.0 許可證。

📚 參考文獻

@misc{zhang2024mgtegeneralizedlongcontexttext,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

@misc{li2023making,
  title={Making Large Language Models A Better Foundation For Dense Retrieval}, 
  author={Chaofan Li and Zheng Liu and Shitao Xiao and Yingxia Shao},
  year={2023},
  eprint={2312.15503},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@misc{chen2024bge,
  title={BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation}, 
  author={Jianlv Chen and Shitao Xiao and Peitian Zhang and Kun Luo and Defu Lian and Zheng Liu},
  year={2024},
  eprint={2402.03216},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}