Ko Reranker V1.1

🚀 モデルカード: sigridjineth/ko-reranker-v1.1

このモデルは、Alibaba-NLP/gte-multilingual-reranker-base をファインチューニングしたもので、現在開発中です。性能を改善するため、今後さらに変更される可能性があります。A100 x 8 を使用して 12 時間のトレーニングを行いました。

🚀 クイックスタート

このモデルは、韓国語の文書ランキングに特化したリランカーです。以下のセクションでは、トレーニングデータ、主な機能、使用方法などについて詳しく説明します。

✨ 主な機能

ハードネガティブマイニング

BAAI/bge-m3 を統合して、難しいネガティブサンプルを採掘します。このアプローチにより、モデルは微妙なコントラストを区別する能力が向上し、ロバスト性が高まり、ランキング品質が改善されます。

教師 - 学生蒸留

BAAI/bge-reranker-v2.5-gemma2-lightweight を教師モデルとして利用しました。学生リランカーは、教師モデルが提供する正/負のスコアから学習し、収束が加速され、最終的な性能が向上します。

📦 インストール

このモデルを使用するには、transformers ライブラリが 4.36.0 以上である必要があります。以下のコマンドでインストールできます。

pip install transformers>=4.36.0

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name_or_path = "sigridjineth/ko-reranker-v1.1-preview"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name_or_path, 
    trust_remote_code=True,
    torch_dtype=torch.float16
)
model.eval()

pairs = [
    ["중국의 수도는","베이징"], 
    ["2024년 대한민국 대통령은?", "대한민국 대통령은 윤석열이다"], 
    ["파이썬에서 퀵 소트를 구현하기","quick sort로 코테 1등 먹어보자"]
]

with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
    print(scores)
# Example output:
# tensor([1.2315, 0.5923, 0.3041])

高度な使用法

Infinity を使用して、モデルを簡単にホストしてサービスを提供することができます。

docker run --gpus all -v $PWD/data:/app/.cache -p "7997":"7997" \
michaelf34/infinity:0.0.68 \
v2 --model-id Alibaba-NLP/gte-multilingual-reranker-base --revision "main" \
--dtype bfloat16 --batch-size 32 --device cuda --engine torch --port 7997

📚 ドキュメント

トレーニングデータ

このモデルは、328K の韓国語トリプレットでトレーニングされています。これはいくつかの公開データセットを集約したもので、豊富な言語的多様性を保証しています。

これらの統合されたリソースにより、韓国語データの幅広いトピック、スタイル、複雑さがカバーされ、モデルは微妙な意味の違いを捉えることができます。

意図された使用法

• 検索と情報検索: 韓国語の検索クエリに対する文書ランキングを改善します。
• 質問応答 (QA): 候補回答を再並べ替えることで、QA パイプラインの関連性を向上させます。
• コンテンツ推薦: テキスト信号に基づく推薦エンジンを改良し、より正確な提案を提供します。

制限事項と今後の取り組み

• プレビューリリース: モデルはまだ改良段階にあります。将来的なアップデートで、安定性、汎化能力、性能が向上することが期待されます。
• 評価の必要性: 汎用的な韓国語検索タスク (特にリランカー) のベンチマークを開発および標準化することは、今後も継続的な取り組みとなります。

評価

AutoRAG Benchmark は、評価データセットとこれらのメトリクスを報告するツールキットの両方として機能します。

モデル: sigridjineth/ko-reranker-v1.1-preview

モデル: Alibaba-NLP/gte-multilingual-reranker-base

モデル: dragonkue/bge-reranker-v2-m3-ko

評価結果 (k=1,3,5,10):
  精度@1:  0.8070
  F1@1:    0.8070
  再現率@1:  0.8070
  精度@1:  0.8070
  精度@3:  0.9211
  F1@3:    0.4605
  再現率@3:  0.9211
  精度@3:  0.3070
  精度@5:  0.9474
  F1@5:    0.3158
  再現率@5:  0.9474
  精度@5:  0.1895
  精度@10:  0.9737
  F1@10:    0.1770
  再現率@10:  0.9737
  精度@10:  0.0974

全クエリの総推論時間: 142.64 秒
クエリごとの平均推論時間: 1.2512 秒

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。

参考文献

@misc{zhang2024mgtegeneralizedlongcontexttext,
  title={mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval}, 
  author={Xin Zhang and Yanzhao Zhang and Dingkun Long and Wen Xie and Ziqi Dai and Jialong Tang and Huan Lin and Baosong Yang and Pengjun Xie and Fei Huang and Meishan Zhang and Wenjie Li and Min Zhang},
  year={2024},
  eprint={2407.19669},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2407.19669}, 
}

@misc{li2023making,
  title={Making Large Language Models A Better Foundation For Dense Retrieval}, 
  author={Chaofan Li and Zheng Liu and Shitao Xiao and Yingxia Shao},
  year={2023},
  eprint={2312.15503},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

@misc{chen2024bge,
  title={BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation}, 
  author={Jianlv Chen and Shitao Xiao and Peitian Zhang and Kun Luo and Defu Lian and Zheng Liu},
  year={2024},
  eprint={2402.03216},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}