Ruri V3 Reranker 310m Preview

🚀 Ruri-Reranker：日語通用重排器

Ruri-Reranker 是一款日語通用重排器，能夠有效對文本進行排序，在多個基準測試中表現出色，為日語相關的文本處理任務提供了強大支持。

🚀 快速開始

安裝依賴

你可以使用 transformers 庫 v4.48.0 或更高版本直接調用我們的模型：

pip install -U "transformers>=4.48.0" sentence-transformers

此外，如果你的 GPU 支持 Flash Attention 2，我們建議結合 Flash Attention 2 使用我們的模型。

pip install flash-attn --no-build-isolation

示例代碼

基礎用法

from sentence_transformers import CrossEncoder

# 從 🤗 Hub 下載模型
model = CrossEncoder("cl-nagoya/ruri-v3-reranker-310m-preview")

inputs = [
    [
        "瑠璃色はどんな色？",
        "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略號 dp-pB）と定義している[1][2]。",
    ],
    [
        "瑠璃色 なに",
        "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略號 dp-pB）と定義している[1][2]。",
    ],
    [
        "瑠璃色はどんな色？",
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
    ],
    [
        "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
    ],
    [
        "ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
        "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略號 dp-pB）と定義している[1][2]。",
    ],
]

scores = model.predict(inputs)
print(scores)
# [
#   0.99979633,
#   0.99517965,
#   0.000025507017,
#   0.99851805,
#   0.000023804054,
# ]


result = model.rank(
    query="瑠璃色はどんな色？",
    documents=[
        "ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
        "瑠璃、または琉璃（るり）は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
        "瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略號 dp-pB）と定義している[1][2]。",
    ],
)
print(result)
# [
#    {'corpus_id': 2, 'score': 0.99979836},
#    {'corpus_id': 1, 'score': 0.22831681},
#    {'corpus_id': 0, 'score': 0.000025469439},
# ]

✨ 主要特性

• 高性能：在多個基準測試中表現優異，如在 JQaRA、JaCWIR 和 MIRACL 等測試中取得了很好的成績。
• 長序列處理能力：最大序列長度可達 8192 個標記，能夠處理較長的文本。
• 多場景適用：適用於各種日語相關的文本排序任務。

📚 詳細文檔

基準測試

模型詳情

引用信息

@misc{
  Ruri,
  title={{Ruri: Japanese General Text Embeddings}}, 
  author={Hayato Tsukagoshi and Ryohei Sasano},
  year={2024},
  eprint={2409.07737},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2409.07737}, 
}

📄 許可證

該模型根據 Apache 許可證，版本 2.0 發佈。

⚠️ 重要提示

此模型為預覽版本。若需更完善、精細的版本，請使用 cl-nagoya/ruri-v3-reranker-310m！