🚀 Ruri-Reranker:日語通用重排器
Ruri-Reranker 是一個日語通用重排器,能夠對文本進行排序,在問答、信息檢索等場景中有著重要作用,可有效提升文本排序的準確性和效率。
🚀 快速開始
安裝 Sentence Transformers 庫
首先,你需要安裝 Sentence Transformers 庫:
pip install -U sentence-transformers
加載模型並進行推理
安裝完成後,你可以加載模型並進行推理:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cl-nagoya/ruri-reranker-stage1-small", trust_remote_code=True)
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
)
print(result)
💻 使用示例
基礎用法
上述快速開始中的代碼即為基礎用法示例,展示瞭如何安裝庫、加載模型、進行預測和排序。
📊 基準測試
📚 詳細文檔
模型詳情
屬性 |
詳情 |
模型類型 |
Sentence Transformer |
基礎模型 |
cl-nagoya/ruri-pr-small |
最大序列長度 |
512 個詞元 |
語言 |
日語 |
許可證 |
Apache 2.0 |
論文 |
https://arxiv.org/abs/2409.07737 |
訓練詳情
框架版本
- Python:3.10.13
- Sentence Transformers:3.0.0
- Transformers:4.41.2
- PyTorch:2.3.1+cu118
- Accelerate:0.30.1
- Datasets:2.19.1
- Tokenizers:0.19.1
📄 許可證
本模型根據 Apache 許可證,版本 2.0 發佈。