🚀 Ruri-Reranker:日语通用重排器
Ruri-Reranker 是一个日语通用重排器,能够对文本进行排序,在问答、信息检索等场景中有着重要作用,可有效提升文本排序的准确性和效率。
🚀 快速开始
安装 Sentence Transformers 库
首先,你需要安装 Sentence Transformers 库:
pip install -U sentence-transformers
加载模型并进行推理
安装完成后,你可以加载模型并进行推理:
from sentence_transformers import CrossEncoder
model = CrossEncoder("cl-nagoya/ruri-reranker-stage1-small", trust_remote_code=True)
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七宝の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略号 dp-pB)と定義している[1][2]。",
],
)
print(result)
💻 使用示例
基础用法
上述快速开始中的代码即为基础用法示例,展示了如何安装库、加载模型、进行预测和排序。
📊 基准测试
📚 详细文档
模型详情
属性 |
详情 |
模型类型 |
Sentence Transformer |
基础模型 |
cl-nagoya/ruri-pr-small |
最大序列长度 |
512 个词元 |
语言 |
日语 |
许可证 |
Apache 2.0 |
论文 |
https://arxiv.org/abs/2409.07737 |
训练详情
框架版本
- Python:3.10.13
- Sentence Transformers:3.0.0
- Transformers:4.41.2
- PyTorch:2.3.1+cu118
- Accelerate:0.30.1
- Datasets:2.19.1
- Tokenizers:0.19.1
📄 许可证
本模型根据 Apache 许可证,版本 2.0 发布。