Ruri Reranker Large
琉璃重排序器是一個日語通用重排序模型,基於Sentence Transformers架構,專門用於日語文本相關性排序任務。
下載量 2,538
發布時間 : 8/20/2024
模型概述
該模型是一個日語文本重排序器,能夠對查詢和文檔對進行相關性評分,適用於信息檢索系統的結果重排序。
模型特點
高性能日語重排序
在多個日語基準測試中表現優異,特別是在JQaRA、JaCWIR和MIRACL數據集上取得領先成績
基於Sentence Transformers
使用CrossEncoder架構,專門為查詢-文檔對相關性評分優化
大模型規模
擁有3.37億參數(其中3.03億為嵌入層參數),提供更強的語義理解能力
模型能力
查詢-文檔相關性評分
信息檢索結果重排序
日語文本理解
使用案例
信息檢索
搜索引擎結果重排序
對搜索引擎返回的結果進行二次排序,提高最相關結果的排名
在JQaRA數據集上達到77.1的nDCG@10分數
問答系統答案排序
對問答系統返回的候選答案進行相關性排序
在MIRACL數據集上達到96.1的nDCG@10分數
🚀 瑠璃重排器(Ruri-Reranker):日語通用重排器
瑠璃重排器(Ruri-Reranker)是一款日語通用重排器,基於Sentence Transformers庫,能夠對文本進行高效的重排,在多個基準測試中表現出色。
🚀 快速開始
安裝Sentence Transformers庫
首先,你需要安裝Sentence Transformers庫:
pip install -U sentence-transformers
加載模型並進行推理
安裝完成後,你可以加載模型並進行推理:
from sentence_transformers import CrossEncoder
# 從🤗 Hub下載模型
model = CrossEncoder("cl-nagoya/ruri-reranker-large")
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
# [0.99999535 0.7374149 0.9970592 0.00682232]
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
)
print(result)
# [
# {'corpus_id': 2, 'score': 0.99999535},
# {'corpus_id': 1, 'score': 0.97759527},
# {'corpus_id': 0, 'score': 0.73741615},
# ]
✨ 主要特性
- 高性能:在多個基準測試中表現優異,如JQaRA、JaCWIR和MIRACL。
- 易於使用:基於Sentence Transformers庫,方便集成到現有項目中。
- 多語言支持:支持日語,適用於日語相關的文本重排任務。
📦 安裝指南
安裝Sentence Transformers庫:
pip install -U sentence-transformers
💻 使用示例
基礎用法
from sentence_transformers import CrossEncoder
# 從🤗 Hub下載模型
model = CrossEncoder("cl-nagoya/ruri-reranker-large")
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
# [0.99999535 0.7374149 0.9970592 0.00682232]
高級用法
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
)
print(result)
# [
# {'corpus_id': 2, 'score': 0.99999535},
# {'corpus_id': 1, 'score': 0.97759527},
# {'corpus_id': 0, 'score': 0.73741615},
# ]
📚 詳細文檔
基準測試
模型 | 參數量(不含嵌入層) | JQaRA | JaCWIR | MIRACL |
---|---|---|---|---|
hotchpotch/japanese-reranker-cross-encoder-xsmall-v1 | 107M(11M) | 61.4 | 93.8 | 90.6 |
hotchpotch/japanese-reranker-cross-encoder-small-v1 | 118M(21M) | 62.5 | 93.9 | 92.2 |
hotchpotch/japanese-reranker-cross-encoder-base-v1 | 111M(86M) | 67.1 | 93.4 | 93.3 |
hotchpotch/japanese-reranker-cross-encoder-large-v1 | 337M(303M) | 71.0 | 93.6 | 91.5 |
hotchpotch/japanese-bge-reranker-v2-m3-v1 | 568M(303M) | 69.2 | 93.7 | 94.7 |
BAAI/bge-reranker-v2-m3 | 568M(303M) | 67.3 | 93.4 | 94.9 |
Ruri-Reranker-Small | 68M(43M) | 64.5 | 92.6 | 92.3 |
Ruri-Reranker-Base | 111M(86M) | 74.3 | 93.5 | 95.6 |
Ruri-Reranker-Large(本模型) | 337M(303M) | 77.1 | 94.1 | 96.1 |
模型詳情
屬性 | 詳情 |
---|---|
模型類型 | Sentence Transformer |
基礎模型 | cl-nagoya/ruri-reranker-stage1-large |
最大序列長度 | 512 tokens |
語言 | 日語 |
許可證 | Apache 2.0 |
論文 | https://arxiv.org/abs/2409.07737 |
訓練詳情
框架版本
- Python: 3.10.13
- Sentence Transformers: 3.0.0
- Transformers: 4.41.2
- PyTorch: 2.3.1+cu118
- Accelerate: 0.30.1
- Datasets: 2.19.1
- Tokenizers: 0.19.1
📄 許可證
本模型根據 Apache License, Version 2.0 發佈。
Jina Embeddings V3
Jina Embeddings V3 是一個多語言句子嵌入模型,支持超過100種語言,專注於句子相似度和特徵提取任務。
文本嵌入
Transformers 支持多種語言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基於MS Marco段落排序任務訓練的交叉編碼器模型,用於信息檢索中的查詢-段落相關性評分
文本嵌入 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基於蒸餾技術的稀疏檢索模型,專為OpenSearch優化,支持免推理文檔編碼,在搜索相關性和效率上優於V1版本
文本嵌入
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基於PubMedBERT的生物醫學實體表徵模型,通過自對齊預訓練優化語義關係捕捉
文本嵌入 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一個強大的句子轉換器模型,專注於句子相似度和文本嵌入任務,在多個基準測試中表現出色。
文本嵌入 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一個英文句子轉換器模型,專注於句子相似度任務,在多個文本嵌入基準測試中表現優異。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一個多語言的句子嵌入模型,支持超過50種語言,適用於句子相似度計算等任務。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一個化學語言模型,旨在實現完全由機器驅動的超快聚合物信息學。它將PSMILES字符串映射為600維密集指紋,以數值形式表示聚合物化學結構。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基於土耳其語BERT的句子嵌入模型,專為語義相似度任務優化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基於BAAI/bge-small-en-v1.5模型微調的文本嵌入模型,通過MEDI數據集與MTEB分類任務數據集訓練,優化了檢索任務的查詢編碼能力。
文本嵌入
Safetensors 英語
G
avsolatorio
945.68k
29
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98