Ruri Reranker Base
日語通用重排序模型,用於提升日語文本檢索的相關性排序效果
下載量 1,100
發布時間 : 8/20/2024
模型概述
琉璃重排序器是基於Sentence Transformers的日語文本重排序模型,專門用於優化日語文本檢索結果的相關性排序。該模型能夠評估查詢與文檔之間的相關性,並重新排序檢索結果以提高準確性。
模型特點
日語優化
專門針對日語文本優化的重排序模型
高性能
在多個日語基準測試中表現優異
輕量級
相比大型模型,在保持高性能的同時參數更少
模型能力
文本相關性評估
檢索結果重排序
日語文本處理
使用案例
信息檢索
搜索引擎優化
提升日語搜索引擎結果的相關性排序
顯著提高搜索結果的相關性
問答系統
優化問答系統中候選答案的排序
提高正確答案的排名位置
🚀 瑠璃重排器:日語通用重排器
瑠璃重排器是一款日語通用重排器,可用於文本排序任務,能有效提升文本排序的準確性和效率。
🚀 快速開始
直接使用(Sentence Transformers)
首先,安裝Sentence Transformers庫:
pip install -U sentence-transformers
然後,你可以加載該模型並進行推理。
from sentence_transformers import CrossEncoder
# 從 🤗 Hub 下載
model = CrossEncoder("cl-nagoya/ruri-reranker-base")
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
# [0.9999751 0.29104844 0.9993649 0.00193745]
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
)
print(result)
# [
# {'corpus_id': 2, 'score': 0.9999751},
# {'corpus_id': 1, 'score': 0.9356678},
# {'corpus_id': 0, 'score': 0.29104844},
# ]
💻 使用示例
基礎用法
from sentence_transformers import CrossEncoder
# 從 🤗 Hub 下載
model = CrossEncoder("cl-nagoya/ruri-reranker-base")
inputs = [
[
"瑠璃色はどんな色?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
[
"瑠璃色はどんな色?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
],
[
"ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総稱して「何類」というでしょう?",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
]
scores = model.predict(inputs)
print(scores)
# [0.9999751 0.29104844 0.9993649 0.00193745]
高級用法
result = model.rank(
query="瑠璃色はどんな色?",
documents=[
"ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4屬を含めている。",
"瑠璃、または琉璃(るり)は、仏教の七寶の一つ。サンスクリットの vaiḍūrya またはそのプラークリット形の音訳である。金緑石のこととも、ラピスラズリであるともいう[1]。",
"瑠璃色(るりいろ)は、紫みを帯びた濃い青。名は、半貴石の瑠璃(ラピスラズリ、英: lapis lazuli)による。JIS慣用色名では「こい紫みの青」(略號 dp-pB)と定義している[1][2]。",
],
)
print(result)
# [
# {'corpus_id': 2, 'score': 0.9999751},
# {'corpus_id': 1, 'score': 0.9356678},
# {'corpus_id': 0, 'score': 0.29104844},
# ]
📚 詳細文檔
基準測試
模型 | 參數量(不含嵌入層) | JQaRA | JaCWIR | MIRACL |
---|---|---|---|---|
hotchpotch/japanese-reranker-cross-encoder-xsmall-v1 | 1.07億(1100萬) | 61.4 | 93.8 | 90.6 |
hotchpotch/japanese-reranker-cross-encoder-small-v1 | 1.18億(2100萬) | 62.5 | 93.9 | 92.2 |
hotchpotch/japanese-reranker-cross-encoder-base-v1 | 1.11億(8600萬) | 67.1 | 93.4 | 93.3 |
hotchpotch/japanese-reranker-cross-encoder-large-v1 | 3.37億(3.03億) | 71.0 | 93.6 | 91.5 |
hotchpotch/japanese-bge-reranker-v2-m3-v1 | 5.68億(3.03億) | 69.2 | 93.7 | 94.7 |
BAAI/bge-reranker-v2-m3 | 5.68億(3.03億) | 67.3 | 93.4 | 94.9 |
Ruri-Reranker-Small | 6800萬(4300萬) | 64.5 | 92.6 | 92.3 |
Ruri-Reranker-Base(本模型) | 1.11億(8600萬) | 74.3 | 93.5 | 95.6 |
Ruri-Reranker-Large | 3.37億(3.03億) | 77.1 | 94.1 | 96.1 |
模型詳情
屬性 | 詳情 |
---|---|
模型類型 | Sentence Transformer |
基礎模型 | cl-nagoya/ruri-reranker-stage1-base |
最大序列長度 | 512 個詞元 |
語言 | 日語 |
許可證 | Apache 2.0 |
論文 | https://arxiv.org/abs/2409.07737 |
訓練詳情
框架版本
- Python:3.10.13
- Sentence Transformers:3.0.0
- Transformers:4.41.2
- PyTorch:2.3.1+cu118
- Accelerate:0.30.1
- Datasets:2.19.1
- Tokenizers:0.19.1
📄 許可證
本模型根據 Apache License, Version 2.0 發佈。
Jina Embeddings V3
Jina Embeddings V3 是一個多語言句子嵌入模型,支持超過100種語言,專注於句子相似度和特徵提取任務。
文本嵌入
Transformers 支持多種語言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基於MS Marco段落排序任務訓練的交叉編碼器模型,用於信息檢索中的查詢-段落相關性評分
文本嵌入 英語
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基於蒸餾技術的稀疏檢索模型,專為OpenSearch優化,支持免推理文檔編碼,在搜索相關性和效率上優於V1版本
文本嵌入
Transformers 英語

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基於PubMedBERT的生物醫學實體表徵模型,通過自對齊預訓練優化語義關係捕捉
文本嵌入 英語
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一個強大的句子轉換器模型,專注於句子相似度和文本嵌入任務,在多個基準測試中表現出色。
文本嵌入 英語
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一個英文句子轉換器模型,專注於句子相似度任務,在多個文本嵌入基準測試中表現優異。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一個多語言的句子嵌入模型,支持超過50種語言,適用於句子相似度計算等任務。
文本嵌入
Transformers 支持多種語言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一個化學語言模型,旨在實現完全由機器驅動的超快聚合物信息學。它將PSMILES字符串映射為600維密集指紋,以數值形式表示聚合物化學結構。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基於土耳其語BERT的句子嵌入模型,專為語義相似度任務優化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基於BAAI/bge-small-en-v1.5模型微調的文本嵌入模型,通過MEDI數據集與MTEB分類任務數據集訓練,優化了檢索任務的查詢編碼能力。
文本嵌入
Safetensors 英語
G
avsolatorio
945.68k
29
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98