Japanese Reranker Cross Encoder Xsmall V1

🚀 hotchpotch/japanese-reranker-cross-encoder-xsmall-v1

這是一個用日語訓練的重排器（CrossEncoder）系列模型。該系列模型可用於文本排序任務，能有效提升文本檢索的準確性。

✨ 主要特性

• 多數據集訓練：使用了多個數據集進行訓練，包括hotchpotch/JQaRA、shunk031/JGLUE、miracl/miracl、castorini/mr-tydi和unicamp-dl/mmarco。
• 多模型可選：提供了不同規模的模型，以滿足不同場景的需求。

關於重排器的詳細信息、技術報告和評估等內容，請參考以下鏈接：

• 日本語最高性能のRerankerをリリース / そもそも Reranker とは?
• 日本語 Reranker 作成のテクニカルレポート

💻 使用示例

基礎用法

使用SentenceTransformers庫

from sentence_transformers import CrossEncoder
import torch

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-xsmall-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"
model = CrossEncoder(MODEL_NAME, max_length=512, device=device)
if device == "cuda":
    model.model.half()
query = "感動的な映畫について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描寫が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
scores = model.predict([(query, passage) for passage in passages])

使用HuggingFace transformers庫

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from torch.nn import Sigmoid

MODEL_NAME = "hotchpotch/japanese-reranker-cross-encoder-xsmall-v1"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
model.to(device)
model.eval()

if device == "cuda":
    model.half()

query = "感動的な映畫について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描寫が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
inputs = tokenizer(
    [(query, passage) for passage in passages],
    padding=True,
    truncation=True,
    max_length=512,
    return_tensors="pt",
)
inputs = {k: v.to(device) for k, v in inputs.items()}
logits = model(**inputs).logits
activation = Sigmoid()
scores = activation(logits).squeeze().tolist()

📚 詳細文檔

評估結果

📄 許可證

本項目採用 MIT 許可證。